WO2007111223A1 - 運転者の精神状態検出装置および精神状態検出方法 - Google Patents

運転者の精神状態検出装置および精神状態検出方法 Download PDF

Info

Publication number
WO2007111223A1
WO2007111223A1 PCT/JP2007/055908 JP2007055908W WO2007111223A1 WO 2007111223 A1 WO2007111223 A1 WO 2007111223A1 JP 2007055908 W JP2007055908 W JP 2007055908W WO 2007111223 A1 WO2007111223 A1 WO 2007111223A1
Authority
WO
WIPO (PCT)
Prior art keywords
driver
mental state
state
detection
mental
Prior art date
Application number
PCT/JP2007/055908
Other languages
English (en)
French (fr)
Inventor
Masatoshi Yanagidaira
Mitsuo Yasushi
Original Assignee
Pioneer Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pioneer Corporation filed Critical Pioneer Corporation
Priority to JP2008507458A priority Critical patent/JP4739407B2/ja
Priority to US12/294,194 priority patent/US20090209829A1/en
Publication of WO2007111223A1 publication Critical patent/WO2007111223A1/ja

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition

Definitions

  • the present invention relates to a driver's mental state detection device and a mental state detection method for detecting a mental state of a driver who operates a steering wheel of a vehicle or a ship.
  • the driver's mental state is determined based on the driver's heartbeat information while the vehicle is running, and for example, when the user is in a drowsiness state, a message that prompts the user to wake up is displayed in an image or voice.
  • Patent Document 2 For example, see Patent Document 2.
  • the potential difference electrocardiogram between the driver's hands is measured, and the heart rate is measured from this waveform. Then, it can be determined from the measurement data whether the mental state is drowsiness or tension, and the determination result can be messaged with an image or a voice through a display or a speaker to prompt the appropriate countermeasure.
  • the driver's distraction state (hazy state) is determined from the If the information is generated, it will be a mistake.
  • Patent Document 1 Japanese Patent No. 3727803
  • Patent Document 2 Japanese Patent Laid-Open No. 2004-344269
  • Patent Document 3 Japanese Patent No. 3027786
  • Patent Document 1 when one feels drowsy or in a nervous state, it is difficult to think about the situation of one-handed driving as viewed from the driving behavior of a normal driver. Such drowsiness and tension occur. On the other hand, the situation where one-handed driving is continuously performed occurs when the driver is relaxed or distracted.
  • the driver's gaze movement force attention distraction can be detected, but if the gaze is not powered, it can also occur during highway or tunnel travel, and as a method of detecting distraction, It ’s hard to say that it ’s optimal.
  • a problem to be solved by the present invention is to improve the reliability of detecting the mental state of the driver in a traveling vehicle.
  • the mental state detection device includes a plurality of detection means for detecting the state of the driver, and a state determination unit that determines the state of the driver based on the detection result from the detection unit.
  • a mental state determination unit that determines a driver's mental state based on the detection result of the detection unit force, and an output from the detection unit to the mental state determination unit based on the determination result of the state determination unit.
  • switching means for switching.
  • the mental state detection method includes a detection step of detecting the state of the driver by a plurality of detection means, and a driver based on a detection result from the detection means.
  • a state determination step for determining the state of the vehicle a mental state determination step for determining the mental state of the driver by the mental state determination unit based on the detection result from the detection unit, and a determination result of the state determination step.
  • FIG. 1 is a block diagram showing a driver's mental state detection device according to an embodiment of the present invention.
  • FIG. 2 is a flowchart showing a basic mental state detection method according to an embodiment of the present invention.
  • FIG. 3 is a flowchart showing a specific mental state detection method according to an embodiment of the present invention.
  • FIG. 4 is a flowchart showing another mental state detection method according to an embodiment of the present invention.
  • FIG. 5 is a diagram for explaining the configuration of a mental state detection device for detecting a large number (N) of mental states.
  • FIG. 6 is an explanatory diagram showing a relationship between a driver's state and a driver's mental state and a sensor for detecting these states and states.
  • Appearance discrimination unit (appearance discrimination means)
  • the embodiment of the present invention includes a plurality of detection means for detecting the state of the driver, a state determination means for determining the state of the driver based on the detection result from the detection means, and a detection means. Based on the detection result! / And mental state determination means for determining the mental state of the driver. Based on the determination result of the state determination means, output from the detection means to the mental state determination means And a switching means for switching between the driver's mental state detecting device.
  • the detection results of the plurality of detection means are switched according to the state of the driver, and the reliability of the mental state detection can be improved as compared with the case where the mental state is detected individually. it can.
  • the driver's mental state is a state of tension, drowsiness, agitation, fatigue, blurring (distraction), etc., and also has a state power that requires special attention when driving a vehicle or the like.
  • an electrode for detecting a heartbeat provided on a handle operated by a driver is used as the mental state detection means.
  • the driver's heart rate is measured by touching this electrode. If a normal heart rate cannot be obtained for a certain period of time, it can be determined that the handle is one-handed.
  • the state of the driver changes depending on the mental state of the driver, and includes “relaxed driving posture”, “tired driving posture”, “other driving postures” and the like.
  • “Relaxed driving posture” refers to a posture in which the driver puts his elbow on the window frame and operates the handle with one hand. These are the posture of the person and the warping posture.
  • the switching unit switches the output from the detection unit to the mental state determination unit and switches the mental state determination process executed by the mental state determination unit. Therefore, the determination process of the driver's mental state can be performed separately by switching the mental state determination algorithm.
  • the mental state determination means includes a first determination process for determining the driver's tension or drowsiness state, and a second determination process for determining the driver's distraction state. It is said. As a result, the determination of tension or drowsiness and the determination of distracted state can be performed separately by the first determination process and the second determination process switched by the switching means.
  • the detection means includes heart rate measurement means for measuring the driver's heart rate with an electrode provided on a handle portion of a vehicle, and imaging means for imaging the driver. With this configuration, the driver's mental condition that matches both the driver's current heart rate and dynamics can be determined.
  • the first determination process determines the driver's tension or drowsiness based on heartbeat information from the heartbeat measuring means, and the second determination process is performed in the passenger compartment.
  • the configuration is such that the driver's gaze direction distribution is examined from the driver's imaging information provided by the imaging means, and the driver's distraction state is determined based on the distribution information.
  • the driver's tension or drowsiness can be determined from the heartbeat information, and the driver's distraction can be accurately determined from the imaging information.
  • the state determination unit when the state determination unit has input normal heartbeat information longer than a predetermined time from the heartbeat measurement unit, the driver holds the handle portion with both hands.
  • the normal heart rate information is not input for longer than a predetermined time, it is determined that the driver holds the handle portion with one hand. This makes it possible to estimate the driver's tension or drowsiness while holding both hands on the steering wheel, and to estimate the driver's distraction state while holding the one hand on the steering wheel. Become.
  • the switching means switches to output heart rate information from the heart rate measuring means to the mental state determining means when it is determined that the state determining means holds both hands, and the state determining means is When it is determined that the hand is held by one hand, the image pickup information from the image pickup unit is switched to be output to the mental state determination unit.
  • the mental state determination means includes a third determination process in which the driver determines a stoop or warping posture. With this configuration, it is possible to analyze the mental state such as fatigue or frustration of the driver by the third discrimination process from the pressure distribution on the back and bottom of the driver's seat.
  • the third determination process examines the driver's body pressure distribution based on the output of the pressure sensor provided in the driver's seat, and determines the driver's fatigue or irritation based on this distribution information. It is the structure which discriminate
  • the mental state determination means includes a fourth determination process for determining the frequency of deep breathing performed by the driver.
  • the fourth discrimination process can analyze the mental state of driver's agitation, fatigue, or tension.
  • the frequency of occurrence of deep breathing is examined from the imaging information of the driver by the imaging means provided in the passenger compartment, and the driver's fatigue or agitation based on the occurrence frequency, Or the state of tension is discriminated. Accordingly, by processing the imaging information, it is possible to accurately determine the driver's fatigue, frustration, or tension state.
  • the mental state determination means includes a fifth determination process for determining a head vibration of the driver. Therefore, the driver's sleepiness and distraction can be estimated from the arousal level obtained by the fifth discrimination process.
  • the vibration state of the driver's head is examined from the image information of the driver by the imaging means provided in the passenger compartment, and the driving is performed based on the number or level of the vibrations. The degree of awakening is determined. Based on this, based on the determined arousal level, The driver's sleepiness and distraction can be estimated.
  • a detection step of detecting the state of the driver by a plurality of detection means, and a state determination step of determining the state of the driver based on the detection result of the detection means force A mental state determination step for determining a mental state of the driver by the mental state determination unit based on a detection result from the detection unit; and a mental state determination from the detection unit based on the determination result of the state determination step.
  • the imaging unit 11 captures the driver's face and line of sight with a camera or the like installed in the passenger compartment.
  • the heart rate sensor 12 is provided on a handle that is held and operated by the driver, and measures the heart rate of the driver when the driver touches the handle with both hands.
  • the state determination unit (state determination unit) 13 determines the state of the driver according to the heart rate information from the heart rate sensor 12.
  • the switching unit (switching means) 14 captures images according to the state of the driver determined by the state determination unit 13. The function of switching the output from the unit 11 or the heart rate sensor 12 to the mental state determination unit 15 and switching the mental state determination process executed by the spirit state determination unit 15.
  • This mental state discriminating unit (mental state discriminating means) 15 functions to execute a mental state discriminating process corresponding to the information switched by the switching unit 14.
  • the state of the driver is detected by a plurality of detection means (in this case, the imaging unit 11 and the heart rate sensor 12) (step S1), and on the other hand, based on the detection result from the detection means (heart rate sensor 12)! / Then, it is determined whether or not the driver is holding the steering wheel as a state of the driver to determine whether or not the force is strong (step S2). According to this state discrimination result, the output from the detection means (imaging unit 11, heart rate sensor 12) to the mental state discrimination unit 15 is switched (step S3), and the detection result from the detection unit (imaging unit 11, heart rate sensor 12) Based on the above, the mental state of the driver is discriminated by the mental state discriminating unit 15 (step S4).
  • the detection means in this case, the imaging unit 11 and the heart rate sensor 12
  • step S11 it starts detecting the driver's mental state. Until this mental state detection is completed (step S11), it is determined as a driver's state whether or not the steering wheel is held by both hands (step S12). This determination is based on the heart rate data from the heart rate sensor 12.
  • the state determination unit 13 determines that the one-hand holding is performed, and the imaging unit 11
  • the mental state determination unit 15 determines that the driver's mental state is a distracted state (step S14).
  • the mental state is switched according to the output of the state determination unit 13, that is, the heart rate change information is switched. It is determined (estimated) that the person's mental state is tension or sleepiness (step S13). In this way, by switching and detecting the mental state according to the driver's state by the switching unit 14, it is possible to improve the reliability of the mental state detection as compared with the case where the mental state is detected alone. It is done.
  • the steering wheel holding condition when the driver is in a distracted state is learned so that the handle holding condition when detecting the distracted state is variable for each individual. Can do. In this case, as shown in FIG. 4, a distraction state may be detected while holding both hands. In addition, the time may be limited except for the time when sleepiness or tension is detected.
  • step S12 when it is determined that both hands are held based on the output information of the heart rate sensor 12 (step S12), a heart rate measurement is performed by the heart rate sensor 12 (step S15), and the heart rate power is also as described above. Detects excessive tension or drowsiness (step S13). Therefore, it is checked whether the tension or drowsiness is detected (step S16). If tension or drowsiness is still not detected, switch to imaging by the imaging unit 11 (step S17). A diffuse state is detected (step S18).
  • step S12 determines whether the handle is held by one hand.
  • switching to imaging by the imaging unit 11 is performed to detect the driver's distraction state (step S17).
  • step S18 it is determined whether the captured image force is also a distracted state force (step S18).
  • FIG. 5 is a diagram for explaining a configuration of a mental state detection device for detecting a large number (N) of mental states.
  • each mental state of driver D state 1 to state N
  • each mental state such as drowsiness, tension, distraction, agitation and fatigue is detected by each sensor S1 to SN. is doing.
  • the state of the driver D driving posture, etc.
  • the sensor Sd for discriminating the state
  • the mental state obtained from the deviation of the sensors S1 to SN switched by the switch means SW according to the discrimination result is shown. analyse.
  • FIG. 6 is an explanatory diagram showing the relationship between the driver's state and the driver's mental state and sensors for detecting these states and states.
  • the driver's determination of holding both hands is detected by the heart rate sensor 12 provided on the steering wheel, and the fatigued driving posture is determined by the pressure provided on the seat. Detect by sensor.
  • the agitation can be estimated not only by heart rate information from the heart rate sensor 12, but also by changes in vehicle speed, vehicle speed, traffic congestion information, and the like.
  • the above tension or drowsiness is the gaze distribution information obtained from the heart rate sensor 12 and the imaging unit 11.
  • the distraction state can also be estimated from the gaze distribution information obtained from the imaging unit 11.
  • Fatigue can be estimated from the pressure information obtained from the heart rate sensor 12 and the pressure sensor force of the seat.
  • the mental state detection means provided in the seat portion uses a thin sheet-like pressure sensor (body pressure distribution sensor) installed on the seat.
  • This pressure sensor is used to determine the fatigue posture by examining the pressure distribution in the driver's back and bottom area, or by determining whether the driver is in a stooped or curled posture.
  • analysis is performed on mental states such as fatigue and frustration.
  • a method of observing the temporal change in the load center position with changes in posture is used.
  • the driver has body movement.
  • This body movement is accompanied by, for example, deep breathing and head movement while driving.
  • the frequency of these body movements is more than a certain level, agitation, fatigue, and tension can be estimated.
  • Body movement caused by breathing with a large amplitude such as deep breathing or sighing is a force that is considered to be caused by the mental state such as agitation, fatigue, or tension.
  • the vehicle speed and the vehicle speed change are estimated in association with the heart rate change.
  • the situation of intermittent driving at low speed is regarded as a traffic jam situation, and if the heart rate increases at this time, it is assumed that the traffic jam is frustrating.
  • traffic information that provides car navigation capabilities.
  • head vibration synchronized with vehicle vibration may be examined.
  • Figure 7 shows the flow for estimating fatigue, agitation, tension and sleepiness, and distraction. It is.
  • step S20 first, until the mental state detection is completed (step S20), based on the pressure data distribution obtained from the pressure sensor car installed in the seat (driver's seat), the driver's posture It is checked whether or not the dog is stooped or warped, that is, whether the posture is fatigued (step S21). If the driver's driving posture is stooped or warped (YES), the driver's fatigue state is detected (step S22).
  • Step S23 If the frequency of deep breathing is greater than or equal to a certain number of times (YES), this is detected as a frustrated state or a tension state (Step S24).
  • step S25 it is checked whether the vibration of the driver's head is more than a certain amount.
  • step S25 If the result of step S25 is that the head vibration is greater than or equal to a certain amount (YES), the same procedure as in the flow (steps S12 to S18) shown in FIG. 4 is executed.
  • step S2 6 when it is determined that both hands are held based on the output information of the heart rate sensor 12 (step S2 6), the heart rate measurement is further performed by the heart rate sensor 12 (step S27), and this heart rate force also detects drowsiness as described above. (Step S28). Therefore, it is checked whether or not this drowsiness is detected (step S29) . If drowsiness is still not detected, switch to imaging by the imaging unit 11 (step S30) and detect a distracted state (step S31). .
  • step S25 If the head vibration is less than a certain amount in step S25 (NO), a normal mental state is assumed. In this way, the detection target of the driver's mental state is changed according to the body movement that is the state of the driver.
  • a warning sound is generated to promote arousal, comfortable music is played, or the vehicle speed is changed, thereby improving the operational stability of the vehicle. Can be secured.
  • the driver's mental state detection device 10 includes the imaging unit 11, the heart rate sensor 12, and the heart rate sensor, which are a plurality of detection means for detecting the state of the driver.
  • a state discriminating unit 13 for discriminating the state of the driver based on the detection result from the sensor 12, and the detection hand
  • a mental state determination unit 15 for determining the driver's mental state based on the detection result from the stage, and based on the determination result of the state determination unit 13, the switching unit 14 is connected to the imaging unit 11 and the heart rate sensor 12 Switches the output to the mental state determination unit 15.
  • the detection results from multiple detection means can be switched and output according to the driver's condition, so that the mental state and the driver's condition can be detected independently.
  • the reliability of mental state detection can be improved. Therefore, it is possible to increase the reliability of detection of the mental state of the driver in the traveling vehicle without impairing the operability of driving the vehicle.
  • the driver's mental state detection method includes a detection step of detecting a driver's state by a plurality of detection means (imaging unit 11, heart rate sensor 12), and detection means (imaging unit 11).
  • the state discrimination step for discriminating the state of the driver by the state discrimination unit 13 and driving based on the detection result from the detection means (imaging unit 11, heart rate sensor 12)
  • a switching step for switching for switching.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Psychiatry (AREA)
  • Pathology (AREA)
  • Medical Informatics (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Physics & Mathematics (AREA)
  • Developmental Disabilities (AREA)
  • Biophysics (AREA)
  • Child & Adolescent Psychology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Educational Technology (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Traffic Control Systems (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)

Abstract

　走行中の車両における運転者の精神状態の検出を、車両運転上の操安性を損なわずにその検出の信頼性をあげる。 　運転者の状態を検出する複数の検出手段である撮像部１１，心拍センサ１２と、撮像部１１，心拍センサ１２からの検出結果に基づいて運転者の様子を判別する様子判別部１３と、撮像部１１，心拍センサ１２からの検出結果に基づいて運転者の精神状態を判別する精神状態判別部１５と、を備え、様子判別部１３の判別結果に基づいて、切替部１４が撮像部１１，心拍センサ１２から前記精神状態判別部１５への出力を切り替える。

Description

明 細 書
運転者の精神状態検出装置および精神状態検出方法
技術分野
[0001] 本発明は、車両や船舶等のハンドルを操作する運転者の精神状態を検出する運 転者の精神状態検出装置および精神状態検出方法に関する。
背景技術
[0002] 従来から、車両や船舶の運転者の居眠り運転による事故防止のために、ハンドル に電極を設け、運転者の手がその電極に触れているときの心拍数を計測し、異常な 心拍数を計測したときに、警報を発生するものが提案されている (例えば、特許文献 1参照)。
これによれば、ハンドルの電極力 得られた心拍数データを、左右それぞれに設置 した電極に片手でなく両手を触れた場合にのみ CPUへ入力可能にして、心拍数が 異常であると判断したとき、警報機を作動させることができる。
[0003] また、車両の走行中に運転者の精神状態を、運転者の心拍情報によって判定し、 例えば眠気状態にあるとき、覚醒を促すメッセージを画像や音声で行うものが提案さ れている（例えば、特許文献 2参照)。
これによれば、運転者の両手間の電位差力 心電図を計測し、この波形より心拍を 測定する。そして、その測定データから眠気または緊張の何れの精神状態であるか を判定し、その判定結果を表示器またはスピーカにより画像や音声にてメッセージし 、所期の対応措置を促すことができる。
[0004] 前記のような心拍検出では、計測中に両手保持が必要であるという使用上の制約 かあつた。
一方、取り扱い上の煩わしさがない、カメラを使用した運転状態判定装置が提案さ れている（例えば、特許文献 3参照)。
これは、運転者の顔の画像を撮像し、その画像中の運転者の視線を視線検出器で 検出し、視線頻度分布計算手段にて所定時間内での視線分布を計算し、この視線 分布から運転者の注意散漫状態 (ぼんやりした状態)を判定して、警報手段により警 報を発生すると ヽぅものである。
特許文献 1：特許第 3727803号公報
特許文献 2：特開 2004 - 344269号公報
特許文献 3：特許第 3027786号公報
発明の開示
発明が解決しょうとする課題
[0005] し力しながら、特許文献 1に記載のように、眠気を感じたときや緊張状態では、通常 の運転者の運転行動面から見て片手運転する状況は考えにくぐむしろ両手運転で そのような眠気や緊張状態が生じるものである。一方、片手運転を継続的に行う状況 は、運転者がリラックスしている状態であったり、注意散漫状態であったりするときに 生じる。
さらに、特許文献 3の記載では、運転者の視線の動き力 注意散漫状態を検出でき るが、視線が動力ない場合は、高速道路やトンネル走行中にも生じ、注意散漫の検 出方法としては最適であるとは言 、難 、。
以上のように、従来技術においては、走行中の車両における運転者の精神状態の 検出は、車両運転上の操安性を損なわずにその検出の信頼性をあげることは困難で めつに。
[0006] 本発明が解決しょうとする課題としては、走行中の車両における運転者の精神状態 検出の信頼性をあげることが挙げられる。
課題を解決するための手段
[0007] 請求項 1に記載の精神状態検出装置は、運転者の状態を検出する複数の検出手 段と、前記検出手段からの検出結果に基づいて運転者の様子を判別する様子判別 手段と、前記検出手段力 の検出結果に基づいて運転者の精神状態を判別する精 神状態判別手段と、前記様子判別手段の判別結果に基づいて、前記検出手段から 前記精神状態判別手段への出力を切り替える切替手段と、を備えることを特徴とする
[0008] 請求項 15に記載の精神状態検出方法は、複数の検出手段により運転者の状態を それぞれ検出する検出ステップと、前記検出手段からの検出結果に基づいて運転者 の様子を判別する様子判別ステップと、前記検出手段からの検出結果に基づいて運 転者の精神状態を精神状態判別手段によって判別する精神状態判別ステップと、前 記様子判別ステップの判別結果に基づ!/、て、前記検出手段から前記精神状態判別 手段への出力を切り替える切替ステップと、を含むことを特徴とする。
図面の簡単な説明
[0009] [図 1]本発明の実施例に係る運転者の精神状態検出装置を示すブロック図である。
[図 2]本発明の実施例に係る基本的な精神状態検出方法を示すフローチャートであ る。
[図 3]本発明の実施例に係る具体的な精神状態検出方法を示すフローチャートであ る。
[図 4]本発明の実施例に係る他の精神状態検出方法を示すフローチャートである。
[図 5]多数 (N)の精神状態を検出するための精神状態検出装置の構成を説明するた めの図である。
[図 6]運転者の様子および運転者の精神状態と、これらの様子や状態を検出するセ ンサとの関係を示す説明図である。
[図 7]疲労、焦燥感、緊張および眠気、注意散漫状態を推定する手順を示すフロー チャートである。
符号の説明
[0010] 10 精神状態検出装置
11 撮像部 (検出手段）
12 心拍センサ (検出手段）
13 様子判別部 (様子判別手段）
14 切替部 (切替手段）
15 精神状態判別部 (精神状態判別手段）
発明を実施するための最良の形態
[0011] 以下に、本発明の実施の形態を説明する。
本発明の実施の形態は、運転者の状態を検出する複数の検出手段と、検出手段 からの検出結果に基づいて運転者の様子を判別する様子判別手段と、検出手段か らの検出結果に基づ!/、て運転者の精神状態を判別する精神状態判別手段と、を備 え、様子判別手段の判別結果に基づいて、検出手段から精神状態判別手段への出 力を切り替える切替手段と、を備えることを特徴とする運転者の精神状態検出装置で ある。
[0012] これにより、運転者の様子に応じて複数の検出手段による検出結果を切り替えるの で、また、精神状態をそれぞれ単独で検出する場合に比べて、精神状態検出の信頼 性を高めることができる。
ここで運転者の精神状態とは、緊張感、眠気、焦燥感、疲労感、ぼんやり（注意散 漫)などの状態であり、車両等の運転に特に注意を要するような状態力もなる。
[0013] また、前記精神状態検出手段としては、運転者が操作するハンドルに設けられた、 心拍検出用の電極などが使用される。運転者の心拍数を、この電極に手を触れるこ とにより計測し、一定時間以上正常な心拍数が得られない場合には、片手ハンドル 操作と判定可能する。
[0014] なお、運転者の行動面から見たとき、ハンドルを両手で保持して!/ヽる場合には、緊 張や眠気を推定の対象とみなすことができる。一方、ハンドルを片手で保持している 場合には、リラックス状態やぼんやり状態 (注意散漫状態)を推定の対象とみなすこと ができる。
[0015] また、運転者の様子は、運転者の精神状態により変わるものであり、「リラックスした 運転姿勢」、「疲労した運転姿勢」、「それ以外の運転姿勢」などがある。「リラックスし た運転姿勢」とは、運転者が肘を窓枠の上に載せて片手でノヽンドル操作をして 、るよ うな姿勢のことであり、「疲労した運転姿勢」とは、猫背の姿勢や反り返り姿勢などのこ とである。
[0016] そして、前記のような運転者の様子に応じた精神状態を検出対象にすることで、従 来のように精神状態や運転者の様子をそれぞれ単独で検出する場合に比べて、精 神状態検出の信頼性を高めることができる。
[0017] また、前記精神状態判別手段が、前記検出手段からの出力に応じた精神状態の判 別処理を実行する。これにより、所定の精神状態判定アルゴリズムに従って運転者の 精神状態を的確に把握でき、この判定結果に従って、例えば警報を発して、安全運 転〖こ寄与させることができる。
[0018] 本実施形態では、前記切替手段は、前記検出手段から前記精神状態判別手段へ の出力を切り替えると共に、前記精神状態判別手段が実行する精神状態の判別処 理を切り替えるようにしている。このため、精神状態判別アルゴリズムの切り替えによ つて、運転者の精神状態の判別処理を分けて実施することができる。
[0019] また、前記精神状態判別手段は、前記運転者の緊張または眠気の状態を判別する 第 1判別処理と、前記運転者の注意散漫状態を判別する第 2判別処理と、を含むも のとしている。これにより、切替手段により切り替えられた第 1判別処理および第 2判 別処理によって、それぞれ緊張または眠気の状態判別と注意散漫状態の判別を別 々に実施することができる。
[0020] また、前記検出手段は、車両のハンドル部に設けられた電極によって前記運転者 の心拍計測を行う心拍計測手段と、前記運転者を撮像する撮像手段と、を備える。こ の構成により、運転者の現在の心拍および動態の両方に適合する運転者の精神状 態を判定することができる。
[0021] また、本実施形態では、前記第 1判別処理が、前記心拍計測手段による心拍情報 に基づき前記運転者の緊張または眠気の状態を判別し、前記第 2判別処理は、車室 内に設けられた前記撮像手段による前記運転者の撮像情報から前記運転者の視線 方向の分布を調べ、その分布情報に基づき前記運転者の注意散漫状態を判別する ような構成である。これにより、運転者の緊張または眠気の状況を心拍情報により判 別でき、運転者の注意散漫状態を撮像情報からそれぞれ的確に判別することができ る。
[0022] また、本実施形態では、前記様子判別手段が、前記心拍計測手段から所定時間よ りも長く正常な心拍情報が入力されている場合、前記運転者がハンドル部を両手保 持していると判別し、所定時間よりも長く正常な心拍情報が入力されていない場合、 前記運転者がハンドル部を片手保持して 、ると判別するような構成である。これにより 、ハンドル部の両手保持中に運転者の緊張または眠気を対象として推定することが 可能になり、ハンドル部の片手保持中に運転者の注意散漫状態を対象として推定す ることが可能になる。 [0023] また、前記切替手段は、前記様子判別手段が両手保持だと判別した場合に、前記 心拍計測手段からの心拍情報を前記精神状態判別手段へ出力するよう切り替え、前 記様子判別手段が片手保持だと判別した場合には、前記撮像手段からの撮像情報 を前記精神状態判別手段へ出力するように切り替える構成である。
これにより、精神状態判別手段に、運転者の両手保持時の精神状態を運転者の緊 張状態または眠気状態を対象として判別させることができ、運転者の片手保持時の 精神状態を運転者の注意散漫状態を対象として判定させることができる。
[0024] 本実施形態では、前記精神状態判別手段が、前記運転者が猫背または反り返り姿 勢を判別する第 3判別処理を含む。この構成により、運転席の背中や尻下部分の圧 力分布から、第 3判別処理によって運転者の疲労または焦燥等の精神状態を分析す ることがでさる。
[0025] また、本実施形態では、前記第 3判別処理が、運転席に設けられた圧力センサの 出力により運転者の体圧分布を調べ、この分布情報に基づき運転者の疲労または焦 燥を判別するような構成である。これにより、圧力センサ出力に基づき、簡単かつ安 価に運転者の疲労または焦燥を判別することができる。
[0026] また、前記精神状態判別手段は、前記運転者がする深呼吸の頻度を判別する第 4 判別処理を含む。これにより、第 4判別処理によって運転者の焦燥や疲労、あるいは 緊張の精神状態を分析することができる。
[0027] また、前記第 4判別処理は、車室内に設けられた前記撮像手段による前記運転者 の撮像情報から深呼吸の発生頻度を調べ、その発生頻度の基づき前記運転者の疲 労や焦燥、あるいは緊張の状態を判別する。これによつて、撮像情報を処理すること で、運転者の疲労や焦燥、あるいは緊張状態を正確に判別することができる。
[0028] また、前記精神状態判別手段は、前記運転者の頭部振動を判別する第 5判別処理 を含む。このため、第 5判別処理によって得られる覚醒度から、運転者の眠気と注意 散漫状態を推定することができる。
[0029] また、前記第 5判別処理は、車室内に設けられた前記撮像手段による前記運転者 の撮像情報から運転者の頭部の振動状態を調べ、その振動の回数またはレベルに 基づき前記運転者の覚醒度を判別する。これによつて、判別した覚醒度に基づき、 運転者の眠気や注意散漫状態を推定することができる。
[0030] また、本実施形態は、複数の検出手段により運転者の状態をそれぞれ検出する検 出ステップと、前記検出手段力 の検出結果に基づいて運転者の様子を判別する様 子判別ステップと、前記検出手段からの検出結果に基づいて運転者の精神状態を 精神状態判別手段によって判別する精神状態判別ステップと、前記様子判別ステツ プの判別結果に基づいて、前記検出手段から前記精神状態判別手段への出力を切 り替える切替ステップと、を含む。
これにより、運転者の様子に応じて複数の検出手段による検出結果を切り替え出力 することができ、精神状態をそれぞれ単独で検出する場合に比べて、精神状態検出 の信頼性を高めることができ、運転者の精神状態に応じた措置、例えば警報を発し て安全運転に寄与させることができる。
実施例
[0031] 次に、本発明の実施の形態による運転者の精神状態検出装置の具体的な一実施 例挙げ、図面を参照して詳細に説明する。
図 1は、本実施例による運転者の精神状態検出装置を示すブロック図である。この 精神状態検出装置 10は、撮像部 11と、心拍センサ 12と、運転者の様子判別部 13と 、切替部 14と、運転者の精神状態判別部 15と、を備えている。
撮像部 11は車室内に設置されたカメラなどにより運転者の顔および視線を撮像す る。心拍センサ 12は、運転者が保持して操作するハンドルに設けられ、運転者がハ ンドルに両手を触れて 、る場合に、運転者の心拍を計測する。
[0032] なお、緊張や眠気状態が起こると運転者は危険を感じているものである。このため、 通常は片手保持でノヽンドル操作を行う癖がある運転者でも、無意識のうちに両手で ハンドルを保持するようになることが多い。また、リラックスした運転姿勢で運転してい る場合には、注意散漫状態が起こりうる。さらに、疲労した運転姿勢で運転している 場合には、運転者は焦燥感ゃ疲労感を感じて ヽることが多 、。
[0033] 様子判別部 (様子判別手段） 13は、心拍センサ 12からの心拍数情報に応じて運転 者の様子を判別するものである。
切替部 (切替手段） 14は、様子判別部 13が判別した運転者の様子に応じて、撮像 部 11または心拍センサ 12から精神状態判別部 15への出力を切り替えるとともに、精 神状態判別部 15が実行する精神状態の判別処理を切り替えるように機能する。この 精神状態判別部 (精神状態判別手段） 15は、切替部 14によって切り替えられた情報 に応じた精神状態の判別処理を実行するように機能するものである。
[0034] 次に、図 2に示すフローチャートを参照しながら運転者の精神状態検出方法を説明 する。
まず、複数の検出手段 (この場合、撮像部 11,心拍センサ 12)により運転者の状態 をそれぞれ検出し (ステップ S1)、一方、検出手段（心拍センサ 12)からの検出結果 に基づ!/、て運転者の様子としてハンドルを両手保持して 、る力否かを判別する (ステ ップ S2)。この様子判別結果に従って、検出手段 (撮像部 11,心拍センサ 12)から精 神状態判別部 15への出力を切り替え (ステップ S3)、検出手段 (撮像部 11,心拍セ ンサ 12)からの検出結果に基づいて運転者の精神状態を精神状態判別部 15によつ て判別する (ステップ S4)。
[0035] 次に、精神状態検出方法の具体例について、図 3を参照しながら説明する。まず、 運転者の精神状態の検出を開始する。この精神状態検出が終了するまでは (ステツ プ S 11)、ハンドルを両手保持しているかどうかを、運転者の様子として判定する (ス テツプ S12)。この判定は、心拍センサ 12からの心拍データにもとづいて様子判別部 13カ 亍ぅ。
[0036] この様子判別部 13は、ハンドルに設けられた電極力も運転者の心拍が一定時間以 上、正常に得られないと判断した場合には、片手保持であると判定し、撮像部 11から 得られた注意散漫情報に切り替えて、精神状態判別部 15が運転者の精神状態が注 意散漫状態であると判定する (ステップ S 14)。
[0037] 一方、運転者がハンドルを両手保持して 、ると判定された場合には、様子判定部 1 3の出力に応じて精神状態を切り替えて、つまり心拍変化の情報に切り替えて、運転 者の精神状態が緊張または眠気であると判定 (推定する)する (ステップ S13)。 このように運転者の様子に応じた精神状態を切替部 14により切り替えて検出するこ とで、精神状態を単独で検出する場合に比べて精神状態検出の信頼性を高められ るという利点が得られる。 [0038] また、個人毎の特性を考慮して、運転者が注意散漫状態のときのハンドル保持の 状態を学習させることによって、注意散漫状態検出時のハンドル保持条件を個人ごと に可変とすることができる。この場合には、図 4に示すように、両手保持中にも注意散 漫状態を検出することもある。また、眠気や緊張を検出している時間を除いて、時間 を限定して行ってもよい。
[0039] この場合には、心拍センサ 12の出力情報にもとづき両手保持と判定されたとき (ス テツプ S12)、さらに心拍センサ 12による心拍測定を行い (ステップ S15)、この心拍 数力も前記のような緊張または眠気を検出する (ステップ S13)。そこで、この緊張ま たは眠気が検出された力否かを調べ (ステップ S 16)、なおも緊張または眠気が検出 されない場合には、撮像部 11による撮像に切り替えて (ステップ S 17)、注意散漫状 態の検出を行う（ステップ S18)。
[0040] 一方、ステップ S12において、ハンドルが片手保持であると判定された場合には、 撮像部 11による撮像に切り替えて運転者の注意散漫状態を検出する (ステップ S17 )。そして、撮像された画像力も注意散漫状態力否かを判定する (ステップ S18)。こ れにより、個人差によらず注意散漫状態の検出精度を高めることができる。
[0041] 図 5は、多数 (N)の精神状態を検出するための精神状態検出装置の構成を説明す るための図である。この図では、運転者 Dの精神状態 (状態 1〜状態 N)ごとに、つま り眠気、緊張、注意散漫、焦燥、疲労等の各精神状態を各一のセンサ S1〜SNによ りそれぞれ検出している。一方、この運転者 Dの様子 (運転姿勢など)を様子判別用 のセンサ Sdにより判別し、この判別結果に従ってスィッチ手段 SWで切り替えたセン サ S 1〜SNの 、ずれかから得られる精神状態を分析する。
図 6は、運転者の様子および運転者の精神状態と、これらの様子や状態を検出す るセンサとの関係を示す説明図である。また、運転者の様子のうち、両手保持の判別 は、図 6に示すように、ハンドルに設けられた心拍センサ 12により検出し、疲労した運 転姿勢の判断は、シート部に設けられた圧力センサによって検出する。
[0042] さらに、運転者の精神状態の検出については、前記焦燥を心拍センサ 12からの心 拍情報のほか、車速、車速の変化、交通渋滞情報などによっても推測できる。前記の ような緊張や眠気は、心拍センサ 12および撮像部 11から得られた視線分布情報か ら推測でき、注意散漫状態もまた、撮像部 11から得られた視線分布情報によって推 測できる。疲労は、心拍センサ 12およびシート部の圧力センサ力も得られた圧力情 報力 推定できる。
[0043] なお、前記シート部に設けられる精神状態検出手段は、そのシートに設置した薄い シート状の圧力センサ（体圧分布センサ）を用いる。この圧力センサにより運転者の 背中や尻下部分の圧力分布を調べることにより、あるいは運転者が猫背姿勢か反り 返り姿勢かを判別することにより、疲労姿勢を判定する。この疲労した運転姿勢であ る場合には、疲労や焦燥等の精神状態を対象として分析を行うことになる。なお、長 時間運転による疲労の推定は、姿勢の変化に伴う荷重中心位置の時間的変化を見 る方法などが採用される。
[0044] 前記運転者の様子には前記のほか体動がある。この体動は、例えば運転中での深 呼吸および頭部の運動を伴うものである。これら体動の頻度が一定以上ある場合に、 焦燥、疲労、緊張を推定することができる。深呼吸やため息などの振幅の大きい呼吸 による体動は、前記焦燥、疲労、緊張などの精神状態に起因して引き起こされると考 えられる力 である。
[0045] 前記焦燥状態の推定方法としては、前記のように車速や車速変化を心拍数変化と 対応付けて推定する。具体的には、低速で断続運転している状況を渋滞状況とみな し、このとき心拍数が上昇していれば、渋滞でイライラしていると推測する。渋滞の判 別には、この他にカーナビ力も得られる交通情報を利用してもよい。
[0046] さらに、体動の判定方法として、車両振動に同期した頭部の振動を調べてもよい。
これは、覚醒度が通常以上に高いときには、運転者は身体各部の筋に力を入れて体 全体を硬直させていることにより、車両の振動に同期する頭部振動が少なくなる。特 に、頭部は動きの自由度が大きいため、このような差が現れやすい。このため、この 振動が一定以上検出される場合には、覚醒度が落ちていると判断し、眠気、注意散 漫状態を推定することができる。
[0047] 次に、別の実施例として、疲労、焦燥感、緊張および眠気、注意散漫状態を推定す る手順について説明する。
図 7は、疲労、焦燥感、緊張および眠気、注意散漫状態を推定するフローを示す図 である。図 7に示すように、まず、精神状態検出が終了するまでは (ステップ S20)、シ ート (運転席）に設置された前記圧力センサカゝら得られる圧力データ分布にもとづき、 運転者の姿勢が猫背か反り返りか否か、つまり疲労した姿勢力否かを調べる (ステツ プ S21)。運転者の運転姿勢が猫背か、反り返りである場合 (YES)には、運転者の 疲労状態を検出する (ステップ S22)。
[0048] 一方、運転者の運転姿勢が猫背や反り返りでな!/、と判定された場合 (NO)には、撮 像部 11で撮像された深呼吸の頻度が一定回数以上力否かを調べ (ステップ S23)、 深呼吸の頻度が一定回数以上である場合 (YES)には、焦燥状態や緊張状態として これを検出する (ステップ S24)。
さらに、深呼吸の頻度が一定回数以上でな ヽ (NO：一定回数未満）と判定された 場合には、続いて運転者の頭部の振動が一定量以上力否かを調べる (ステップ S25
) o
[0049] ステップ S25の結果、頭部の振動が一定量以上の場合 (YES)には、図 4に示した フロー (ステップ S12〜S18)と同様の手順を実行する。
即ち、心拍センサ 12の出力情報にもとづき両手保持と判定されたとき (ステップ S2 6)、さらに心拍センサ 12による心拍測定を行い (ステップ S27)、この心拍数力も前 記のような眠気を検出する (ステップ S28)。そこで、この眠気が検出されたか否かを 調べ (ステップ S29)、なおも眠気が検出されない場合には、撮像部 11による撮像に 切り替えて (ステップ S30)、注意散漫状態を検出する (ステップ S31)。
[0050] また、ステップ S25で、頭部振動が一定量未満である場合 (NO)には、通常の精神 状態とする。このように、運転者の様子である体動によって、運転者の精神状態の検 出対象を変更する。
このようにして検出した各精神状態に対しては、例えば警報音を発生して覚醒を促 したり、快適な音楽を流したり、車速を変更するなどすることにより、車両運転上の操 安性を確保することができる。
[0051] 以上詳述したように、本実施の形態に係る運転者の精神状態検出装置 10は、運転 者の状態を検出する複数の検出手段である撮像部 11,心拍センサ 12と、心拍セン サ 12からの検出結果に基づいて運転者の様子を判別する様子判別部 13と、検出手 段からの検出結果に基づいて運転者の精神状態を判別する精神状態判別部 15と、 を備え、様子判別部 13の判別結果に基づいて、切替部 14が撮像部 11,心拍センサ 12から前記精神状態判別部 15への出力を切り替える。
これにより、運転者の様子に応じて複数の検出手段 (撮像部 11,心拍センサ 12)に よる検出結果を切り替え出力することができるので、精神状態や運転者の様子をそれ ぞれ単独で検出する場合に比べて、精神状態検出の信頼性を高めることができる。 よって、走行中の車両における運転者の精神状態の検出を、車両運転上の操安性 を損なわずにその検出の信頼性をあげることができる。
また、本実施の形態に係る運転者の精神状態検出方法は、複数の検出手段 (撮像 部 11,心拍センサ 12)により運転者の状態をそれぞれ検出する検出ステップと、検 出手段 (撮像部 11,心拍センサ 12)からの検出結果に基づいて運転者の様子を様 子判別部 13によって判別する様子判別ステップと、検出手段 (撮像部 11,心拍セン サ 12)からの検出結果に基づいて運転者の精神状態を精神状態判別部 15によって 判別する精神状態判別ステップと、様子判別ステップの判別結果に基づいて、検出 手段 (撮像部 11,心拍センサ 12)から精神状態判別部 15への出力を切り替える切 替ステップと、を含む。
これにより、運転者の様子に応じて複数の検出手段 (撮像部 11,心拍センサ 12)に よる検出結果を切り替え出力することができ、精神状態をそれぞれ単独で検出する 場合に比べて、精神状態検出の信頼性を高めることができ、運転者の精神状態に応 じた措置、例えば警報を発して、安全運転に寄与させることができる。

Claims

請求の範囲
[1] 運転者の状態を検出する複数の検出手段と、
前記検出手段からの検出結果に基づいて運転者の様子を判別する様子判別手段 と、
前記検出手段力 の検出結果に基づいて運転者の精神状態を判別する精神状態 判別手段と、
前記様子判別手段の判別結果に基づ!/、て、前記検出手段から前記精神状態判別 手段への出力を切り替える切替手段と、を備えることを特徴とする精神状態検出装置
[2] 前記精神状態判別手段は、前記検出手段からの出力に応じた精神状態の判別処 理を実行することを特徴とする請求項 1に記載の精神状態検出装置。
[3] 前記切替手段は、前記検出手段から前記精神状態判別手段への出力を切り替え ると共に、前記精神状態判別手段が実行する精神状態の判別処理を切り替えること を特徴とする請求項 1に記載の精神状態検出装置。
[4] 前記精神状態判別手段は、前記運転者の緊張または眠気の状態を判別する第 1 判別処理と、前記運転者の注意散漫状態を判別する第 2判別処理と、を含むことを 特徴とする請求項 1〜3のいずれか一項に記載の精神状態検出装置。
[5] 前記検出手段は、車両のハンドル部に設けられた電極によって前記運転者の心拍 計測を行う心拍計測手段と、前記運転者を撮像する撮像手段と、を備えることを特徴 とする請求項 1〜4のいずれか一項に記載の精神状態検出装置。
[6] 前記第 1判別処理は、前記心拍計測手段による心拍情報に基づき前記運転者の 緊張または眠気の状態を判別し、前記第 2判別処理は、車室内に設けられた前記撮 像手段による前記運転者の撮像情報力 前記運転者の視線方向の分布を調べ、そ の分布情報に基づき前記運転者の注意散漫状態を判別することを特徴とする請求 項 5に記載の精神状態検出装置。
[7] 前記様子判別手段は、前記心拍計測手段から所定時間よりも長く正常な心拍情報 が入力されている場合、前記運転者がハンドル部を両手保持していると判別し、所定 時間よりも長く正常な心拍情報が入力されていない場合、前記運転者がハンドル部 を片手保持していると判別することを特徴とする請求項 5に記載の精神状態検出装 置。
[8] 前記切替手段は、前記様子判別手段が両手保持だと判別した場合に、前記心拍 計測手段からの心拍情報を前記精神状態判別手段へ出力するよう切り替え、前記様 子判別手段が片手保持だと判別した場合には、前記撮像手段からの撮像情報を前 記精神状態判別手段へ出力するよう切り替えることを特徴とする請求項 7に記載の精 神状態検出装置。
[9] 前記精神状態判別手段は、前記運転者が猫背または反り返り姿勢を判別する第 3 判別処理を含むことを特徴とする請求項 1〜3のいずれか一項に記載の精神状態検 出装置。
[10] 前記第 3判別処理は、運転席に設けられた圧力センサの出力により運転者の体圧 分布を調べ、この分布情報に基づき運転者の疲労または焦燥を判別することを特徴 とする請求項 9に記載の精神状態検出装置。
[11] 前記精神状態判別手段は、前記運転者がする深呼吸の頻度を判別する第 4判別 処理を含むことを特徴とする請求項 1〜3のいずれか一項に記載の精神状態検出装 置。
[12] 前記第 4判別処理は、車室内に設けられた前記撮像手段による前記運転者の撮像 情報から深呼吸の発生頻度を調べ、その発生頻度の基づき前記運転者の疲労や焦 燥、あるいは緊張の状態を判別することを特徴とする請求項 11に記載の精神状態検 出装置。
[13] 前記精神状態判別手段は、前記運転者の頭部振動を判別する第 5判別処理を含 むことを特徴とする請求項 1〜3のいずれかに記載の精神状態判別手段。
[14] 前記第 5判別処理は、車室内に設けられた前記撮像手段による前記運転者の撮像 情報力 運転者の頭部の振動状態を調べ、その振動の回数またはレベルに基づき 前記運転者の覚醒度を判別することを特徴とする請求項 13に記載の精神状態検出 装置。
[15] 複数の検出手段により運転者の状態をそれぞれ検出する検出ステップと、
前記検出手段からの検出結果に基づいて運転者の様子を判別する様子判別ステ ップと、
前記検出手段力 の検出結果に基づいて運転者の精神状態を精神状態判別手段 によって判別する精神状態判別ステップと、
前記様子判別ステップの判別結果に基づ!/、て、前記検出手段から前記精神状態 判別手段への出力を切り替える切替ステップと、を含むことを特徴とする精神状態検 出方法。
PCT/JP2007/055908 2006-03-24 2007-03-22 運転者の精神状態検出装置および精神状態検出方法 WO2007111223A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2008507458A JP4739407B2 (ja) 2006-03-24 2007-03-22 運転者の精神状態検出装置
US12/294,194 US20090209829A1 (en) 2006-03-24 2007-03-22 Apparatus for detecting driver's mental state and method for detecting mental state

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2006-083161 2006-03-24
JP2006083161 2006-03-24

Publications (1)

Publication Number Publication Date
WO2007111223A1 true WO2007111223A1 (ja) 2007-10-04

Family

ID=38541143

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2007/055908 WO2007111223A1 (ja) 2006-03-24 2007-03-22 運転者の精神状態検出装置および精神状態検出方法

Country Status (3)

Country Link
US (1) US20090209829A1 (ja)
JP (1) JP4739407B2 (ja)
WO (1) WO2007111223A1 (ja)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009089829A (ja) * 2007-10-05 2009-04-30 Denso Corp 生体状態推定装置及びプログラム並びに記録媒体
JP2010094439A (ja) * 2008-10-20 2010-04-30 Toyota Motor Corp 心理状態推定装置及び心理状態推定方法
JP2010141843A (ja) * 2008-12-15 2010-06-24 Brother Ind Ltd 会議システム、通信会議支援方法、会議端末装置及びプログラム
JP2014520607A (ja) * 2011-07-05 2014-08-25 サウジ アラビアン オイル カンパニー 車両の運転者の健康状況および人間工学的状況をモニタリングするための、システム、コンピュータ媒体、およびコンピュータの実行方法
JP2016009247A (ja) * 2014-06-23 2016-01-18 本田技研工業株式会社 運転補助装置、運転補助方法、及び運転補助プログラム
JP2016131604A (ja) * 2015-01-16 2016-07-25 セイコーエプソン株式会社 生体情報測定システム、生体情報測定装置および生体情報測定方法
JP2017004043A (ja) * 2015-06-04 2017-01-05 マツダ株式会社 運転者状態判定方法及びその判定装置
JP2017027393A (ja) * 2015-07-23 2017-02-02 パナソニックＩｐマネジメント株式会社 眠気判定装置、眠気判定方法、眠気判定プログラムおよび記録媒体
JP2018064739A (ja) * 2016-10-19 2018-04-26 マツダ株式会社 運転状態判定装置
JP2018089091A (ja) * 2016-12-02 2018-06-14 東京電力ホールディングス株式会社 心理状態判定装置、心理状態判定方法、及び心理状態判定プログラム
CN109674482A (zh) * 2018-12-28 2019-04-26 浙江大学 一种高速公路行车心理分析的实验设备及其方法
JP2019093175A (ja) * 2019-02-05 2019-06-20 パイオニア株式会社 眠気算出装置
JP2021003560A (ja) * 2020-08-26 2021-01-14 パイオニア株式会社 眠気算出装置
JP2021077130A (ja) * 2019-11-11 2021-05-20 マツダ株式会社 運転者状態推定装置および運転者状態推定方法
JP2021077139A (ja) * 2019-11-11 2021-05-20 マツダ株式会社 運転者状態推定装置
US12014619B2 (en) 2022-09-13 2024-06-18 Veronica Berry-Jones Pressure-sensing steering wheel cover device

Families Citing this family (65)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010143535A1 (ja) * 2009-06-08 2010-12-16 公立大学法人名古屋市立大学 眠気判定装置
US11511757B2 (en) 2010-06-07 2022-11-29 Affectiva, Inc. Vehicle manipulation with crowdsourcing
US11318949B2 (en) 2010-06-07 2022-05-03 Affectiva, Inc. In-vehicle drowsiness analysis using blink rate
US11292477B2 (en) 2010-06-07 2022-04-05 Affectiva, Inc. Vehicle manipulation using cognitive state engineering
US11017250B2 (en) 2010-06-07 2021-05-25 Affectiva, Inc. Vehicle manipulation using convolutional image processing
US11465640B2 (en) 2010-06-07 2022-10-11 Affectiva, Inc. Directed control transfer for autonomous vehicles
US11823055B2 (en) 2019-03-31 2023-11-21 Affectiva, Inc. Vehicular in-cabin sensing using machine learning
US10922567B2 (en) 2010-06-07 2021-02-16 Affectiva, Inc. Cognitive state based vehicle manipulation using near-infrared image processing
US10627817B2 (en) 2010-06-07 2020-04-21 Affectiva, Inc. Vehicle manipulation using occupant image analysis
US11151610B2 (en) * 2010-06-07 2021-10-19 Affectiva, Inc. Autonomous vehicle control using heart rate collection based on video imagery
US9934425B2 (en) 2010-06-07 2018-04-03 Affectiva, Inc. Collection of affect data from multiple mobile devices
US10796176B2 (en) 2010-06-07 2020-10-06 Affectiva, Inc. Personal emotional profile generation for vehicle manipulation
US11704574B2 (en) * 2010-06-07 2023-07-18 Affectiva, Inc. Multimodal machine learning for vehicle manipulation
US10482333B1 (en) 2017-01-04 2019-11-19 Affectiva, Inc. Mental state analysis using blink rate within vehicles
US11410438B2 (en) 2010-06-07 2022-08-09 Affectiva, Inc. Image analysis using a semiconductor processor for facial evaluation in vehicles
US11587357B2 (en) 2010-06-07 2023-02-21 Affectiva, Inc. Vehicular cognitive data collection with multiple devices
US10897650B2 (en) 2010-06-07 2021-01-19 Affectiva, Inc. Vehicle content recommendation using cognitive states
US10911829B2 (en) 2010-06-07 2021-02-02 Affectiva, Inc. Vehicle video recommendation via affect
US10779761B2 (en) 2010-06-07 2020-09-22 Affectiva, Inc. Sporadic collection of affect data within a vehicle
US11935281B2 (en) 2010-06-07 2024-03-19 Affectiva, Inc. Vehicular in-cabin facial tracking using machine learning
US11067405B2 (en) 2010-06-07 2021-07-20 Affectiva, Inc. Cognitive state vehicle navigation based on image processing
US9292471B2 (en) 2011-02-18 2016-03-22 Honda Motor Co., Ltd. Coordinated vehicle response system and method for driver behavior
US8698639B2 (en) 2011-02-18 2014-04-15 Honda Motor Co., Ltd. System and method for responding to driver behavior
TWI434233B (zh) 2011-05-17 2014-04-11 Ind Tech Res Inst 睡意預警方法
US9256711B2 (en) 2011-07-05 2016-02-09 Saudi Arabian Oil Company Systems, computer medium and computer-implemented methods for providing health information to employees via augmented reality display
CA2840804C (en) 2011-07-05 2018-05-15 Saudi Arabian Oil Company Floor mat system and associated, computer medium and computer-implemented methods for monitoring and improving health and productivity of employees
US9710788B2 (en) 2011-07-05 2017-07-18 Saudi Arabian Oil Company Computer mouse system and associated, computer medium and computer-implemented methods for monitoring and improving health and productivity of employees
US9844344B2 (en) 2011-07-05 2017-12-19 Saudi Arabian Oil Company Systems and method to monitor health of employee when positioned in association with a workstation
US9492120B2 (en) 2011-07-05 2016-11-15 Saudi Arabian Oil Company Workstation for monitoring and improving health and productivity of employees
US9833142B2 (en) 2011-07-05 2017-12-05 Saudi Arabian Oil Company Systems, computer medium and computer-implemented methods for coaching employees based upon monitored health conditions using an avatar
US10108783B2 (en) 2011-07-05 2018-10-23 Saudi Arabian Oil Company Systems, computer medium and computer-implemented methods for monitoring health of employees using mobile devices
US9526455B2 (en) 2011-07-05 2016-12-27 Saudi Arabian Oil Company Systems, computer medium and computer-implemented methods for monitoring and improving health and productivity of employees
US10307104B2 (en) 2011-07-05 2019-06-04 Saudi Arabian Oil Company Chair pad system and associated, computer medium and computer-implemented methods for monitoring and improving health and productivity of employees
DE102011110486A1 (de) * 2011-08-17 2013-02-21 Daimler Ag Verfahren und Vorrichtung zur Überwachung zumindest eines Fahrzeuginsassen und Verfahren zum Betrieb zumindest einer Assistenzvorrichtung
US20150164400A1 (en) * 2012-07-26 2015-06-18 Nissan Motor Co., Ltd. Driver's fatigue degree estimation apparatus and driver's fatigue degree estimation method
DE102013001553A1 (de) * 2013-01-30 2014-07-31 Holger Redtel Vitalparametermessung mittels Auswertung von RR- Intervallen und der Pulswellenlaufzeit, sowie Sauerstoff- und Atemmessung, Identitätserkennung, mit handelsüblichen Kameras für Video und oder Einzelbilder, Vorzugsweise mit einem Smartphone und Folgesystemen und deren verbundenen Geräten mit und ohne Berührung, Berührungsfrei-Fernmessung
WO2014105266A1 (en) * 2012-12-31 2014-07-03 Affectiva, Inc. Optimizing media based on mental state analysis
US9751534B2 (en) 2013-03-15 2017-09-05 Honda Motor Co., Ltd. System and method for responding to driver state
US11334066B2 (en) * 2013-03-27 2022-05-17 Pixart Imaging Inc. Safety monitoring apparatus and method thereof for human-driven vehicle
TWI511092B (zh) * 2013-03-27 2015-12-01 原相科技股份有限公司 用於載人行動載具的安全監控裝置及安全監控方法
US10499856B2 (en) 2013-04-06 2019-12-10 Honda Motor Co., Ltd. System and method for biological signal processing with highly auto-correlated carrier sequences
JP6312193B2 (ja) * 2013-10-21 2018-04-18 テイ・エス テック株式会社 覚醒装置及びシート
US9722472B2 (en) 2013-12-11 2017-08-01 Saudi Arabian Oil Company Systems, computer medium and computer-implemented methods for harvesting human energy in the workplace
KR101575051B1 (ko) * 2014-06-13 2015-12-21 엘지전자 주식회사 웨어러블 디바이스 및 그 제어방법
GB201411072D0 (en) * 2014-06-20 2014-08-06 Biorics Nv Stress monitoring for individuals in moving structures
CN107710050A (zh) 2015-06-30 2018-02-16 3M创新有限公司 照明器
US10642955B2 (en) 2015-12-04 2020-05-05 Saudi Arabian Oil Company Devices, methods, and computer medium to provide real time 3D visualization bio-feedback
US9889311B2 (en) 2015-12-04 2018-02-13 Saudi Arabian Oil Company Systems, protective casings for smartphones, and associated methods to enhance use of an automated external defibrillator (AED) device
US10475351B2 (en) 2015-12-04 2019-11-12 Saudi Arabian Oil Company Systems, computer medium and methods for management training systems
US10628770B2 (en) 2015-12-14 2020-04-21 Saudi Arabian Oil Company Systems and methods for acquiring and employing resiliency data for leadership development
EP3219256A1 (en) * 2016-03-18 2017-09-20 Valeo Comfort and Driving Assistance A method for determining a vigilance state of a driver of a vehicle
US10449968B2 (en) 2016-09-23 2019-10-22 Ford Motor Company Methods and apparatus for adaptively assisting developmentally disabled or cognitively impaired drivers
KR102287315B1 (ko) * 2017-04-14 2021-08-09 현대자동차주식회사 피로도 기반 차량 제어 장치 및 방법
US10922566B2 (en) 2017-05-09 2021-02-16 Affectiva, Inc. Cognitive state evaluation for vehicle navigation
EP3657465A4 (en) * 2017-07-21 2020-10-21 Sony Semiconductor Solutions Corporation VEHICLE CONTROL DEVICE AND VEHICLE CONTROL PROCEDURE
WO2019028039A1 (en) * 2017-08-01 2019-02-07 The Chamberlain Group, Inc. SYSTEM FOR FACILITATING ACCESS TO A SECURE AREA
US11055942B2 (en) * 2017-08-01 2021-07-06 The Chamberlain Group, Inc. System and method for facilitating access to a secured area
JP6944308B2 (ja) 2017-08-18 2021-10-06 ソニーセミコンダクタソリューションズ株式会社 制御装置、制御システム、および制御方法
US10824132B2 (en) 2017-12-07 2020-11-03 Saudi Arabian Oil Company Intelligent personal protective equipment
US10568578B2 (en) * 2018-02-02 2020-02-25 Lear Corporation Multi-source doppler radar system for monitoring cardiac and respiratory functions and positioning of vehicle seat occupant
US11821741B2 (en) 2018-04-17 2023-11-21 Lp-Research Inc. Stress map and vehicle navigation route
US11887383B2 (en) 2019-03-31 2024-01-30 Affectiva, Inc. Vehicle interior object management
CN112842359B (zh) * 2021-01-25 2022-09-16 国网江苏省电力有限公司电力科学研究院 一种智能安全帽的压力、疲劳信息监测方法
DE102021201459B3 (de) * 2021-02-16 2022-06-15 Volkswagen Aktiengesellschaft Verfahren zum Unterstützen eines Fahrzeugführers eines Fahrzeugs beim Führen des Fahrzeugs, sowie elektronisches Fahrerunterstützungssystem und Fahrzeug
US11820384B1 (en) 2023-03-14 2023-11-21 Stat Capsule Inc. Method to diagnose real time pulseless condition of a driver operating a vehicle

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005517484A (ja) * 2002-02-19 2005-06-16 ボルボ テクノロジー コーポレイション 運転者注意負荷の監視と管理とを行なうシステムおよび方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3011358B2 (ja) * 1994-11-16 2000-02-21 パイオニア株式会社 心拍測定装置
JP3619662B2 (ja) * 1998-02-18 2005-02-09 パイオニア株式会社 生体情報検出装置
WO2000044580A1 (en) * 1999-01-27 2000-08-03 Compumedics Sleep Pty. Ltd. Vigilance monitoring system
US6879969B2 (en) * 2001-01-21 2005-04-12 Volvo Technological Development Corporation System and method for real-time recognition of driving patterns
US20020180608A1 (en) * 2001-05-04 2002-12-05 Sphericon Ltd. Driver alertness monitoring system
US8301108B2 (en) * 2002-11-04 2012-10-30 Naboulsi Mouhamad A Safety control system for vehicles
US6822573B2 (en) * 2002-01-18 2004-11-23 Intelligent Mechatronic Systems Inc. Drowsiness detection system
JP3846872B2 (ja) * 2002-06-27 2006-11-15 パイオニア株式会社 運転者精神状態情報提供システム
JP2004090724A (ja) * 2002-08-30 2004-03-25 Pioneer Electronic Corp 移動体用再生制御システム、移動体用再生制御方法並びに移動体用再生制御プログラムおよびそれを記録した記録媒体
JP2004192345A (ja) * 2002-12-11 2004-07-08 Nissan Motor Co Ltd 運転者状態検出装置
DE10322458A1 (de) * 2003-05-16 2004-12-02 Daimlerchrysler Ag Verfahren und Vorrichtung zur Beeinflussung der Beanspruchung eines Fahrers in einem Kraftfahrzeug
JP4247055B2 (ja) * 2003-05-21 2009-04-02 株式会社デルタツーリング 運転席用座席システム
JP2005034520A (ja) * 2003-07-18 2005-02-10 Tokai Rika Co Ltd 体調監視システム
JPWO2005112764A1 (ja) * 2004-05-24 2008-03-27 パイオニア株式会社 生体情報検出装置
JP2005334106A (ja) * 2004-05-25 2005-12-08 Nissan Motor Co Ltd 運転者感情誘導装置
JP4543822B2 (ja) * 2004-08-23 2010-09-15 株式会社デンソー 眠気検出装置
US7639146B2 (en) * 2004-09-29 2009-12-29 Baura Gail D Blink monitor for detecting blink occurrence in a living subject
US7697766B2 (en) * 2005-03-17 2010-04-13 Delphi Technologies, Inc. System and method to determine awareness
JP2006277327A (ja) * 2005-03-29 2006-10-12 Honda Motor Co Ltd 乗員状態検出装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005517484A (ja) * 2002-02-19 2005-06-16 ボルボ テクノロジー コーポレイション 運転者注意負荷の監視と管理とを行なうシステムおよび方法

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009089829A (ja) * 2007-10-05 2009-04-30 Denso Corp 生体状態推定装置及びプログラム並びに記録媒体
JP2010094439A (ja) * 2008-10-20 2010-04-30 Toyota Motor Corp 心理状態推定装置及び心理状態推定方法
JP2010141843A (ja) * 2008-12-15 2010-06-24 Brother Ind Ltd 会議システム、通信会議支援方法、会議端末装置及びプログラム
JP2014520607A (ja) * 2011-07-05 2014-08-25 サウジ アラビアン オイル カンパニー 車両の運転者の健康状況および人間工学的状況をモニタリングするための、システム、コンピュータ媒体、およびコンピュータの実行方法
JP2016009247A (ja) * 2014-06-23 2016-01-18 本田技研工業株式会社 運転補助装置、運転補助方法、及び運転補助プログラム
JP2016131604A (ja) * 2015-01-16 2016-07-25 セイコーエプソン株式会社 生体情報測定システム、生体情報測定装置および生体情報測定方法
JP2017004043A (ja) * 2015-06-04 2017-01-05 マツダ株式会社 運転者状態判定方法及びその判定装置
JP2017027393A (ja) * 2015-07-23 2017-02-02 パナソニックＩｐマネジメント株式会社 眠気判定装置、眠気判定方法、眠気判定プログラムおよび記録媒体
JP2018064739A (ja) * 2016-10-19 2018-04-26 マツダ株式会社 運転状態判定装置
JP2018089091A (ja) * 2016-12-02 2018-06-14 東京電力ホールディングス株式会社 心理状態判定装置、心理状態判定方法、及び心理状態判定プログラム
CN109674482A (zh) * 2018-12-28 2019-04-26 浙江大学 一种高速公路行车心理分析的实验设备及其方法
JP2019093175A (ja) * 2019-02-05 2019-06-20 パイオニア株式会社 眠気算出装置
JP2021077130A (ja) * 2019-11-11 2021-05-20 マツダ株式会社 運転者状態推定装置および運転者状態推定方法
JP2021077139A (ja) * 2019-11-11 2021-05-20 マツダ株式会社 運転者状態推定装置
JP7276083B2 (ja) 2019-11-11 2023-05-18 マツダ株式会社 運転者状態推定装置
JP7342635B2 (ja) 2019-11-11 2023-09-12 マツダ株式会社 運転者状態推定装置および運転者状態推定方法
JP2021003560A (ja) * 2020-08-26 2021-01-14 パイオニア株式会社 眠気算出装置
US12014619B2 (en) 2022-09-13 2024-06-18 Veronica Berry-Jones Pressure-sensing steering wheel cover device

Also Published As

Publication number Publication date
JP4739407B2 (ja) 2011-08-03
US20090209829A1 (en) 2009-08-20
JPWO2007111223A1 (ja) 2009-08-13

Similar Documents

Publication Publication Date Title
JP4739407B2 (ja) 運転者の精神状態検出装置
JP5527411B2 (ja) 車両の緊急退避装置
JPWO2005112764A1 (ja) 生体情報検出装置
JP5423872B2 (ja) 生体状態判定装置
US20080071177A1 (en) Bioinformation Sensor
US20110163863A1 (en) Driver's Alert System
US9099002B2 (en) Vehicle having a device for influencing the attentiveness of the driver and for determining the viewing direction of the driver
KR101926921B1 (ko) 운전자 모니터링 장치 및 방법
JP2006335277A (ja) 運転状態推定装置および運転状態推定方法
JP2008068664A (ja) 車両制御装置および車両制御方法
KR101519748B1 (ko) 운전자 부주의 판단 방법 및 이를 위한 판단 장치
JP2015033457A (ja) 運転状態推定装置及び運転状態推定方法
CN109716411A (zh) 用以监测驾驶员的活动水平的方法和设备
JP4848997B2 (ja) 車載機器の誤操作防止装置および誤操作防止方法
JP2003177079A (ja) 操舵感計測装置
JP2002008159A (ja) ドライバ状態判定装置
JP2008068665A (ja) 車両制御装置および車両制御方法
JP6820243B2 (ja) 車両、判定方法及び判定プログラム
WO2018211966A1 (ja) 運転者監視装置、運転者監視方法及び運転者監視のためのプログラム
JP2005087284A (ja) 覚醒状態判定装置及び覚醒状態判定方法
JP2012166579A (ja) 状態判定装置、状態判定方法及びプログラム
JP6087171B2 (ja) 人の状態推定装置およびそれを備えた輸送機器
KR20170086241A (ko) 바이오피드백 가능한 드라이빙 코치 시스템 및 방법
JP2011210103A (ja) ドライバー状態判定装置
JP4849193B2 (ja) 車載機器の誤操作防止装置および誤操作防止方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 07739351

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2008507458

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 12294194

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 07739351

Country of ref document: EP

Kind code of ref document: A1