WO2018151229A1 - 生体状態推定装置 - Google Patents

生体状態推定装置 Download PDF

Info

Publication number
WO2018151229A1
WO2018151229A1 PCT/JP2018/005321 JP2018005321W WO2018151229A1 WO 2018151229 A1 WO2018151229 A1 WO 2018151229A1 JP 2018005321 W JP2018005321 W JP 2018005321W WO 2018151229 A1 WO2018151229 A1 WO 2018151229A1
Authority
WO
WIPO (PCT)
Prior art keywords
facial expression
physiological information
driver
state estimation
physical stimulus
Prior art date
Application number
PCT/JP2018/005321
Other languages
English (en)
French (fr)
Inventor
健司 鳴海
Original Assignee
株式会社東海理化電機製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社東海理化電機製作所 filed Critical 株式会社東海理化電機製作所
Publication of WO2018151229A1 publication Critical patent/WO2018151229A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems

Definitions

  • the present invention relates to a biological state estimation device.
  • Patent Document 1 An apparatus that determines a driver's biological condition based on the driver's eye opening time is known (see Patent Document 1).
  • a face imaging camera that captures the face of the driver
  • a means for obtaining the eye opening time of the driver based on the captured image of the face imaging camera calculating a variation in the eye opening time, and a driver based on the variation in the eye opening time
  • a state detecting unit for detecting a blurred state
  • the objective of this invention is providing the biological condition estimation apparatus which can estimate the biological condition of a driver with high precision.
  • a biological state estimation device includes a sensor that acquires driver's physiological information, a physiological information feature amount calculation unit that calculates a predetermined physiological information feature amount based on the physiological information acquired by the sensor, and , A physiological expression detection unit that captures the face of the driver, and a facial expression feature amount calculation unit that calculates a predetermined facial expression feature amount based on facial expression information extracted from the captured image of the imaging device
  • a facial expression detection unit a state estimation unit that estimates the state of the driver based on the physiological information feature quantity and the facial expression feature quantity, and a physical stimulus generation that generates a physical stimulus to the driver
  • the state estimation unit generates a physical stimulus by the physical stimulus generation unit, and acquires a change amount of the physiological information feature amount and a change amount of the facial expression feature amount before and after the physical stimulus. And those strange Based on the amount, it performs weighting on the facial expression characteristic amount and the physiological information feature amount when the estimated state of the driver.
  • FIG. 1 is a schematic configuration diagram of a biological state estimation apparatus according to the present embodiment.
  • FIG. 2 is a schematic diagram of the interior of the vehicle on which the biological state estimation device is mounted. In FIG. 1, the flow of main signals and information is indicated by arrows.
  • the biological state estimation device 1 is a device that is mounted on a vehicle 10 and estimates the biological state of the driver 11.
  • the biological state estimation device 1 is provided, for example, in a vehicle collision prevention device and is used as a device that estimates whether the driver 11 is in a blurred state.
  • the biological state estimation device 1 includes a physiological information detection unit 2, a facial expression detection unit 3, a state estimation unit 4, and a physical stimulus generation unit 5.
  • the physiological information detection unit 2 detects at least one of the heart rate, blood pressure, respiratory rate, sweating amount, skin temperature, and current flowing through the skin of the driver 11 as physiological information.
  • the physiological information detection unit 2 acquires three pieces of physiological information x1, x2, and x3.
  • the number of physiological information acquired by the physiological information detection unit 2 is not limited to three, and may be two or less, or four or more.
  • the physiological information detection unit 2 is configured to output physiological information x1, x2,. sensor 21 that acquires x3, and physiological information x1, x2,. a physiological information feature amount calculation unit 22 that calculates a predetermined physiological information feature amount y1 based on x3.
  • a heart rate measurement sensor 21 a disposed on the steering 13 is illustrated.
  • the physiological information x1, x2, x3 is detected using the dedicated sensor 21, the physiological information is obtained from a captured image of the camera 31 described later (for example, infrared rays). Information on skin temperature obtained from a captured image of the camera) may be used.
  • the physiological information feature amount calculation unit 22 is mounted on, for example, an ECU (electronic control unit) of the vehicle 10 and is configured by appropriately combining a CPU (Central Processing Unit), a memory, software, an interface, and the like.
  • the physiological information feature amount calculation unit 22 is represented by the following formula (1).
  • y1 a.x1 + b.x2 + c.x3 (1)
  • a, b, and c are coefficients for performing dimension adjustment and level adjustment (sensitivity adjustment).
  • the physiological information feature amount calculation unit 22 outputs the calculated physiological information feature amount y1 to the state estimation unit 4.
  • the facial expression detection unit 3 captures the face of the driver 11 with the camera 31 and detects a change in the facial expression of the driver 11 from the captured image.
  • the facial expression detection unit 3 detects at least one of the eye opening width (spreading width), the eye opening time, and the line-of-sight movement amount of the driver 11 as facial expression information.
  • the eye opening width as shown in FIG. 3A, the number of pixels corresponding to the maximum distance d along the vertical direction of the upper eyelid 111 and the lower eyelid 112 when the eye 110 is opened can be used.
  • As the eye opening time as shown in FIG. 3B, a time t1 from opening to closing can be used.
  • a time t2 (blink interval) from the closed eye to the closed eye may be used as the facial expression feature amount.
  • the facial expression detection unit 3 acquires three pieces of facial expression information X1, X2, and X3. Note that the number of facial expression information acquired by the facial expression detection unit 3 is not limited to three, and may be two or less, or four or more.
  • the facial expression detection unit 3 calculates a predetermined facial expression feature Y2 based on a camera 31 as an imaging device that captures the face of the driver 11 and facial expression information X1, X2, and X3 extracted from the captured image of the camera 31. And a facial expression feature amount calculation unit 32.
  • the camera 31 it is desirable to use a camera that can capture images at night, and it is preferable to use a camera that can generate an image according to the luminance of light including near infrared rays.
  • the facial expression detection unit 3 may have an illuminator that illuminates near infrared rays.
  • the camera 31 is provided in front of and above the driver's seat 12, but the position where the camera 31 is provided is not limited to this, and the camera 31 may be mounted on a dashboard, for example.
  • the facial expression feature amount calculation unit 32 is mounted on, for example, the ECU of the vehicle 10 and is configured by appropriately combining a CPU, memory, software, interface, and the like.
  • F, g, and h in Equation (2) are coefficients for performing dimension adjustment and level adjustment (sensitivity adjustment).
  • the facial expression feature quantity calculation unit 32 outputs the calculated facial expression feature quantity Y2 to the state estimation unit 4.
  • the physical stimulus generator 5 generates a physical stimulus to the driver 11.
  • a device that gives a physical stimulus to the driver 11 by generating sound, light, or vibration can be used.
  • a device that gives a physical stimulus to the driver 11 by temporarily pulling the seat belt of the driver's seat 12 can be used. It is desirable that the physical stimulus generated by the physical stimulus generator 5 is a stimulus that does not place an excessive burden on the driver 11 and that can change physiological information and facial expression.
  • the state estimation unit 4 estimates the driver's state based on the physiological information feature amount y1 and the facial expression feature amount Y2.
  • the state estimation unit 4 is mounted on, for example, the ECU of the vehicle 10 and is configured by appropriately combining a CPU, a memory, software, an interface, and the like.
  • the state estimation unit 4 causes the physical stimulus generation unit 5 to generate a physical stimulus to the driver 11, and the change amount ⁇ y1 of the physiological information feature y1 before and after the physical stimulus. Then, the change amount ⁇ Y2 of the facial expression feature amount Y2 is acquired, and the physiological information feature amount y1 and the facial expression feature amount Y2 are weighted when estimating the state of the driver 11 based on the change amounts ⁇ y1 and ⁇ Y2.
  • the state estimation unit 4 includes a weighting control unit 41, a state estimation feature value calculation unit 42, and an estimation unit 43.
  • the weighting control unit 41 causes the physical stimulus generation unit 5 to generate a physical stimulus, obtains a change amount ⁇ y1 of the physiological information feature amount y1 and a change amount ⁇ Y2 of the facial expression feature amount Y2 before and after the physical stimulus, and these change amounts. Based on ⁇ y1 and ⁇ Y2, a weighting coefficient is calculated.
  • the weighting control unit 41 uses the following equation (5) based on the change amount ⁇ y1 of the physiological information feature amount y1 and the change amount ⁇ Y2 of the facial expression feature amount Y2.
  • A ⁇ y1 / ( ⁇ y1 + ⁇ Y2) (5)
  • the poker face degree A increases as the change amount ⁇ y1 of the physiological information feature amount y1 increases with respect to the change amount ⁇ Y2 of the facial expression feature amount Y2. That is, as the poker face degree A is larger, the change in facial expression when a physical stimulus is applied is smaller, and the biological state is less likely to appear in the facial expression.
  • the weighting coefficient calculated by the weighting control unit 41 is not limited to the poker face degree A in Expression (5), and can be set as appropriate.
  • the timing at which the weighting control unit 41 causes the physical stimulus generation unit 5 to generate the physical stimulus is not particularly limited, but it is desirable to generate the physical stimulus when the vehicle does not affect traveling (for example, when the key is turned on).
  • the weight control unit 41 stores the calculated poker face degree A in a predetermined storage area of the memory.
  • the state estimation feature quantity computing unit 42 weights the physiological information feature quantity y1 and the facial expression feature quantity Y2 according to the poker face degree A, and computes the state estimation feature quantity y that is an indicator of the state of the driver 11. .
  • the state estimation feature quantity computing unit 42 is represented by the following equation (6).
  • y ⁇ ⁇ A ⁇ y1 + ⁇ ⁇ (1 ⁇ A) ⁇ Y2 (6)
  • ⁇ and ⁇ calculate the state estimation feature value y by a coefficient.
  • Coefficients ⁇ and ⁇ in equation (6) are coefficients that serve both as final balance adjustment and level adjustment, and are used, for example, to correct regional differences and race differences.
  • the coefficients ⁇ and ⁇ do not have to be different from each other, and ⁇ may be ⁇ . Further, when there is no need to take into account regional differences or race differences, for example, when the area where the vehicle 10 is provided is limited, the coefficients ⁇ and ⁇ may be omitted.
  • the estimation unit 43 estimates the state of the driver 11, for example, whether it is in a blurred state, by comparing the state estimation feature quantity y with a predetermined threshold.
  • a predetermined threshold for example, a case where the estimation unit 43 determines that the driver 11 is in an unsuitable biological state (for example, a blurred state) when the state estimation feature value y is equal to or greater than a threshold value. To do.
  • only one threshold is used, but the estimation unit 43 estimates the state of the driver 11 step by step by comparing the plurality of thresholds with the state estimation feature amount y. It may be configured as follows.
  • the state estimation unit 4 issues a warning to the driver 11 by generating sound, light, or vibration when the estimation unit 43 estimates that the driver 11 is in a predetermined biological state (for example, a blurred state). It may be configured.
  • the above-described physical stimulus generator 5 may be used as a means for issuing a warning by sound, light, or vibration.
  • the living body state estimation device 1 executes the control flow of FIG. 4A at the time of key-on, for example.
  • the weight control unit 41 performs a weight determination process to determine the poker face degree A. This weighting determination process will be described later.
  • step S2 After performing the weighting determination process in step S1, in step S2, the state estimation feature value calculation unit 42 acquires the physiological information feature value y1 from the physiological information feature value calculation unit 22, and calculates the facial expression feature value.
  • the facial expression feature amount Y2 is acquired from the unit 32.
  • step S3 the state estimation feature quantity computing unit 42 computes the state estimation feature quantity y using the above-described equation (6).
  • step S4 the estimation unit 43 determines whether or not the state estimation feature value y calculated in step S3 is equal to or greater than a preset threshold value. If NO is determined in step S4, the process returns to step S2. If YES is determined in step S4, in step S5, the state estimation unit 4 issues a warning to the driver 11 by sound, light, or vibration, and the process is terminated.
  • step S11 the weighting control unit 41 receives the physiological information before physical stimulation from the physiological information feature value calculation unit 22 and the facial expression feature value calculation unit 32.
  • the information feature amount y1 and the facial expression feature amount Y2 are acquired.
  • step S ⁇ b> 12 the weighting control unit 41 controls the physical stimulus generation unit 5 to give a physical stimulus to the driver 11.
  • step S ⁇ b> 13 the weighting control unit 41 acquires the physiological information feature amount y ⁇ b> 1 and the facial expression feature amount Y ⁇ b> 2 after physical stimulation from the physiological information feature amount calculation unit 22 and the facial expression feature amount calculation unit 32.
  • step S14 the weighting control unit 41 determines the amount of change ⁇ y1 in the physiological information feature y1 based on the physiological information feature y1 and the facial expression feature Y2 before and after the physical stimulation obtained in steps S11 and S13. A change amount ⁇ Y2 of the facial expression feature amount Y2 is calculated. Thereafter, in step S15, the weighting control unit 41 calculates the poker face degree A as the weighting coefficient by the above equation (5) based on the respective variations ⁇ y1 and ⁇ Y2 calculated in step S14. Further, the weighting control unit 41 stores the poker face degree A obtained by the calculation in a memory.
  • a physical stimulus is generated by the physical stimulus generator 5, and the change amount ⁇ y1 of the physiological information feature amount y1 and the facial expression feature before and after the physical stimulus are generated.
  • the change amount ⁇ Y2 of the amount Y2 is acquired, and the physiological information feature amount y1 and the facial expression feature amount Y2 are weighted when estimating the state of the driver 11 based on the change amounts ⁇ y1 and ⁇ Y2.
  • the biological state estimation apparatus 1 estimates the biological state using both physiological information and facial expression information, the driver 11 has a small change in facial expression relative to a change in biological state, and the physiological information regarding the change in biological state. Even with the driver 11 having a small change, it is possible to accurately estimate the biological state. Further, although the biological state is likely to appear in the facial expression or physiological information depending on the driver 11 depending on the driver 11, there are individual differences, but both feature amounts depend on the change amounts ⁇ y1 and ⁇ Y2 of both feature amounts y1 and Y2 before and after physical stimulation By performing the weighting of y1 and Y2, it is possible to accurately estimate the biological state of the driver 11 regardless of such individual differences.
  • the present embodiment it is possible to flexibly adjust which of physiological information and facial expression information is weighted according to the individuality of the driver 11, that is, the degree of the poker face degree of the driver 11, and the driver 11
  • the biological state estimation device 1 that can estimate the biological state with high accuracy can be realized.
  • the physical stimulus is generated only once.
  • the physical stimulus is generated a plurality of times, the change amount ⁇ y1 of the physiological information feature amount y1 before and after each physical stimulus, and the facial expression feature amount.
  • a change amount ⁇ Y2 of Y2 may be acquired, and a weighting coefficient (poker face degree A) may be calculated based on an average value of the change amounts ⁇ y1 and ⁇ Y2.
  • the physical stimulus generator 5 can generate a plurality of types of physical stimuli. And the types of physical stimuli may be varied randomly. In particular, in the case where the above-described physical stimulation is applied a plurality of times, it is possible to set a more appropriate weighting coefficient (Poker face degree A) by applying different types of physical stimulation, and the biological state of the driver 11 can be further improved. It becomes possible to estimate with high accuracy.
  • the driver 11 includes a physical stimulus detection unit 6 that detects the occurrence of a predetermined physical stimulus, and the state
  • the estimation unit 4 acquires the change amount ⁇ y1 of the physiological information feature amount y1 and the change amount ⁇ Y2 of the facial expression feature amount Y2 before and after the physical stimulus, and these change amounts Based on ⁇ y1 and ⁇ Y2, the physiological information feature y1 and the facial expression feature Y2 may be weighted when the state of the driver 11 is estimated.
  • the biological state estimation device 1a since it is unknown when a physical stimulus occurs, the history of the physiological information feature amount y1 and the facial expression feature amount Y2 for a predetermined period is stored in a predetermined area of the memory.
  • the above-described change amounts ⁇ y1 and ⁇ Y2 may be calculated using this history.
  • Examples of the physical stimulus detected by the physical stimulus detection unit 6 include a rapid change in brightness when the headlight of an oncoming vehicle is irradiated at night, a sudden vibration such as an impact when passing through a step, or the like.
  • the generation of loud sounds, such as when a horn is sounded, can be considered.
  • an illuminance sensor is used as the physical stimulus detection unit 6.
  • an appropriate sensor is used according to the set physical stimulus. Use it.
  • the driver 11 is not intentionally given physical stimulus, and weighting is performed using an external physical stimulus, so that it is possible to suppress discomfort of the driver 11. .

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Pathology (AREA)
  • Medical Informatics (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Educational Technology (AREA)
  • Developmental Disabilities (AREA)
  • Biophysics (AREA)
  • Child & Adolescent Psychology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Hospice & Palliative Care (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • General Physics & Mathematics (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Traffic Control Systems (AREA)

Abstract

生体状態推定装置１は、センサ２１で取得したドライバ１１の生理情報を基に生理情報特徴量を演算する生理情報特徴量演算部２２を有する生理情報検出部２と、ドライバ１１の顔を撮像するカメラ３１の撮像画像から抽出した顔表情情報を基に顔表情特徴量を演算する顔表情特徴量演算部３２を有する顔表情検出部３と、生理情報特徴量と顔表情特徴量とを基にドライバ１１の状態を推定する状態推定部４と、ドライバ１１への物理刺激を発生させる物理刺激発生部５と、を備え、状態推定部４は、物理刺激発生部５により物理刺激を発生させ、当該物理刺激の前後の生理情報特徴量の変化量及び顔表情特徴量の変化量を取得し、それら変化量を基に、ドライバ１１の状態の推定の際に生理情報特徴量と顔表情特徴量に重み付けを行う。

Description

生体状態推定装置 関連出願の相互参照
本出願は、２０１７年２月２０日に出願された日本国特許出願２０１７－０２９２４０号の優先権を主張するものであり、日本国特許出願２０１７－０２９２４０号の全内容を本出願に参照により援用する。
本発明は、生体状態推定装置に関する。
ドライバの開眼時間に基づいてドライバの生体状態を判定する装置が知られている（特許文献１参照）。この装置では、ドライバの顔を撮像する顔撮像カメラと、顔撮像カメラの撮像画像に基づいてドライバの開眼時間を取得し、開眼時間のばらつきを計算する手段と、開眼時間のばらつきに基づいてドライバのぼんやり状態を検知する状態検知手段と、運転状況に応じてドライバの開眼時間のばらつきを求めるための条件を設定する手段と、を備えている。
特開２０１１－１６７３９８号公報
ドライバによっては、例えば覚醒状態であっても眠い状態であっても、顔表情にほとんど変化がない場合がある。この場合、特許文献１に開示された、ドライバの生体状態を判定する装置では、生体状態（例えば、覚醒度合い）を顔表情のみで判定することは非常に困難である。
本発明の目的は、ドライバの生体状態を高精度に推定可能な生体状態推定装置を提供することにある。
本発明の一実施形態による生体状態推定装置は、ドライバの生理情報を取得するセンサと、前記センサで取得した前記生理情報を基に所定の生理情報特徴量を演算する生理情報特徴量演算部と、を有する生理情報検出部と、前記ドライバの顔を撮像する撮像装置と、前記撮像装置の撮像画像から抽出した顔表情情報を基に所定の顔表情特徴量を演算する顔表情特徴量演算部と、を有する顔表情検出部と、前記生理情報特徴量と前記顔表情特徴量とを基に、前記ドライバの状態を推定する状態推定部と、前記ドライバへの物理刺激を発生させる物理刺激発生部と、を備え、前記状態推定部は、前記物理刺激発生部により物理刺激を発生させ、当該物理刺激の前後の前記生理情報特徴量の変化量及び前記顔表情特徴量の変化量を取得し、それら変化量を基に、前記ドライバの状態の推定の際に前記生理情報特徴量と前記顔表情特徴量に重み付けを行う。
本発明の一実施形態によれば、ドライバの生体状態を高精度に推定可能な生体状態推定装置を提供できる。
本発明の一実施の形態に係る生体状態推定装置を示す説明図である。 生体状態推定装置が搭載された車両内部を示す説明図である。 顔表情特徴量としての開眼幅を示す説明図である。 顔表情特徴量としての開眼時間を示す説明図である。 生体状態推定装置の制御フローを示すフロー図である。 生体状態推定装置の重み付け決定処理の制御フローを示すフロー図である。 本発明の一変形例に係る生体状態推定装置の概略構成図である。
［実施の形態］
以下、本発明の実施の形態を添付図面にしたがって説明する。
図１は、本実施の形態に係る生体状態推定装置の概略構成図である。また、図２は、生体状態推定装置が搭載された車両内部の概略図である。図１では、主な信号や情報の流れを矢印で示している。
図１及び図２に示すように、生体状態推定装置１は、車両１０に搭載され、ドライバ１１の生体状態を推定する装置である。生体状態推定装置１は、例えば、車両の衝突防止装置に備えられ、ドライバ１１がぼんやり状態となっているかを推定する装置として用いられるものである。生体状態推定装置１は、生理情報検出部２と、顔表情検出部３と、状態推定部４と、物理刺激発生部５と、を備えている。
（生理情報検出部２の説明）
生理情報検出部２は、ドライバ１１の心拍数、血圧、呼吸数、発汗量、皮膚温度、及び皮膚に流れる電流の少なくとも１つを、生理情報として検出するものである。本実施の形態では、一例として、生理情報検出部２が、３つの生理情報ｘ１，ｘ２，ｘ３を取得しているとする。なお、生理情報検出部２が取得する生理情報の数は３つに限らず、２つ以下、あるいは４つ以上であってもよい。
生理情報検出部２は、ドライバ１１の生理情報ｘ１，ｘ２．ｘ３を取得するセンサ２１と、センサ２１で取得した生理情報ｘ１，ｘ２．ｘ３を基に所定の生理情報特徴量ｙ１を演算する生理情報特徴量演算部２２と、を有している。
図２では、センサ２１の一例として、ステアリング１３に配置された心拍数測定センサ２１ａを示している。本実施の形態では、専用のセンサ２１を用いて生理情報ｘ１，ｘ２，ｘ３を検出する場合を示しているが、生理情報としては、後述するカメラ３１の撮像画像から得られるもの（例えば、赤外線カメラの撮像画像より得られる皮膚温度の情報）を用いてもよい。
生理情報特徴量演算部２２は、例えば車両１０のＥＣＵ（電子制御ユニット）に搭載されており、ＣＰＵ（Central Processing Unit）、メモリ、ソフトウェア、インターフェイス等を適宜組み合わせて構成されている。本実施の形態では、生理情報特徴量演算部２２は、下式（１）
ｙ１＝ａ・ｘ１＋ｂ・ｘ２＋ｃ・ｘ３　　・・・（１）
により生理情報特徴量ｙ１を演算する。式（１）におけるａ，ｂ，ｃは、ディメンジョンの調整やレベル調整（感度調整）を行うための係数である。生理情報特徴量演算部２２は、演算した生理情報特徴量ｙ１を状態推定部４に出力する。
（顔表情検出部３の説明）
顔表情検出部３は、ドライバ１１の顔をカメラ３１により撮像し、その撮像画像からドライバ１１の顔表情の変化を検出するものである。顔表情検出部３は、ドライバ１１の開眼幅（見開き幅）、開眼時間、及び視線移動量の少なくとも１つを、顔表情情報として検出する。開眼幅としては、図３Ａに示すように、目１１０を開いた際の上瞼１１１と下瞼１１２の鉛直方向に沿った最大距離ｄに対応した画素数を用いることができる。また、開眼時間は、図３Ｂに示すように、開眼から閉眼までの時間ｔ１を用いることができる。また、開眼時間に代えて、閉眼から閉眼までの時間ｔ２（まばたき間隔）を顔表情特徴量として用いてもよい。本実施の形態では、一例として、顔表情検出部３が、３つの顔表情情報Ｘ１，Ｘ２，Ｘ３を取得しているとする。なお、顔表情検出部３が取得する顔表情情報の数は３つに限らず、２つ以下、あるいは４つ以上であってもよい。
顔表情検出部３は、ドライバ１１の顔を撮像する撮像装置としてのカメラ３１と、カメラ３１の撮像画像から抽出した顔表情情報Ｘ１，Ｘ２，Ｘ３を基に所定の顔表情特徴量Ｙ２を演算する顔表情特徴量演算部３２と、を有している。
カメラ３１としては、夜間にも撮像が可能なものを用いることが望ましく、近赤外線を含む光の輝度に応じた画像を生成可能なものを用いるとよい。また、顔表情検出部３は、近赤外線を照明する照明器を有していてもよい。本実施の形態では、運転席１２の前方かつ上方にカメラ３１を設けたが、カメラ３１を設ける位置はこれに限定されず、例えばダッシュボード上にカメラ３１が搭載されていてもよい。
顔表情特徴量演算部３２は、例えば車両１０のＥＣＵに搭載されており、ＣＰＵ、メモリ、ソフトウェア、インターフェイス等を適宜組み合わせて構成されている。本実施の形態では、顔表情特徴量演算部３２は、カメラ３１の撮像画像から顔表情情報Ｘ１，Ｘ２，Ｘ３を抽出し、下式（２）
Ｙ２＝ｆ・Ｘ１＋ｇ・Ｘ２＋ｈ・Ｘ３　　・・・（２）
により顔表情特徴量Ｙ２を演算する。式（２）におけるｆ，ｇ，ｈは、ディメンジョンの調整やレベル調整（感度調整）を行うための係数である。顔表情特徴量演算部３２は、演算した顔表情特徴量Ｙ２を状態推定部４に出力する。
（物理刺激発生部５の説明）
物理刺激発生部５は、ドライバ１１への物理刺激を発生させるものである。物理刺激発生部５としては、音や光や振動を発生させることにより、ドライバ１１に物理刺激を与えるものを用いることができる。また、物理刺激発生部５としては、運転席１２のシートベルトを一時的に引き込むことにより、ドライバ１１に物理刺激を与えるものも用いることができる。物理刺激発生部５が発生する物理刺激は、ドライバ１１に負担がかかりすぎず、かつ生理情報や顔表情の変化が得られる程度の刺激とすることが望ましい。
（状態推定部４の説明）
状態推定部４は、生理情報特徴量ｙ１と顔表情特徴量Ｙ２とを基に、ドライバの状態を推定するものである。状態推定部４は、例えば車両１０のＥＣＵに搭載されており、ＣＰＵ、メモリ、ソフトウェア、インターフェイス等を適宜組み合わせて構成されている。
本実施の形態に係る生体状態推定装置１では、状態推定部４は、物理刺激発生部５によりドライバ１１への物理刺激を発生させ、当該物理刺激の前後の生理情報特徴量ｙ１の変化量Δｙ１及び顔表情特徴量Ｙ２の変化量ΔＹ２を取得し、それら変化量Δｙ１，ΔＹ２を基に、ドライバ１１の状態の推定の際に生理情報特徴量ｙ１と顔表情特徴量Ｙ２に重み付けを行う。
以下、状態推定部４についてより詳細に説明する。状態推定部４は、重み付け制御部４１と、状態推定用特徴量演算部４２と、推定部４３と、を有している。
重み付け制御部４１は、物理刺激発生部５により物理刺激を発生させ、当該物理刺激の前後の生理情報特徴量ｙ１の変化量Δｙ１及び顔表情特徴量Ｙ２の変化量ΔＹ２を取得し、それら変化量Δｙ１，ΔＹ２を基に、重み付け係数を演算する。物理刺激前後の生理情報ｘ１，ｘ２，ｘ３の変化量をΔｘ１，Δｘ２，Δｘ３とし、顔表情情報Ｘ１，Ｘ２，Ｘ３の変化量をΔＸ１，ΔＸ２，ΔＸ３とすると、両変化量Δｙ１，ΔＹ２は、下式（３），（４）
Δｙ１＝ａ・Δｘ１＋ｂ・Δｘ２＋ｃ・Δｘ３　　・・・（３）
ΔＹ２＝ｆ・ΔＸ１＋ｇ・ΔＸ２＋ｈ・ΔＸ３　　・・・（４）
で表すことができる。
本実施の形態では、重み付け制御部４１は、生理情報特徴量ｙ１の変化量Δｙ１と、顔表情特徴量Ｙ２の変化量ΔＹ２とを基に、下式（５）
Ａ＝Δｙ１／（Δｙ１＋ΔＹ２）　　・・・（５）
により重み付け係数としてのポーカーフェース度Ａを演算する。式（５）より、顔表情特徴量Ｙ２の変化量ΔＹ２に対して、生理情報特徴量ｙ１の変化量Δｙ１が大きいほど、ポーカーフェース度Ａは大きくなる。つまり、ポーカーフェース度Ａが大きいほど、物理刺激があった際の顔表情の変化が小さく、生体状態が顔表情に表れにくい、ということを表している。なお、重み付け制御部４１で演算する重み付け係数は、式（５）のポーカーフェース度Ａに限定されず、適宜設定可能である。
重み付け制御部４１が物理刺激発生部５により物理刺激を発生させるタイミングについては、特に限定するものではないが、走行に影響のない停車時（例えばキーオン時）に物理刺激を発生させることが望ましい。重み付け制御部４１は、演算したポーカーフェース度Ａをメモリの所定の記憶領域に記憶しておく。
状態推定用特徴量演算部４２は、生理情報特徴量ｙ１と顔表情特徴量Ｙ２にポーカーフェース度Ａに応じた重み付けを行い、ドライバ１１の状態の指標となる状態推定用特徴量ｙを演算する。本実施の形態では、状態推定用特徴量演算部４２は、下式（６）
ｙ＝α・Ａ・ｙ１＋β・（１－Ａ）・Ｙ２　　・・・（６）
但し、α，βは係数
により状態推定用特徴量ｙを演算する。式（６）における係数α，βは、最終的なバランス調整とレベル調整とを兼ねた係数であり、例えば、地域による差や人種による差を補正するために用いられる。係数α，βは、互いに異なる値である必要はなく、α＝βであってもよい。また、例えば車両１０を提供する地域等が限定されている場合等、地域による差や人種による差を考慮する必要がない場合には、係数α，βを省略してもよい。
推定部４３は、状態推定用特徴量ｙと所定の閾値とを比較することで、ドライバ１１の状態、例えばぼんやり状態にあるか否かといった状態を推定するものである。本実施の形態では、一例として、推定部４３は、状態推定用特徴量ｙが閾値以上であるときにドライバ１１が好適でない生体状態（例えば、ぼんやり状態）になっていると判定する場合を説明する。なお、本実施の形態では、１つの閾値のみを用いているが、推定部４３は、複数の閾値と状態推定用特徴量ｙとを比較することで、ドライバ１１の状態を段階的に推定するように構成されていてもよい。
状態推定部４は、推定部４３によりドライバ１１が所定の生体状態（例えば、ぼんやり状態）にあると推定されたとき、音や光や振動を発生させることにより、ドライバ１１に警告を発するように構成されてもよい。この際、音や光や振動により警告を発する手段としては、上述の物理刺激発生部５を用いてもよい。
（生体状態推定装置１の制御フローの説明）
次に、生体状態推定装置１における制御フローを図４Ａ，図４Ｂを用いて説明する。
生体状態推定装置１は、例えばキーオン時に、図４Ａの制御フローを実行する。図４Ａに示すように、まず、ステップＳ１にて、重み付け制御部４１が、重み付け決定処理を行い、ポーカーフェース度Ａを決定する。この重み付け決定処理については後述する。
ステップＳ１にて重み付け決定処理を行った後、ステップＳ２にて、状態推定用特徴量演算部４２が、生理情報特徴量演算部２２から生理情報特徴量ｙ１を取得すると共に、顔表情特徴量演算部３２から顔表情特徴量Ｙ２を取得する。その後、ステップＳ３にて、状態推定用特徴量演算部４２が、上述の式（６）により状態推定用特徴量ｙを演算する。
その後、ステップＳ４にて、推定部４３が、ステップＳ３で演算した状態推定用特徴量ｙが、予め設定した閾値以上かを判定する。ステップＳ４でＮＯと判定された場合、ステップＳ２に戻る。ステップＳ４でＹＥＳと判定された場合、ステップＳ５にて、状態推定部４が音や光や振動によりドライバ１１に警告を発し、処理を終了する。
図４Ｂに示すように、ステップＳ１の重み付け決定処理では、まず、ステップＳ１１にて、重み付け制御部４１が、生理情報特徴量演算部２２及び顔表情特徴量演算部３２から、物理刺激前の生理情報特徴量ｙ１及び顔表情特徴量Ｙ２を取得する。その後、ステップＳ１２にて、重み付け制御部４１が、物理刺激発生部５を制御してドライバ１１に物理刺激を与える。その後、ステップＳ１３にて、重み付け制御部４１が、生理情報特徴量演算部２２及び顔表情特徴量演算部３２から、物理刺激後の生理情報特徴量ｙ１及び顔表情特徴量Ｙ２を取得する。
その後、ステップＳ１４にて、重み付け制御部４１が、ステップＳ１１及びＳ１３で得た物理刺激前後の生理情報特徴量ｙ１及び顔表情特徴量Ｙ２を基に、生理情報特徴量ｙ１の変化量Δｙ１と、顔表情特徴量Ｙ２の変化量ΔＹ２とを演算する。その後、ステップＳ１５にて、重み付け制御部４１が、ステップＳ１４で演算した各変化量Δｙ１，ΔＹ２を基に、上述の式（５）により重み付け係数としてのポーカーフェース度Ａを演算する。また、重み付け制御部４１は、演算により得られたポーカーフェース度Ａをメモリに記憶する。
（実施の形態の作用及び効果）
以上説明したように、本実施の形態に係る生体状態推定装置１では、物理刺激発生部５により物理刺激を発生させ、当該物理刺激の前後の生理情報特徴量ｙ１の変化量Δｙ１及び顔表情特徴量Ｙ２の変化量ΔＹ２を取得し、それら変化量Δｙ１，ΔＹ２を基に、ドライバ１１の状態の推定の際に生理情報特徴量ｙ１と顔表情特徴量Ｙ２に重み付けを行っている。
生体状態推定装置１では、生理情報と顔表情情報の両者を用いて生体状態を推定しているため、生体状態の変化に対する顔表情の変化が小さいドライバ１１や、生体状態の変化に対する生理情報の変化が小さいドライバ１１であっても、精度よく生体状態を推定することが可能になる。また、ドライバ１１によって生体状態が顔表情に表れやすいか、あるいは生理情報に表れやすいか個人差があるが、物理刺激前後の両特徴量ｙ１，Ｙ２の変化量Δｙ１，ΔＹ２に応じて両特徴量ｙ１，Ｙ２の重み付けを行うことによって、このような個人差によらず精度よくドライバ１１の生体状態を推定することが可能になる。つまり、本実施の形態によれば、ドライバ１１の個性、すなわち、ドライバ１１のポーカーフェース度の大小に応じて生理情報と顔表情情報のどちらに重きをおくかを柔軟に調整でき、ドライバ１１の生体状態を高精度に推定可能な生体状態推定装置１を実現できる。
（変形例）
上記実施の形態では、物理刺激を１回のみ発生させたが、これに限らず、複数回物理刺激を発生させ、各物理刺激の前後の生理情報特徴量ｙ１の変化量Δｙ１及び顔表情特徴量Ｙ２の変化量ΔＹ２を取得しておき、それら変化量Δｙ１，ΔＹ２の平均値を基に、重み付け係数（ポーカーフェース度Ａ）を演算するようにしてもよい。
また、ドライバ１１の個人差により敏感に反応する物理刺激の種類（音であるか、光であるか、振動であるか）は異なるため、複数種類の物理刺激を発生可能に物理刺激発生部５を構成し、物理刺激の種類をランダムに異ならせるようにしてもよい。特に、上述の複数回物理刺激を与える場合には、異なる種類の物理刺激を与えることでより適切な重み付け係数（ポーカーフェース度Ａ）を設定することが可能になり、ドライバ１１の生体状態をより高精度に推定可能となる。
さらにまた、上記実施の形態では、ドライバ１１への物理刺激を意図的に発生させる物理刺激発生部５を備える場合について説明したが、運転時等に生じた外部からの物理刺激を利用して、重み付け係数を決定するようにしてもよい。
この場合、図５に示す生体状態推定装置１ａのように、物理刺激発生部５に代えて、ドライバ１１に所定の物理刺激が発生したことを検出する物理刺激検出部６を備え、かつ、状態推定部４を、物理刺激検出部６が物理刺激を検出したとき、当該物理刺激の前後の生理情報特徴量ｙ１の変化量Δｙ１及び顔表情特徴量Ｙ２の変化量ΔＹ２を取得し、それら変化量Δｙ１、ΔＹ２を基に、ドライバ１１の状態の推定の際に生理情報特徴量ｙ１と顔表情特徴量Ｙ２に重み付けを行うように構成すればよい。なお、生体状態推定装置１ａでは、物理刺激がいつ発生するかが不明であるため、所定期間の生理情報特徴量ｙ１及び顔表情特徴量Ｙ２の履歴をメモリの所定領域に記憶させておくようにし、この履歴を用いて上述の変化量Δｙ１、ΔＹ２を演算するとよい。
物理刺激検出部６が検出する物理刺激としては、例えば、夜間に対向車のヘッドライトが照射された場合等の急激な明るさの変化、段差を通行する際の衝撃等の急激な振動、あるいはクラクションが鳴らされた場合等の大きな音の発生等が考えらえる。例えば、急激な明るさの変化を物理刺激に設定する場合には、物理刺激検出部６として照度センサを用いる等、物理刺激検出部６としては、設定する物理刺激に応じて適宜なセンサ等を用いればよい。
図５の生体状態推定装置１ａでは、ドライバ１１に意図的に物理刺激が与えられず、外来の物理刺激を利用して重み付けを行うために、ドライバ１１の不快感を抑制することが可能である。
以上、本発明の実施の形態及び変形例を説明したが、これらの実施の形態及び変形例は、一例に過ぎず、請求の範囲に係る発明を限定するものではない。これら新規な実施の形態及び変形例は、その他の様々な形態で実施されることが可能であり、本発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更などを行うことができる。また、これら実施の形態及び変形例の中で説明した特徴の組合せの全てが発明の課題を解決するための手段に必須であるとは限らない。さらに、これら実施の形態及び変形例は、発明の範囲及び要旨に含まれると共に、請求の範囲に記載された発明とその均等の範囲に含まれる。
１ 生体状態推定装置
２ 生理情報検出部
３ 顔表情検出部
４ 状態推定部
４１ 重み付け制御部
４２ 状態推定用特徴量演算部
４３ 推定部
５ 物理刺激発生部
６ 物理刺激検出部
１１ ドライバ
１２　運転席 

Claims (12)

  1. ドライバの生理情報を取得するセンサと、前記センサで取得した前記生理情報を基に所定の生理情報特徴量を演算する生理情報特徴量演算部と、を有する生理情報検出部と、
    前記ドライバの顔を撮像する撮像装置と、前記撮像装置の撮像画像から抽出した顔表情情報を基に所定の顔表情特徴量を演算する顔表情特徴量演算部と、を有する顔表情検出部と、
    前記生理情報特徴量と前記顔表情特徴量とを基に、前記ドライバの状態を推定する状態推定部と、
    前記ドライバへの物理刺激を発生させる物理刺激発生部と、を備え、
    前記状態推定部は、前記物理刺激発生部により物理刺激を発生させ、当該物理刺激の前後の前記生理情報特徴量の変化量及び前記顔表情特徴量の変化量を取得し、それら変化量を基に、前記ドライバの状態の推定の際に前記生理情報特徴量と前記顔表情特徴量に重み付けを行う、
    生体状態推定装置。
  2. 前記状態推定部は、
    前記物理刺激発生部により物理刺激を発生させ、当該物理刺激の前後の前記生理情報特徴量の変化量及び前記顔表情特徴量の変化量を取得し、それら変化量を基に重み付け係数を演算する重み付け制御部と、
    前記生理情報特徴量と前記顔表情特徴量に前記重み付け係数に応じた重み付けを行い、前記ドライバの状態の指標となる状態推定用特徴量を演算する状態推定用特徴量演算部と、
    前記状態推定用特徴量と所定の閾値とを比較することで、前記ドライバの状態を推定する推定部と、を有する、
    請求項１に記載の生体状態推定装置。
  3. 前記推定部は、前記状態推定用特徴量と前記所定の閾値として複数の閾値とを比較することで、前記ドライバの状態を段階的に推定する、
    請求項２に記載の生体状態推定装置。
  4. 前記重み付け制御部は、前記生理情報特徴量の変化量Δｙ１及び前記顔表情特徴量の変化量ΔＹ２を基に、下式（１）
    Ａ＝Δｙ１／（Δｙ１＋ΔＹ２）　　・・・（１）
    により重み付け係数Ａを演算し、
    前記状態推定用特徴量演算部は、前記生理情報特徴量ｙ１と前記顔表情特徴量Ｙ２と前記重み付け係数Ａとを基に、下式（２）
    ｙ＝α・Ａ・ｙ１＋β・（１－Ａ）・Ｙ２　　・・・（２）
    但し、α，βは係数
    により状態推定用特徴量ｙを演算する、
    請求項２または３に記載の生体状態推定装置。
  5. 前記重み付け制御部は、前記物理刺激発生部により複数回物理刺激を発生させ、各物理刺激の前後の前記生理情報特徴量の変化量及び前記顔表情特徴量の変化量を取得し、それら変化量の平均値を基に重み付け係数を演算する、
    請求項２乃至４の何れか１項に記載の生体状態推定装置。
  6. 前記物理刺激発生部は、音や光や振動を発生させることにより、前記ドライバに前記物理刺激を与えるもの、又は運転席のシートベルトを一時的に引き込むことにより、前記ドライバに前記物理刺激を与えるものを含む、
    請求項１乃至５の何れか１項に記載の生体状態推定装置。
  7. 前記生理情報検出部は、前記ドライバの心拍数、血圧、呼吸数、発汗量、皮膚温度及び皮膚に流れる電流の少なくとも１つを、前記生理情報として検出する、
    請求項１乃至６の何れか１項に記載の生体状態推定装置。
  8. 前記顔表情検出部は、前記ドライバの開眼幅、開眼時間、及び視線移動量の少なくとも１つを、前記顔表情情報として検出する、
    請求項１乃至７の何れか１項に記載の生体状態推定装置。
  9. 前記状態推定部は、前記ドライバが所定の生体状態にあると推定されたとき、前記ドライバに警告を発する警告発生手段を有する、
    請求項１乃至８の何れか１項に記載の生体状態推定装置。
  10. 前記警告発生手段は、前記物理刺激部から前記物理刺激を発生させる構成を含む、
    請求項９に記載の生体状態推定装置。 
  11. ドライバの生理情報を取得するセンサと、前記センサで取得した前記生理情報を基に所定の生理情報特徴量を演算する生理情報特徴量演算部と、を有する生理情報検出部と、
    前記ドライバの顔を撮像する撮像装置と、前記撮像装置の撮像画像から抽出した顔表情情報を基に所定の顔表情特徴量を演算する顔表情特徴量演算部と、を有する顔表情検出部と、
    前記生理情報特徴量と前記顔表情特徴量とを基に、前記ドライバの状態を推定する状態推定部と、
    前記ドライバに所定の物理刺激が発生したことを検出する物理刺激検出部と、を備え、
    前記状態推定部は、前記物理刺激検出部が物理刺激を検出したとき、当該物理刺激の前後の前記生理情報特徴量の変化量及び前記顔表情特徴量の変化量を取得し、それら変化量を基に、前記ドライバの状態の推定の際に前記生理情報特徴量と前記顔表情特徴量に重み付けを行う、
    生体状態推定装置。
  12. 前記物理刺激検出部は、運転時等に生じた外部からの物理刺激として、明るさの変化、振動あるいは音の発生を検出する、
    請求項１１に記載の生体状態推定装置。
PCT/JP2018/005321 2017-02-20 2018-02-15 生体状態推定装置 WO2018151229A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017029240A JP6814068B2 (ja) 2017-02-20 2017-02-20 生体状態推定装置
JP2017-029240 2017-02-20

Publications (1)

Publication Number Publication Date
WO2018151229A1 true WO2018151229A1 (ja) 2018-08-23

Family

ID=63169459

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/005321 WO2018151229A1 (ja) 2017-02-20 2018-02-15 生体状態推定装置

Country Status (2)

Country Link
JP (1) JP6814068B2 (ja)
WO (1) WO2018151229A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110309767A (zh) * 2019-06-28 2019-10-08 广州致远电子有限公司 活体检测设备、识别方法、装置及存储介质
CN112149610A (zh) * 2020-10-09 2020-12-29 支付宝(杭州)信息技术有限公司 一种目标对象的识别的方法和系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07249197A (ja) * 1994-03-10 1995-09-26 Mitsubishi Electric Corp 人物状態検出装置
JPH08147584A (ja) * 1994-11-25 1996-06-07 Toyota Motor Corp 居眠り運転防止装置
JP2009018047A (ja) * 2007-07-12 2009-01-29 Toyota Motor Corp 心理状態推定装置
JP2015033457A (ja) * 2013-08-08 2015-02-19 日産自動車株式会社 運転状態推定装置及び運転状態推定方法
JP2016149063A (ja) * 2015-02-13 2016-08-18 オムロン株式会社 感情推定装置及び感情推定方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3435413B2 (ja) * 1990-06-06 2003-08-11 独立行政法人産業技術総合研究所 車両用ヒューマンマシンシステム
JP2001282539A (ja) * 2000-03-30 2001-10-12 Toyota Central Res & Dev Lab Inc 概念の構造化方法、装置、及び概念構造を備えた装置
US7319780B2 (en) * 2002-11-25 2008-01-15 Eastman Kodak Company Imaging method and system for health monitoring and personal security
JP4727688B2 (ja) * 2008-04-23 2011-07-20 トヨタ自動車株式会社 覚醒度推定装置
WO2011111206A1 (ja) * 2010-03-11 2011-09-15 トヨタ自動車株式会社 生体状態判定装置
JP6998564B2 (ja) * 2017-02-08 2022-01-18 パナソニックＩｐマネジメント株式会社 覚醒度推定装置及び覚醒度推定方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07249197A (ja) * 1994-03-10 1995-09-26 Mitsubishi Electric Corp 人物状態検出装置
JPH08147584A (ja) * 1994-11-25 1996-06-07 Toyota Motor Corp 居眠り運転防止装置
JP2009018047A (ja) * 2007-07-12 2009-01-29 Toyota Motor Corp 心理状態推定装置
JP2015033457A (ja) * 2013-08-08 2015-02-19 日産自動車株式会社 運転状態推定装置及び運転状態推定方法
JP2016149063A (ja) * 2015-02-13 2016-08-18 オムロン株式会社 感情推定装置及び感情推定方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110309767A (zh) * 2019-06-28 2019-10-08 广州致远电子有限公司 活体检测设备、识别方法、装置及存储介质
CN112149610A (zh) * 2020-10-09 2020-12-29 支付宝(杭州)信息技术有限公司 一种目标对象的识别的方法和系统

Also Published As

Publication number Publication date
JP6814068B2 (ja) 2021-01-13
JP2018134148A (ja) 2018-08-30

Similar Documents

Publication Publication Date Title
JP4882766B2 (ja) 覚醒度算出装置
US8823792B2 (en) Wakefulness level estimation apparatus
US9405982B2 (en) Driver gaze detection system
JP5546655B2 (ja) 運転手の状態を識別するための方法および装置
JP4582137B2 (ja) 眠気度判定装置
JP5974915B2 (ja) 覚醒度検出装置、および覚醒度検出方法
US9526448B2 (en) State estimation device and state estimation program
US11787421B2 (en) Motion sickness estimation device, motion sickness reducing device and motion sickness estimation method
WO2013008303A1 (ja) 赤目検出装置
JP6387892B2 (ja) 眠気検知装置
JP2017536589A (ja) 瞬間的な眠りを検出するデバイス、方法およびコンピュータプログラム
JP6973928B2 (ja) 瞼開閉判定装置および眠気検知装置
JP2011123653A (ja) 運転者覚醒度検査装置
JP2017194772A (ja) 覚醒度判定装置
WO2018151229A1 (ja) 生体状態推定装置
JP3127760B2 (ja) 運転者の覚醒度検出装置
JP5292671B2 (ja) 覚醒度推定装置及びシステム並びに方法
JP2021037216A (ja) 閉眼判定装置
JP2013257691A (ja) 居眠り状態判定装置及び居眠り状態判定方法
JP6344254B2 (ja) 眠気検知装置
US20220284718A1 (en) Driving analysis device and driving analysis method
CN109657550A (zh) 一种疲劳度检测方法及装置
JP2018130342A (ja) 覚醒度推定装置、覚醒度推定方法及び覚醒度推定システム
US20200008732A1 (en) Arousal level determination device
JP7212251B2 (ja) 眼の開閉検出装置、乗員監視装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18754217

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18754217

Country of ref document: EP

Kind code of ref document: A1