JP4962917B2 - Driving state estimation device and driving state estimation method - Google Patents

Driving state estimation device and driving state estimation method Download PDF

Info

Publication number
JP4962917B2
JP4962917B2 JP2008125053A JP2008125053A JP4962917B2 JP 4962917 B2 JP4962917 B2 JP 4962917B2 JP 2008125053 A JP2008125053 A JP 2008125053A JP 2008125053 A JP2008125053 A JP 2008125053A JP 4962917 B2 JP4962917 B2 JP 4962917B2
Authority
JP
Japan
Prior art keywords
face
driver
mask
state
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008125053A
Other languages
Japanese (ja)
Other versions
JP2009276848A (en
Inventor
清貴 森泉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2008125053A priority Critical patent/JP4962917B2/en
Publication of JP2009276848A publication Critical patent/JP2009276848A/en
Application granted granted Critical
Publication of JP4962917B2 publication Critical patent/JP4962917B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

本発明は、運転状態推定装置、及び運転状態推定方法に関し、より特定的には、運転中にドライバがマスクを装着していたとしても、鼻孔の位置を推定することで、ドライバが閉眼状態であるか否かを推定すると共に、脇見状態であるか否かを推定することができる運転状態推定装置、及び運転状態推定方法に関する。   The present invention relates to a driving state estimation device and a driving state estimation method, and more specifically, even if the driver wears a mask during driving, the driver is in a closed eye state by estimating the position of the nostril. It is related with the driving | running state estimation apparatus and driving | running state estimation method which can estimate whether it is a look-aside state while estimating whether there exists.

従来、ドライバの運転状態を推定する技術として、ドライバの顔を撮像し、撮像した顔画像から得られるドライバの鼻孔の位置に基づいて、眼の位置を特定して眼の開度、及び顔の向きを判定することによって、ドライバが閉眼状態であるか否かを推定すると共に、脇見状態であるか否かを推定する運転状態推定装置が提案されている（例えば、特許文献１参照）。
特開２００１−５９５２号公報 Conventionally, as a technique for estimating the driving state of the driver, the driver's face is imaged, the eye position is determined based on the driver's nostril position obtained from the captured face image, and the eye opening and There has been proposed a driving state estimation device that estimates whether or not the driver is in an eye-closed state by determining the direction and whether or not the driver is in an aside state (see, for example, Patent Document 1).
JP 2001-5952 A

しかしながら、上述した従来の運転状態推定装置では、運転中にドライバがマスクを装着している場合、マスクによって鼻孔が隠蔽され、撮像した顔画像から鼻孔の位置が特定できない。   However, in the above-described conventional driving state estimation device, when the driver wears a mask during driving, the nostril is concealed by the mask, and the position of the nostril cannot be specified from the captured face image.

そのため、眼の位置を特定して眼の開度を判定したり、顔の向きを判定したりすることができず、ドライバが閉眼状態であるか否かを推定することができないと共に、脇見状態であるか否かを推定することができない。   Therefore, the eye position cannot be determined by determining the eye position or the face direction cannot be determined, it cannot be estimated whether or not the driver is in an eye-closed state, It cannot be estimated whether or not.

そこで、本発明は、上記問題に鑑みてなされた。すなわち、運転中にドライバがマスクを装着していたとしても、マスクの外形線に基づいて、ドライバの眼の位置を特定し、ドライバが閉眼状態であるか否かを推定すると共に、脇見状態であるか否かを推定することができる運転状態推定装置、及び運転状態推定方法を提供することを目的とする。   Therefore, the present invention has been made in view of the above problems. That is, even if the driver is wearing a mask during driving, the driver's eye position is determined based on the outline of the mask, whether the driver is in an eye-closed state, An object of the present invention is to provide a driving state estimation device and a driving state estimation method that can estimate whether or not there is a driving state.

本発明の第１の局面は、ドライバの運転状態を推定する運転状態推定装置に向けられている。本発明は、ドライバの顔を撮像する顔撮像部と、顔撮像部が撮像した顔画像からマスクの外形線を認識する外形線認識部と、外形線認識部が認識したマスクの外形線に基づいて、ドライバの眼の位置を特定して眼の開度、もしくは顔の向きの少なくとも一方を認識する顔状態認識部と、顔状態認識部が眼の開度を認識する場合は、認識した眼の開度からドライバが閉眼状態であるか否かを推定すると共に、前記顔状態認識部が顔の向きを認識する場合は、認識した顔の向きから脇見状態であるか否かを推定する運転状態推定部とを備える。   A first aspect of the present invention is directed to a driving state estimation device that estimates a driving state of a driver. The present invention is based on a face imaging unit that captures a driver's face, an outline recognition unit that recognizes a mask outline from a face image captured by the face imaging unit, and a mask outline recognized by the outline recognition unit. The face state recognition unit that identifies the eye position of the driver and recognizes at least one of the eye opening or the face direction, and the face state recognition unit recognizes the eye opening Driving that estimates whether the driver is in an eye-closed state and whether the face state recognition unit recognizes the orientation of the face, based on the recognized orientation of the face. A state estimation unit.

これにより、運転中にドライバがマスクを装着していたとしても、マスクの外形線に基づいて、ドライバの眼の位置を特定し、ドライバが閉眼状態であるか否かを推定すると共に、脇見状態であるか否かを推定することができる運転状態推定装置を提供することができる。   As a result, even if the driver wears a mask during driving, the driver's eye position is identified based on the outline of the mask, and it is estimated whether or not the driver is in an eye-closed state. It is possible to provide an operating state estimation device that can estimate whether or not.

また、顔撮像部が撮像した顔画像からドライバの鼻孔位置を認識する鼻孔位置認識部と、鼻孔位置認識部が顔画像からドライバの鼻孔位置を認識できない場合に、当該ドライバに発声を要求する発声要求部と、発声要求部の要求に応答してドライバが発声した音声を取得する音声取得部と、音声取得部が取得した音声を周波数分析することによって、ドライバがマスクを装着しているか否かを推定するマスク装着推定部とを更に備え、顔状態認識部は、マスク装着推定部がマスクを装着していると推定した場合に、外形線認識部が認識したマスクの外形線に基づいて、ドライバの眼の位置を特定して眼の開度を認識すると共に、顔の向きを認識し、運転状態推定部は、顔状態認識部が認識した眼の開度からドライバが閉眼状態であるか否かを推定すると共に、顔状態認識部が認識した顔の向きから脇見状態であるか否かを推定することが好ましい。   A nostril position recognition unit that recognizes the driver's nostril position from the face image captured by the face imaging unit, and an utterance that requests the driver to speak when the nostril position recognition unit cannot recognize the driver's nostril position from the face image Whether the driver wears a mask by frequency analysis of the request unit, the voice acquisition unit that acquires the voice uttered by the driver in response to the request of the utterance request unit, and the voice acquired by the voice acquisition unit A mask wearing estimation unit for estimating the mask, and the face state recognition unit, based on the outline of the mask recognized by the outline recognition unit when the mask wearing estimation unit estimates that the mask is worn, The eye position of the driver is identified to recognize the opening of the eye, the face direction is recognized, and the driving state estimation unit determines whether the driver is in the closed state based on the eye opening recognized by the face state recognition unit. Whether or not With a constant, it is preferable to estimate whether the inattentive state from the face orientation face state recognition unit has recognized.

これにより、ドライバがマスクをしていることを確実に推定でき、運転中にドライバがマスクを装着していたとしても、ドライバの眼の位置を特定し、ドライバが閉眼状態であるか否かを推定すると共に、脇見状態であるか否かを推定することができる運転状態推定装置を提供することができる。   This makes it possible to reliably estimate that the driver is wearing a mask, and even if the driver wears the mask during driving, the driver's eye position is identified and whether or not the driver is in the closed state. It is possible to provide a driving state estimation device that can estimate and whether or not it is an aside state.

また、マスク装着推定部は、ドライバがマスク装着時に発声した場合の音声の周波数を予め記憶しており、当該記憶されている音声の周波数と前記音声取得部が取得した音声の周波数とが類似する場合に、ドライバがマスクを装着していると推定することが好ましい。   In addition, the mask wearing estimation unit stores in advance the frequency of the voice when the driver utters when wearing the mask, and the stored voice frequency is similar to the voice frequency acquired by the voice acquisition unit. In some cases, it is preferable to estimate that the driver is wearing a mask.

これにより、ドライバがマスクをしていることを確実に推定でき、運転中にドライバがマスクを装着していたとしても、ドライバの眼の位置を特定し、ドライバが閉眼状態であるか否かを推定すると共に、脇見状態であるか否かを推定することができる運転状態推定装置を提供することができる。   This makes it possible to reliably estimate that the driver is wearing a mask, and even if the driver wears the mask during driving, the driver's eye position is identified and whether or not the driver is in the closed state. It is possible to provide a driving state estimation device that can estimate and whether or not it is an aside state.

また、外形線認識部は、前記顔撮像部が撮像した顔画像中の白色の四角形状の外形線をマスクの外形線として認識することが好ましい。   In addition, it is preferable that the outline recognition unit recognizes a white rectangular outline in the face image captured by the face imaging unit as an outline of the mask.

これにより、マスクの外形線に基づいて、ドライバの眼の位置を特定でき、運転中にドライバがマスクを装着していたとしても、ドライバが閉眼状態であるか否かを推定すると共に、脇見状態であるか否かを推定することができる運転状態推定装置を提供することができる。   Accordingly, the position of the driver's eyes can be identified based on the outline of the mask, and even if the driver wears the mask during driving, it is estimated whether the driver is in an eye-closed state, It is possible to provide an operating state estimation device that can estimate whether or not.

また、マスク装着推定部がマスクを装着していると推定した場合に、外形線認識部が認識したマスクの外形線に基づいて、ドライバの鼻孔位置を推定する鼻孔位置推定部を更に備え、顔状態認識部は、前記鼻孔位置推定部が推定した鼻孔位置に基づいて、ドライバの眼の位置を特定して眼の開度、もしくは顔の向きの少なくとも一方を認識し、運転状態推定部は、顔状態認識部が眼の開度を認識する場合は、認識した眼の開度からドライバが閉眼状態であるか否かを推定すると共に、顔状態認識部が顔の向きを認識する場合は、認識した顔の向きから脇見状態であるか否かを推定することが好ましい。   And a nostril position estimating unit that estimates the nostril position of the driver based on the outline of the mask recognized by the outline recognition unit when the mask wearing estimation unit estimates that the mask is attached, The state recognizing unit identifies the position of the eyes of the driver based on the nostril position estimated by the nostril position estimating unit, and recognizes at least one of the opening degree of the eye or the orientation of the face. When the face state recognition unit recognizes the opening degree of the eye, it is estimated whether the driver is in the closed eye state from the recognized eye opening degree, and when the face state recognition unit recognizes the face direction, It is preferable to estimate whether or not the subject is looking aside from the recognized face orientation.

これにより、運転中にドライバがマスクを装着していたとしても、鼻孔の位置を推定することで、ドライバが閉眼状態であるか否かを推定すると共に、脇見状態であるか否かを推定することができる運転状態推定装置を提供することができる。   As a result, even if the driver wears a mask during driving, the position of the nostril is estimated to estimate whether the driver is in an eye-closed state and whether the driver is in an aside state It is possible to provide an operation state estimation device that can perform the operation.

また、運転状態推定部は、前記顔状態認識部が認識した眼の開度が所定距離以下である状態が所定時間継続した場合にドライバが閉眼状態であると推定し、前記顔状態認識部が認識した顔の向きが正面に対して所定角以上をなす向きである状態が所定時間継続した場合に脇見状態であると推定することが好ましい。   The driving state estimation unit estimates that the driver is in an eye-closed state when a state in which the eye opening recognized by the face state recognition unit is a predetermined distance or less continues for a predetermined time, and the face state recognition unit It is preferable to presume that the recognized face is in a state of looking aside when a state in which the orientation of the face makes a predetermined angle or more with respect to the front is continued for a predetermined time.

これにより、運転中にドライバがマスクを装着していたとしても、ドライバが閉眼状態であるか否かを確実に推定すると共に、脇見状態であるか否かを確実に推定することができる運転状態推定装置を提供することができる。   Thus, even if the driver wears a mask during driving, it is possible to reliably estimate whether the driver is in an eye-closed state and can reliably estimate whether the driver is in a side-viewing state. An estimation device can be provided.

本発明の第２の局面は、ドライバの運転状態を推定する運転状態推定装置に向けられている。本発明は、ドライバの顔を撮像する顔撮像部と、顔撮像部が撮像した顔画像に対応するドライバの顔のサーモグラフ画像を取得するサーモグラフ画像取得部と、サーモグラフ画像取得部が取得した顔のサーモグラフに基づいて、顔撮像部が撮像した顔画像中の所定の温度よりも低い温度を示す顔の部分を鼻孔位置として推定する鼻孔位置推定部と、鼻孔位置推定部が推定した鼻孔位置に基づいて、顔撮像部が撮像した顔画像からドライバの眼の位置を特定して眼の開度を認識すると共に、顔の向きを認識する顔状態認識部と、顔状態認識部が認識した眼の開度からドライバが閉眼状態であるか否かを推定すると共に、顔状態認識部が認識した顔の向きから脇見状態であるか否かを推定する運転状態推定部とを備える。   The second aspect of the present invention is directed to a driving state estimation device that estimates a driving state of a driver. The present invention acquires a face imaging unit that images a driver's face, a thermograph image acquisition unit that acquires a thermograph image of a driver's face corresponding to the face image captured by the face imaging unit, and a thermograph image acquisition unit A nostril position estimating unit for estimating a face portion showing a temperature lower than a predetermined temperature in the face image captured by the face image capturing unit as a nostril position, and a nostril position estimating unit Based on the nostril position, a face state recognition unit and a face state recognition unit for recognizing the opening of the eye by identifying the position of the driver's eyes from the face image captured by the face imaging unit and recognizing the orientation of the face A driving state estimating unit that estimates whether or not the driver is in an eye-closed state based on the recognized eye opening, and that estimates whether or not the driver is in an aside state from the face orientation recognized by the face state recognizing unit.

これにより、運転中にドライバがマスクを装着していたとしても、サーモグラフにより鼻孔の位置を推定することで、ドライバが閉眼状態であるか否かを推定すると共に、脇見状態であるか否かを推定することができる運転状態推定装置を提供することができる。   As a result, even if the driver is wearing a mask during driving, it is estimated whether the driver is in an eye-closed state by estimating the position of the nostril by a thermograph, and whether the driver is in a side-by-side state. The driving | running state estimation apparatus which can estimate can be provided.

また、運転状態推定部は、顔状態認識部が認識した眼の開度が所定距離以下である状態が所定時間継続した場合にドライバが閉眼状態であると推定し、前記顔状態認識部が認識した顔の向きが正面に対して所定角以上をなす向きである状態が所定時間継続した場合に脇見状態であると推定することが好ましい。   The driving state estimation unit estimates that the driver is in an eye-closed state when a state in which the eye opening recognized by the face state recognition unit is equal to or less than a predetermined distance continues for a predetermined time, and the face state recognition unit recognizes It is preferable to estimate that the face is looking aside when a state in which the orientation of the face is at a predetermined angle or more with respect to the front continues for a predetermined time.

これにより、運転中にドライバがマスクを装着していたとしても、サーモグラフにより鼻孔の位置を推定することで、ドライバが閉眼状態であるか否かを確実に推定すると共に、脇見状態であるか否かを確実に推定することができる運転状態推定装置を提供することができる。   As a result, even if the driver wears a mask during driving, it is possible to reliably estimate whether or not the driver is in an eye-closed state by estimating the position of the nostril with a thermograph, and whether the driver is in an aside state It is possible to provide an operating state estimation device that can reliably estimate whether or not.

本発明の第３の局面は、ドライバの運転状態を推定する運転状態推定方法に向けられている。本発明は、ドライバの顔を撮像する顔撮像ステップと、顔撮像ステップで撮像した顔画像からマスクの外形線を認識する外形線認識ステップと、外形線認識ステップで認識したマスクの外形線に基づいて、ドライバの眼の位置を特定して眼の開度、もしくは顔の向きの少なくとも一方を認識する顔状態認識ステップと、顔状態認識ステップで眼の開度を認識する場合は、認識した眼の開度からドライバが閉眼状態であるか否かを推定すると共に、顔状態認識ステップで顔の向きを認識する場合は、認識した顔の向きから脇見状態であるか否かを推定する運転状態推定部とを備える。   The third aspect of the present invention is directed to a driving state estimation method for estimating a driving state of a driver. The present invention is based on a face imaging step for imaging a driver's face, an outline recognition step for recognizing a mask outline from a face image captured in the face imaging step, and a mask outline recognized in the outline recognition step. In the face state recognition step for identifying the eye position of the driver and recognizing at least one of the eye opening and the face orientation, and the face state recognition step for recognizing the eye opening, The driving state in which it is estimated whether the driver is in an eye-closed state based on the opening degree, and in the case of recognizing the face direction in the face state recognition step, whether the driver is in an aside state from the recognized face direction An estimation unit.

これにより、運転中にドライバがマスクを装着していたとしても、マスクの外形線に基づいて、ドライバの眼の位置を特定し、ドライバが閉眼状態であるか否かを推定すると共に、脇見状態であるか否かを推定することができる運転状態推定方法を提供することができる。   As a result, even if the driver wears a mask during driving, the driver's eye position is identified based on the outline of the mask, and it is estimated whether or not the driver is in an eye-closed state. It is possible to provide a driving state estimation method capable of estimating whether or not.

また、顔撮像部が撮像した顔画像からドライバの鼻孔位置を認識する鼻孔位置認識ステップと、鼻孔位置認識ステップで顔画像からドライバの鼻孔位置を認識できない場合に、当該ドライバに発声を要求する発声要求ステップと、発声要求ステップでの要求に応答してドライバが発声した音声を取得する音声取得ステップと、音声取得ステップで取得した音声を周波数分析することによって、ドライバがマスクを装着しているか否かを推定するマスク装着推定ステップとを更に備え、顔状態認識ステップでは、前記マスク装着推定ステップでマスクを装着していると推定した場合に、外形線認識ステップで認識したマスクの外形線に基づいて、ドライバの眼の位置を特定して眼の開度を認識すると共に、顔の向きを認識し、運転状態推定ステップでは、顔状態認識ステップで認識した眼の開度からドライバが閉眼状態であるか否かを推定すると共に、顔状態認識ステップで認識した顔の向きから脇見状態であるか否かを推定することが好ましい。   Also, a nostril position recognition step for recognizing the driver's nostril position from the face image captured by the face imaging unit, and an utterance requesting the driver to speak when the nostril position of the driver cannot be recognized from the face image in the nostril position recognition step Whether the driver is wearing a mask by performing a frequency analysis of the voice acquired in the request step, the voice acquired by the driver in response to the request in the voice request step, and the voice acquired in the voice acquisition step. A mask wearing estimation step for estimating the mask, and in the face state recognition step, when it is estimated that the mask is worn in the mask wearing estimation step, based on the outline of the mask recognized in the outline recognition step The eye position of the driver is identified and the eye opening is recognized, the face direction is recognized, and the driving state estimation step is recognized. In this case, it is estimated whether or not the driver is in an eye-closed state based on the opening degree of the eye recognized in the face state recognition step, and whether or not the driver is in a look-ahead state from the direction of the face recognized in the face state recognition step. It is preferable.

これにより、ドライバがマスクをしていることを確実に推定でき、運転中にドライバがマスクを装着していたとしても、ドライバの眼の位置を特定し、ドライバが閉眼状態であるか否かを推定すると共に、脇見状態であるか否かを推定することができる運転状態推定方法を提供することができる。   This makes it possible to reliably estimate that the driver is wearing a mask, and even if the driver wears the mask during driving, the driver's eye position is identified and whether or not the driver is in the closed state. It is possible to provide a driving state estimation method capable of estimating whether or not the vehicle is in an aside state.

また、マスク装着推定ステップでは、ドライバがマスク装着時に発声した場合の音声の周波数を予め記憶しており、当該記憶されている音声の周波数と前記音声取得ステップで取得した音声の周波数とが類似する場合に、ドライバがマスクを装着していると推定することが好ましい。   Further, in the mask wearing estimation step, the frequency of the voice when the driver utters when wearing the mask is stored in advance, and the stored voice frequency is similar to the voice frequency acquired in the voice obtaining step. In some cases, it is preferable to estimate that the driver is wearing a mask.

これにより、ドライバがマスクをしていることを確実に推定でき、運転中にドライバがマスクを装着していたとしても、ドライバの眼の位置を特定し、ドライバが閉眼状態であるか否かを推定すると共に、脇見状態であるか否かを推定することができる運転状態推定方法を提供することができる。   This makes it possible to reliably estimate that the driver is wearing a mask, and even if the driver wears the mask during driving, the driver's eye position is identified and whether or not the driver is in the closed state. It is possible to provide a driving state estimation method capable of estimating whether or not the vehicle is in an aside state.

また、外形線認識ステップでは、顔撮像ステップで撮像した顔画像中の白色の四角形状の外形線をマスクの外形線として認識することが好ましい。   In the outline recognition step, it is preferable to recognize the white square outline in the face image captured in the face imaging step as the mask outline.

これにより、マスクの外形線に基づいて、ドライバの眼の位置を特定でき、運転中にドライバがマスクを装着していたとしても、ドライバが閉眼状態であるか否かを推定すると共に、脇見状態であるか否かを推定することができる運転状態推定方法を提供することができる。   Accordingly, the position of the driver's eyes can be identified based on the outline of the mask, and even if the driver wears the mask during driving, it is estimated whether the driver is in an eye-closed state, It is possible to provide a driving state estimation method capable of estimating whether or not.

また、マスク装着推定ステップでマスクを装着していると推定された場合に、外形線認識ステップで認識したマスクの外形線に基づいて、ドライバの鼻孔位置を推定する鼻孔位置推定ステップを更に備え、顔状態認識ステップでは、前記鼻孔位置推定ステップで推定した鼻孔位置に基づいて、ドライバの眼の位置を特定して眼の開度、もしくは顔の向きの少なくとも一方を認識し、運転状態推定ステップでは、顔状態認識ステップで眼の開度を認識する場合は、認識した眼の開度からドライバが閉眼状態であるか否かを推定すると共に、顔状態認識ステップで顔の向きを認識する場合は、認識した顔の向きから脇見状態であるか否かを推定することが好ましい。   And a nostril position estimating step for estimating a nostril position of the driver based on the outline of the mask recognized in the outline recognition step when it is estimated that the mask is attached in the mask wearing estimation step, In the face state recognition step, the eye position of the driver is identified based on the nostril position estimated in the nostril position estimation step, and at least one of the eye opening or the face direction is recognized. When recognizing the opening degree of the eye in the face state recognition step, it is estimated whether or not the driver is in the closed eye state from the recognized eye opening degree, and when recognizing the face direction in the face state recognition step. It is preferable to estimate whether the person is looking aside from the recognized face orientation.

これにより、運転中にドライバがマスクを装着していたとしても、鼻孔の位置を推定することで、ドライバが閉眼状態であるか否かを推定すると共に、脇見状態であるか否かを推定することができる運転状態推定方法を提供することができる。   As a result, even if the driver wears a mask during driving, the position of the nostril is estimated to estimate whether the driver is in an eye-closed state and whether the driver is in an aside state It is possible to provide a driving state estimation method capable of

また、運転状態推定ステップでは、前記顔状態認識ステップで認識した眼の開度が所定距離以下である状態が所定時間継続した場合にドライバが閉眼状態であると推定し、前記顔状態認識ステップで認識した顔の向きが正面に対して所定角以上をなす向きである状態が所定時間継続した場合に脇見状態であると推定することが好ましい。   The driving state estimation step estimates that the driver is in an eye-closed state when the eye opening recognized in the face state recognition step is a predetermined distance or less continues for a predetermined time, and the face state recognition step It is preferable to presume that the recognized face is in a state of looking aside when a state in which the orientation of the face makes a predetermined angle or more with respect to the front is continued for a predetermined time.

これにより、運転中にドライバがマスクを装着していたとしても、サーモグラフにより鼻孔の位置を推定することで、ドライバが閉眼状態であるか否かを確実に推定すると共に、脇見状態であるか否かを確実に推定することができる運転状態推定装置を提供することができる。   As a result, even if the driver wears a mask during driving, it is possible to reliably estimate whether or not the driver is in an eye-closed state by estimating the position of the nostril with a thermograph, and whether the driver is in an aside state It is possible to provide an operating state estimation device that can reliably estimate whether or not.

本発明の第４の局面は、ドライバの運転状態を推定する運転状態推定方法に向けられている。本発明は、ドライバの顔を撮像する顔撮像ステップと、顔撮像ステップで撮像した顔画像に対応するドライバの顔のサーモグラフ画像を取得するサーモグラフ画像取得ステップと、サーモグラフ画像取得ステップで取得した顔のサーモグラフに基づいて、前記顔撮像ステップで撮像した顔画像中の所定の温度よりも低い温度を示す顔の部分を鼻孔位置として推定する鼻孔位置推定ステップと、鼻孔位置推定ステップで推定した鼻孔位置に基づいて、顔撮像ステップで撮像した顔画像からドライバの眼の位置を特定して眼の開度を認識すると共に、顔の向きを認識する顔状態認識ステップと、顔状態認識ステップで認識した眼の開度からドライバが閉眼状態であるか否かを推定すると共に、顔状態認識ステップで認識した顔の向きから脇見状態であるか否かを推定する運転状態推定ステップとを備える。   The fourth aspect of the present invention is directed to a driving state estimation method for estimating a driving state of a driver. The present invention is obtained by a face imaging step of imaging a driver's face, a thermograph image acquisition step of acquiring a thermograph image of the driver's face corresponding to the face image captured in the face imaging step, and a thermograph image acquisition step A nostril position estimation step for estimating a face portion showing a temperature lower than a predetermined temperature in the face image captured in the face imaging step as a nostril position, and a nostril position estimation step The face state recognition step and the face state recognition step for recognizing the opening of the eye by identifying the position of the eyes of the driver from the face image captured in the face imaging step based on the nostril position and the face state recognition step Whether the driver is closed or not is estimated from the opening degree of the eye recognized in step 3, and the look-ahead state is determined from the face orientation recognized in the face state recognition step. And a driving state estimation step of estimating whether.

これにより、運転中にドライバがマスクを装着していたとしても、サーモグラフにより鼻孔の位置を推定することで、ドライバが閉眼状態であるか否かを推定すると共に、脇見状態であるか否かを推定することができる運転状態推定方法を提供することができる。   As a result, even if the driver is wearing a mask during driving, it is estimated whether the driver is in an eye-closed state by estimating the position of the nostril by a thermograph, and whether the driver is in a side-by-side state. The driving | running state estimation method which can estimate is provided.

また、運転状態推定ステップでは、顔状態認識ステップで認識した眼の開度が所定距離以下である状態が所定時間継続した場合にドライバが閉眼状態であると推定し、顔状態認識ステップで認識した顔の向きが正面に対して所定角以上をなす向きである状態が所定時間継続した場合に脇見状態であると推定することが好ましい。   Further, in the driving state estimation step, when the state where the eye opening degree recognized in the face state recognition step is equal to or less than a predetermined distance continues for a predetermined time, the driver is estimated to be in the closed state and recognized in the face state recognition step. It is preferable to estimate that the face is looking aside when a state in which the face is at a predetermined angle or more with respect to the front is continued for a predetermined time.

これにより、運転中にドライバがマスクを装着していたとしても、サーモグラフにより鼻孔の位置を推定することで、ドライバが閉眼状態であるか否かを確実に推定すると共に、脇見状態であるか否かを確実に推定することができる運転状態推定方法を提供することができる。   As a result, even if the driver wears a mask during driving, it is possible to reliably estimate whether or not the driver is in an eye-closed state by estimating the position of the nostril with a thermograph, and whether the driver is in an aside state It is possible to provide a driving state estimation method that can reliably estimate whether or not.

運転中にドライバがマスクを装着していたとしても、マスクの外形線に基づいて、ドライバの眼の位置を特定し、ドライバが閉眼状態であるか否かを推定すると共に、脇見状態であるか否かを推定することができる運転状態推定装置、及び運転状態推定方法を提供することができる。   Even if the driver wears a mask during driving, the driver's eye position is determined based on the outline of the mask, whether the driver is closed, and whether the driver is looking aside. It is possible to provide a driving state estimation device and a driving state estimation method that can estimate whether or not.

（第１の実施形態）
以下、本発明の第１の実施の形態に係る運転状態推定装置について、図面に従って詳細に説明する。 (First embodiment)
Hereinafter, an operation state estimation device according to a first embodiment of the present invention will be described in detail with reference to the drawings.

図１は、本発明の第１の実施の形態に係る運転状態推定装置１００の全体構成を示すブロック図である。図１において、運転状態推定装置１００は、顔撮像部１１０、鼻孔位置認識部１２０、発声要求部１３０、音声取得部１４０、マスク装着推定部１５０、外形線認識部１６０、鼻孔位置推定部１７０、顔状態認識部１８０、及び運転状態推定部１９０を備える。   FIG. 1 is a block diagram showing an overall configuration of an operating state estimation device 100 according to the first embodiment of the present invention. 1, the driving state estimation device 100 includes a face imaging unit 110, a nostril position recognition unit 120, an utterance request unit 130, a voice acquisition unit 140, a mask wearing estimation unit 150, an outline recognition unit 160, a nostril position estimation unit 170, A face state recognition unit 180 and a driving state estimation unit 190 are provided.

顔撮像部１１０は、ドライバの顔を撮像できる位置に配置されたドライバの顔を撮像する、例えばカメラである。カメラＡＳＳＹの中に、赤外線カメラとＬＥＤが搭載されている。   The face imaging unit 110 is, for example, a camera that images the driver's face arranged at a position where the driver's face can be imaged. An infrared camera and an LED are mounted in the camera ASSY.

鼻孔位置認識部１２０は、顔撮像部１１０が撮像したドライバの顔画像を画像認識することによって、鼻孔位置を認識する。   The nostril position recognition unit 120 recognizes the nostril position by recognizing the driver's face image captured by the face imaging unit 110.

発声要求部１３０は、鼻孔位置認識部１２０がドライバの鼻孔位置を認識できない場合に、音声案内、及び／又は表示案内によってドライバに発声を要求する。   When the nostril position recognizing unit 120 cannot recognize the nostril position of the driver, the utterance request unit 130 requests the driver to speak by voice guidance and / or display guidance.

音声取得部１４０は、発声要求部１３０の発声要求に応答してドライバが発声した音声を取得する、例えばマイクである。   The voice acquisition unit 140 is, for example, a microphone that acquires the voice uttered by the driver in response to the utterance request from the utterance request unit 130.

マスク装着推定部１５０は、音声取得部１４０が取得した音声を周波数分析することによって、ドライバがマスクを装着しているか否かを推定する。すなわち、マスク装着推定部１５０は、ドライバがマスク装着時に発声した場合の音声の周波数を予め記憶しており、当該記憶されている音声の周波数ｆ１と音声取得部１４０が取得した音声のＦＦＴ演算によって得られる周波数ｆ２とが、図２に示すように類似する場合に、ドライバがマスクを装着していると推定する。これにより、ドライバがマスクをしていることを確実に推定できる。   The mask wearing estimation unit 150 estimates whether the driver is wearing a mask by performing frequency analysis on the voice acquired by the voice acquisition unit 140. That is, the mask wearing estimation unit 150 stores in advance the frequency of the voice when the driver utters when wearing the mask, and the FFT of the voice acquired by the voice acquisition unit 140 and the stored frequency f1 of the voice. When the obtained frequency f2 is similar as shown in FIG. 2, it is estimated that the driver is wearing a mask. Thereby, it can be reliably estimated that the driver is masking.

外形線認識部１６０は、顔撮像部１１０が撮像した顔画像を画像認識することによって、顔撮像部１１０が撮像した顔画像中の白色の四角形状の外形線をマスクの外形線として認識する。なお、外形線認識部１６０は、顔撮像部１１０が撮像した顔画像を画像認識することによって、顔撮像部１１０が撮像した顔画像中の略楕円形状の顔の外形線を認識してもよい。   The outline recognition unit 160 recognizes the white outline in the face image captured by the face imaging unit 110 as the outline of the mask by recognizing the face image captured by the face imaging unit 110. The outline recognition unit 160 may recognize the outline of a substantially elliptical face in the face image captured by the face imaging unit 110 by recognizing the face image captured by the face imaging unit 110. .

鼻孔位置推定部１７０は、図３に示すように、顔撮像部１１０が撮像した顔画像中の外形線認識部１６０が認識した四角形状のマスクの外形線Ｌ１の横方向の中央、縦方向の上辺から約１センチメートルの位置を鼻孔位置Ｎと推定する。これにより、マスクの外形線に基づいて鼻孔の位置を推定できる。なお、鼻孔位置推定部１７０は、顔撮像部１１０が撮像した顔画像中の外形線認識部１６０が認識した略楕円形状の顔の外形線Ｌ２の略中央の位置を鼻孔位置Ｎと推定してもよい。   As shown in FIG. 3, the nostril position estimation unit 170 is arranged in the horizontal center and vertical direction of the outline L1 of the rectangular mask recognized by the outline recognition unit 160 in the face image captured by the face imaging unit 110. A position about 1 centimeter from the upper side is estimated as a nostril position N. Thereby, the position of a nostril can be estimated based on the outline of a mask. The nostril position estimation unit 170 estimates the position of the approximate center of the outline line L2 of the substantially elliptical face recognized by the outline recognition unit 160 in the face image captured by the face imaging unit 110 as the nostril position N. Also good.

顔状態認識部１８０は、鼻孔位置推定部１７０が推定した鼻孔位置に基づいて、顔撮像部１１０が撮像した顔画像からドライバの眼の位置を特定して眼の開度を認識すると共に、顔の向きを認識し、認識データを運転状態推定部１９０へ出力する。   The face state recognition unit 180 identifies the position of the driver's eyes from the face image captured by the face imaging unit 110 based on the nostril position estimated by the nostril position estimation unit 170 and recognizes the opening of the eye. And the recognition data is output to the driving state estimation unit 190.

運転状態推定部１９０には、プリクラッシュ制御システム等の車両を制御するシステムが含まれる。運転状態推定部１９０は、眼の開度が所定の距離以下である状態が所定時間継続した場合にドライバが閉眼状態であると推定し、顔向き角度が正面に対して所定角以上をなす状態が所定時間継続した場合にドライバが脇見状態であると推定する。プリクラッシュ制御システムは、このようなドライバの運転状態の推定により、車両と障害物との衝突の危険を報ずる警告や、衝突回避走行の制御などを実行するタイミングをドライバの疲れ具合等に応じて決定する。   The driving state estimation unit 190 includes a system for controlling the vehicle such as a pre-crash control system. The driving state estimation unit 190 estimates that the driver is in an eye-closed state when the state where the eye opening is equal to or less than a predetermined distance continues for a predetermined time, and the face orientation angle is a predetermined angle or more with respect to the front It is presumed that the driver is in a state of looking aside when the period of time continues for a predetermined time. The pre-crash control system uses the estimation of the driver's driving state to determine the timing for executing warnings that report the danger of collision between the vehicle and obstacles, collision avoidance control, etc. according to the driver's fatigue level, etc. decide.

以下、本発明の第１の実施の形態に係る運転状態推定装置１００の動作について、図４のフロー図に従って説明する。   Hereinafter, the operation of the driving state estimation device 100 according to the first embodiment of the present invention will be described with reference to the flowchart of FIG.

まず、顔撮像部１１０は、ドライバの顔を撮像する（ステップＳ４０１）。次に、鼻孔位置推定部１７０は、顔撮像部１１０が撮像した顔画像から鼻孔位置が認識できたか否かを判定する（ステップＳ４０２）。   First, the face imaging unit 110 images the driver's face (step S401). Next, the nostril position estimation unit 170 determines whether the nostril position has been recognized from the face image captured by the face imaging unit 110 (step S402).

ステップＳ４０２において、鼻孔位置を認識できたと判定された場合、鼻孔位置推定部１７０は、鼻孔位置を特定する（ステップＳ４０２→ステップＳ４１１）。鼻孔位置の特定がなされると、顔状態認識部１８０は、鼻孔位置推定部１７０が特定した鼻孔位置に基づいて、顔撮像部１１０が撮像した顔画像からドライバの眼の位置を特定して眼の開度を認識すると共に、顔の向きを認識する（ステップＳ４１１→ステップＳ４０９）。顔状態が認識されると、運転状態推定部１９０は、眼の開度が所定の距離以下である状態が所定時間継続した場合にドライバが閉眼状態であると推定し、顔向き角度が正面に対して所定角以上をなす状態が所定時間継続した場合にドライバが脇見状態であると推定する（ステップＳ４０９→ステップＳ４１０）。   If it is determined in step S402 that the nostril position has been recognized, the nostril position estimation unit 170 identifies the nostril position (step S402 → step S411). When the nostril position is specified, the face state recognition unit 180 specifies the eye position of the driver from the face image captured by the face imaging unit 110 based on the nostril position specified by the nostril position estimation unit 170. And the direction of the face are recognized (step S411 → step S409). When the face state is recognized, the driving state estimating unit 190 estimates that the driver is in the closed state when the state where the eye opening is equal to or less than the predetermined distance continues for a predetermined time, and the face direction angle is set to the front. On the other hand, it is estimated that the driver is looking aside when the state of the predetermined angle or more continues for a predetermined time (step S409 → step S410).

一方、ステップＳ４０２において、鼻孔位置を認識できたと判定されなかった場合、発声要求部１３０は、ドライバに発声を要求する（ステップＳ４０３）。音声取得部１４０は、発声要求に応答してドライバが発声した音声を取得する（ステップＳ４０４）。音声が取得されると、マスク装着推定部１５０は、音声取得部１４０が取得した音声を周波数分析する（ステップＳ４０５）。マスク装着推定部１５０は、周波数分析の結果、ドライバがマスクを装着しているか否かを推定する（ステップＳ４０６）。   On the other hand, if it is not determined in step S402 that the nostril position has been recognized, the utterance request unit 130 requests the driver to utter (step S403). The voice acquisition unit 140 acquires the voice uttered by the driver in response to the utterance request (step S404). When the voice is acquired, the mask wearing estimation unit 150 performs frequency analysis on the voice acquired by the voice acquisition unit 140 (step S405). The mask wearing estimation unit 150 estimates whether the driver is wearing a mask as a result of the frequency analysis (step S406).

ステップＳ４０６において、マスクを装着していないと推定された場合、鼻孔位置推定部１７０は、鼻孔位置を特定する（ステップＳ４０６→ステップＳ４１１）。鼻孔位置の特定がなされると、顔状態認識部１８０は、鼻孔位置推定部１７０が特定した鼻孔位置に基づいて、顔撮像部１１０が撮像した顔画像からドライバの眼の位置を特定して眼の開度を認識すると共に、顔の向きを認識する（ステップＳ４１１→ステップＳ４０９）。顔状態が認識されると、運転状態推定部１９０は、眼の開度が所定の距離以下である状態が所定時間継続した場合にドライバが閉眼状態であると推定し、顔向き角度が正面に対して所定角以上をなす状態が所定時間継続した場合にドライバが脇見状態であると推定する（ステップＳ４０９→ステップＳ４１０）。   When it is estimated in step S406 that the mask is not worn, the nostril position estimating unit 170 specifies the nostril position (step S406 → step S411). When the nostril position is specified, the face state recognition unit 180 specifies the eye position of the driver from the face image captured by the face imaging unit 110 based on the nostril position specified by the nostril position estimation unit 170. And the direction of the face are recognized (step S411 → step S409). When the face state is recognized, the driving state estimating unit 190 estimates that the driver is in the closed state when the state where the eye opening is equal to or less than the predetermined distance continues for a predetermined time, and the face direction angle is set to the front. On the other hand, it is estimated that the driver is looking aside when the state of the predetermined angle or more continues for a predetermined time (step S409 → step S410).

一方、ステップＳ４０６において、マスクを装着していると推定された場合、外形線認識部１６０は、顔撮像部１１０が撮像した顔画像を画像認識することによって、顔撮像部１１０が撮像した顔画像中の白色の四角形状の外形線をマスクの外形線として認識する（ステップＳ４０７）。マスクの外形線の認識がなされると、鼻孔位置推定部１７０は、顔撮像部１１０が撮像した顔画像中の外形線認識部１６０が認識した四角形状のマスクの外形線に基づいて、鼻孔位置を推定する（ステップＳ４０８）。鼻孔位置の推定がなされると、顔状態認識部１８０は、鼻孔位置推定部１７０が推定した鼻孔位置に基づいて、顔撮像部１１０が撮像した顔画像からドライバの眼の位置を特定して眼の開度を認識すると共に、顔の向きを認識する（ステップＳ４０８→ステップＳ４０９）。顔状態が認識されると、運転状態推定部１９０は、眼の開度が所定の距離以下である状態が所定時間継続した場合にドライバが閉眼状態であると推定し、顔向き角度が正面に対して所定角以上をなす状態が所定時間継続した場合にドライバが脇見状態であると推定する（ステップＳ４０９→ステップＳ４１０）。   On the other hand, when it is estimated in step S406 that the mask is worn, the outline recognition unit 160 recognizes the face image captured by the face imaging unit 110 and thereby the face image captured by the face imaging unit 110. The white outline in white is recognized as the outline of the mask (step S407). When the outline of the mask is recognized, the nostril position estimating unit 170 detects the nostril position based on the outline of the rectangular mask recognized by the outline recognition unit 160 in the face image captured by the face imaging unit 110. Is estimated (step S408). When the nostril position is estimated, the face state recognition unit 180 identifies the position of the driver's eyes from the face image captured by the face imaging unit 110 based on the nostril position estimated by the nostril position estimation unit 170. And the direction of the face are recognized (step S408 → step S409). When the face state is recognized, the driving state estimating unit 190 estimates that the driver is in the closed state when the state where the eye opening is equal to or less than the predetermined distance continues for a predetermined time, and the face direction angle is set to the front. On the other hand, it is estimated that the driver is looking aside when the state of the predetermined angle or more continues for a predetermined time (step S409 → step S410).

このように、本発明によれば、運転中にドライバがマスクを装着していたとしても、マスクの外形線に基づいて、ドライバの眼の位置を特定し、ドライバが閉眼状態であるか否かを推定すると共に、脇見状態であるか否かを推定することができる運転状態推定装置、及び運転状態推定方法を提供することができる。   Thus, according to the present invention, even if the driver wears a mask during driving, the position of the driver's eyes is specified based on the outline of the mask, and whether or not the driver is in the closed state. In addition, it is possible to provide a driving state estimation device and a driving state estimation method that can estimate whether or not the vehicle is in the aside state.

（第２の実施形態）
以下、本発明の第２の実施の形態に係る運転状態推定装置について、図面に従って詳細に説明する。 (Second Embodiment)
Hereinafter, the driving | running state estimation apparatus which concerns on the 2nd Embodiment of this invention is demonstrated in detail according to drawing.

図５は、本発明の第２の実施の形態に係る運転状態推定装置２００の全体構成を示すブロック図である。図５において、運転状態推定装置２００は、顔撮像部２１０、サーモグラフ画像取得部２２０、鼻孔位置推定部２３０、顔状態認識部２４０、及び運転状態推定部２５０を備える。   FIG. 5 is a block diagram showing the overall configuration of the driving state estimation apparatus 200 according to the second embodiment of the present invention. 5, the driving state estimation device 200 includes a face imaging unit 210, a thermograph image acquisition unit 220, a nostril position estimation unit 230, a face state recognition unit 240, and a driving state estimation unit 250.

顔撮像部１１０は、ドライバの顔を撮像できる位置に配置されたドライバの顔を撮像する、例えばカメラである。カメラＡＳＳＹの中に、赤外線カメラとＬＥＤが搭載されている。   The face imaging unit 110 is, for example, a camera that images the driver's face arranged at a position where the driver's face can be imaged. An infrared camera and an LED are mounted in the camera ASSY.

サーモグラフ画像取得部２２０は、顔撮像部２１０が撮像した顔画像に対応するドライバの顔のサーモグラフ画像を取得する。   The thermograph image acquisition unit 220 acquires a thermograph image of the driver's face corresponding to the face image captured by the face imaging unit 210.

鼻孔位置推定部２３０は、サーモグラフ画像取得部２２０が取得した顔のサーモグラフに基づいて、顔撮像部２１０が撮像した顔画像中の所定の温度よりも低い温度を示す顔の部分を鼻孔位置として推定する。   The nostril position estimator 230 determines a portion of the face showing a temperature lower than a predetermined temperature in the face image captured by the face imager 210 based on the face thermograph acquired by the thermograph image acquirer 220 as the nostril position. Estimate as

顔状態認識部２４０は、鼻孔位置推定部２３０が推定した鼻孔位置に基づいて、顔撮像部２１０が撮像した顔画像からドライバの眼の位置を特定して眼の開度を認識すると共に、顔の向きを認識し、認識データを運転状態推定部２５０へ出力する。   Based on the nostril position estimated by the nostril position estimation unit 230, the face state recognition unit 240 identifies the position of the driver's eyes from the face image captured by the face imaging unit 210 and recognizes the opening of the eyes. And the recognition data is output to the driving state estimation unit 250.

運転状態推定部２５０は、眼の開度が所定の距離以下である状態が所定時間継続した場合にドライバが閉眼状態であると推定し、顔向き角度が正面に対して所定角以上をなす状態が所定時間継続した場合にドライバが脇見状態であると推定する。   The driving state estimation unit 250 estimates that the driver is in an eye-closed state when the state where the eye opening is equal to or less than a predetermined distance continues for a predetermined time, and the face orientation angle is a predetermined angle or more with respect to the front It is presumed that the driver is in a state of looking aside when the period of time continues for a predetermined time.

以下、本発明の第２の実施の形態に係る運転状態推定装置２００の動作について、図６のフロー図に従って説明する。   Hereinafter, operation | movement of the driving | running state estimation apparatus 200 which concerns on the 2nd Embodiment of this invention is demonstrated according to the flowchart of FIG.

まず、顔撮像部２１０は、ドライバの顔を撮像する（ステップＳ６０１）。次に、サーモグラフ画像取得部２２０は、顔撮像部２１０が撮像した顔画像に対応するドライバの顔のサーモグラフ画像を取得する（ステップＳ６０２）。   First, the face imaging unit 210 images the driver's face (step S601). Next, the thermograph image acquisition unit 220 acquires a thermograph image of the driver's face corresponding to the face image captured by the face imaging unit 210 (step S602).

サーモグラフ画像が取得されると、鼻孔位置推定部２３０は、サーモグラフ画像取得部２２０が取得した顔のサーモグラフに基づいて、顔撮像部２１０が撮像した顔画像中の所定の温度よりも低い温度を示す顔の部分を鼻孔位置として推定する（ステップＳ６０３）。   When the thermograph image is acquired, the nostril position estimation unit 230 is lower than a predetermined temperature in the face image captured by the face imaging unit 210 based on the thermograph of the face acquired by the thermograph image acquisition unit 220. The face portion indicating the temperature is estimated as the nostril position (step S603).

鼻孔位置が推定されると、顔状態認識部２４０は、鼻孔位置推定部２３０が推定した鼻孔位置に基づいて、顔撮像部２１０が撮像した顔画像からドライバの眼の位置を特定して眼の開度を認識すると共に、顔の向きを認識する（ステップＳ６０４）。   When the nostril position is estimated, the face state recognition unit 240 identifies the position of the driver's eyes from the face image captured by the face imaging unit 210 based on the nostril position estimated by the nostril position estimation unit 230. While recognizing the opening, the direction of the face is recognized (step S604).

運転状態推定部２５０は、眼の開度が所定の距離以下である状態が所定時間継続した場合にドライバが閉眼状態であると推定し、顔向き角度が正面に対して所定角以上をなす状態が所定時間継続した場合にドライバが脇見状態であると推定する（ステップＳ６０５）。   The driving state estimation unit 250 estimates that the driver is in an eye-closed state when the state where the eye opening is equal to or less than a predetermined distance continues for a predetermined time, and the face orientation angle is a predetermined angle or more with respect to the front It is presumed that the driver is in an aside state when the operation continues for a predetermined time (step S605).

このように、本発明によれば、運転中にドライバがマスクを装着していたとしても、サーモグラフにより鼻孔の位置を推定することで、ドライバが閉眼状態であるか否かを推定すると共に、脇見状態であるか否かを推定することができる運転状態推定装置、及び運転状態推定方法を提供することができる。   Thus, according to the present invention, even if the driver wears a mask during driving, the position of the nostril is estimated by a thermograph, thereby estimating whether or not the driver is in an eye-closed state. It is possible to provide a driving state estimation device and a driving state estimation method that can estimate whether or not the driver is in a sideways state.

上記実施の形態で説明した構成は、単に具体例を示すものであり、本願発明の技術的範囲を制限するものではない。本願の効果を奏する範囲において、任意の構成を採用することが可能である。   The configuration described in the above embodiment is merely a specific example and does not limit the technical scope of the present invention. Any configuration can be employed within the scope of the effects of the present application.

運転中にドライバがマスクを装着していたとしても、マスクの外形線に基づいて、ドライバの眼の位置を特定し、ドライバが閉眼状態であるか否かを推定すると共に、脇見状態であるか否かを推定することができる運転状態推定装置、及び運転状態推定方法等として有用である。   Even if the driver wears a mask during driving, the driver's eye position is determined based on the outline of the mask, whether the driver is closed, and whether the driver is looking aside. This is useful as a driving state estimation device that can estimate whether or not, a driving state estimation method, and the like.

本発明の第１の実施の形態に係る運転状態推定装置の全体構成を示すブロック図The block diagram which shows the whole structure of the driving | running state estimation apparatus which concerns on the 1st Embodiment of this invention. 音声の周波数分析に係る模式図Schematic diagram for frequency analysis of speech 鼻孔位置の推定の様子を示す模式図Schematic diagram showing how the nostril position is estimated 本発明の第１の実施の形態に係る運転状態推定装置の動作を示すフロー図The flowchart which shows operation | movement of the driving | running state estimation apparatus which concerns on the 1st Embodiment of this invention. 本発明の第２の実施の形態に係る運転状態推定装置の全体構成を示すブロック図The block diagram which shows the whole structure of the driving | running state estimation apparatus which concerns on the 2nd Embodiment of this invention. 本発明の第２の実施の形態に係る運転状態推定装置の動作を示すフロー図The flowchart which shows operation | movement of the driving | running state estimation apparatus which concerns on the 2nd Embodiment of this invention.

符号の説明Explanation of symbols

１００ 運転状態推定装置
１１０ 顔撮像部
１２０ 鼻孔位置認識部
１３０ 発声要求部
１４０ 音声取得部
１５０ マスク装着推定部
１６０ 外形線認識部
１７０ 鼻孔位置推定部
１８０ 顔状態認識部
１９０ 運転状態推定部
２００ 運転状態推定装置
２１０ 顔撮像部
２２０ サーモグラフ画像取得部
２３０ 鼻孔位置推定部
２４０ 顔状態認識部
２５０ 運転状態推定部 100 driving state estimation device 110 face imaging unit 120 nostril position recognition unit 130 utterance request unit 140 voice acquisition unit 150 mask wearing estimation unit 160 outline recognition unit 170 nostril position estimation unit 180 face state recognition unit 190 driving state estimation unit 200 driving state Estimation device 210 Face imaging unit 220 Thermograph image acquisition unit 230 Nostril position estimation unit 240 Face state recognition unit 250 Driving state estimation unit

Claims (10)

ドライバの運転状態を推定する運転状態推定装置であって、
ドライバの顔を撮像する顔撮像部と、
前記顔撮像部が撮像した顔画像からドライバの鼻孔位置を認識する鼻孔位置認識部と、
前記鼻孔位置認識部が顔画像からドライバの鼻孔位置を認識できない場合に、当該ドライバに発声を要求する発声要求部と、
前記発声要求部の要求に応答してドライバが発声した音声を取得する音声取得部と、
前記音声取得部が取得した音声を周波数分析することによって、ドライバがマスクを装着しているか否かを推定するマスク装着推定部と、
前記マスク装着推定部がマスクを装着していると推定した場合に、前記顔撮像部が撮像した顔画像からマスクの外形線を認識する外形線認識部と、
前記外形線認識部が認識したマスクの外形線に基づいて、ドライバの眼の位置を特定して眼の開度、もしくは顔の向きの少なくとも一方を認識する顔状態認識部と、
前記顔状態認識部が眼の開度を認識する場合は、認識した眼の開度からドライバが閉眼状態であるか否かを推定すると共に、前記顔状態認識部が顔の向きを認識する場合は、認識した顔の向きから脇見状態であるか否かを推定する運転状態推定部とを備える、運転状態推定装置。 A driving state estimation device for estimating a driving state of a driver,
A face imaging unit that images the driver's face;
A nostril position recognition unit for recognizing a driver's nostril position from a face image captured by the face imaging unit;
When the nostril position recognition unit cannot recognize the driver's nostril position from the face image, the utterance request unit that requests the driver to speak,
A voice acquisition unit that acquires the voice uttered by the driver in response to the request from the voice request unit;
A mask wearing estimation unit that estimates whether the driver is wearing a mask by performing frequency analysis on the voice acquired by the voice acquisition unit;
An outline recognition unit that recognizes an outline of a mask from a face image captured by the face imaging unit when the mask wearing estimation unit estimates that a mask is mounted ;
A face state recognition unit that identifies the position of the driver's eyes based on the outline of the mask recognized by the outline recognition unit and recognizes at least one of the eye opening and the face orientation;
When the face state recognition unit recognizes the opening degree of the eye, it is estimated whether the driver is in an eye-closed state from the recognized eye opening degree, and the face state recognition unit recognizes the face direction Is a driving state estimation device comprising: a driving state estimation unit that estimates whether or not the person is looking aside from the recognized face orientation. 前記マスク装着推定部は、ドライバがマスク装着時に発声した場合の音声の周波数を予め記憶しており、当該記憶されている音声の周波数と前記音声取得部が取得した音声の周波数とが類似する場合に、ドライバがマスクを装着していると推定することを特徴とする、請求項１に記載の運転状態推定装置。 The mask wearing estimation unit stores in advance a voice frequency when the driver utters when wearing the mask, and the stored voice frequency is similar to the voice frequency acquired by the voice acquisition unit to the driver and estimates that wearing the mask, driving state estimation device according to claim 1. 前記外形線認識部は、前記顔撮像部が撮像した顔画像中の白色の四角形状の外形線をマスクの外形線として認識することを特徴とする、請求項１または２に記載の運転状態推定装置。 3. The driving state estimation according to claim 1, wherein the outline recognition unit recognizes a white rectangular outline in a face image captured by the face imaging unit as an outline of a mask. apparatus. 前記マスク装着推定部がマスクを装着していると推定した場合に、前記外形線認識部が認識したマスクの外形線に基づいて、ドライバの鼻孔位置を推定する鼻孔位置推定部を更に備え、
前記顔状態認識部は、前記鼻孔位置推定部が推定した鼻孔位置に基づいて、ドライバの眼の位置を特定して眼の開度、もしくは顔の向きの少なくとも一方を認識することを特徴とする、請求項１に記載の運転状態推定装置。 When it is estimated that the mask wearing estimation unit is wearing a mask, further comprising a nostril position estimating unit for estimating the nostril position of the driver based on the outline of the mask recognized by the outline recognition unit,
The face state recognition unit, on the basis of the nostril position nostril position estimating unit has estimated, eye opening to identify the position of the eye of the driver or wherein recognition to Rukoto at least one of the orientation of the face, The operating state estimation device according to claim 1. 前記運転状態推定部は、前記顔状態認識部が認識した眼の開度が所定距離以下である状態が所定時間継続した場合にドライバが閉眼状態であると推定し、前記顔状態認識部が認識した顔の向きが正面に対して所定角以上をなす向きである状態が所定時間継続した場合に脇見状態であると推定することを特徴とする、請求項１〜４のいずれかに記載の運転状態推定装置。 The driving state estimation unit estimates that the driver is in an eye-closed state when a state where the eye opening recognized by the face state recognition unit is a predetermined distance or less continues for a predetermined time, and the face state recognition unit recognizes The driving according to any one of claims 1 to 4 , wherein when the state in which the orientation of the face is at a predetermined angle or more with respect to the front is continued for a predetermined time, it is estimated that the face is looking aside. State estimation device. ドライバの運転状態を推定する運転状態推定方法であって、
ドライバの顔を撮像する顔撮像ステップと、
前記顔撮像部が撮像した顔画像からドライバの鼻孔位置を認識する鼻孔位置認識ステップと、
前記鼻孔位置認識ステップで顔画像からドライバの鼻孔位置を認識できない場合に、当該ドライバに発声を要求する発声要求ステップと、
前記発声要求ステップでの要求に応答してドライバが発声した音声を取得する音声取得ステップと、
前記音声取得ステップで取得した音声を周波数分析することによって、ドライバがマスクを装着しているか否かを推定するマスク装着推定ステップと、
前記マスク装着推定ステップでマスクを装着していると推定した場合に、前記顔撮像ステップで撮像した顔画像からマスクの外形線を認識する外形線認識ステップと、
前記外形線認識ステップで認識したマスクの外形線に基づいて、ドライバの眼の位置を特定して眼の開度、もしくは顔の向きの少なくとも一方を認識する顔状態認識ステップと、
前記顔状態認識ステップで眼の開度を認識する場合は、認識した眼の開度からドライバが閉眼状態であるか否かを推定すると共に、前記顔状態認識ステップで顔の向きを認識する場合は、認識した顔の向きから脇見状態であるか否かを推定する運転状態推定部とを備える、運転状態推定方法。 A driving state estimation method for estimating a driving state of a driver,
A face imaging step for imaging the face of the driver;
A nostril position recognition step for recognizing the driver's nostril position from the face image captured by the face imaging unit;
If the nostril position of the driver cannot be recognized from the face image in the nostril position recognition step, the utterance request step of requesting the driver to speak,
A voice acquisition step of acquiring the voice uttered by the driver in response to the request in the utterance request step;
A mask wearing estimation step for estimating whether the driver is wearing a mask by performing frequency analysis on the voice obtained in the voice obtaining step;
An outline recognition step for recognizing the outline of the mask from the face image captured in the face imaging step when it is estimated that the mask is installed in the mask installation estimation step ;
A face state recognition step that identifies the position of the eyes of the driver and recognizes at least one of the opening degree of the eye or the face direction based on the outline of the mask recognized in the outline recognition step;
When recognizing the opening degree of the eye in the face state recognition step, when estimating whether the driver is in an eye-closed state from the recognized eye opening degree and recognizing the face direction in the face state recognition step Is a driving state estimation method, comprising: a driving state estimation unit that estimates whether or not the person is looking aside from the recognized face orientation. 前記マスク装着推定ステップでは、ドライバがマスク装着時に発声した場合の音声の周波数を予め記憶しており、当該記憶されている音声の周波数と前記音声取得ステップで取得した音声の周波数とが類似する場合に、ドライバがマスクを装着していると推定することを特徴とする、請求項６に記載の運転状態推定方法。 In the mask wearing estimation step, the frequency of the voice when the driver utters when wearing the mask is stored in advance, and the stored voice frequency and the voice frequency obtained in the voice obtaining step are similar The driving state estimation method according to claim 6 , wherein the driver is estimated to be wearing a mask. 前記外形線認識ステップでは、前記顔撮像ステップで撮像した顔画像中の白色の四角形状の外形線をマスクの外形線として認識することを特徴とする、請求項６または７に記載の運転状態推定方法。 8. The driving state estimation according to claim 6 , wherein in the outline recognition step, a white square outline in the face image captured in the face imaging step is recognized as a mask outline. Method. 前記マスク装着推定ステップでマスクを装着していると推定された場合に、前記外形線認識ステップで認識したマスクの外形線に基づいて、ドライバの鼻孔位置を推定する鼻孔位置推定ステップを更に備え、
前記顔状態認識ステップでは、前記鼻孔位置推定ステップで推定した鼻孔位置に基づいて、ドライバの眼の位置を特定して眼の開度、もしくは顔の向きの少なくとも一方を認識することを特徴とする、請求項６に記載の運転状態推定方法。 A nostril position estimating step of estimating a nostril position of the driver based on the outline of the mask recognized in the outline recognition step when it is estimated that the mask is attached in the mask wearing estimation step;
And in the face state recognition step, on the basis of the estimated nostril position nostril position estimation step, the eye opening to identify the position of the eye of the driver or wherein recognition to Rukoto at least one of the orientation of the face, The operation state estimation method according to claim 6 . 前記運転状態推定ステップでは、前記顔状態認識ステップで認識した眼の開度が所定距離以下である状態が所定時間継続した場合にドライバが閉眼状態であると推定し、前記顔状態認識ステップで認識した顔の向きが正面に対して所定角以上をなす向きである状態が所定時間継続した場合に脇見状態であると推定することを特徴とする、請求項６〜９のいずれかに記載の運転状態推定方法。 In the driving state estimation step, it is estimated that the driver is in an eye-closed state when a state in which the eye opening recognized in the face state recognition step is a predetermined distance or less continues for a predetermined time, and is recognized in the face state recognition step. The driving according to any one of claims 6 to 9 , wherein it is estimated that the face is in a look-ahead state when a state in which the orientation of the face is at a predetermined angle or more with respect to the front continues for a predetermined time. State estimation method.
JP2008125053A 2008-05-12 2008-05-12 Driving state estimation device and driving state estimation method Expired - Fee Related JP4962917B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008125053A JP4962917B2 (en) 2008-05-12 2008-05-12 Driving state estimation device and driving state estimation method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008125053A JP4962917B2 (en) 2008-05-12 2008-05-12 Driving state estimation device and driving state estimation method

Publications (2)

Publication Number Publication Date
JP2009276848A JP2009276848A (en) 2009-11-26
JP4962917B2 true JP4962917B2 (en) 2012-06-27

Family

ID=41442259

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008125053A Expired - Fee Related JP4962917B2 (en) 2008-05-12 2008-05-12 Driving state estimation device and driving state estimation method

Country Status (1)

Country Link
JP (1) JP4962917B2 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4999908B2 (en) * 2009-12-02 2012-08-15 本田技研工業株式会社 Mask wearing judgment device
JP6236768B2 (en) 2012-04-27 2017-11-29 セイコーエプソン株式会社 Ink jet recording method and ink jet recording apparatus
JP6747493B2 (en) * 2018-11-28 2020-08-26 株式会社デンソー Driver status determination device
CN112733794B (en) * 2021-01-22 2021-10-15 腾讯科技（深圳）有限公司 Method, device and equipment for correcting sight of face image and storage medium

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08153288A (en) * 1994-11-30 1996-06-11 Toyota Motor Corp Doze judging device
JP2002251617A (en) * 2001-02-22 2002-09-06 Toyota Central Res & Dev Lab Inc Device for detecting nose position
JP4016694B2 (en) * 2002-04-02 2007-12-05 日産自動車株式会社 Face state detection apparatus and method
JP4613718B2 (en) * 2005-07-07 2011-01-19 日産自動車株式会社 Vehicle air conditioner and vehicle air conditioning control method
JP4730191B2 (en) * 2006-04-27 2011-07-20 トヨタ自動車株式会社 VEHICLE DRIVE ASSISTANCE DEVICE AND WALKING STATE DETECTION DEVICE

Also Published As

Publication number Publication date
JP2009276848A (en) 2009-11-26

Similar Documents

Publication Publication Date Title
JP6591085B2 (en) Motion sickness estimation device, motion sickness prevention device, and motion sickness estimation method
US9840257B2 (en) Vehicle information presenting apparatus
WO2014125791A1 (en) Voice recognition device, voice recognition method, and program
CN104573623B (en) Face detection device and method
JP4926437B2 (en) Vehicle driving support device
US20160054795A1 (en) Information display device
KR101950476B1 (en) Driver state sensing system, driver state sensing method, and vehicle including thereof
US10275021B2 (en) Display apparatus of front-of-the-eye mounted type
WO2010035472A1 (en) Line-of-sight direction determination device and line-of-sight direction determination method
JP4962917B2 (en) Driving state estimation device and driving state estimation method
KR101438288B1 (en) Head movement detection apparatus
EP2860665A2 (en) Face detection apparatus, and face detection method
JP6926636B2 (en) State estimator
US20150125126A1 (en) Detection system in a vehicle for recording the speaking activity of a vehicle occupant
JP2014096632A (en) Imaging system
JP2005196567A (en) Face direction detecting device
JP2009251761A (en) Driving support system
JP2008141568A (en) Monitoring system, and driving assistant system
CN107548483B (en) Control method, control device, system and motor vehicle comprising such a control device
JP4118773B2 (en) Gaze direction detection device and gaze direction detection method
JP2020113066A5 (en)
KR20140114283A (en) Information processing device
JP2010134489A (en) Visual line detection device and method, and program
JP2020092370A (en) Imaging control device, imaging system, and imaging control method
KR20160064601A (en) Device for detecting occupants in a vehicle and method thereof

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20101012

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20110901

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110922

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110927

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111107

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120305

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120318

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150406

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees