JPWO2019198179A1 - 搭乗者状態判定装置、警告出力制御装置及び搭乗者状態判定方法 - Google Patents

搭乗者状態判定装置、警告出力制御装置及び搭乗者状態判定方法 Download PDF

Info

Publication number
JPWO2019198179A1
JPWO2019198179A1 JP2020512997A JP2020512997A JPWO2019198179A1 JP WO2019198179 A1 JPWO2019198179 A1 JP WO2019198179A1 JP 2020512997 A JP2020512997 A JP 2020512997A JP 2020512997 A JP2020512997 A JP 2020512997A JP WO2019198179 A1 JPWO2019198179 A1 JP WO2019198179A1
Authority
JP
Japan
Prior art keywords
passenger
determination unit
state determination
immobility
state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020512997A
Other languages
English (en)
Other versions
JP7118136B2 (ja
Inventor
永 菅原
永 菅原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of JPWO2019198179A1 publication Critical patent/JPWO2019198179A1/ja
Application granted granted Critical
Publication of JP7118136B2 publication Critical patent/JP7118136B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/168—Evaluating attention deficit, hyperactivity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4806—Sleep evaluation
    • A61B5/4809—Sleep detection, i.e. determining whether a subject is asleep or not
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09626—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages where the origin of the information is within the own vehicle, e.g. a local storage device, digital map
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1113—Local tracking of patients, e.g. in a hospital or private home
    • A61B5/1114—Tracking parts of the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116—Determining posture transitions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1121—Determining geometric values, e.g. centre of rotation or angular range of movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change

Abstract

搭乗者状態判定装置（１００）は、車室内撮像用のカメラ（２）による撮像画像（Ｉ）を示す画像データを取得する画像データ取得部（１１）と、画像データを用いて、撮像画像（Ｉ）に対する画像認識処理を実行する画像認識処理部（１２）と、画像認識処理の結果を用いて、搭乗者が不動状態であるか否かを判定する不動状態判定部（１３）と、不動状態判定部（１３）による判定結果を用いて、搭乗者が覚醒度の低下による異常状態であるか否かを判定する異常状態判定部（１４）とを備え、異常状態判定部（１４）は、不動状態の継続時間（Ｔ）が基準時間（Ｔｔｈ）を超えたとき、搭乗者が異常状態であると判定する。

Description

本発明は、搭乗者状態判定装置、警告出力制御装置及び搭乗者状態判定方法に関する。
従来、車室内撮像用のカメラによる撮像画像を用いて、運転者が覚醒度の低下による異常状態であるか否かを判定する技術が開発されている（例えば、特許文献１，２参照。）。以下、覚醒度の低下による異常状態を単に「異常状態」ということがある。
特許文献１記載の技術は、１個のカメラによる撮像画像に対する画像認識処理を実行することにより、運転者の開眼度を検出するものである。特許文献１記載の技術は、当該検出された開眼度に基づき運転者が異常状態であるか否かを判定するものである。
特許文献２記載の技術は、複数個のカメラの各々による撮像画像に運転者の頭部が含まれているか否かを判定することにより、前傾方向又は後傾方向に対する運転者の姿勢変化を検出するものである。特許文献２記載の技術は、当該検出された姿勢変化に基づき運転者が異常状態であるか否かを判定するものである。
特開２００８−９９８８４号公報 特開２０１７−４９６３６号公報
覚醒度の低下による異常状態には、意識の消失により前傾姿勢が発生している状態（以下「前傾状態」という。）、眼を開けた状態にて瞬眠が発生している状態（以下「開眼瞬眠状態」という。）、眼を閉じた状態にて瞬眠が発生している状態（以下「閉眼瞬眠状態」という。）及び意識の消失により後傾姿勢が発生している状態（以下「後傾状態」という。）などがある。
これらの異常状態のうち、閉眼瞬眠状態は開眼度の変化を伴うものであり、前傾状態及び後傾状態は姿勢の変化を伴うものである。このため、閉眼瞬眠状態は特許文献１記載の技術により判定可能であり、前傾状態及び後傾状態は特許文献２記載の技術により判定可能である。これに対して、開眼瞬眠状態による開眼度の変化は小さく、姿勢の変化も小さい。このため、開眼瞬眠状態は特許文献１，２記載の技術により判定することができないという問題があった。
また、特許文献１記載の技術は、開眼度が正常に検出されない状態（例えば運転者がサングラスを着用している状態又は運転者の眼が運転者の前髪により隠されている状態など）である場合、異常状態の判定をすることができないという問題があった。
本発明は、上記のような課題を解決するためになされたものであり、開眼瞬眠状態を含む異常状態を判定することができ、かつ、開眼度が正常に検出されない状態であるか否かにかかわらず異常状態を判定することができる搭乗者状態判定装置、警告出力制御装置及び搭乗者状態判定方法を提供することを目的とする。
本発明の搭乗者状態判定装置は、車室内撮像用のカメラによる撮像画像を示す画像データを取得する画像データ取得部と、画像データを用いて、撮像画像に対する画像認識処理を実行する画像認識処理部と、画像認識処理の結果を用いて、搭乗者が不動状態であるか否かを判定する不動状態判定部と、不動状態判定部による判定結果を用いて、搭乗者が覚醒度の低下による異常状態であるか否かを判定する異常状態判定部とを備え、異常状態判定部は、不動状態の継続時間が基準時間を超えたとき、搭乗者が異常状態であると判定するものである。
本発明によれば、上記のように構成したので、開眼瞬眠状態を含む異常状態を判定することができ、かつ、開眼度が正常に検出されない状態であるか否かにかかわらず異常状態を判定することができる。
実施の形態１に係る警告出力制御装置の要部を示すブロック図である。 実施の形態１に係る警告出力制御装置のうちの画像認識処理部の要部を示すブロック図である。 図３Ａは、撮像画像の一例を示す説明図である。図３Ｂは、顔領域の一例を示す説明図である。図３Ｃは、複数個の特徴点の一例を示す説明図である。 図４Ａは、喜びの表情に対応する複数個の特徴点の位置関係を示す説明図である。図４Ｂは、驚きの表情に対応する複数個の特徴点の位置関係を示す説明図である。図４Ｃは、恐れの表情に対応する複数個の特徴点の位置関係を示す説明図である。図４Ｄは、悲しみの表情に対応する複数個の特徴点の位置関係を示す説明図である。図４Ｅは、怒りの表情に対応する複数個の特徴点の位置関係を示す説明図である。図４Ｆは、嫌悪の表情に対応する複数個の特徴点の位置関係を示す説明図である。 複数個の特徴点及び運転者の骨格モデルの一例を示す説明図である。 図６Ａは、実施の形態１に係る警告出力制御装置のハードウェア構成を示すブロック図である。図６Ｂは、実施の形態１に係る警告出力制御装置の他のハードウェア構成を示すブロック図である。 実施の形態１に係る警告出力制御装置の動作を示すフローチャートである。 第ｎの撮像画像における顔領域と第ｎ＋１の撮像画像における顔領域とが互いに重畳している状態の一例を示す説明図である。 ＰＥＲＣＬＯＳの一例を示す説明図である。 図１０Ａは、基準ヒストグラムに係る所定時間の一例を示す説明図である。図１０Ｂは、基準ヒストグラムに係る顔領域の中心部のｘ座標値及びｙ座標値の一例を示す説明図である。図１０Ｃは、基準ヒストグラムの一例を示す説明図である。 図１１Ａは、比較用ヒストグラムに係る所定時間の一例を示す説明図である。図１１Ｂは、比較用ヒストグラムに係る顔領域の中心部のｘ座標値及びｙ座標値の一例を示す説明図である。図１１Ｃは、比較用ヒストグラムの一例を示す説明図である。 実施の形態２に係る警告出力制御装置の要部を示すブロック図である。 実施の形態２に係る警告出力制御装置の動作を示すフローチャートである。
以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
図１は、実施の形態１に係る警告出力制御装置の要部を示すブロック図である。図２は、実施の形態１に係る警告出力制御装置のうちの画像認識処理部の要部を示すブロック図である。図１及び図２を参照して、実施の形態１の搭乗者状態判定装置１００及び警告出力制御装置２００について説明する。
車両１は、車室内撮像用のカメラ２を有している。カメラ２は、例えば、車両１のセンタークラスターに設けられている。カメラ２は、例えば、赤外線カメラ又は可視光カメラにより構成されている。
画像データ取得部１１は、カメラ２による撮像画像Ｉを示す画像データを所定の時間間隔にてカメラ２から取得するものである。画像データ取得部１１は、当該取得された画像データを画像認識処理部１２に出力するものである。
画像認識処理部１２は、画像データ取得部１１により出力された画像データを用いて、撮像画像Ｉに対する画像認識処理を実行するものである。画像認識処理部１２による画像認識処理は、例えば、顔領域検出部２１、顔特徴点検出部２２、開眼度検出部２３、傾き角度検出部２４、表情検出部２５、人体領域検出部３１、骨格特徴点検出部３２及び傾き角度検出部３３による以下の処理を含むものである。
顔領域検出部２１は、撮像画像Ｉにおける車両１の運転者の顔に対応する領域（以下「顔領域」という。）Ａ１を検出するものである。顔領域Ａ１の検出方法は公知の種々の方法を用いることができるものであり、詳細な説明は省略する。以下、車両１の運転者を単に「運転者」という。
顔特徴点検出部２２は、顔領域Ａ１における複数個の特徴点Ｐ１であって、運転者の個々の顔パーツに対応する複数個の特徴点Ｐ１を検出するものである。特徴点Ｐ１の検出方法は公知の種々の方法を用いることができるものであり、詳細な説明は省略する。
具体的には、例えば、顔特徴点検出部２２は、運転者の右眼に対応する複数個の特徴点Ｐ１、運転者の左眼に対応する複数個の特徴点Ｐ１、運転車の鼻に対応する複数個の特徴点Ｐ１及び運転者の口に対応する複数個の特徴点Ｐ１を検出する。運転者の右眼に対応する複数個の特徴点Ｐ１は、例えば、目尻に対応する特徴点Ｐ１、目頭に対応する特徴点Ｐ１、上瞼に対応する特徴点Ｐ１及び下瞼に対応する特徴点Ｐ１などを含むものである。運転者の左眼に対応する複数個の特徴点Ｐ１は、例えば、目尻に対応する特徴点Ｐ１、目頭に対応する特徴点Ｐ１、上瞼に対応する特徴点Ｐ１及び下瞼に対応する特徴点Ｐ１などを含むものである。運転者の鼻に対応する複数個の特徴点Ｐ１は、例えば、鼻根に対応する特徴点Ｐ１、鼻背に対応する特徴点Ｐ１、鼻翼に対応する特徴点Ｐ１及び鼻尖に対応する特徴点Ｐ１などを含むものである。運転者の口に対応する複数個の特徴点Ｐ１は、例えば、上唇に対応する特徴点Ｐ１及び下唇に対応する特徴点Ｐ１などを含むものである。
図３Ａは撮像画像Ｉの一例を示しており、図３Ｂは顔領域Ａ１の一例を示しており、図３Ｃは複数個の特徴点Ｐ１の一例を示している。図３Ｃに示す例においては、運転者の右眼に対応する４個の特徴点Ｐ１、運転者の左眼に対応する４個の特徴点Ｐ１、運転者の鼻に対応する２個の特徴点Ｐ１及び運転者の口に対応する３個の特徴点Ｐ１が検出されている。
開眼度検出部２３は、顔特徴点検出部２２により検出された複数個の特徴点Ｐ１（より具体的には運転者の右眼に対応する複数個の特徴点Ｐ１及び運転者の左眼に対応する複数個の特徴点Ｐ１）を用いて、運転者の開眼度Ｄを検出するものである。開眼度Ｄの検出方法は公知の種々の方法を用いることができるものであり、以下の具体例に限定されるものではない。
具体的には、例えば、開眼度検出部２３は、上瞼に対応する特徴点Ｐ１と下瞼に対応する特徴点Ｐ１間の距離（以下「瞼間距離」という。）の現在値を算出する。開眼度検出部２３は、所定時間内の瞼間距離の最頻値に基づき、瞼間距離の基準値を算出する。開眼度検出部２３は、基準値に対する現在値の比率に基づき開眼度Ｄを算出する。すなわち、開眼度Ｄの単位はパーセントである。
傾き角度検出部２４は、顔特徴点検出部２２により検出された複数個の特徴点Ｐ１を用いて、運転者の頭部の傾き角度θ１を検出するものである。傾き角度θ１の検出方法は公知の種々の方法を用いることができるものであり、詳細な説明は省略する。
傾き角度θ１は、例えば、運転者の顔が車両１の前方に向けられており、かつ、運転者の後頭部が運転席のヘッドレストに当接している状態を基準（すなわち０°）とするものである。傾き角度検出部２４は、例えば、運転者の首を軸とする回転方向の傾き角度θ１、前傾方向又は後傾方向に対する傾き角度θ１及び左右方向に対する傾き角度θ１を検出する。
表情検出部２５は、顔特徴点検出部２２により検出された複数個の特徴点Ｐ１を用いて、運転者の表情を検出するものである。表情の検出方法は公知の種々の方法を用いることができるものであり、以下の具体例に限定されるものではない。
具体的には、例えば、表情検出部２５は、運転者の右眉に対応する３個の特徴点Ｐ１、運転者の左眉に対応する３個の特徴点Ｐ１、運転者の右眼に対応する２個の特徴点Ｐ１、運転者の左眼に対応する２個の特徴点Ｐ１及び運転者の口に対応する４個の特徴点Ｐ１の位置関係、すなわち合計１４個の特徴点Ｐ１の位置関係に基づき運転者の表情を検出する。図４Ａは、喜びの表情に対応する当該１４個の特徴点Ｐ１の位置関係の一例を示している。図４Ｂは、驚きの表情に対応する当該１４個の特徴点Ｐ１の位置関係の一例を示している。図４Ｃは、恐れの表情に対応する当該１４個の特徴点Ｐ１の位置関係の一例を示している。図４Ｄは、悲しみの表情に対応する当該１４個の特徴点Ｐ１の位置関係の一例を示している。図４Ｅは、怒りの表情に対応する当該１４個の特徴点Ｐ１の位置関係の一例を示している。図４Ｆは、嫌悪の表情に対応する当該１４個の特徴点Ｐ１の位置関係の一例を示している。
人体領域検出部３１は、撮像画像Ｉにおける運転者の顔及び体に対応する領域（以下「人体領域」という。）Ａ２を検出するものである。人体領域Ａ２の検出方法は公知の種々の方法を用いることができるものであり、詳細な説明は省略する。
骨格特徴点検出部３２は、人体領域Ａ２における複数個の特徴点Ｐ２であって、いわゆる「骨格モデル」の生成に用いられる複数個の特徴点Ｐ２を検出するものである。特徴点Ｐ２の検出方法は公知の種々の方法を用いることができるものであり、詳細な説明は省略する。
傾き角度検出部３３は、骨格特徴点検出部３２により検出された複数個の特徴点Ｐ２を用いて、運転者の骨格モデルを生成するものである。傾き角度検出部３３は、当該生成された骨格モデルを用いて、運転者の肩の傾き角度θ２、運転者の腕の傾き角度θ３及び運転者の頭部の傾き角度θ４を検出するものである。傾き角度θ２，θ３，θ４の検出方法は公知の種々の方法を用いることができるものであり、詳細な説明は省略する。
傾き角度θ２，θ３，θ４は、例えば、運転者の顔が車両１の前方に向けられており、かつ、運転者の後頭部が運転席のヘッドレストに当接しており、かつ、運転者の背中が運転席の背もたれに当接しており、かつ、運転者が両手で車両１のハンドルを掴んでおり、かつ、車両１の操舵角が略０°である（すなわち車両１が略直進中である）状態を基準とするものである。傾き角度θ４の具体例は傾き角度θ１の具体例と同様であるため、詳細な説明は省略する。
図５は、複数個の特徴点Ｐ２及び運転者の骨格モデルの一例を示している。図５に示す例においては、１２個の特徴点Ｐ２が検出されており、いわゆる「棒モデル」による骨格モデルが生成されている。
不動状態判定部１３は、画像認識処理部１２による画像認識処理の結果を用いて、運転者の動きがない状態（以下「不動状態」という。）であるか否かを判定するものである。不動状態判定部１３による判定方法の具体例については後述する。
異常状態判定部１４は、不動状態判定部１３による判定結果を用いて、運転者が覚醒度の低下による異常状態であるか否かを判定するものである。以下、覚醒度の低下による異常状態を単に「異常状態」という。
すなわち、異常状態判定部１４は、不動状態判定部１３による判定結果を用いて不動状態の継続時間Ｔを算出する。異常状態判定部１４は、当該算出された継続時間Ｔを所定の基準時間Ｔｔｈと比較する。異常状態判定部１４は、継続時間Ｔが基準時間Ｔｔｈを超えたとき、運転者が異常状態であると判定する。
警告出力制御部１５は、異常状態判定部１４により運転者が異常状態であると判定されたとき、警告を出力する制御を実行するものである。
具体的には、例えば、警告出力制御部１５は、警告用の画像を表示装置３に表示させる制御を実行する。または、例えば、警告出力制御部１５は、警告用の音声を音声出力装置４に出力させる制御を実行する。すなわち、当該画像又は当該音声による警告は、主として車内に対する警告である。
または、例えば、警告出力制御部１５は、警告用の信号を無線通信装置５に送信させる制御を実行する。当該信号は、インターネットなどの広域通信網を介して、いわゆる「センター」に送信される。または、当該信号は、いわゆる「車車間通信」により、車両１の周囲を走行中の他車両に送信される。すなわち、当該信号による警告は、主として車外に対する警告である。
表示装置３は、例えば、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）又はＨＵＤ（Ｈｅａｄ−Ｕｐ Ｄｉｓｐｌａｙ）により構成されている。音声出力装置４は、例えば、スピーカーにより構成されている。無線通信装置５は、例えば、インターネット接続用の送信機及び受信機又は車車間通信用の送信機及び受信機により構成されている。
なお、警告出力制御部１５は、警告用の画像を表示装置３に表示させる制御、警告用の音声を音声出力装置４に出力させる制御又は警告用の信号を無線通信装置５に送信させる制御のうちのいずれか二以上を実行するものであっても良い。
顔領域検出部２１、顔特徴点検出部２２、開眼度検出部２３、傾き角度検出部２４、表情検出部２５、人体領域検出部３１、骨格特徴点検出部３２及び傾き角度検出部３３により、画像認識処理部１２の要部が構成されている。画像データ取得部１１、画像認識処理部１２、不動状態判定部１３及び異常状態判定部１４により、搭乗者状態判定装置１００の要部が構成されている。搭乗者状態判定装置１００及び警告出力制御部１５により、警告出力制御装置２００の要部が構成されている。
次に、図６を参照して、警告出力制御装置２００の要部のハードウェア構成について説明する。
図６Ａに示す如く、警告出力制御装置２００はコンピュータにより構成されており、当該コンピュータはプロセッサ４１及びメモリ４２を有している。メモリ４２には、当該コンピュータを画像データ取得部１１、画像認識処理部１２、不動状態判定部１３、異常状態判定部１４及び警告出力制御部１５として機能させるためのプログラムが記憶されている。メモリ４２に記憶されているプログラムをプロセッサ４１が読み出して実行することにより、画像データ取得部１１、画像認識処理部１２、不動状態判定部１３、異常状態判定部１４及び警告出力制御部１５の機能が実現される。
または、図６Ｂに示す如く、警告出力制御装置２００は処理回路４３を有するものであっても良い。この場合、画像データ取得部１１、画像認識処理部１２、不動状態判定部１３、異常状態判定部１４及び警告出力制御部１５の機能が処理回路４３により実現されるものであっても良い。
または、警告出力制御装置２００はプロセッサ４１、メモリ４２及び処理回路４３を有するものであっても良い。この場合、画像データ取得部１１、画像認識処理部１２、不動状態判定部１３、異常状態判定部１４及び警告出力制御部１５の機能のうちの一部の機能がプロセッサ４１及びメモリ４２により実現されて、残余の機能が処理回路４３により実現されるものであっても良い。
プロセッサ４１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、マイクロプロセッサ、マイクロコントローラ又はＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）などを用いたものである。
メモリ４２は、例えば、半導体メモリ、磁気ディスク、光ディスク又は光磁気ディスクを用いたものである。より具体的には、メモリ４２は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＦＤ（Ｆｌｏｐｐｙ Ｄｉｓｋ）、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、ＭＯ（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ）又はＭＤ（Ｍｉｎｉ Ｄｉｓｃ）などを用いたものである。
処理回路４３は、例えば、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、ＳｏＣ（Ｓｙｓｔｅｍ−ｏｎ−ａ−Ｃｈｉｐ）又はシステムＬＳＩ（Ｌａｒｇｅ−Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）などを用いたものである。
次に、図７のフローチャートを参照して、警告出力制御装置２００の動作について説明する。警告出力制御装置２００は、例えば、電源がオンされている状態（より具体的には車両１のイグニッション電源がオンされている状態）にて、図７に示す処理を繰り返し実行するようになっている。
まず、ステップＳＴ１にて、画像データ取得部１１は、撮像画像Ｉを示す画像データをカメラ２から取得する。画像データ取得部１１は、当該取得された画像データを画像認識処理部１２に出力する。
次いで、ステップＳＴ２にて、画像認識処理部１２は、画像データ取得部１１により出力された画像データを用いて、撮像画像Ｉに対する画像認識処理を実行する。画像認識処理の具体例は既に説明したとおりであるため、再度の説明は省略する。
次いで、ステップＳＴ３にて、不動状態判定部１３は、画像認識処理部１２による画像認識処理の結果を用いて、運転者が不動状態であるか否かを判定する。不動状態判定部１３による判定方法の具体例については後述する。
運転者が不動状態であると判定された場合（ステップＳＴ３“ＹＥＳ”）、ステップＳＴ４にて、異常状態判定部１４は、不動状態の継続時間Ｔが基準時間Ｔｔｈを超えたか否かを判定する。この継続時間Ｔは、異常状態判定部１４により算出されたものである。
不動状態の継続時間Ｔが基準時間Ｔｔｈを超えたと判定された場合（ステップＳＴ４“ＹＥＳ”）、ステップＳＴ５にて、警告出力制御部１５は警告を出力する制御を実行する。警告出力制御部１５による警告の出力方法の具体例は既に説明したとおりであるため、再度の説明は省略する。
次に、図８〜図１１を参照して、不動状態判定部１３による判定方法の具体例について説明する。
〈不動状態判定部１３による判定方法の第１具体例〉
不動状態判定部１３は、顔領域検出部２１による検出結果を用いて、時間的に連続する２フレーム分の撮像画像Ｉｎ，Ｉｎ＋１における顔領域Ａ１ｎ，Ａ１ｎ＋１について（ｎは任意の整数）、顔領域Ａ１ｎ，Ａ１ｎ＋１が互いに重畳している部位の面積（以下「重畳面積」という。）を算出する。不動状態判定部１３は、顔領域Ａ１ｎの面積又は顔領域Ａ１ｎ＋１の面積に対する重畳面積の比率（以下「重畳面積比率」という。）を算出する。不動状態判定部１３は、重畳面積比率に基づき顔領域Ａ１の移動量を算出する。例えば、不動状態判定部１３は、重畳面積比率が小さいほど顔領域Ａ１の移動量を大きい値に算出する。不動状態判定部１３は、顔領域Ａ１の移動量が所定の基準量未満である場合、運転者が不動状態であると判定する。なお、重畳面積比率の分母は、顔領域Ａ１ｎと顔領域Ａ１ｎ＋１の和（より具体的には論理和）に対応する部位の面積であっても良い。
図８は、第ｎの撮像画像Ｉｎにおける顔領域Ａ１ｎと第ｎ＋１の撮像画像Ｉｎ＋１における顔領域Ａ１ｎ＋１とが互いに重畳している状態の一例を示している。図中、網掛け部は顔領域Ａ１ｎ，Ａ１ｎ＋１が互いに重畳している部位を示している。上記のとおり、撮像画像Ｉｎ，Ｉｎ＋１は時間的に連続する２フレームに対応するものである。すなわち、撮像画像Ｉｎ，Ｉｎ＋１は互いに異なるタイミングにて撮像されたものである。
〈不動状態判定部１３による判定方法の第２具体例〉
不動状態判定部１３は、顔領域検出部２１による検出結果を用いて、時間的に連続する２フレーム分の撮像画像Ｉｎ，Ｉｎ＋１における顔領域Ａ１ｎ，Ａ１ｎ＋１について（ｎは任意の整数）、顔領域Ａ１ｎのサイズに対する顔領域Ａ１ｎ＋１のサイズの変化量を算出する。当該算出された変化量は、前後方向に対する運転者の頭部の移動量を示すものである。不動状態判定部１３は、顔領域Ａ１のサイズの変化量が所定の基準量未満である場合、運転者が不動状態であると判定する。
〈不動状態判定部１３による判定方法の第３具体例〉
不動状態判定部１３は、顔領域検出部２１による検出結果を用いて、所定時間内の第１番目に撮像された撮像画像Ｉにおける顔領域Ａ１の中心部に対する、所定時間内の第２番目以降に撮像された撮像画像Ｉの各々における顔領域Ａ１の中心部の移動量を算出する。不動状態判定部１３は、当該算出された移動量を積算することにより、所定時間内の顔領域Ａ１の移動量を算出する。不動状態判定部１３は、顔領域Ａ１の移動量が所定の基準量未満である場合、運転者が不動状態であると判定する。
〈不動状態判定部１３による判定方法の第４具体例〉
不動状態判定部１３は、傾き角度検出部２４による検出結果を用いて、運転者の頭部の傾き角度θ１が所定の基準角度以上であるか否かを判定する。不動状態判定部１３は、第１具体例又は第３具体例と同様の方法により、顔領域Ａ１の移動量が基準量未満であるか否かを判定する。不動状態判定部１３は、傾き角度θ１が基準角度以上であり、かつ、顔領域Ａ１の移動量が基準量未満である場合、運転者が不動状態であると判定する。
〈不動状態判定部１３による判定方法の第５具体例〉
不動状態判定部１３は、傾き角度検出部２４による検出結果を用いて、運転者の頭部の傾き角度θ１が所定の基準角度以上であるか否かを判定する。不動状態判定部１３は、第２具体例と同様の方法により、顔領域Ａ１のサイズの変化量が基準量未満であるか否かを判定する。不動状態判定部１３は、傾き角度θ１が基準角度以上であり、かつ、顔領域Ａ１のサイズの変化量が基準量未満である場合、運転者が不動状態であると判定する。
〈不動状態判定部１３による判定方法の第６具体例〉
通常、人間のまばたきは３種類に分類される。すなわち、無意識に行われる「周期性まばたき」、眼に光が差し込んだときに行われる「反射性まばたき」及び意識的に行われる「随意性まばたき」である。周期性まばたきは、人間が覚醒している状態にて略一定の周期にて（すなわち略一定の頻度にて）行われる。
そこで、不動状態判定部１３は、開眼度検出部２３による検出結果を用いて、運転者の瞬きの頻度を算出する。不動状態判定部１３は、当該算出された頻度が所定の閾値未満である場合、運転者が不動状態であると判定する。
〈不動状態判定部１３による判定方法の第７具体例〉
不動状態判定部１３は、開眼度検出部２３による検出結果を用いて、いわゆる「ＰＥＲＣＬＯＳ」を算出する。ＰＥＲＣＬＯＳは、所定時間（いわゆる「ウインドウサイズ」）ＴＷＩＮＤＯＷにおける、運転者の眼が閉じている時間ＴＣＬＯＳＥの割合を示すものである。したがって、ＰＥＲＣＬＯＳの算出には以下の式（１）が用いられる。
ＰＥＲＣＬＯＳ＝Σ（ＴＣＬＯＳＥ）／ＴＷＩＮＤＯＷ （１）
図９は、ＰＥＲＣＬＯＳの一例を示している。図中、Ｄｔｈは、開眼度Ｄに対する比較対象となる閾値であって、運転者が眼を開けている状態であるか運転者が眼を閉じている状態であるかの判定に用いられるものである。不動状態判定部１３は、例えば、所定の閾値Ｄｔｈを用いて個々のＴＣＬＯＳＥを算出して、これらのＴＣＬＯＳＥの総和であるΣ（ＴＣＬＯＳＥ）を算出することにより、ＰＥＲＣＬＯＳを算出する。
不動状態判定部１３は、所定時間毎に（すなわちＴＷＩＮＤＯＷ毎に）ＰＥＲＣＬＯＳを算出して、これらのＰＥＲＣＬＯＳの変化量を算出する。不動状態判定部１３は、ＰＥＲＣＬＯＳの変化量が所定の基準量未満である場合、運転者が不動状態であると判定する。
〈不動状態判定部１３による判定方法の第８具体例〉
不動状態判定部１３は、ｎフレーム分の撮像画像Ｉ０〜Ｉｎ−１における顔領域Ａ１０〜Ａ１ｎ−１の中心部の位置座標（より具体的にはｘ座標値ｘ０〜ｘｎ−１及びｙ座標値ｙ０〜ｙｎ−１）を示す情報を顔領域検出部２１から取得する（ｎは２以上の整数）。撮像画像Ｉ０〜Ｉｎ−１は、所定条件（以下「キャリブレーション条件」という。）の成立タイミングｔ１を始点とする所定時間（例えばＡ＋α秒）内に撮像されたものである。カメラ２による撮像フレームレートをｆｒａｍｅ＿ｒａｔｅとすると、ｎとＡの関係は以下の式（２）により表される。
ｎ＝Ａ＊ｆｒａｍｅ＿ｒａｔｅ （２）
図１０Ａは、所定時間（すなわちＡ＋α秒）の一例を示している。図１０Ｂは、顔領域Ａ１０〜Ａ１ｎ−１の中心部のｘ座標値ｘ０〜ｘｎ−１及びｙ座標値ｙ０〜ｙｎ−１の一例を示している。
不動状態判定部１３は、撮像画像Ｉの全体又は撮像画像Ｉの一部（例えば撮像画像Ｉのうちの顔領域Ａ１を含む蓋然性が他の部位よりも高い部位）を所定間隔（例えばＢピクセル間隔）に分割してなる複数個の領域と一対一に対応する複数個のビンを設定する。不動状態判定部１３は、ｎ個の顔領域Ａ１０〜Ａ１ｎ−１について、各ビンに含まれる顔領域Ａ１の中心部の個数をカウントしてなるヒストグラムを生成する。以下、このヒストグラムを「基準ヒストグラム」という。図１０Ｃは、基準ヒストグラムの一例を示している。
その後、不動状態判定部１３は、ｍフレーム分の撮像画像Ｉ０〜Ｉｍ−１における顔領域Ａ１０〜Ａ１ｍ−１の中心部の位置座標（より具体的にはｘ座標値ｘ０〜ｘｍ−１及びｙ座標値ｙ０〜ｙｍ−１）を示す情報を顔領域検出部２１から取得する（ｍは２以上の整数）。撮像画像Ｉ０〜Ｉｍ−１は、撮像画像Ｉｍ−１の撮像タイミングｔ２を終点とする所定時間（例えばＣ秒）内に撮像されたものである。カメラ２による撮像フレームレートをｆｒａｍｅ＿ｒａｔｅとすると、ｍとＣの関係は以下の式（３）により表される。
ｍ＝Ｃ＊ｆｒａｍｅ＿ｒａｔｅ （３）
図１１Ａは、所定時間（すなわちＣ秒）の一例を示している。図１１Ｂは、顔領域Ａ１０〜Ａ１ｍ−１の中心部のｘ座標値ｘ０〜ｘｍ−１及びｙ座標値ｙ０〜ｙｍ−１の一例を示している。
不動状態判定部１３は、基準ヒストグラムにおける複数個のビンと同様の複数個のビンを設定する。不動状態判定部１３は、ｍ個の顔領域Ａ１０〜Ａ１ｍ−１について、各ビンに含まれる顔領域Ａ１の中心部の個数をカウントしてなるヒストグラムを生成する。以下、このヒストグラムを「比較用ヒストグラム」という。図１１Ｃは、比較用ヒストグラムの一例を示している。
不動状態判定部１３は、比較用ヒストグラムにおける各ビンの値を、基準ヒストグラムにおける対応するビンの値と比較する。これにより、不動状態判定部１３は、基準ヒストグラムに対する比較用ヒストグラムの変化の度合を求める。具体的には、例えば、不動状態判定部１３は、ヒストグラムにおける値の分布の変化の度合を求めたり、又は最大値に対応するビンの位置の変化の有無を求めたりする。これにより、不動状態判定部１３は、運転者の顔の変化の有無を判定する。不動状態判定部１３は、運転者の顔の変化がないと判定された場合、運転者が不動状態であると判定する。
なお、比較用ヒストグラムは、基準ヒストグラムが生成された後、所定の時間間隔にて繰り返し生成されるもの（すなわち所定の時間間隔にて更新されるもの）であっても良い。不動状態判定部１３は、比較用ヒストグラムが生成される度毎に（すなわち比較用ヒストグラムが更新される度毎に）、最新の比較用ヒストグラムにおける各ビンの値を基準ヒストグラムにおける対応するビンの値と比較するものであっても良い。
〈不動状態判定部１３による判定方法の第９具体例〉
通常、人間が覚醒している状態においては、周囲の環境又は会話の内容などに応じて、略一定の周期にて（すなわち略一定の頻度にて）表情が変化する。これに対して、覚醒度が低下している状態においては表情の変化がなくなる。より具体的には、表情筋が弛緩することにより口角が下がった表情が維持される。
そこで、不動状態判定部１３は、表情検出部２５による検出結果を用いて、運転者の表情の変化の有無を判定する。不動状態判定部１３は、表情の変化がないと判定された場合、運転者が不動状態であると判定する。
〈不動状態判定部１３による判定方法の第１０具体例〉
不動状態判定部１３は、傾き角度検出部３３による検出結果を用いて、傾き角度θ２の変化の有無（すなわち運転者の肩の動きの有無）を判定する。また、不動状態判定部１３は、傾き角度θ３の変化の有無（すなわち運転者の腕の動きの有無）を判定する。また、不動状態判定部１３は、傾き角度θ４の変化の有無（すなわち運転者の頭部の動きの有無）を判定する。
不動状態判定部１３は、これら動きの有無の判定結果に基づき、運転者が不動状態であるか否かを判定する。例えば、不動状態判定部１３は、運転者の肩の動きがなく、かつ、運転者の腕の動きがなく、かつ、運転者の頭部の動きがない場合、運転者が不動状態であると判定する。
なお、不動状態判定部１３は、第１具体例〜第１０具体例のうちのいずれか１個の方法を実行するものであっても良く、又は第１具体例〜第１０具体例のうちのいずれか２個以上の方法を実行するものであっても良い。第１具体例〜第１０具体例のうちのいずれか２個以上の方法が実行されるものである場合、不動状態判定部１３は、当該２個以上の方法のうちの所定個数以上の方法により運転者が不動状態であると判定されたとき、運転者が不動状態であることを示す判定結果を異常状態判定部１４に出力するものであっても良い。または、この場合、不動状態判定部１３は、個々の方法による判定結果を重み付けすることにより、最終的な判定結果を異常状態判定部１４に出力するものであっても良い。
このように、実施の形態１の搭乗者状態判定装置１００は、運転者が不動状態であるか否かを判定して、不動状態の継続時間Ｔに基づき運転者が異常状態であるか否かを判定する。また、運転者が不動状態であるか否かの判定方法は、開眼度Ｄの検出結果を用いない方法（第１具体例、第２具体例、第３具体例、第４具体例、第５具体例、第８具体例、第９具体例及び第１０具体例）を含むものである。このため、開眼瞬眠状態を含む異常状態を判定することができ、かつ、開眼度Ｄが正常に検出されない状態であるか否かにかかわらず異常状態を判定することができる。
また、運転者が不動状態であるか否かの判定方法（第１具体例〜第１０具体例）は、いずれも、カメラ２による撮像画像Ｉを用いるものである。すなわち、生体センサ等の高価なデバイスは不要である。このため、警告出力制御装置２００を含むシステム全体を安価に実現することができる。
なお、異常状態判定部１４は、車両１に設けられている自動運転制御用のＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）から、いわゆる「自動運転レベル」を示す情報を取得するものであっても良い。自動運転レベルは０〜５の値により表されるものであり、レベル０は車両１が手動運転により走行中であることを示している。異常状態判定部１４は、当該取得された情報を用いて、基準時間Ｔｔｈを車両１の自動運転レベルに応じて異なる値に設定するものであっても良い。例えば、異常状態判定部１４は、自動運転レベルが２以下である場合、自動運転レベルが３以上である場合に比して基準時間Ｔｔｈを小さい値に設定するものであっても良い。これにより、車両１の自動運転レベルに応じて、適切な基準時間Ｔｔｈに基づく異常状態の判定を実現することができる。
また、開眼度検出部２３は、開眼度Ｄを検出する処理を実行したとき、当該検出の成否を示す情報を不動状態判定部１３に出力するものであっても良い。不動状態判定部１３は、開眼度検出部２３により出力された情報を用いて、開眼度検出部２３が開眼度Ｄの検出に成功した場合は開眼度Ｄの検出結果を用いる方法（第６具体例又は第７具体例のうちの少なくとも１個の方法）により運転者が不動状態であるか否かを判定して、開眼度検出部２３が開眼度Ｄの検出に失敗した場合は開眼度Ｄの検出結果を用いない方法（第１具体例、第２具体例、第３具体例、第４具体例、第５具体例、第８具体例、第９具体例又は第１０具体例のうちの少なくとも１個の方法）により運転者が不動状態であるか否かを判定するものであっても良い。これにより、開眼度Ｄの検出の成否に応じて、適切な方法による不動状態の判定を実現することができる。
また、開眼度検出部２３は、開眼度Ｄの検出に成功したとき、当該検出結果の信頼度を示す情報を異常状態判定部１４に出力するものであっても良い。異常状態判定部１４は、開眼度検出部２３により出力された情報を用いて、基準時間Ｔｔｈを開眼度Ｄの検出結果の信頼度に応じて異なる値に設定するものであっても良い。例えば、異常状態判定部１４は、信頼度が所定の閾値未満である場合、信頼度が閾値以上である場合に比して基準時間Ｔｔｈを小さい値に設定するものであっても良い。これにより、開眼度Ｄの検出結果の信頼度に応じて、適切な基準時間Ｔｔｈに基づく異常状態の判定を実現することができる。
また、不動状態判定部１３による判定方法が第４具体例及び第５具体例を含まないものである場合、画像認識処理部１２は、図２に示す傾き角度検出部２４を除去してなるものであっても良い。
また、不動状態判定部１３による判定方法が第６具体例及び第７具体例を含まないものである場合、画像認識処理部１２は、図２に示す開眼度検出部２３を除去してなるものであっても良い。
また、不動状態判定部１３による判定方法が第９具体例を含まないものである場合、画像認識処理部１２は、図２に示す表情検出部２５を除去してなるものであっても良い。
また、不動状態判定部１３による判定方法が第１０具体例を含まないものである場合、画像認識処理部１２は、図２に示す人体領域検出部３１、骨格特徴点検出部３２及び傾き角度検出部３３を除去してなるものであっても良い。
また、警告出力制御部１５による警告の出力方法は、上記の具体例に限定されるものではない。警告出力制御部１５は、例えば、異常状態判定部１４により運転者が異常状態であると判定されたとき、車両１のハザードランプを点灯させる制御を実行するものであっても良い。
また、搭乗者状態判定装置１００は、運転者が異常状態であるか否かの判定に用いることができるのはもちろんのこと、車両１の搭乗者のうちの運転者と異なる搭乗者が異常状態であるか否かの判定にも用いることができる。例えば、搭乗者状態判定装置１００は、車両１がレベル３以上の自動運転により走行しているとき、運転席に着座しているものの車両１を運転していない搭乗者が異常状態であるか否かの判定にも用いることができる。
以上のように、実施の形態１の搭乗者状態判定装置１００は、車室内撮像用のカメラ２による撮像画像Ｉを示す画像データを取得する画像データ取得部１１と、画像データを用いて、撮像画像Ｉに対する画像認識処理を実行する画像認識処理部１２と、画像認識処理の結果を用いて、搭乗者が不動状態であるか否かを判定する不動状態判定部１３と、不動状態判定部１３による判定結果を用いて、搭乗者が覚醒度の低下による異常状態であるか否かを判定する異常状態判定部１４とを備え、異常状態判定部１４は、不動状態の継続時間Ｔが基準時間Ｔｔｈを超えたとき、搭乗者が異常状態であると判定する。これにより、開眼瞬眠状態を含む異常状態を判定することができ、かつ、開眼度Ｄが正常に検出されない状態であるか否かにかかわらず異常状態を判定することができる。
また、異常状態判定部１４は、基準時間Ｔｔｈを自動運転レベルに応じて異なる値に設定する。これにより、車両１の自動運転レベルに応じて、適切な基準時間Ｔｔｈに基づく異常状態の判定を実現することができる。
また、画像認識処理は、搭乗者の開眼度Ｄを検出する処理を含むものであり、異常状態判定部１４は、基準時間Ｔｔｈを開眼度Ｄの検出結果の信頼度に応じて異なる値に設定する。これにより、開眼度Ｄの検出結果の信頼度に応じて、適切な基準時間Ｔｔｈに基づく異常状態の判定を実現することができる。
また、画像認識処理は、搭乗者の開眼度Ｄを検出する処理を含むものであり、不動状態判定部１３による判定方法は、開眼度Ｄの検出結果を用いる方法と開眼度Ｄの検出結果を用いない方法とを含むものであり、不動状態判定部１３は、画像認識処理部１２が開眼度Ｄの検出に失敗した場合、開眼度Ｄの検出結果を用いない方法により搭乗者が不動状態であるか否かを判定する。これにより、開眼度Ｄの検出の成否に応じて、適切な方法による不動状態の判定を実現することができる。
また、画像認識処理は、撮像画像Ｉにおける顔領域Ａ１を検出する処理を含むものであり、不動状態判定部１３は、顔領域Ａ１の移動量又は顔領域Ａ１のサイズの変化量が基準量未満である場合、搭乗者が不動状態であると判定する。これにより、例えば、第１具体例、第２具体例及び第３具体例を実現することができる。
また、撮像画像Ｉは、カメラ２により互いに異なるタイミングにて撮像された第１撮像画像（Ｉｎ）及び第２撮像画像（Ｉｎ＋１）を含むものであり、顔領域Ａ１は、第１撮像画像（Ｉｎ）における第１顔領域（Ａ１ｎ）及び第２撮像画像（Ｉｎ＋１）における第２顔領域（Ａ１ｎ＋１）を含むものであり、不動状態判定部１３は、第１顔領域（Ａ１ｎ）の面積又は第２顔領域（Ａ１ｎ＋１）の面積に対する第１顔領域（Ａ１ｎ）及び第２顔領域（Ａ１ｎ＋１）が互いに重畳している部位の面積の比率に基づき移動量を算出する。これにより、例えば、第１具体例を実現することができる。
また、画像認識処理は、搭乗者の頭部の傾き角度θ１を検出する処理を含むものであり、不動状態判定部１３は、傾き角度θ１が基準角度以上であり、かつ、移動量又は変化量が基準量未満である場合、搭乗者が不動状態であると判定する。これにより、例えば、第４具体例及び第５具体例を実現することができる。
また、画像認識処理は、搭乗者の開眼度Ｄを検出する処理を含むものであり、不動状態判定部１３は、開眼度Ｄの変化に基づき搭乗者が不動状態であるか否かを判定する。これにより、例えば、第６具体例及び第７具体例を実現することができる。
また、画像認識処理は、撮像画像Ｉにおける顔領域Ａ１を検出する処理を含むものであり、不動状態判定部１３は、所定時間内に撮像された複数枚の撮像画像（Ｉ０〜Ｉｎ−１）における顔領域（Ａ１０〜Ａ１ｎ−１）の中心部の位置を示す基準ヒストグラムと、他の所定時間内に撮像された複数枚の撮像画像（Ｉ０〜Ｉｍ−１）における顔領域（Ａ１０〜Ａ１ｍ−１）の中心部の位置を示す比較用ヒストグラムとを生成して、基準ヒストグラムと比較用ヒストグラムとを比較することにより搭乗者が不動状態であるか否かを判定する。これにより、例えば、第８具体例を実現することができる。
また、画像認識処理は、搭乗者の表情を検出する処理を含むものであり、不動状態判定部１３は、表情の変化の有無に基づき搭乗者が不動状態であるか否かを判定する。これにより、例えば、第９具体例を実現することができる。
また、画像認識処理は、搭乗者の骨格モデルを用いて搭乗者の肩、腕及び頭部の傾き角度θ２，θ３，θ４を検出する処理を含むものであり、不動状態判定部１３は、傾き角度θ２，θ３，θ４の変化の有無に基づき搭乗者が不動状態であるか否かを判定する。これにより、例えば、第１０具体例を実現することができる。
また、実施の形態１の警告出力制御装置２００は、搭乗者状態判定装置１００と、異常状態判定部１４により搭乗者が異常状態であると判定されたとき、警告を出力する制御を実行する警告出力制御部１５とを備える。これにより、運転者の異常状態が発生したとき、その旨を示す警告を出力することができる。
また、警告出力制御部１５は、警告用の画像を表示装置３に表示させる制御、警告用の音声を音声出力装置４に出力させる制御又は警告用の信号を無線通信装置５に送信させる制御のうちの少なくとも一つを実行する。これにより、運転者の異常状態が発生したとき、その旨を示す警告を車内又は車外に対して出力することができる。
また、実施の形態１の搭乗者状態判定方法は、画像データ取得部１１が、車室内撮像用のカメラ２による撮像画像Ｉを示す画像データを取得するステップＳＴ１と、画像認識処理部１２が、画像データを用いて、撮像画像Ｉに対する画像認識処理を実行するステップＳＴ２と、不動状態判定部１３が、画像認識処理の結果を用いて、搭乗者が不動状態であるか否かを判定するステップＳＴ３と、異常状態判定部１４が、不動状態判定部１３による判定結果を用いて、搭乗者が覚醒度の低下による異常状態であるか否かを判定するステップＳＴ４とを備え、異常状態判定部１４は、不動状態の継続時間Ｔが基準時間Ｔｔｈを超えたとき、搭乗者が異常状態であると判定する。これにより、開眼瞬眠状態を含む異常状態を判定することができ、かつ、開眼度Ｄが正常に検出されない状態であるか否かにかかわらず異常状態を判定することができる。
実施の形態２．
図１２は、実施の形態２に係る警告出力制御装置の要部を示すブロック図である。図１２を参照して、実施の形態２の搭乗者状態判定装置１００ａ及び警告出力制御装置２００ａについて説明する。なお、図１２において、図１に示すブロックと同様のブロックには同一符号を付して説明を省略する。
操作状態情報取得部１６は、運転者による車両設備６の操作状態を示す情報（以下「操作状態情報」という。）を取得するものである。具体的には、例えば、操作状態情報取得部１６は、図示しないＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）などの車内ネットワークを介して、車両設備６から操作状態情報を取得する。
車両設備６は、主として車両１の走行に関するものである。車両設備６は、例えば、ステアリング、アクセルペダル、ブレーキペダル、ターンシグナル、ドア及びシフトレバーなどを含むものである。
操作状態情報取得部１６は、当該取得された操作状態情報を不動状態判定部１３ａに出力するものである。
不動状態判定部１３ａは、画像認識処理部１２による画像認識処理の結果及び操作状態情報取得部１６により出力された操作状態情報を用いて、運転者が不動状態であるか否かを判定するものである。
すなわち、不動状態判定部１３ａは、操作状態情報取得部１６により出力された操作状態情報を用いて、運転者による車両設備６の操作の有無を判定する。また、不動状態判定部１３ａは、画像認識処理部１２による画像認識処理の結果を用いて、第１具体例〜第１０具体例のうちの少なくとも１個の方法により、運転者の動きの有無を判定する。不動状態判定部１３ａは、運転者による車両設備６の操作がなく、かつ、運転者の動きがないと判定された場合、運転者が不動状態であると判定する。第１具体例〜第１０具体例は実施の形態１にて説明したものと同様であるため、再度の説明は省略する。
画像データ取得部１１、画像認識処理部１２、不動状態判定部１３ａ、異常状態判定部１４及び操作状態情報取得部１６により、搭乗者状態判定装置１００ａの要部が構成されている。搭乗者状態判定装置１００ａ及び警告出力制御部１５により、警告出力制御装置２００ａの要部が構成されている。
警告出力制御装置２００ａの要部のハードウェア構成は、実施の形態１にて図６を参照して説明したものと同様であるため、図示及び説明を省略する。すなわち、不動状態判定部１３ａの機能はプロセッサ４１及びメモリ４２により実現されるものであっても良く、又は処理回路４３により実現されるものであっても良い。また、操作状態情報取得部１６の機能はプロセッサ４１及びメモリ４２により実現されるものであっても良く、又は処理回路４３により実現されるものであっても良い。
次に、図１３のフローチャートを参照して、警告出力制御装置２００ａの動作について説明する。警告出力制御装置２００ａは、例えば、電源がオンされている状態（より具体的には車両１のイグニッション電源がオンされている状態）にて、図１３に示す処理を繰り返し実行するようになっている。
まず、ステップＳＴ６にて、操作状態情報取得部１６は、車両設備６の操作状態情報を取得する。操作状態情報取得部１６は、当該取得された操作状態情報を不動状態判定部１３ａに出力する。
次いで、ステップＳＴ１にて、画像データ取得部１１は、撮像画像Ｉを示す画像データをカメラ２から取得する。画像データ取得部１１は、当該取得された画像データを画像認識処理部１２に出力する。
次いで、ステップＳＴ２にて、画像認識処理部１２は、画像データ取得部１１により出力された画像データを用いて、撮像画像Ｉに対する画像認識処理を実行する。画像認識処理の具体例は実施の形態１にて説明したとおりであるため、再度の説明は省略する。
次いで、ステップＳＴ３ａにて、不動状態判定部１３ａは、画像認識処理部１２による画像認識処理の結果及び操作状態情報取得部１６により出力された操作状態情報を用いて、運転者が不動状態であるか否かを判定する。不動状態判定部１３ａによる判定方法の具体例は既に説明したとおりであるため、再度の説明は省略する。
運転者が不動状態であると判定された場合（ステップＳＴ３ａ“ＹＥＳ”）、ステップＳＴ４にて、異常状態判定部１４は、不動状態の継続時間Ｔが基準時間Ｔｔｈを超えたか否かを判定する。この継続時間Ｔは、異常状態判定部１４により算出されたものである。
不動状態の継続時間Ｔが基準時間Ｔｔｈを超えたと判定された場合（ステップＳＴ４“ＹＥＳ”）、ステップＳＴ５にて、警告出力制御部１５は警告を出力する制御を実行する。警告出力制御部１５による警告の出力方法の具体例は実施の形態１にて説明したとおりであるため、再度の説明は省略する。
このように、画像認識処理の結果に加えて操作状態情報を用いることにより、運転者が不動状態であるか否かをより正確に判定することができる。
なお、車両１に設けられているＥＣＵがＯＢＤ（Ｏｎ−Ｂｏａｒｄ Ｄｉａｇｎｏｓｔｉｃｓ）機能を有している場合、操作状態情報取得部１６は、当該ＯＢＤ機能により出力された操作状態情報を取得するものであっても良い。
また、不動状態判定部１３ａが第８具体例を実行するものである場合、不動状態判定部１３ａは、操作状態情報を用いてキャリブレーション条件の成立タイミングｔ１を検出するものであっても良い。すなわち、キャリブレーション条件は、運転者が車両設備６を操作していないという条件であっても良い。これにより、比較用ヒストグラムに対する比較に適した基準ヒストグラム（すなわち当該比較により運転者が不動状態であるか否かをより正確に判定可能な基準ヒストグラム）を生成することができる。
また、搭乗者状態判定装置１００ａは、実施の形態１にて説明したものと同様の種々の変形例、すなわち搭乗者状態判定装置１００と同様の種々の変形例を採用することができる。
また、警告出力制御装置２００ａは、実施の形態１にて説明したものと同様の種々の変形例、すなわち警告出力制御装置２００と同様の種々の変形例を採用することができる。
以上のように、実施の形態２の搭乗者状態判定装置１００ａは、搭乗者による車両設備６の操作状態を示す操作状態情報を取得する操作状態情報取得部１６を備え、不動状態判定部１３ａは、画像認識処理の結果及び操作状態情報を用いて搭乗者が不動状態であるか否かを判定する。画像認識処理の結果に加えて操作状態情報を用いることにより、運転者が不動状態であるか否かをより正確に判定することができる。
なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
本発明の搭乗者状態判定装置、警告出力制御装置及び搭乗者状態判定方法は、例えば、いわゆる「ドライバーモニタリングシステム」に応用することができる。
１ 車両、２ カメラ、３ 表示装置、４ 音声出力装置、５ 無線通信装置、６ 車両設備、１１ 画像データ取得部、１２ 画像認識処理部、１３，１３ａ 不動状態判定部、１４ 異常状態判定部、１５ 警告出力制御部、１６ 操作状態情報取得部、２１ 顔領域検出部、２２ 顔特徴点検出部、２３ 開眼度検出部、２４ 傾き角度検出部、２５ 表情検出部、３１ 人体領域検出部、３２ 骨格特徴点検出部、３３ 傾き角度検出部、４１ プロセッサ、４２ メモリ、４３ 処理回路、１００，１００ａ 搭乗者状態判定装置、２００，２００ａ 警告出力制御装置。
本発明の搭乗者状態判定装置は、車室内撮像用のカメラによる撮像画像を示す画像データを取得する画像データ取得部と、画像データを用いて、撮像画像に対する画像認識処理を実行する画像認識処理部と、画像認識処理の結果を用いて、搭乗者が不動状態であるか否かを判定する不動状態判定部と、不動状態判定部による判定結果を用いて、搭乗者が覚醒度の低下による異常状態であるか否かを判定する異常状態判定部とを備え、画像認識処理は、撮像画像における顔領域を検出する処理を含むものであり、不動状態判定部は、顔領域の移動量又は顔領域のサイズの変化量が基準量未満である場合、搭乗者が不動状態であると判定し、異常状態判定部は、不動状態の継続時間が基準時間を超えたとき、搭乗者が異常状態であると判定するものである。

Claims (15)

  1. 車室内撮像用のカメラによる撮像画像を示す画像データを取得する画像データ取得部と、
    前記画像データを用いて、前記撮像画像に対する画像認識処理を実行する画像認識処理部と、
    前記画像認識処理の結果を用いて、搭乗者が不動状態であるか否かを判定する不動状態判定部と、
    前記不動状態判定部による判定結果を用いて、前記搭乗者が覚醒度の低下による異常状態であるか否かを判定する異常状態判定部と、を備え、
    前記異常状態判定部は、前記不動状態の継続時間が基準時間を超えたとき、前記搭乗者が前記異常状態であると判定する
    ことを特徴とする搭乗者状態判定装置。
  2. 前記異常状態判定部は、前記基準時間を自動運転レベルに応じて異なる値に設定することを特徴とする請求項１記載の搭乗者状態判定装置。
  3. 前記画像認識処理は、前記搭乗者の開眼度を検出する処理を含むものであり、
    前記異常状態判定部は、前記基準時間を前記開眼度の検出結果の信頼度に応じて異なる値に設定する
    ことを特徴とする請求項１記載の搭乗者状態判定装置。
  4. 前記画像認識処理は、前記搭乗者の開眼度を検出する処理を含むものであり、
    前記不動状態判定部による判定方法は、前記開眼度の検出結果を用いる方法と前記開眼度の検出結果を用いない方法とを含むものであり、
    前記不動状態判定部は、前記画像認識処理部が前記開眼度の検出に失敗した場合、前記開眼度の検出結果を用いない方法により前記搭乗者が前記不動状態であるか否かを判定する
    ことを特徴とする請求項１記載の搭乗者状態判定装置。
  5. 前記画像認識処理は、前記撮像画像における顔領域を検出する処理を含むものであり、
    前記不動状態判定部は、前記顔領域の移動量又は前記顔領域のサイズの変化量が基準量未満である場合、前記搭乗者が前記不動状態であると判定する
    ことを特徴とする請求項１記載の搭乗者状態判定装置。
  6. 前記撮像画像は、前記カメラにより互いに異なるタイミングにて撮像された第１撮像画像及び第２撮像画像を含むものであり、
    前記顔領域は、前記第１撮像画像における第１顔領域及び前記第２撮像画像における第２顔領域を含むものであり、
    前記不動状態判定部は、前記第１顔領域の面積又は前記第２顔領域の面積に対する前記第１顔領域及び前記第２顔領域が互いに重畳している部位の面積の比率に基づき前記移動量を算出する
    ことを特徴とする請求項５記載の搭乗者状態判定装置。
  7. 前記画像認識処理は、前記搭乗者の頭部の傾き角度を検出する処理を含むものであり、
    前記不動状態判定部は、前記傾き角度が基準角度以上であり、かつ、前記移動量又は前記変化量が前記基準量未満である場合、前記搭乗者が前記不動状態であると判定する
    ことを特徴とする請求項５記載の搭乗者状態判定装置。
  8. 前記画像認識処理は、前記搭乗者の開眼度を検出する処理を含むものであり、
    前記不動状態判定部は、前記開眼度の変化に基づき前記搭乗者が前記不動状態であるか否かを判定する
    ことを特徴とする請求項１記載の搭乗者状態判定装置。
  9. 前記画像認識処理は、前記撮像画像における顔領域を検出する処理を含むものであり、
    前記不動状態判定部は、所定時間内に撮像された複数枚の前記撮像画像における前記顔領域の中心部の位置を示す基準ヒストグラムと、他の所定時間内に撮像された複数枚の前記撮像画像における前記顔領域の中心部の位置を示す比較用ヒストグラムとを生成して、前記基準ヒストグラムと前記比較用ヒストグラムとを比較することにより前記搭乗者が前記不動状態であるか否かを判定する
    ことを特徴とする請求項１記載の搭乗者状態判定装置。
  10. 前記画像認識処理は、前記搭乗者の表情を検出する処理を含むものであり、
    前記不動状態判定部は、前記表情の変化の有無に基づき前記搭乗者が前記不動状態であるか否かを判定する
    ことを特徴とする請求項１記載の搭乗者状態判定装置。
  11. 前記画像認識処理は、前記搭乗者の骨格モデルを用いて前記搭乗者の肩、腕及び頭部の傾き角度を検出する処理を含むものであり、
    前記不動状態判定部は、前記傾き角度の変化の有無に基づき前記搭乗者が前記不動状態であるか否かを判定する
    ことを特徴とする請求項１記載の搭乗者状態判定装置。
  12. 前記搭乗者による車両設備の操作状態を示す操作状態情報を取得する操作状態情報取得部を備え、
    前記不動状態判定部は、前記画像認識処理の結果及び前記操作状態情報を用いて前記搭乗者が前記不動状態であるか否かを判定する
    ことを特徴とする請求項１記載の搭乗者状態判定装置。
  13. 請求項１記載の搭乗者状態判定装置と、
    前記異常状態判定部により前記搭乗者が前記異常状態であると判定されたとき、警告を出力する制御を実行する警告出力制御部と、
    を備えることを特徴とする警告出力制御装置。
  14. 前記警告出力制御部は、警告用の画像を表示装置に表示させる制御、警告用の音声を音声出力装置に出力させる制御又は警告用の信号を無線通信装置に送信させる制御のうちの少なくとも一つを実行することを特徴とする請求項１３記載の警告出力制御装置。
  15. 画像データ取得部が、車室内撮像用のカメラによる撮像画像を示す画像データを取得するステップと、
    画像認識処理部が、前記画像データを用いて、前記撮像画像に対する画像認識処理を実行するステップと、
    不動状態判定部が、前記画像認識処理の結果を用いて、搭乗者が不動状態であるか否かを判定するステップと、
    異常状態判定部が、前記不動状態判定部による判定結果を用いて、前記搭乗者が覚醒度の低下による異常状態であるか否かを判定するステップと、を備え、
    前記異常状態判定部は、前記不動状態の継続時間が基準時間を超えたとき、前記搭乗者が前記異常状態であると判定する
    ことを特徴とする搭乗者状態判定方法。
JP2020512997A 2018-04-11 2018-04-11 搭乗者状態判定装置、警告出力制御装置及び搭乗者状態判定方法 Active JP7118136B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/015255 WO2019198179A1 (ja) 2018-04-11 2018-04-11 搭乗者状態判定装置、警告出力制御装置及び搭乗者状態判定方法

Publications (2)

Publication Number Publication Date
JPWO2019198179A1 true JPWO2019198179A1 (ja) 2020-12-03
JP7118136B2 JP7118136B2 (ja) 2022-08-15

Family

ID=68164181

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020512997A Active JP7118136B2 (ja) 2018-04-11 2018-04-11 搭乗者状態判定装置、警告出力制御装置及び搭乗者状態判定方法

Country Status (4)

Country Link
US (1) US11315361B2 (ja)
JP (1) JP7118136B2 (ja)
DE (1) DE112018007454T5 (ja)
WO (1) WO2019198179A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7470540B2 (ja) * 2020-03-18 2024-04-18 本田技研工業株式会社 内部機器の異常判定装置、異常判定方法、及びプログラム
WO2021240768A1 (ja) * 2020-05-29 2021-12-02 三菱電機株式会社 運転不能判定装置および運転不能判定方法
CN111932822A (zh) * 2020-07-11 2020-11-13 广州融康汽车科技有限公司 一种乘员身体位置报警装置
US20230026074A1 (en) * 2021-07-26 2023-01-26 Ubtech North America Research And Development Center Corp Human abnormal behavior response method and mobility aid robot using the same
WO2024057356A1 (ja) * 2022-09-12 2024-03-21 三菱電機株式会社 開瞼度検出装置、開瞼度検出方法、および眠気判定システム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005013626A (ja) * 2003-06-27 2005-01-20 Nissan Motor Co Ltd 覚醒状態検出装置
JP2008099884A (ja) * 2006-10-19 2008-05-01 Toyota Motor Corp 状態推定装置
JP2010097379A (ja) * 2008-10-16 2010-04-30 Denso Corp ドライバモニタリング装置およびドライバモニタリング装置用のプログラム
JP2013257691A (ja) * 2012-06-12 2013-12-26 Panasonic Corp 居眠り状態判定装置及び居眠り状態判定方法
JP2016009258A (ja) * 2014-06-23 2016-01-18 株式会社デンソー ドライバの運転不能状態検出装置
JP2017199279A (ja) * 2016-04-28 2017-11-02 トヨタ自動車株式会社 運転意識推定装置
JP2017219885A (ja) * 2016-06-02 2017-12-14 株式会社Ｓｕｂａｒｕ 乗員状態監視装置

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9493130B2 (en) * 2011-04-22 2016-11-15 Angel A. Penilla Methods and systems for communicating content to connected vehicle users based detected tone/mood in voice input
JP5418579B2 (ja) * 2011-12-06 2014-02-19 株式会社デンソー 開閉眼検出装置
JP5949660B2 (ja) * 2013-05-21 2016-07-13 株式会社デンソー ドライバ確認装置
US10210761B2 (en) * 2013-09-30 2019-02-19 Sackett Solutions & Innovations, LLC Driving assistance systems and methods
JP6090129B2 (ja) * 2013-11-27 2017-03-08 株式会社デンソー 視認領域推定装置
US9720259B2 (en) * 2014-10-13 2017-08-01 William Hart Eyewear pupilometer
GB2532457B (en) * 2014-11-19 2018-04-18 Jaguar Land Rover Ltd Dynamic control apparatus and related method
US20160180677A1 (en) * 2014-12-18 2016-06-23 Ford Global Technologies, Llc Apparatus for reducing driver distraction via short range vehicle communication
JP6256433B2 (ja) 2015-08-31 2018-01-10 マツダ株式会社 運転者状態検出装置
DE102015218306A1 (de) * 2015-09-23 2017-03-23 Robert Bosch Gmbh Verfahren und Vorrichtung zum Ermitteln eines Schläfrigkeitszustands eines Fahrers
FR3048542A1 (fr) * 2016-03-01 2017-09-08 Valeo Comfort & Driving Assistance Dispositif et methode de surveillance personnalises d'un conducteur d'un vehicule automobile
JP2017199302A (ja) * 2016-04-28 2017-11-02 パナソニックＩｐマネジメント株式会社 判定装置、判定方法、判定プログラム及び記録媒体
JP6690517B2 (ja) * 2016-12-13 2020-04-28 株式会社デンソー 運転支援装置、及び運転支援方法
US11341756B2 (en) * 2017-10-02 2022-05-24 Fotonation Limited Human monitoring system incorporating calibration methodology
JP6812952B2 (ja) * 2017-11-15 2021-01-13 オムロン株式会社 脇見判定装置、脇見判定方法、およびプログラム
JP6705437B2 (ja) * 2017-11-15 2020-06-03 オムロン株式会社 脇見判定装置、脇見判定方法及び脇見判定のためのプログラム
JP7099037B2 (ja) * 2018-05-07 2022-07-12 オムロン株式会社 データ処理装置、モニタリングシステム、覚醒システム、データ処理方法、及びデータ処理プログラム
EP3575175B1 (en) * 2018-06-01 2024-03-13 Zenuity AB Method and system for assisting drivers to drive with precaution

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005013626A (ja) * 2003-06-27 2005-01-20 Nissan Motor Co Ltd 覚醒状態検出装置
JP2008099884A (ja) * 2006-10-19 2008-05-01 Toyota Motor Corp 状態推定装置
JP2010097379A (ja) * 2008-10-16 2010-04-30 Denso Corp ドライバモニタリング装置およびドライバモニタリング装置用のプログラム
JP2013257691A (ja) * 2012-06-12 2013-12-26 Panasonic Corp 居眠り状態判定装置及び居眠り状態判定方法
JP2016009258A (ja) * 2014-06-23 2016-01-18 株式会社デンソー ドライバの運転不能状態検出装置
JP2017199279A (ja) * 2016-04-28 2017-11-02 トヨタ自動車株式会社 運転意識推定装置
JP2017219885A (ja) * 2016-06-02 2017-12-14 株式会社Ｓｕｂａｒｕ 乗員状態監視装置

Also Published As

Publication number Publication date
WO2019198179A1 (ja) 2019-10-17
US20210073522A1 (en) 2021-03-11
DE112018007454T5 (de) 2021-02-11
JP7118136B2 (ja) 2022-08-15
US11315361B2 (en) 2022-04-26

Similar Documents

Publication Publication Date Title
JP7118136B2 (ja) 搭乗者状態判定装置、警告出力制御装置及び搭乗者状態判定方法
KR102469234B1 (ko) 운전 상태 분석 방법 및 장치, 운전자 모니터링 시스템 및 차량
US11726577B2 (en) Systems and methods for triggering actions based on touch-free gesture detection
KR102469233B1 (ko) 운전 상태 검출 방법 및 장치, 운전자 모니터링 시스템 및 차량
EP3033999B1 (en) Apparatus and method for determining the state of a driver
CN107665330B (zh) 在车辆中检测头部姿势的系统、方法和计算机可读介质
US11042766B2 (en) Artificial intelligence apparatus and method for determining inattention of driver
KR101386823B1 (ko) 동작, 안면, 눈, 입모양 인지를 통한 2단계 졸음운전 방지 장치
CN113056390A (zh) 情境驾驶员监控系统
US20170101111A1 (en) System and method for controlling vehicle systems in a vehicle
US20220203996A1 (en) Systems and methods to limit operating a mobile phone while driving
EP3588372B1 (en) Controlling an autonomous vehicle based on passenger behavior
JP7369184B2 (ja) 運転者注意状態推定
US11084424B2 (en) Video image output apparatus, video image output method, and medium
US20240096116A1 (en) Devices and methods for detecting drowsiness of drivers of vehicles
US20230347903A1 (en) Sensor-based in-vehicle dynamic driver gaze tracking
JP6689470B1 (ja) 情報処理装置、プログラム及び情報処理方法
US10945651B2 (en) Arousal level determination device
JP7019394B2 (ja) 視認対象検知装置、視認対象検知方法、およびプログラム
Ujir et al. Real-Time Driver’s Monitoring Mobile Application through Head Pose, Drowsiness and Angry Detection
JP2019179370A (ja) 車速制御装置
Mohan et al. Eye Gaze Estimation Invisible and IR Spectrum for Driver Monitoring System
WO2022224173A1 (en) Systems and methods for determining driver control over a vehicle

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200311

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200311

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20200804

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210330

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20210401

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210604

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211207

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20211210

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220301

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220705

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220802

R150 Certificate of patent or registration of utility model

Ref document number: 7118136

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150