JP7327301B2

JP7327301B2 - 運転者監視装置

Info

Publication number: JP7327301B2
Application number: JP2020114989A
Authority: JP
Inventors: 健一郎原
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2020-07-02
Filing date: 2020-07-02
Publication date: 2023-08-16
Anticipated expiration: 2040-07-02
Also published as: CN113879317A; CN113879317B; US20220004789A1; US11983941B2; JP2022012858A

Description

本発明は、車両の運転者の顔色を監視する運転者監視装置に関する。

車両の運転者の顔色は、体調に応じて変化する。運転者の顔色が通常の顔色から異なる場合、運転者の体調が通常と異なり、交通事故のリスクが高まっている可能性がある。運転中の運転者の顔色を監視し、顔色の変化に基づいて車両の動作を制御する技術が提案されている。

特許文献１には、撮像部により撮像された車両の運転者の顔画像と記憶部に記憶された顔画像とを比較して顔色の変化を判定し、変化がある場合は車両停止制御を行う飲酒運転防止装置が記載されている。

特開２０１０－０５２６３５号公報

運転者は、車両の周囲に十分な注意を払うため、様々な方向に顔を向ける。撮像された顔画像および記憶された顔画像において、顔向きが一致していない場合、顔色の変化を適切に判定することができない可能性がある。

本発明は、運転者の顔色の変化を適切に判定する運転者監視装置を提供することを目的とする。

本発明にかかる運転者監視装置は、車両の運転者の顔を異なる時刻に撮影した複数の顔画像に基づいて、それぞれの顔画像における車両の前後方向と運転者の顔向きとがなす顔向き角度と、運転者の顔の所定領域の色とを検出する検出部と、第１の時刻に撮影された第１の顔画像から検出された顔向き角度が所定の顔向き角度範囲に含まれる場合、第１の顔画像から検出された所定領域の色を記憶部に記憶させる顔色記憶部と、第１の時刻よりも後の第２の時刻に撮影された第２の顔画像から検出された顔向き角度が顔向き角度範囲に含まれ、かつ、第２の顔画像から検出された所定領域の色と記憶部に記憶された所定領域の色との差が変化閾値を超える場合、顔色異常であると判定する顔色判定部と、を備える。

本発明にかかる運転者監視装置において、第１の時刻は、運転者が車両から降車した時刻よりも第１猶予時間前の時刻であり、第２の時刻は、運転者が車両に乗車した時刻から第２猶予時間後の時刻であることが好ましい。

本発明にかかる運転者監視装置において、第１の時刻は、車両の駆動源がオフにされた時刻よりも第１猶予時間前の時刻であり、第２の時刻は、車両の駆動源がオンにされた時刻から第２猶予時間後の時刻であることが好ましい。

本発明にかかる運転者監視装置において、検出部は、車両の運転者が複数の人物のうちいずれの人物であるかを検出し、顔色記憶部は、検出された人物ごとに所定領域の色を記憶し、顔色判定部は、検出された人物ごとに顔色異常であるか否かを判定することが好ましい。

本発明にかかる運転者監視装置は、顔色異常と判定された場合、運転者への通知、または車両を停止させる制御を実行する異常対処部をさらに備えることが好ましい。

本発明にかかる運転者監視方法は、車両の運転者の顔を異なる時刻に撮影した複数の顔画像に基づいて、それぞれの顔画像における車両の前後方向と運転者の顔向きとがなす顔向き角度と、運転者の顔の所定領域の色とを検出し、第１の時刻に撮影された第１の顔画像から検出された顔向き角度が所定の顔向き角度範囲に含まれる場合、第１の顔画像から検出された所定領域の色を記憶部に記憶させ、第１の時刻よりも後の第２の時刻に撮影された第２の顔画像から検出された顔向き角度が顔向き角度範囲に含まれ、かつ、第２の顔画像から検出された所定領域の色と記憶部に記憶された色との差が変化閾値を超える場合、顔色異常であると判定することを含む。

本発明にかかる運転者監視装置によれば、運転者の顔色の変化を適切に判定することができる。

運転者監視装置が実装される車両の概略構成図である。ＥＣＵのハードウェア模式図である。ＥＣＵが有するプロセッサの機能ブロック図である。運転者監視装置の動作概要を説明する図である。運転者監視処理のフローチャートである。顔色判定処理のフローチャートである。顔色記憶処理のフローチャートである。

以下、図面を参照して、運転者の顔色の変化を適切に判定する運転者監視装置について詳細に説明する。運転者監視装置は、車両の運転者の顔を異なる時刻に撮影した複数の顔画像に基づいて、それぞれの顔画像における車両の前後方向と運転者の顔向きとがなす顔向き角度と、運転者の顔の所定領域の色とを検出する。また、運転者監視装置は、第１の時刻に撮影された第１の顔画像から検出された顔向き角度が所定の顔向き角度範囲に含まれる場合、第１の顔画像から検出された所定領域の色を記憶部に記憶させる。そして、運転者監視装置は、第１の時刻よりも後の第２の時刻に撮影された第２の顔画像から検出された顔向き角度が顔向き角度範囲に含まれ、かつ、第２の顔画像から検出された所定領域の色と記憶部に記憶された所定領域の色との差が変化閾値を超える場合、顔色異常であると判定する。

図１は、運転者監視装置が実装される車両の概略構成図である。

車両１は、エンジン２と、ドライバモニタカメラ３と、メーターディスプレイ４と、ＥＣＵ５（Electronic Control Unit）とを有する。エンジン２、ドライバモニタカメラ３およびメーターディスプレイ４とＥＣＵ５とは、コントローラエリアネットワークといった規格に準拠した車内ネットワークを介して通信可能に接続される。

エンジン２は、車両１の駆動源の一例であり、車両１を走行される動力を供給する。エンジン２は、オンにされることにより始動され、車両１に動力を供給可能な状態となる。また、エンジン２は、オフにされることにより停止され、車両１に動力を供給不能な状態となる。車両１には、エンジン２に代えて、電力に基づいて動力を供給するモーターが駆動源として搭載されていてもよい。

ドライバモニタカメラ３は、運転者の顔画像を撮影するためのセンサの一例である。ドライバモニタカメラ３は、ＣＣＤあるいはＣ－ＭＯＳなど、可視光に感度を有する光電変換素子のアレイで構成された２次元検出器と、その２次元検出器上の撮影対象となる領域の像を結像する結像光学系とを有する。ドライバモニタカメラ３は、例えば車室内の前方上部に、運転者シートに着座する運転者の顔に向けて取り付けられる。ドライバモニタカメラ３は、所定の撮影周期（例えば1分～10分）ごとに運転者の顔が写った顔画像を出力する。顔画像は、各画素についてＲＧＢ（Red, Green, Blue）のそれぞれの値を有するカラー画像である。

メーターディスプレイ４は、表示部の一例であり、例えば液晶ディスプレイを有する。メーターディスプレイ４は、車内ネットワークを介してＥＣＵ５から受け取った信号に従って、車両１の走行に関する情報を、運転者に視認可能に表示する。

ＥＣＵ５は、運転者監視装置の一例であり、ドライバモニタカメラ３が生成する画像を用いて運転者監視処理を実行し、メーターディスプレイ４を動作させる。

図２は、ＥＣＵ５のハードウェア模式図である。ＥＣＵ５は、通信インタフェース５１と、メモリ５２と、プロセッサ５３とを備える。

通信インタフェース５１は、通信部の一例であり、ＥＣＵ５を車内ネットワークへ接続するための通信インタフェース回路を有する。通信インタフェース５１は、受信したデータをプロセッサ５３に供給する。また、通信インタフェース５１は、プロセッサ５３から供給されたデータを外部に出力する。

メモリ５２は、記憶部の一例であり、揮発性の半導体メモリおよび不揮発性の半導体メモリを有する。メモリ５２は、プロセッサ５３による処理に用いられる各種データ、例えば運転者の顔向き角度に基づいて検出された顔色を記憶するか否かを判定するための顔向き角度範囲、検出された顔色を表す顔色情報、運転者の顔色が異常であるか否かを判定するための変化閾値等を記憶する。また、メモリ５２は、各種アプリケーションプログラム、例えば運転者監視処理を実行するための運転者監視プログラム等を記憶する。

プロセッサ５３は、制御部の一例であり、１以上のプロセッサおよびその周辺回路を有する。プロセッサ５３は、論理演算ユニット、数値演算ユニット、またはグラフィック処理ユニットといった他の演算回路をさらに有していてもよい。

図３は、ＥＣＵ５が有するプロセッサ５３の機能ブロック図である。

ＥＣＵ５のプロセッサ５３は、機能ブロックとして、検出部５３１と、顔色記憶部５３２と、顔色判定部５３３と、異常対処部５３４とを有する。プロセッサ５３が有するこれらの各部は、プロセッサ５３上で実行されるプログラムによって実装される機能モジュールである。あるいは、プロセッサ５３が有するこれらの各部は、独立した集積回路、マイクロプロセッサ、またはファームウェアとしてＥＣＵ５に実装されてもよい。

検出部５３１は、ドライバモニタカメラ３から車両１の運転者の顔を撮影した顔画像を異なる時刻に繰り返し取得する。検出部５３１は、取得したそれぞれの顔画像に基づいて、運転者の顔向き角度および運転者の顔の所定領域の色を検出する。

顔向き角度は、車両１の進行方向と運転者が顔を向けている方向との間の水平方向または鉛直方向の角度により表される。検出部５３１は、取得した顔画像を、目尻、目頭、口角点といった顔の所定部位を検出するよう学習された識別器に入力することにより、顔画像に含まれる所定部位の位置を特定する。そして、検出部５３１は、顔画像から検出された所定部位の位置を、標準的な顔の３次元モデルと照合する。そして、各部位の位置が顔画像から検出された部位の位置と最も適合する際の３次元モデルにおける顔向き角度を、顔画像における顔向き角度として検出する。

識別器は、例えば、入力側から出力側に向けて直列に接続された複数の層を有する畳み込みニューラルネットワーク（ＣＮＮ）とすることができる。予め顔の所定部位を含む顔画像を教師データとして用いてＣＮＮに入力し、学習を行うことにより、ＣＮＮは顔の所定部位の位置を特定する識別器として動作する。

また、検出部５３１は、運転者の顔のうち、頬または額といった所定領域の色を検出する。検出部５３１は、顔画像において、特定された所定部位に基づいて照合された標準的な顔の３次元モデルにおける所定領域に対応する領域を特定し、特定された領域の色の代表値を検出する。検出部５３１は、特定された領域に含まれる各画素の値を、ＲＧＢによる表現からＨＳＶ（Hue, Saturation, Value of brightness）による表現に変換する。検出部５３１は、ＨＳＶにより表現された特定された領域に含まれる各画素の値のうちＨの値の平均値を、特定された領域の色の代表値として検出する。検出部５３１は、Ｈの値の最頻値または中央値を、特定された領域の色の代表値として検出してもよい。また、検出部５３１は、特定された領域の色の代表値として、領域に含まれる各画素におけるＳ、Ｖの値の代表値を、Ｈの値に加えて検出してもよい。また、検出部５３１は、領域の色の代表値として、ＨＳＶではなくＲＧＢのそれぞれの値に基づく代表値を用いてもよい。この場合、検出部５３１は、ドライバモニタカメラ３から取得した顔画像におけるＲＧＢ形式で表現された各画素の値のＨＳＶ形式への変換を行わない。

顔色記憶部５３２は、検出部５３１により検出された顔向き角度が、メモリ５２に記憶された顔向き角度範囲（例えば±３０度）に含まれるか否かを判定する。そして、検出された顔向き角度が顔向き角度範囲に含まれると判定された場合、顔色記憶部５３２は、検出された領域の色の代表値をメモリ５２に記憶させる。

顔色判定部５３３は、顔向き角度が顔向き角度範囲に含まれるときに検出された所定領域の色と、メモリ５２に記憶された所定領域の色との差を比較する。そして、色の差がメモリ５２に記憶された変化閾値を超える場合、運転者の顔色が異常であると判定する。

検出部５３１が所定領域の色としてＨの値を検出する場合、変化閾値は、Ｈの値について設定される。このとき、顔色判定部５３３は、Ｈの値について、検出された所定領域の色とメモリ５２に記憶された所定領域の色との差を比較する。そして、Ｈの値の差が変化閾値を超える場合に、運転者の顔色が異常であると判定する。また、検出部５３１がＨＳＶのそれぞれの値を所定領域の色として検出する場合、変化閾値は、ＨＳＶのそれぞれについて設定される。このとき、顔色判定部５３３は、ＨＳＶのそれぞれについて、検出された所定領域の色とメモリ５２に記憶された所定領域の色との差を比較する。そして、ＨＳＶのすべて、または過半数の差が変化閾値を超える場合に、運転者の顔色が異常であると判定する。また、顔色判定部５３３は、ＨＳＶのそれぞれについて算出した差（Dh、Ds、Dv）を所定の計算式（D = a * Dh + b * Ds + c * Dv）に代入して求めた値と単一の値として設定された変化閾値とを比較することにより顔色の異常を判定してもよい。なお、検出部５３１が領域の色をＨＳＶに代えてＲＧＢにより検出する場合も、顔色判定部５３３は、ＨＳＶにおける顔色判定と同様の手法により顔色を判定することができる。

異常対処部５３４は、顔色判定部５３３により運転者の顔色異常が判定された場合、顔色の異常に対応した車両１の制御を実行する。異常対処部５３４は、車内ネットワークを介してメーターディスプレイ４に所定の制御信号を送信して、顔色の異常が検出されたことを運転者に通知する画像を表示させる。または、異常対処部５３４は、車内ネットワークを介してエンジン２、車両１を減速させる制動装置（不図示）、車両１の進行方向を変更する操舵装置（不図示）に所定の制御信号を送信して、車両１を停止させる。

異常対処部５３４は、車内ネットワークを介してスピーカ（不図示）に所定の制御信号を送信して、運転手の顔色の異常が検出されたことを通知する音声を再生させてもよい。また、異常対処部５３４は、車外の機器との無線通信を行うデータ通信モジュールに車内ネットワークを介して所定の制御信号を送信して、運転者の顔色の異常が検出されたことを示すデータをサーバ（不図示）に送信させてもよい。運転者の顔色の異常が検出されたことを示すデータを受信したサーバは、救護車両を車両１に向けて走行させる、車両１の近傍を走行する他の車両に対して注意喚起を行うといった制御を実行することができる。

図４は運転者監視装置の動作概要を説明する図である。

図４において、画像Ｐａおよび画像Ｐｂは、ドライバモニタカメラ３から取得された顔画像である。画像Ｐａから検出された運転者の顔向き角度はαである。αは顔向き角度範囲の上限である角度θを超えており、画像Ｐａにおける顔向き角度は顔向き角度範囲に含まれないため、画像Ｐａから検出された所定領域の色はメモリ５２に記憶されない。

画像Ｐｂから検出された運転者の顔向き角度は０度であり、顔向き角度範囲に含まれる。そのため、画像Ｐｂから検出された所定領域の色（Ｈｂ，Ｓｂ，Ｖｂ）はメモリ５２に記憶される。

画像Ｐｃは、ドライバモニタカメラ３から取得された画像である。画像Ｐｃから検出された運転者の顔向き角度は０度であり、顔向き角度範囲に含まれる。そのため、画像Ｐｃから検出された所定領域の色（Ｈｃ，Ｓｃ，Ｖｃ）は、メモリ５２に記憶された所定領域の色（Ｈｂ，Ｓｂ，Ｖｂ）と比較される。ＨｂとＨｃとの差の絶対値がＨについての変化閾値Ｈ_THより大きく、ＳｂとＳｃとの差の絶対値がＳについての変化閾値Ｓ_THより大きく、ＶｂとＶｃとの差の絶対値がＶについての変化閾値Ｖ_THより大きい場合、顔色の異常が判定される。

図７は、運転者監視処理のフローチャートである。ＥＣＵ５のプロセッサ５３は、車両１のエンジン２がオンになってからオフになるまで、運転者監視処理を実行する。

まず、プロセッサ５３は、エンジン２がオンにされると顔色判定処理を実行し（ステップＳ１）、ドライバモニタカメラ３から取得した顔画像と、前回の運転者監視処理においてメモリ５２に記憶された所定領域の色の情報とに基づいて運転者の顔色が異常であるか否かを判定する。顔色判定処理の詳細は後述する。続いて、プロセッサ５３は、顔色記憶処理を実行し（ステップＳ２）、ドライバモニタカメラ３から取得した顔画像から検出された所定領域の色の情報をメモリ５２に記憶する。顔色記憶処理の詳細は後述する。プロセッサ５３は、エンジン２がオフになっているか否かを判定し（ステップＳ３）、オフになっていない場合（ステップＳ３：Ｎ）、顔色記憶処理を所定時間ごとに繰り返す。エンジン２がオフになっている場合（ステップＳ３：Ｙ）、プロセッサ５３は運転者監視処理を終了する。

ステップＳ３でエンジン２がオフにされていることが検出される直前にステップＳ２の顔色記憶処理が実行される時刻は、第１の時刻の例である。ステップＳ２の顔色記憶処理が実行されてからステップＳ３でエンジン２がオフにされていることが検出されるまでの時間（例えば１分間）は、第１猶予時間の例である。また、ステップＳ１の顔色記憶処理が実行される時刻は、第１の時刻よりも後の第２の時刻の例である。エンジン２がオンにされてからステップＳ１の顔色記憶処理が実行されるまでの時間（例えば１分間）は、第２猶予時間の例である。顔色判定処理では、前回の運転者監視処理において、エンジンがオフにされた時刻よりも所定時間前の時刻にメモリ５２に記憶された所定領域の色の情報が使用される。そのため、運転者監視処理を最初に実行する場合、顔色判定処理は実行されない。なお、プロセッサ５３は、運転者監視処理を最初に実行する場合に、所定領域の色の情報として予め設定された初期値を用いて顔色判定処理を実行してもよい。

図６は、顔色判定処理のフローチャートである。ＥＣＵ５のプロセッサ５３は、運転者監視処理におけるステップＳ１において、以下の顔色判定処理を実行する。

まず、プロセッサ５３の検出部５３１は、車両１の運転者の顔を撮影した顔画像に基づいて、顔向き角度と、運転者の顔の所定領域の色とを検出する（ステップＳ１１）。

次に、プロセッサ５３の顔色判定部５３３は、検出された顔向き角度が所定の顔向き角度範囲に含まれるか否かを判定する（ステップＳ１２）。検出された顔向き角度が所定の顔向き角度範囲に含まれないと判定された場合（ステップＳ１２：Ｎ）、プロセッサ５３の処理はステップＳ１１に戻り、検出部による顔向き角度および所定領域の色の検出を繰り返す。

検出された顔向き角度が所定の顔向き角度範囲に含まれると判定された場合（ステップＳ１２：Ｙ）、顔色判定部５３３は、検出された所定領域の色と、メモリ５２に記憶された所定領域の色との差が変化閾値を超えるか否かを判定する（ステップＳ１３）。

色の差が変化閾値を超えると判定された場合（ステップＳ１３：Ｙ）、顔色判定部５３３は、顔色異常であると判定し（ステップＳ１４）、プロセッサ５３の異常対処部５３４が所定の処理を実行して（ステップＳ１５）、顔色判定処理を終了する。色の差が変化閾値を超えないと判定された場合（ステップＳ１３：Ｎ）、顔色判定部５３３は顔色以上であると判定することなく顔色判定処理を終了する。

図７は、顔色記憶処理のフローチャートである。ＥＣＵ５のプロセッサ５３は、運転者監視処理におけるステップＳ２において、以下の顔色記憶処理を実行する。

まず、プロセッサ５３の検出部５３１は、車両１の運転者の顔を撮影した顔画像に基づいて、顔向き角度と、運転者の顔の所定領域の色とを検出する（ステップＳ２１）。

次に、プロセッサ５３の顔色記憶部５３２は、検出された顔向き角度が所定の顔向き角度範囲に含まれるか否かを判定する（ステップＳ２２）。検出された顔向き角度が所定の顔向き角度範囲に含まれないと判定された場合（ステップＳ２２：Ｎ）、顔色記憶部５３２は顔色記憶処理を終了する。

検出された顔向き角度が所定の顔向き角度範囲に含まれると判定された場合（ステップＳ２２：Ｙ）、顔色記憶部５３２は、検出された所定領域の色をメモリ５２に記憶させ（ステップＳ２３）、顔色記憶処理を終了する。

以上のように動作することにより、本実施形態の運転者監視装置は、運転者の顔色の変化を適切に判定することができる。

変形例によれば、運転者監視装置は、運転者が車両１から降車した時刻よりも第１猶予時間前の時間を第１の時刻とし、運転者が車両１に乗車した時刻から第２猶予時間後の時刻を第２の時刻として、運転者監視処理を実行する。この場合、運転者監視装置は、運転者が車両１のエンジン２をオンまたはオフにするためのキーが検出された時刻を乗車した時刻とし、キーが検出されなくなった時刻を降車した時刻とする。このように動作することで、運転者監視装置は、運転者の乗車から降車までのトリップ中に記憶された顔色に基づいて、次のトリップにおける運転者の顔色を判定することができる。運転者監視装置は、ドライバモニタカメラ３から取得された画像から運転者の顔に対応する顔領域が検出された時刻を乗車した時刻とし、顔領域が検出されなくなった時刻を降車した時刻としてもよい。また、運転者監視装置は、車両１の運転席に設けられた重量センサー（不図示）により所定の重量閾値を超える重量が検出された時刻を乗車した時刻とし、重量閾値を超える重量が検出されなくなった時刻を降車した時刻としてもよい。

異なる変形例によれば、運転者監視装置は、車両１の運転者となる人物が複数存在する場合に、運転者の顔色の異常を運転者ごとに判定する。そのために、まず検出部５３１は、顔画像に基づいて、車両１の運転者が複数の人物のうちいずれの人物であるかを検出する。検出部５３１は、取得した顔画像を、人物ごとの顔の特徴の相違を検出するよう学習された識別器に入力することにより、顔画像に表された人物を検出する。

そして、顔色記憶部５３２は、検出された人物ごとに、顔画像から検出された所定領域の色を記憶する。また、顔色判定部５３３は、検出された人物ごとに、顔色異常であるか否かを判定する。

なお、検出部５３１は、顔画像に基づく人物検出以外の方法により人物を検出してもよい。例えば、検出部５３１は、運転者がエンジン２をオンにするために使用するキーの識別子に基づいて、運転者がいずれの人物であるかを検出してもよい。

当業者は、本発明の精神および範囲から外れることなく、種々の変更、置換および修正をこれに加えることが可能であることを理解されたい。

１車両
５ＥＣＵ
５３１検出部
５３２顔色記憶部
５３３顔色判定部
５３４異常対処部

Claims

車両の運転者の顔を異なる時刻に撮影した複数の顔画像に基づいて、それぞれの顔画像における前記車両の前後方向と前記運転者の顔向きとがなす顔向き角度と、前記運転者の顔の所定領域の色とを検出する検出部と、
前記運転者の乗車から降車までの第１のトリップに含まれる時刻であって前記運転者が前記車両から降車した時刻よりも第１猶予時間前の第１の時刻に撮影された第１の顔画像から検出された顔向き角度が所定の顔向き角度範囲に含まれる場合、前記第１の顔画像から検出された所定領域の色を記憶部に記憶させる顔色記憶部と、
前記第１のトリップよりも後の前記運転者の乗車から降車までの第２のトリップに含まれる時刻であって前記運転者が前記車両に乗車した時刻から第２猶予時間後の第２の時刻に撮影された第２の顔画像から検出された顔向き角度が前記顔向き角度範囲に含まれ、かつ、前記第２の顔画像から検出された前記所定領域の色と前記記憶部に記憶された前記所定領域の色との差が変化閾値を超える場合、顔色異常であると判定する顔色判定部と、
を備える運転者監視装置。
車両の運転者の顔を異なる時刻に撮影した複数の顔画像に基づいて、それぞれの顔画像における前記車両の前後方向と前記運転者の顔向きとがなす顔向き角度と、前記運転者の顔の所定領域の色とを検出する検出部と、
前記運転者の乗車から降車までの第１のトリップに含まれる時刻であって前記車両の駆動源がオフにされた時刻よりも第１猶予時間前の第１の時刻に撮影された第１の顔画像から検出された顔向き角度が所定の顔向き角度範囲に含まれる場合、前記第１の顔画像から検出された所定領域の色を記憶部に記憶させる顔色記憶部と、
前記第１のトリップよりも後の前記運転者の乗車から降車までの第２のトリップに含まれる時刻であって前記車両の駆動源がオンにされた時刻から第２猶予時間後の第２の時刻に撮影された第２の顔画像から検出された顔向き角度が前記顔向き角度範囲に含まれ、かつ、前記第２の顔画像から検出された前記所定領域の色と前記記憶部に記憶された前記所定領域の色との差が変化閾値を超える場合、顔色異常であると判定する顔色判定部と、
を備える運転者監視装置。
前記検出部は、前記車両の運転者が複数の人物のうちいずれの人物であるかを検出し、
前記顔色記憶部は、前記検出された人物ごとに前記所定領域の色を記憶し、
前記顔色判定部は、前記検出された人物ごとに顔色異常であるか否かを判定する、
請求項１または２に記載の運転者監視装置。
顔色異常と判定された場合、前記運転者への通知、または前記車両を停止させる制御を実行する異常対処部をさらに備える、請求項１－３のいずれか一項に記載の運転者監視装置。
車両の運転者の顔を異なる時刻に撮影した複数の顔画像に基づいて、それぞれの顔画像における前記車両の前後方向と前記運転者の顔向きとがなす顔向き角度と、前記運転者の顔の所定領域の色とを検出し、
前記運転者の乗車から降車までの第１のトリップに含まれる時刻であって前記運転者が前記車両から降車した時刻よりも第１猶予時間前の第１の時刻に撮影された第１の顔画像から検出された顔向き角度が所定の顔向き角度範囲に含まれる場合、前記第１の顔画像から検出された所定領域の色を記憶部に記憶させ、
前記第１のトリップよりも後の前記運転者の乗車から降車までの第２のトリップに含まれる時刻であって前記運転者が前記車両に乗車した時刻から第２猶予時間後の第２の時刻に撮影された第２の顔画像から検出された顔向き角度が前記顔向き角度範囲に含まれ、かつ、前記第２の顔画像から検出された前記所定領域の色と前記記憶部に記憶された色との差が変化閾値を超える場合、顔色異常であると判定する、
ことを含む運転者監視方法。
車両の運転者の顔を異なる時刻に撮影した複数の顔画像に基づいて、それぞれの顔画像における前記車両の前後方向と前記運転者の顔向きとがなす顔向き角度と、前記運転者の顔の所定領域の色とを検出し、
前記運転者の乗車から降車までの第１のトリップに含まれる時刻であって前記車両の駆動源がオフにされた時刻よりも第１猶予時間前の第１の時刻に撮影された第１の顔画像から検出された顔向き角度が所定の顔向き角度範囲に含まれる場合、前記第１の顔画像から検出された所定領域の色を記憶部に記憶させ、
前記第１のトリップよりも後の前記運転者の乗車から降車までの第２のトリップに含まれる時刻であって前記車両の駆動源がオンにされた時刻から第２猶予時間後の第２の時刻に撮影された第２の顔画像から検出された顔向き角度が前記顔向き角度範囲に含まれ、かつ、前記第２の顔画像から検出された前記所定領域の色と前記記憶部に記憶された色との差が変化閾値を超える場合、顔色異常であると判定する、
ことを含む運転者監視方法。