JP6809262B2

JP6809262B2 - ドライバ状態検出装置

Info

Publication number: JP6809262B2
Application number: JP2017021185A
Authority: JP
Inventors: 松村　健; 健松村
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2017-02-08
Filing date: 2017-02-08
Publication date: 2021-01-06
Anticipated expiration: 2037-02-08
Also published as: US10970572B2; DE102018102431A1; US20180225532A1; JP2018128834A; US10769460B2; US20200381242A1

Description

本発明はドライバ状態検出装置に関する。

従来、車両に設けられた撮像手段を用いて車両のドライバの状態を検出するための装置が知られている。例えば、特許文献１には、撮像手段によって撮影されたドライバの画像からドライバの顔向きと顔向きの角速度とを算出し、ドライバの顔向きが撮像手段の撮影範囲外となった場合には、顔向きの角速度に基づいて顔向きを推定することが記載されている。

特開２０１６−０５７８３９号公報

しかしながら、ドライバの顔向きが撮像手段の撮影範囲内であっても、ドライバの顔画像においてドライバの顔部品の一部が隠れ、ドライバ状態の検出精度が低下する場合がある。例えば、撮像手段とドライバとの間にステアリングホイールが位置する場合、ステアリングホイールの回転量が大きくなると、ステアリングホイールのスポーク部分等によってドライバの顔部品が隠れる。また、ドライバの手又は腕等によってドライバの顔部品が隠れる場合もある。

そこで、本発明の目的は、ドライバの顔画像においてドライバの顔部品の一部が隠れることによるドライバ状態の検出精度の低下を抑制することができるドライバ状態検出装置を提供することにある。

本開示の要旨は以下のとおりである。

（１）車両のドライバの顔を撮影して該ドライバの顔画像を生成するドライバモニタカメラと、前記顔画像に基づいて前記ドライバの状態を検出するドライバ状態検出部とを備え、前記ドライバ状態検出部は、前記顔画像において前記ドライバの顔部品の一部が隠れている場合、前記顔画像において隠れていない前記ドライバの顔部品に基づいて前記ドライバの状態を検出し、前記ドライバの顔部品は前記ドライバの口、鼻、右眼及び左眼である、ドライバ状態検出装置。

（２）前記ドライバの状態は前記ドライバの顔向きである、上記（１）に記載のドライバ状態検出装置。

（３）前記ドライバ状態検出部は、前記顔画像において前記ドライバの顔部品の一部が隠れている場合、前記顔画像において隠れていない前記ドライバの顔部品と、前記ドライバの顔部品の一部が隠れる前の前記顔画像とに基づいて前記ドライバの顔向きを検出する、上記（２）に記載のドライバ状態検出装置。

（４）前記ドライバ状態検出部は、前記顔画像において隠れていない前記ドライバの顔部品の状態の変化量が閾値以下である場合には前記ドライバの顔向きが前記ドライバの顔部品の一部が隠れる前から変化していないと判定し、前記変化量が前記閾値よりも大きい場合には前記ドライバの顔向きを検出しない、上記（３）に記載のドライバ状態検出装置。

（５）前記ドライバ状態検出部は、前記顔画像において隠れていない前記ドライバの顔部品の位置及びサイズの変化量が閾値以下である場合には前記ドライバの顔向きが前記ドライバの顔部品の一部が隠れる前から変化していないと判定し、前記位置及びサイズの変化量の少なくとも一方が前記閾値よりも大きい場合には前記ドライバの顔向きを検出しない、上記（３）に記載のドライバ状態検出装置。

（６）前記ドライバ状態検出部は、前記顔画像と顔形状データとのマッチングを行うことによって前記ドライバの顔向きを検出する、上記（２）から（５）のいずれか１つに記載のドライバ状態検出装置。

（７）前記ドライバ状態検出部は、前記顔画像における顔部品と前記顔形状データにおける顔部品とのマッチングを行うことによって前記ドライバの顔向きを検出する、上記（６）に記載のドライバ状態検出装置。

（８）前記ドライバ状態検出部は、前記顔画像において前記ドライバの顔部品の一部が隠れている場合、前記顔画像において隠れている前記ドライバの顔部品と前記顔形状データにおける顔部品とのマッチングを行わない、上記（７）に記載のドライバ状態検出装置。

本発明によれば、ドライバの顔画像においてドライバの顔部品の一部が隠れることによるドライバ状態の検出精度の低下を抑制することができるドライバ状態検出装置が提供される。

図１は、本発明の第一実施形態に係るドライバ状態検出装置の構成を示すブロック図である。図２は、ドライバ状態検出装置を搭載した車両の内部を概略的に示す図である。図３は、第一実施形態におけるドライバ状態検出処理の制御ルーチンを示すフローチャートである。図４は、ドライバの顔向きが０°のときの顔形状データを概略的に示す図である。図５は、ドライバの顔向きが１０°のときの顔形状データを概略的に示す図である。図６は、ドライバの顔画像と、顔画像と顔向きが１０°の顔形状データとのマッチング結果とを示す。図７は、第二実施形態におけるドライバ状態検出処理の制御ルーチンを示すフローチャートである。

以下、図面を参照して本発明の実施形態について詳細に説明する。なお、以下の説明では、同様な構成要素には同一の参照番号を付す。

＜第一実施形態＞
以下、図１〜図６を参照して、本発明の第一実施形態について説明する。図１は、本発明の第一実施形態に係るドライバ状態検出装置の構成を示すブロック図である。ドライバ状態検出装置１は、車両に搭載され、車両のドライバの状態を検出する。ドライバ状態検出装置１はドライバモニタカメラ１０と電子制御ユニット（ＥＣＵ）２０とを備える。

図２は、ドライバ状態検出装置を搭載した車両の内部を概略的に示す図である。ドライバモニタカメラ１０は車両８０のドライバの顔を撮影してドライバの顔画像を生成する。ドライバモニタカメラ１０は車内に設けられる。具体的には、図２に示すように、ドライバモニタカメラ１０は車両８０のステアリングコラム８１の上部に設けられる。図２には、ドライバモニタカメラ１０の投影範囲が破線で示されている。なお、ドライバモニタカメラ１０は、車両８０のメータパネル、メータフード等に設けられてもよい。

ドライバモニタカメラ１０はカメラ及び投光器から構成される。例えば、カメラはＣＭＯＳ（相補型金属酸化膜半導体）カメラ又はＣＣＤ（電荷結合素子）カメラであり、投光器はＬＥＤ（発光ダイオード）である。また、夜間等の低照度時においてもドライバに不快感を与えることなくドライバの顔を撮影できるように、好ましくは、投光器は近赤外ＬＥＤである。例えば、投光器は、カメラの両側に配置された二個の近赤外ＬＥＤである。また、カメラには可視光カットフィルタのようなフィルタが設けられてもよい。ドライバモニタカメラ１０によって生成されたドライバの顔画像はドライバモニタカメラ１０からＥＣＵ２０に送信される。

ＥＣＵ２０は、双方向性バスによって相互に接続された中央演算装置（ＣＰＵ）、読み出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、入力ポート及び出力ポートを備えたマイクロコンピュータである。本実施形態では、一つのＥＣＵ２０が設けられているが、機能毎に複数のＥＣＵが設けられていてもよい。ＥＣＵ２０は、ドライバモニタカメラ１０によって生成されたドライバの顔画像に基づいてドライバの状態を検出するドライバ状態検出部２１を含む。

図２に示すように、ステアリングホイール８２はドライバモニタカメラ１０とドライバとの間に位置している。この場合、ドライバモニタカメラ１０はステアリングホイール８２を通してドライバを撮影する。このため、ステアリングホイール８２の回転量、すなわちステアリングホイール８２の操舵角が大きくなると、ステアリングホイール８２のスポーク部分等によってドライバの撮影が妨げられる。

具体的には、ドライバ側から見て右回り（時計回り）にステアリングホイール８２を回転させた場合、回転量の増加に伴い、口、鼻、左眼、右眼の順でドライバの顔部品がステアリングホイール８２によって隠れる。一方、ドライバ側から見て左回り（反時計回り）にステアリングホイール８２を回転させた場合、回転量の増加に伴い、口、鼻、右眼、左眼の順でドライバの顔部品がステアリングホイール８２によって隠れる。

また、ドライバの手又は腕等によってドライバの顔部品が隠れる場合もある。このため、ドライバの顔向きがドライバモニタカメラ１０の撮影範囲内であっても、ドライバの顔画像においてドライバの顔部品の一部が隠れ、ドライバ状態の検出精度が低下する場合がある。

そこで、本実施形態では、ドライバ状態検出部２１は、ドライバの顔画像においてドライバの顔部品（口、鼻、右眼及び左眼）の一部が隠れている場合、ドライバの顔画像において隠れていないドライバの顔部品に基づいてドライバの状態を検出する。このことによって、ドライバの顔画像においてドライバの顔部品の一部が隠れている場合であっても、ドライバ状態の検出が可能となる。したがって、ドライバの顔画像においてドライバの顔部品の一部が隠れることによるドライバ状態の検出精度の低下を抑制することができる。

以下、図３のフローチャートを参照して、ドライバ状態検出装置１によって行われる制御について詳細に説明する。図３は、第一実施形態におけるドライバ状態検出処理の制御ルーチンを示すフローチャートである。本制御ルーチンはＥＣＵ２０によって繰り返し実行される。本制御ルーチンでは、車両８０のドライバの状態が検出される。

最初に、ステップＳ１０１において、ドライバ状態検出部２１がドライバモニタカメラ１０からドライバの顔画像を取得する。ドライバの顔画像はドライバモニタカメラ１０によって生成される。

次いで、ステップＳ１０２において、ドライバ状態検出部２１が、ステップＳ１０１において取得したドライバの顔画像からドライバの顔部品（口、鼻、右眼及び左眼）を検出する。例えば、ドライバ状態検出部２１は、ドライバの顔画像から顔領域を特定し、口、鼻、右眼及び左眼の特徴点を抽出することによって口、鼻、右眼及び左眼を検出する。顔部品の特徴点が抽出されない場合には顔部品は検出されない。

次いで、ステップＳ１０３において、ドライバ状態検出部２１が、ドライバの顔画像においてドライバの顔部品の一部が隠れているか否かを判定する。例えば、ドライバ状態検出部２１は、ドライバの顔部品の一部を検出できなかった場合に、ドライバの顔部品の一部が隠れていると判定する。

ステップＳ１０３において顔部品の一部が隠れていないと判定された場合、本制御ルーチンはステップＳ１０４に進む。ステップＳ１０４では、ドライバ状態検出部２１が、ドライバの顔画像においてドライバの顔部品の全部が隠れているか否かを判定する。例えば、ドライバ状態検出部２１は、ドライバの口、鼻、右眼及び左眼を検出できなかった場合に、ドライバの顔部品の全部が隠れていると判定する。

ステップＳ１０４において顔部品の全部が隠れていないと判定された場合、本制御ルーチンはステップＳ１０５に進む。ステップＳ１０５では、ドライバ状態検出部２１はドライバ状態を検出する。具体的には、ドライバ状態検出部２１はドライバの開眼度及び顔向きを検出する。例えば、ドライバ状態検出部２１は右眼及び左眼の上瞼及び下瞼の特徴点を抽出することによって両眼の開眼度を検出する。

また、ドライバ状態検出部２１は、例えば、以下の方法によってドライバの顔向きを検出する。ドライバ状態検出部２１は、ドライバの顔画像と顔形状データとのマッチングを行うことによってドライバの顔向きを検出する。顔形状データは例えば３Ｄ顔形状データである。ドライバ状態検出部２１は、ドライバが正面を向いているとき、すなわちドライバの顔向きが０°のときの顔形状データを予め記憶している。顔形状データは、標準的な人間の顔形状のデータであっても、ドライバ毎に取得されてもよい。顔形状データは例えばＥＣＵ２０のＲＯＭ又はＲＡＭに記憶されている。また、ドライバ状態検出部２１は、ドライバが正面を向いているときの顔形状データに基づいて、ドライバの顔向きが変化したときの顔形状データを生成する。

図４は、ドライバの顔向きが０°のときの顔形状データを概略的に示す図である。図５は、ドライバの顔向きが１０°のときの顔形状データを概略的に示す図である。ドライバ状態検出部２１は、ドライバの顔画像における顔部品と、顔形状データにおける顔部品とのマッチングを行い、両者の一致率が最大となるときの顔形状データの顔向きをドライバの顔向きとして検出する。なお、ドライバ状態検出部２１は顔領域と顔部品（口、鼻、右眼及び左眼）との位置関係からドライバの顔向きを検出してもよい。

ステップＳ１０５の後、本制御ルーチンは終了する。一方、ステップＳ１０４において顔部品の全部が隠れていると判定された場合、本制御ルーチンは終了する。この場合、ドライバ状態検出部２１はドライバ状態を検出しない。

また、ステップＳ１０３において顔部品の一部が隠れていると判定された場合、本制御ルーチンはステップＳ１０６に進む。ステップＳ１０６では、ドライバ状態検出部２１が、ドライバの顔画像において隠れていないドライバの顔部品に基づいてドライバ状態を検出する。例えば、ドライバ状態検出部２１は、ドライバの口、鼻及び右眼が隠れている場合、ドライバの左眼に基づいてドライバの眼の開眼度及び顔向きを検出する。具体的には、ドライバ状態検出部２１は左眼の上瞼及び下瞼の特徴点を抽出することによって左眼の開眼度を検出する。また、ドライバ状態検出部２１は、ドライバの顔画像における左眼と、顔形状データにおける左眼とのマッチングを行い、両者の一致率が最大となるときの顔形状データの顔向きをドライバの顔向きとして検出する。なお、ドライバの両眼が隠れている場合、ドライバ状態検出部２１はドライバの眼の開眼度を検出しない。

図６は、ドライバの顔画像と、顔画像と顔向きが１０°の顔形状データとのマッチング結果とを示す。図６に示した顔画像では、ドライバの口、鼻及び右眼がステアリングホイール８２によって隠れている。この例では、顔形状データの顔向きが１０°のときに左眼の一致率が最大となっている。このため、ドライバの顔向きが１０°として算出される。一方、口、鼻及び右眼の一致率は５０％未満である。しかしながら、口、鼻及び右眼はドライバの顔向きの検出に用いられないため、ドライバの顔向きの検出が可能となる。なお、この例では、ステアリングホイール８２によって隠れた口、鼻及び右眼の一致率が算出されているが、これらの一致率は算出されなくてもよい。すなわち、ドライバ状態検出部２１は、ドライバの顔画像においてドライバの顔部品の一部が隠れている場合、ドライバの顔画像において隠れているドライバの顔部品と顔形状データにおける顔部品とのマッチングを行わなくてもよい。このことによって、ドライバ状態検出部２１の処理負荷を低減することができる。

ステップＳ１０６の後、本制御ルーチンは終了する。なお、ドライバ状態検出部２１は、ステップＳ１０３において、ドライバの顔画像と各顔向き角度の顔形状データとのマッチングを行い、全ての顔向き角度において顔部品の一致率が所定値未満である場合にこの顔部品が隠れていると判定してもよい。所定値は例えば５０％である。

また、ドライバ状態検出部２１は、検出したドライバの眼の開眼度が所定値以下である場合には、ドライバが居眠りをしていると判定し、ドライバに警報を与えてもよい。同様に、ドライバ状態検出部２１は、検出したドライバの顔向きが所定範囲外である場合には、ドライバが脇見をしていると判定し、ドライバに警報を与えてもよい。例えば、ドライバ状態検出部２１は、車両８０に設けられたヒューマン・マシン・インターフェース（Human Machine Interface（ＨＭＩ））を介して視覚的又は聴覚的にドライバに警報を与える。ＨＭＩは、ドライバと車両８０との間で情報の入出力を行うためのインターフェイスである。ＨＭＩは、例えば、文字又は画像情報を表示するディスプレイ、音を発生させるスピーカ、ドライバが入力操作を行うための操作ボタン、タッチパネル、マイク等から構成される。

＜第二実施形態＞
第二実施形態に係るドライバ状態検出装置の構成及び制御は、以下に説明する点を除いて、基本的に第一実施形態に係るドライバ状態検出装置の構成及び制御と同様である。このため、以下、本発明の第二実施形態について、第一実施形態と異なる部分を中心に説明する。

例えば、ドライバの顔画像において多くの顔部品が隠れている場合、隠れていない顔部品に基づいてドライバの顔向きの微小な変化を検出することが困難である。一方、ドライバの顔部品が隠れる前には、ドライバの正確な顔向きを検出することができる。このため、第二実施形態では、ドライバ状態検出部２１は、ドライバの顔画像においてドライバの顔部品の一部が隠れている場合、ドライバの顔画像において隠れていないドライバの顔部品と、ドライバの顔部品の一部が隠れる前のドライバの顔画像とに基づいてドライバの顔向きを検出する。

ドライバの顔部品の一部が隠れた後にドライバの顔向きが変化しない場合には、ドライバの顔画像において、隠れていない顔部品の位置及びサイズはほとんど変化しない。このため、ドライバ状態検出部２１は、ドライバの顔画像において隠れていないドライバの顔部品の状態の変化量が閾値以下である場合にはドライバの顔向きがドライバの顔部品の一部が隠れる前から変化していないと判定する。一方、ドライバ状態検出部２１は、上記変化量が閾値よりも大きい場合にはドライバの顔向きを検出しない。ドライバの顔部品の状態は例えば顔部品の位置又はサイズである。上述した制御によって、ドライバの顔画像においてドライバの顔部品の一部が隠れることによるドライバの顔向きの検出精度の低下をより一層抑制することができる。

なお、ドライバの顔部品の状態は顔部品の位置及びサイズであってもよい。この場合、ドライバ状態検出部２１は、ドライバの顔画像において隠れていないドライバの顔部品の位置及びサイズの変化量が閾値以下である場合にはドライバの顔向きがドライバの顔部品の一部が隠れる前から変化していないと判定する。一方、ドライバ状態検出部２１は、ドライバの顔画像において隠れていないドライバの顔部品の位置及びサイズの変化量の少なくとも一方が閾値よりも大きい場合にはドライバの顔向きを検出しない。

図７は、第二実施形態におけるドライバ状態検出処理の制御ルーチンを示すフローチャートである。本制御ルーチンはＥＣＵ２０によって繰り返し実行される。本制御ルーチンでは、車両８０のドライバの状態が検出される。ステップＳ２０１〜ステップＳ２０５は、図３のステップＳ１０１〜Ｓ１０５と同様であるため、説明を省略する。

ステップＳ２０３において顔部品の一部が隠れていると判定された場合、本制御ルーチンはステップＳ２０６に進む。ステップＳ２０６では、ドライバ状態検出部２１が、ドライバの顔画像において隠れていないドライバの顔部品の位置の変化量Ｐｖが閾値Ｐｔｈ以下であるか否かを判定する。閾値Ｐｔｈは顔部品毎に実験又は計算によって予め定められる。

ステップＳ２０６において変化量Ｐｖが閾値Ｐｔｈ以下であると判定された場合、本制御ルーチンはステップＳ２０７に進む。ステップＳ２０７では、ドライバ状態検出部２１が、ドライバの顔画像において隠れていないドライバの顔部品のサイズの変化量Ｓｖが閾値Ｓｔｈ以下であるか否かを判定する。閾値Ｓｔｈは顔部品毎に実験又は計算によって予め定められる。

ステップＳ２０７において変化量Ｓｖが閾値Ｓｔｈ以下であると判定された場合、本制御ルーチンはステップＳ２０８に進む。ステップＳ２０８では、ドライバ状態検出部２１がドライバ状態を検出する。具体的には、ドライバ状態検出部２１は、ドライバの顔部品が隠れる前に検出したドライバの顔向きを現在のドライバの顔向きとして検出する。すなわち、ドライバ状態検出部２１は、ステップＳ２０５において最後に検出したドライバの顔向きを現在のドライバの顔向きとして検出する。言い換えれば、ドライバ状態検出部２１は、ドライバの顔向きがドライバの顔部品の一部が隠れる前から変化していないと判定する。また、ドライバ状態検出部２１は、ドライバの少なくとも片眼が隠れていない場合、隠れていない眼に基づいてドライバの眼の開眼度を検出する。ステップＳ２０８の後、本制御ルーチンは終了する。

一方、ステップＳ２０６において変化量Ｐｖが閾値Ｐｔｈよりも大きいと判定された場合、又はステップＳ２０７において変化量Ｓｖが閾値Ｓｔｈよりも大きいと判定された場合、本制御ルーチンは終了する。なお、ドライバの少なくとも片眼が隠れていない場合、ステップＳ２０６又はステップＳ２０７の後、ドライバ状態検出部２１は、隠れていない眼に基づいてドライバの眼の開眼度を検出してもよい。また、本制御ルーチンにおいて、ステップＳ２０６又はステップＳ２０７が省略されてもよい。

以上、本発明に係る好適な実施形態を説明したが、本発明はこれら実施形態に限定されるものではなく、特許請求の範囲の記載内で様々な修正及び変更を施すことができる。また、上述した実施形態は、任意に組み合わせて実施可能である。

１ドライバ状態検出装置
１０ドライバモニタカメラ
２０電子制御ユニット（ＥＣＵ）
２１ドライバ状態検出部
８０車両

Claims

車両のドライバの顔を撮影して該ドライバの顔画像を生成するドライバモニタカメラと、
前記顔画像に基づいて前記ドライバの状態を検出するドライバ状態検出部と
を備え、
前記ドライバ状態検出部は、前記顔画像において前記ドライバの顔部品の一部が隠れている場合、前記顔画像において隠れていない前記ドライバの顔部品と、前記ドライバの顔部品の一部が隠れる前の前記顔画像とに基づいて前記ドライバの顔向きを検出する、ドライバ状態検出装置。
前記ドライバ状態検出部は、前記顔画像において隠れていない前記ドライバの顔部品の状態の変化量が閾値以下である場合には前記ドライバの顔向きが前記ドライバの顔部品の一部が隠れる前から変化していないと判定し、前記変化量が前記閾値よりも大きい場合には前記ドライバの顔向きを検出しない、請求項１に記載のドライバ状態検出装置。
前記ドライバ状態検出部は、前記顔画像において隠れていない前記ドライバの顔部品の位置及びサイズの変化量が閾値以下である場合には前記ドライバの顔向きが前記ドライバの顔部品の一部が隠れる前から変化していないと判定し、前記位置及びサイズの変化量の少なくとも一方が前記閾値よりも大きい場合には前記ドライバの顔向きを検出しない、請求項１に記載のドライバ状態検出装置。
前記ドライバ状態検出部は、前記顔画像と顔形状データとのマッチングを行うことによって前記ドライバの顔向きを検出する、請求項１から３のいずれか１項に記載のドライバ状態検出装置。
前記ドライバ状態検出部は、前記顔画像における顔部品と前記顔形状データにおける顔部品とのマッチングを行うことによって前記ドライバの顔向きを検出する、請求項４に記載のドライバ状態検出装置。
前記ドライバ状態検出部は、前記顔画像において前記ドライバの顔部品の一部が隠れている場合、前記顔画像において隠れている前記ドライバの顔部品と前記顔形状データにおける顔部品とのマッチングを行わない、請求項５に記載のドライバ状態検出装置。