JP6962141B2 - ドライバ状態検出装置 - Google Patents

Description

本発明はドライバ状態検出装置に関する。

従来、車両に設けられた撮像手段を用いて脇見等のドライバ状態を検出するための装置が知られている。例えば、特許文献１に記載の発明では、撮像手段によって出力されたドライバの顔画像からドライバの視線を検出し、検出された視線が所定範囲外にある場合にドライバが脇見をしていると判定される。

また、特許文献２に記載の発明では、ドライバを撮像してドライバの顔を認識し、ドライバの瞳孔の位置が眼の中央付近からずれている場合に、ドライバが脇見をしていると判定される。

特開２０１２−０５８７６９号公報 特開２０１６−１３９１９２号公報 特開２０１１−１５９２１４号公報

ところで、車両の車線変更が行われる場合、ドライバは安全確認のために視線を正面からずらして移動先の車線を見る必要がある。しかしながら、特許文献１、２に記載の発明では、ドライバが安全確認のために横又は斜め後方を向いているにも拘わらず、ドライバが脇見をしていると判定されてしまう。

一方、特許文献３に記載の発明では、走行中にウィンカーが作動されているにも拘わらず、右窓若しくは右ミラー又は左ミラー若しくは左窓の確認行動が検出されない場合には、ドライバに警告が与えられる。しかしながら、ドライバの顔向きが正面から大きくずれているときには、ドライバの顔領域及び顔部品を正確に特定することが困難である。このため、窓又はミラーの確認行動を精度良く検出できないおそれがある。

上記課題に鑑みて、本発明の目的は、車線変更時にドライバが安全確認を行った場合に、ドライバが脇見をしていると誤判定することを抑制することにある。

上記課題を解決するために、本発明では、車両のドライバの顔を撮影して該ドライバの顔画像を生成するドライバモニタカメラと、前記車両のウィンカーの作動を検出するウィンカー作動検出部と、前記顔画像に基づいて前記ドライバの顔向き又は視線を検出する顔情報検出部と、前記ドライバの顔向き又は視線が脇見判定条件を満たした場合に前記ドライバが脇見をしていると判定するドライバ状態判定部とを備え、前記ドライバ状態判定部は、前記ウィンカー作動検出部によって前記ウィンカーの作動が検出されると、前記脇見判定条件を緩め又は脇見判定を行わない、ドライバ状態検出装置が提供される。

本発明によれば、車線変更時にドライバが安全確認を行った場合に、ドライバが脇見をしていると誤判定することを抑制することができる。

図１は、本発明の第一実施形態に係るドライバ状態検出装置の構成を示すブロック図である。 図２は、ドライバ状態検出装置を搭載した車両の内部を概略的に示す図である。 図３は、第一実施形態における脇見判定条件設定処理の制御ルーチンを示すフローチャートである。 図４は、第一実施形態におけるドライバ状態判定処理の制御ルーチンを示すフローチャートである。 図５は、第二実施形態におけるドライバ状態判定処理の制御ルーチンを示すフローチャートである。

以下、図面を参照して本発明の実施形態について詳細に説明する。なお、以下の説明では、同様な構成要素には同一の参照番号を付す。

＜第一実施形態＞
以下、図１〜図４を参照して、本発明の第一実施形態について説明する。図１は、本発明の第一実施形態に係るドライバ状態検出装置の構成を示すブロック図である。ドライバ状態検出装置１は、車両に搭載され、車両のドライバの状態を検出する。ドライバ状態検出装置１はドライバモニタカメラ１０及び電子制御ユニット（ＥＣＵ）２０を備える。

図２は、ドライバ状態検出装置を搭載した車両の内部を概略的に示す図である。ドライバモニタカメラ１０は車両８０（自車両）のドライバの顔を撮影してドライバの顔画像を生成する。ドライバモニタカメラ１０は車両８０の内部に設けられる。具体的には、図２に示すように、ドライバモニタカメラ１０は車両８０のステアリングコラム８１の上部に設けられる。図２には、ドライバモニタカメラ１０の投影範囲が破線で示されている。なお、ドライバモニタカメラ１０は、車両８０のステアリング８２、ルームミラー、メータパネル、メータフード等に設けられてもよい。また、ドライバ状態検出装置１は複数のドライバモニタカメラ１０を備えていてもよい。

ドライバモニタカメラ１０はカメラ及び投光器から構成される。例えば、カメラはＣＭＯＳ（相補型金属酸化膜半導体）カメラ又はＣＣＤ（電荷結合素子）カメラであり、投光器はＬＥＤ（発光ダイオード）である。また、夜間等の低照度時においてもドライバに不快感を与えることなくドライバの顔を撮影できるように、好ましくは、投光器は近赤外ＬＥＤである。例えば、投光器は、カメラの両側に配置された二個の近赤外ＬＥＤである。また、カメラには可視光カットフィルタのようなフィルタが設けられてもよい。ドライバモニタカメラ１０によって生成されたドライバの顔画像はドライバモニタカメラ１０からＥＣＵ２０に送信される。

ＥＣＵ２０は、読み出し専用メモリ（ＲＯＭ）及びランダムアクセスメモリ（ＲＡＭ）のようなメモリ、中央演算装置（ＣＰＵ）、入力ポート、出力ポート、通信モジュール等を備えたマイクロコンピュータである。本実施形態では、一つのＥＣＵ２０が設けられているが、機能毎に複数のＥＣＵが設けられていてもよい。ＥＣＵ２０は、ウィンカー作動検出部２１、顔情報検出部２２及びドライバ状態判定部２３を有する。

ウィンカー作動検出部２１は車両８０のウィンカー（図示せず）の作動を検出する。ウィンカーの作動によってウィンカーは点滅する。車両８０が手動運転されている場合、ウィンカーは車両のドライバによって作動される。一方、車両８０が自動運転されている場合、ウィンカーは自動運転ＥＣＵ等によって自動的に作動される。ウィンカー作動検出部２１は、例えば、ウィンカーへの電力供給の有無を検出することによってウィンカーの作動を検出する。具体的には、ウィンカー作動検出部２１は、ウィンカーに電力が供給されているときにはウィンカーが作動されていると判定し、ウィンカーに電力が供給されていないときにはウィンカーが作動されていないと判定する。

顔情報検出部２２はドライバの顔情報を検出する。具体的には、顔情報検出部２２は、ドライバモニタカメラ１０によって生成されたドライバの顔画像に基づいてドライバの顔向き又は視線を検出する。

顔情報検出部２２は、例えば、以下の方法によってドライバの顔向きを検出する。顔情報検出部２２は、ドライバが正面を向いているときの顔形状データを予め記憶している。顔形状データは、一般的な人間の顔のデータであっても、ドライバ毎に取得されてもよい。顔形状データはＥＣＵ２０のメモリに記憶される。顔情報検出部２２は、生成されたドライバの顔画像と、顔形状データとのマッチングを行う。顔情報検出部２２は、両者の一致率が最大となるようにドライバの顔画像を回転させ、一致率が最大となるときの回転角度からドライバの顔向きを検出する。

また、顔情報検出部２２は以下の方法によってドライバの顔向きを検出してもよい。顔情報検出部２２は、ドライバの顔向きが異なる複数の顔形状データを予め記憶している。顔形状データは、一般的な人間の顔のデータであっても、ドライバ毎に取得されてもよい。顔形状データはＥＣＵ２０のメモリに記憶される。顔情報検出部２２は、生成されたドライバの顔画像と、複数の顔形状データとのマッチングを行う。顔情報検出部２２は、両者の一致率が最大となる顔形状データの顔向きをドライバの顔向きとして検出する。また、顔情報検出部２２は、特開２０００−９７６７６２号公報又は特開２００３−４４８５３号公報に記載されたような他の公知の手法によってドライバの顔向きを検出してもよい。

顔情報検出部２２は、例えば、以下の方法によってドライバの視線を検出する。顔情報検出部２２は、生成されたドライバの顔画像から顔領域を特定し、眼、鼻、口等の顔部品の特徴点を抽出することによって顔部品を検出する。さらに、顔情報検出部２２は、プルキニエ像（角膜反射像）の位置と瞳孔中心の位置とを検出し、プルキニエ像と瞳孔中心との位置関係に基づいてドライバの視線を検出する。なお、顔情報検出部２２は、プルキニエ像と瞳孔中心との位置関係と、検出されたドライバの顔向きとに基づいてドライバの視線を検出してもよい。

ドライバ状態判定部２３はドライバの状態を判定する。具体的には、ドライバ状態判定部２３は、顔情報検出部２２によって検出されたドライバの顔向き又は視線が脇見判定条件を満たした場合にドライバが脇見をしていると判定する。例えば、ドライバ状態判定部２３は、ドライバの顔向き又は視線が閾値時間以上閾値範囲外に維持された場合に、ドライバが脇見をしていると判定する。

ドライバ状態判定部２３は、ドライバが脇見をしていると判定した場合には、ドライバに警報を与える。例えば、ドライバ状態判定部２３はヒューマン・マシン・インターフェース（Human Machine Interface（ＨＭＩ））５０を介して視覚的又は聴覚的にドライバに警報を与える。ＨＭＩ５０は、ドライバと車両８０との間で情報の入出力を行うためのインターフェイスである。ＨＭＩ５０は、例えば、文字又は画像情報を表示するディスプレイ、音を発生させるスピーカ、ドライバが入力操作を行うための操作ボタン、タッチパネル、マイク等から構成される。

人間の眼には有効視野が存在するため、ドライバが右側を向いているときには左側の視野が狭くなり、ドライバが左側を向いているときには右側の視野が狭くなる。したがって、ドライバが左右両方の広い範囲を監視するためには、ドライバはできるだけ正面を向いている必要がある。このため、脇見判定の閾値範囲は、正面（０°）を中心とする所定範囲（例えば±２０〜４０°）に設定される。

一方、車両８０の車線変更が行われる場合、ドライバは安全確認のために顔向き又は視線を正面からずらして移動先の車線を見る必要がある。しかしながら、車線変更時にも脇見判定条件（閾値範囲及び閾値時間）が維持されると、ドライバが安全確認のために横又は斜め後方を向いているにも拘わらず、ドライバが脇見をしていると判定され、ドライバに警報が与えられる。通常、ウィンカーが作動された場合には、車両８０の車線変更が行われる。

このため、本実施形態では、ドライバ状態判定部２３は、ウィンカー作動検出部２１によってウィンカーの作動が検出されると、脇見判定条件を緩める。このことによって、車線変更時にドライバが安全確認を行った場合に、ドライバが脇見をしていると誤判定することを抑制することができる。

ドライバ状態判定部２３は、ウィンカー作動検出部２１によってウィンカーの作動が検出されると、例えば閾値範囲を拡張する。具体的には、ドライバ状態判定部２３は、右のウィンカーの作動が検出されると、右側（プラス側）の閾値範囲を拡張する。例えば、閾値範囲は＋１８０°まで拡張される。一方、ドライバ状態判定部２３は、左のウィンカーの作動が検出されると、左側（マイナス側）の閾値範囲を拡張する。例えば閾値範囲は−１８０°まで拡張される。

また、ドライバ状態判定部２３は、閾値範囲を拡張する代わりに、閾値時間を延長してもよい。例えば、閾値時間は、車線変更の平均所要時間よりも長い時間（例えば、５〜２０秒）まで延長される。また、ドライバ状態判定部２３は閾値範囲を拡張し且つ閾値時間を延長してもよい。

＜脇見判定条件設定処理＞
以下、図３及び図４のフローチャートを参照して、ドライバ状態検出装置１を用いてドライバの脇見を検出するための制御について詳細に説明する。図３は、第一実施形態における脇見判定条件設定処理の制御ルーチンを示すフローチャートである。本制御ルーチンはＥＣＵ２０によって所定の時間間隔で繰り返し実行される。本制御ルーチンでは、脇見判定条件（閾値判定及び閾値時間）が設定される。

最初に、ステップＳ１０１において、右のウィンカーが作動中であるか否かが判定される。右のウィンカーが作動中であると判定された場合、本制御ルーチンはステップＳ１０２に進む。ステップＳ１０２では、右側の閾値範囲が拡張される。次いで、ステップＳ１０３では、閾値時間が延長される。ステップＳ１０３の後、本制御ルーチンは終了する。

一方、右のウィンカーが作動中でないと判定された場合、本制御ルーチンはステップＳ１０４に進む。ステップＳ１０４では、左のウィンカーが作動中であるか否かが判定される。左のウィンカーが作動中であると判定された場合、本制御ルーチンはステップＳ１０５に進む。ステップＳ１０５では、左側の閾値範囲が拡張される。次いで、ステップＳ１０６では、閾値時間が延長される。ステップＳ１０６の後、本制御ルーチンは終了する。

一方、左のウィンカーが作動中でないと判定された場合、本制御ルーチンはステップＳ１０７に進む。ステップＳ１０７では、閾値範囲が初期化される。すなわち、閾値範囲が拡張前の元の値に戻される。次いで、ステップＳ１０８では、閾値時間が初期化される。すなわち、閾値時間が延長前の元の値に戻される。ステップＳ１０８の後、本制御ルーチンは終了する。

本制御ルーチンでは、ウィンカーの作動が検出されている間、脇見判定条件が緩められる。しかしながら、ウィンカーの作動が検出されている間の一部の時間のみ脇見判定条件が緩められてもよい。例えば、ウィンカーの作動開始後の所定時間のみ脇見判定条件が緩められてもよい。

＜ドライバ状態判定処理＞
図４は、第一実施形態におけるドライバ状態判定処理の制御ルーチンを示すフローチャートである。本制御ルーチンはＥＣＵ２０によって所定の時間間隔で繰り返し実行される。本制御ルーチンでは、ドライバが脇見をしているか否かが判定される。

最初に、ステップＳ２０１において、ドライバモニタカメラ１０からドライバの顔画像が取得される。ドライバの顔画像はドライバモニタカメラ１０によって生成される。

次いで、ステップＳ２０２において、ドライバの顔画像に基づいてドライバの顔向き又は視線が検出される。例えば、ドライバの顔向き又は視線は、上述したいずれかの方法によって検出される。

次いで、ステップＳ２０３において、ドライバの顔向き又は視線が閾値範囲内であるか否かが判定される。閾値範囲は図３の制御ルーチンにおいて設定される。ドライバの顔向き又は視線が閾値範囲内であると判定された場合、本制御ルーチンはステップＳ２０８に進む。ステップＳ２０８では、積算時間ＥＴがゼロにリセットされる。ステップＳ２０８の後、本制御ルーチンは終了する。

一方、ステップＳ２０３において顔向き又は視線が閾値範囲外であると判定された場合、本制御ルーチンはステップＳ２０４に進む。ステップＳ２０４では、積算時間ＥＴが更新される。具体的には、積算時間ＥＴに微小時間Δｔを加算した値が新たな積算時間ＥＴとされる。積算時間ＥＴは、ドライバの顔向き又は視線が閾値範囲外に維持された時間である。積算時間ＥＴの初期値はゼロである。また、微小時間Δｔは本制御ルーチンの実行間隔に相当する値である。

次いで、ステップＳ２０５において、積算時間ＥＴが閾値時間Ｔｒｅｆ以上であるか否かが判定される。閾値時間Ｔｒｅｆは図３の制御ルーチンにおいて設定される。積算時間ＥＴが閾値時間Ｔｒｅｆ未満であると判定された場合、本制御ルーチンは終了する。

一方、積算時間ＥＴが閾値時間Ｔｒｅｆ以上であると判定された場合、本制御ルーチンはステップＳ２０６に進む。ステップＳ２０６では、ドライバが脇見をしていると判定される。次いで、ステップＳ２０７では、ＨＭＩ５０を介してドライバに警報が所定時間与えられる。次いで、ステップＳ２０８では、積算時間ＥＴがゼロにリセットされる。ステップＳ２０８の後、本制御ルーチンは終了する。

なお、図３のステップＳ１０３、ステップＳ１０６及びステップＳ１０８は省略されてもよい。この場合、閾値時間はウィンカーの作動に関わらず一定にされる。また、図３のステップＳ１０２、ステップＳ１０５及びステップＳ１０７は省略されてもよい。この場合、閾値範囲はウィンカーの作動に関わらず一定にされる。すなわち、ウィンカーの作動が検出されると、閾値範囲及び閾値時間の少なくとも一方が変更される。

＜第二実施形態＞
第二実施形態に係るドライバ状態検出装置の構成及び制御は、以下に説明する点を除いて、基本的に第一実施形態に係るドライバ状態検出装置の構成及び制御と同様である。このため、以下、本発明の第二実施形態について、第一実施形態と異なる部分を中心に説明する。

第二実施形態では、ドライバ状態判定部２３は、ウィンカー作動検出部２１によってウィンカーの作動が検出されると、脇見判定を行わない。このことによって、車線変更時にドライバが安全確認を行った場合に、ドライバが脇見をしていると誤判定することを抑制することができる。

＜ドライバ状態判定処理＞
図５は、第二実施形態におけるドライバ状態判定処理の制御ルーチンを示すフローチャートである。本制御ルーチンはＥＣＵ２０によって所定の時間間隔で繰り返し実行される。本制御ルーチンでは、ドライバが脇見をしているか否かが判定される。

最初に、ステップＳ３０１において、ウィンカーが作動中であるか否かが判定される。ウィンカーが作動中でないと判定された場合、本制御ルーチンはステップＳ３０２に進む。ステップＳ３０２〜ステップＳ３０９は、図４のステップＳ２０１〜ステップＳ２０８と同様であることから説明を省略する。なお、この場合、閾値範囲及び閾値範囲は予め定められている。

一方、ステップＳ３０１においてウィンカーが作動中であると判定された場合、本制御ルーチンは終了する。すなわち、脇見判定が行われない。

本制御ルーチンでは、ウィンカーの作動が検出されている間、脇見判定が行われない。しかしながら、ウィンカーの作動が検出されている間の一部の時間のみ脇見判定が行われなくてもよい。例えば、ウィンカーの作動開始後の所定時間のみ脇見判定が行われなくてもよい。

以上、本発明に係る好適な実施形態を説明したが、本発明はこれら実施形態に限定されるものではなく、特許請求の範囲の記載内で様々な修正及び変更を施すことができる。

１ ドライバ状態検出装置
１０ ドライバモニタカメラ
２０ 電子制御ユニット（ＥＣＵ）
２１ ウィンカー作動検出部
２２ 顔情報検出部
２３ ドライバ状態判定部
８０ 車両

Claims (1)

1. 車両のドライバの顔を撮影して該ドライバの顔画像を生成するドライバモニタカメラと、
   前記車両のウィンカーの作動を検出するウィンカー作動検出部と、
   前記顔画像に基づいて前記ドライバの顔向き又は視線を検出する顔情報検出部と、
   前記ドライバの顔向き又は視線が閾値時間以上閾値範囲外に維持された場合に前記ドライバが脇見をしていると判定するドライバ状態判定部と
   を備え、
   前記閾値範囲は、正面を中心とする所定範囲に設定され、
   前記ドライバ状態判定部は、前記ウィンカー作動検出部によって前記車両の右のウィンカーの作動が検出されると、右側の閾値範囲を拡張し、前記ウィンカー作動検出部によって前記車両の左のウィンカーの作動が検出されると、左側の閾値範囲を拡張する、ドライバ状態検出装置。

Images