JP7302534B2 - 状態判定装置および状態判定方法 - Google Patents

Description

本発明は、車両の運転者の状態を判定する状態判定装置および状態判定方法に関する。

車両の運転者が漫然運転状態にある場合、交通事故のリスクが高まる。運転者の視線方向または顔向きといった動作に基づいて、運転者が漫然運転状態にあるか否かを判定する技術が提案されている。

特許文献１には、車両の運転者の漫然運転状態を精度良く検出する漫然運転検出システムが記載されている。特許文献１に記載の漫然運転検出システムは、車両の運転者の顔の画像データに基づいて検出された運転者の顔の向きの変動と車両の運転シーンとに基づいて、運転者の漫然運転状態を判定する。

特開２０１７－１５１６９３号公報

運転者の動作は、道路状況によって相違する。そのため、単一の判定基準により漫然運転状態の判定を行うと、漫然運転を適切に検出できない場合がある。

本発明は、車両の運転者の運転状態を適切に判定することができる状態判定装置を提供することを目的とする。

本発明にかかる状態判定装置は、車両の運転者の視線方向または顔向きを示す動作対応値の分布する動作範囲が所定範囲に含まれる場合、運転者が漫然運転状態にあると判定する判定部と、車両の周囲の道路状況に応じて所定範囲を広げる範囲変更部と、を備える。

本発明にかかる状態判定装置において、範囲変更部は、車両の前方にカーブのある道路状況に応じて、カーブの向きに所定範囲を広げることが好ましい。

本発明にかかる状態判定装置において、範囲変更部は、カーブの曲率半径が小さいほど所定範囲を大きく広げることが好ましい。

本発明にかかる状態判定装置において、範囲変更部は、車両の前方で勾配が変化する道路状況に応じて、勾配が変化する向きに所定範囲を広げることが好ましい。

本発明にかかる状態判定装置において、範囲変更部は、車両の前方に設置物が検出される道路状況に応じて、運転者の位置から設置物が検出される位置に向けて所定範囲を広げることが好ましい。

本発明にかかる状態判定装置において、範囲変更部は、車両の車速が大きいほど所定範囲を大きく広げることが好ましい。

状態判定方法は、車両の運転者の視線方向または顔向きを示す動作対応値の分布する動作範囲が所定範囲に含まれる場合、運転者が漫然運転状態にあると判定し、車両の周囲の道路状況に応じて所定範囲を広げる、ことを含む。

本発明にかかる状態判定装置によれば、車両の運転者の運転状態を適切に判定することができる。

状態判定装置が実装される車両の概略構成図である。 ＥＣＵのハードウェア模式図である。 ＥＣＵが有するプロセッサの機能ブロック図である。 状態判定処理のフローチャートである。 状態判定処理の第１の例を示す図である。 状態判定処理の第２の例を示す図である。 状態判定処理の第３の例を示す図である。

以下、図面を参照して、車両の運転者の運転状態を適切に判定することができる状態判定装置について詳細に説明する。状態判定装置は、車両の運転者の視線方向または顔向きを示す動作対応値の分布する動作範囲が所定範囲に含まれる場合、運転者が漫然運転状態にあると判定する。そして、状態判定装置は、車両の周囲の道路状況に応じて所定範囲を広げる。

図１は、状態判定装置が実装される車両の概略構成図である。

車両１は、ドライバモニタカメラ２と、ＧＮＳＳ受信機３と、ストレージ装置４と、ＥＣＵ５（Electronic Control Unit）とを有する。ドライバモニタカメラ２、ＧＮＳＳ受信機３およびストレージ装置４とＥＣＵ５とは、コントローラエリアネットワークといった規格に準拠した車内ネットワークを介して通信可能に接続される。

ドライバモニタカメラ２は、運転者の動作を検出するためのセンサの一例である。ドライバモニタカメラ２は、ＣＣＤあるいはＣ－ＭＯＳなど、赤外光に感度を有する光電変換素子のアレイで構成された２次元検出器と、その２次元検出器上の撮影対象となる領域の像を結像する結像光学系とを有する。また、ドライバモニタカメラ２は、赤外光を発する光源を有する。ドライバモニタカメラ２は、例えば車室内の前方上部に、運転者シートに着座する運転者の顔に向けて取り付けられる。ドライバモニタカメラ２は、所定の撮影周期（例えば1/30秒～1/10秒）ごとに運転者に赤外光を照射し、運転者の顔が写った画像を出力する。

ＧＮＳＳ受信機３は、所定の周期ごとにＧＮＳＳ（Global Navigation Satellite System）衛星からのＧＮＳＳ信号を受信し、受信したＧＮＳＳ信号に基づいて車両１の自己位置を測位する。ＧＮＳＳ受信機３は、所定の周期ごとに、ＧＮＳＳ信号に基づく車両１の自己位置の測位結果を表す測位信号を、車内ネットワークを介してＥＣＵ５へ出力する。

ストレージ装置４は、記憶部の一例であり、例えば、ハードディスク装置、または不揮発性の半導体メモリを有する。ストレージ装置４は、位置に対応づけて道路状況を記憶する地図情報を保存する。ストレージ装置４は、ＥＣＵ５からの道路状況の読出し要求に従って道路状況を読出し、車内ネットワークを介して読出した道路状況をＥＣＵ５に渡す。

ＥＣＵ５は、状態判定装置の一例であり、ドライバモニタカメラ２が生成する画像とＧＮＳＳ受信機３が生成する測位信号とストレージ装置４に記憶された地図情報とを用いて、状態判定処理を実行する。

図２は、ＥＣＵ５のハードウェア模式図である。ＥＣＵ５は、通信インタフェース５１と、メモリ５２と、プロセッサ５３とを備える。

通信インタフェース５１は、通信部の一例であり、ＥＣＵ５を車内ネットワークへ接続するための通信インタフェース回路を有する。通信インタフェース５１は、受信したデータをプロセッサ５３に供給する。また、通信インタフェース５１は、プロセッサ５３から供給されたデータを外部に出力する。

メモリ５２は、揮発性の半導体メモリおよび不揮発性の半導体メモリを有する。メモリ５２は、プロセッサ５３による処理に用いられる各種データ、例えば動作対応値の分布する動作範囲に基づいて漫然運転状態にあるか否かを判定するための所定範囲を表す値、道路状況ごとに定められる所定範囲の変更ルール等を保存する。また、メモリ５２は、各種アプリケーションプログラム、例えば状態判定処理を実行する状態判定プログラム等を保存する。

プロセッサ５３は、制御部の一例であり、１以上のプロセッサおよびその周辺回路を有する。プロセッサ５３は、論理演算ユニット、数値演算ユニット、またはグラフィック処理ユニットといった他の演算回路をさらに有していてもよい。

図３は、ＥＣＵ５が有するプロセッサ５３の機能ブロック図である。

ＥＣＵ５のプロセッサ５３は、機能ブロックとして、判定部５３１と、範囲変更部５３２とを有する。プロセッサ５３が有するこれらの各部は、プロセッサ５３上で実行されるプログラムによって実装される機能モジュールである。あるいは、プロセッサ５３が有するこれらの各部は、独立した集積回路、マイクロプロセッサ、またはファームウェアとしてＥＣＵ５に実装されてもよい。

判定部５３１は、ドライバモニタカメラ２が生成する画像を取得する。判定部５３１は、取得した画像から、運転者の視線方向を検出する。視線方向は、車両１の進行方向と運転者の視線との間の水平方向または鉛直方向の角度により表される。

判定部５３１は、取得した画像を、瞳孔および光源の角膜反射の位置を検出するように予め学習された識別器に入力することにより、運転者の顔が写った画像に含まれる運転者の目における瞳孔および角膜反射の位置を特定する。そして、判定部５３１は、瞳孔と角膜反射との位置関係に基づいて、視線方向を検出する。

識別器は、例えば、入力側から出力側に向けて直列に接続された複数の層を有する畳み込みニューラルネットワーク（ＣＮＮ）とすることができる。予め瞳孔および角膜反射を含む顔画像を教師データとして用いてＣＮＮに入力し、学習を行うことにより、ＣＮＮは瞳孔および角膜反射の位置を特定する識別器として動作する。

判定部５３１は、取得した画像を識別器に入力することにより、運転者の目における目頭および虹彩の位置を特定し、目頭と虹彩との位置関係に基づいて視線方向を検出してもよい。この場合、ドライバモニタカメラ２は、夜間の車室内の環境下においても運転者の顔が写った画像を適切に出力可能な、高感度可視光センサを有していてもよい。

判定部５３１は、ドライバモニタカメラ２の撮影周期ごとに視線方向を検出し、所定間隔（例えば15秒間）における視線方向の分布する動作範囲を求める。そして、動作範囲とメモリ５２に記憶された所定範囲との比較を行い、動作範囲が所定範囲に含まれる場合、運転者が漫然運転状態にあると判定する。

範囲変更部５３２は、ＧＮＳＳ受信機３が生成する測位信号に表される車両１の現在位置に対応する車両１の周囲の道路状況をストレージ装置４から取得する。そして、車両１の周囲の道路状況が、変更ルールに関連づけてメモリ５２に記憶される各道路状況に合致するかを判定し、車両１の周囲の道路状況に応じて所定範囲を広げる。

図４は、状態判定処理のフローチャートである。ＥＣＵ５は、車両１が走行を行う間、状態判定処理を所定の周期で繰り返し実行する。

まず、範囲変更部５３２は、車両１の周囲の道路状況が、変更ルールに関連づけてメモリ５２に記憶される各道路状況に合致するかを判定する（ステップＳ１）。車両１の周囲の道路状況が、変更ルールに関連づけられる各道路状況のいずれかに合致すると判定された場合（ステップＳ１：Ｙ）、範囲変更部５３２は、道路状況に関連づけられた変更ルールに従って所定範囲を広げる（ステップＳ２）。車両１の周囲の道路状況が、変更ルールに関連づけられる各道路状況のいずれにも合致しないと判定された場合（ステップＳ１：Ｎ）、範囲変更部５３２は、所定範囲を変更せずに次の処理に進む。

次に、判定部５３１は、車両１の運転者の視線方向を示す動作対応値の分布する動作範囲を算出する（ステップＳ３）。続いて、判定部５３１は、動作範囲とメモリ５２に記憶された所定範囲とを用いて、運転者が漫然運転状態にあるか否かを判定し（ステップＳ４）、状態判定処理を終了する。

プロセッサ５３は、状態判定処理の判定結果に基づいて、漫然運転状態と判定された運転者に対する注意喚起処理を実行する。例えば、プロセッサ５３は、車両１に搭載された不図示のディスプレイに所定の信号を出力することにより、運転への集中を促すメッセージを表示させる。また、プロセッサ５３は、車両１に搭載された不図示のスピーカに所定の信号を出力することにより、運転への集中を促す音声を出力させてもよい。

図５は、状態判定処理の第１の例を説明する図である。

図５に示す第１の例において、車両１は位置Ｐ１１から位置Ｐ１２に走行している。位置Ｐ１１における車両１の周囲の道路状況は、直線道路に該当する。位置Ｐ１１において、運転者の視線方向ＥＤ１１１－ＥＤ１１３が検出されている。視線方向ＥＤ１１１－ＥＤ１１３の分布する動作範囲ＡＲ１１において、視線方向ＥＤ１１１およびＥＤ１１２は所定範囲のＲＲ１１の内側にあり、視線方向ＥＤ１１３は所定範囲ＲＲ１１の外側にある。すなわち、動作範囲ＡＲ１１は所定範囲ＲＲ１１に含まれない。

一方、位置Ｐ１２における車両１の周囲の道路状況は、車両１の前方の位置Ｐ１３にカーブのある道路状況である。メモリ５２には、車両１の前方にカーブのある道路状況に対応づけて、カーブの向きに所定範囲を広げる変更ルールが記憶されている。そのため、範囲変更部５３２は、変更ルールに従って、所定範囲ＲＲ１１をカーブの向き（図５の例では右）に所定範囲を広げる。

位置Ｐ１２において、運転者の視線方向ＥＤ１２１－ＥＤ１２３が検出されている。視線方向ＥＤ１２１－ＥＤ１２３の分布する動作範囲ＡＲ１２において、視線方向ＥＤ１２３は、広げられた所定範囲ＲＲ１２の内側となる。そのため、動作範囲ＡＲ１２は所定範囲ＲＲ１２に含まれる。

図５の例では、車両１の運転者は、位置Ｐ１１において漫然運転状態と判定されず、位置Ｐ１２において漫然運転状態と判定される。

図６は、状態判定処理の第２の例を説明する図である。

図６に示す第２の例において、車両１は位置Ｐ２１から位置Ｐ２２に走行している。位置Ｐ２１における車両１の周囲の道路状況は、直線道路に該当する。位置Ｐ２１において、運転者の視線方向ＥＤ２１１－ＥＤ２１３が検出されている。視線方向ＥＤ２１１－ＥＤ２１３の分布する動作範囲ＡＲ２１において、視線方向ＥＤ２１２およびＥＤ２１３は所定範囲のＲＲ２１の内側にあり、視線方向ＥＤ２１１は所定範囲ＲＲ２１の外側にある。すなわち、動作範囲ＡＲ２１は所定範囲ＲＲ２１に含まれない。

一方、位置Ｐ２２における車両１の周囲の道路状況は、車両１の前方の位置Ｐ２３で勾配が変化し、登り坂となる道路状況である。ただし、位置Ｐ２３を俯瞰した図６には勾配は図示されていない。メモリ５２には、車両１の前方で勾配が変化する道路状況に対応づけて、勾配が変化する向きに所定範囲を広げる変更ルールが記憶されている。そのため、範囲変更部５３２は、変更ルールに従って、所定範囲ＲＲ２１を勾配が変化する向き（図６の例では上）に所定範囲を広げる。

位置Ｐ２２において、運転者の視線方向ＥＤ２２１－ＥＤ２２３が検出されている。視線方向ＥＤ２２１－ＥＤ２２３の分布する動作範囲ＡＲ２２において、視線方向ＥＤ２２１は、広げられた所定範囲ＲＲ２２の内側となる。そのため、動作範囲ＡＲ２２は所定範囲ＲＲ２２に含まれる。

図６の例では、車両１の運転者は、位置Ｐ２１において漫然運転状態と判定されず、位置Ｐ２２において漫然運転状態と判定される。

図７は、状態判定処理の第３の例を説明する図である。

図７に示す第３の例において、車両１は位置Ｐ３１から位置Ｐ３２に走行している。位置Ｐ３１における車両１の周囲の道路状況は、直線道路に該当する。位置Ｐ３１において、運転者の視線方向ＥＤ３１１－ＥＤ３１３が検出されている。視線方向ＥＤ３１１－ＥＤ３１３の分布する動作範囲ＡＲ３１において、視線方向ＥＤ３１２およびＥＤ３１３は所定範囲のＲＲ３１の内側にあり、視線方向ＥＤ３１１は所定範囲ＲＲ３１の外側にある。すなわち、動作範囲ＡＲ３１は所定範囲ＲＲ３１に含まれない。

一方、位置Ｐ３２における車両１の周囲の道路状況は、車両１の前方の位置Ｐ３３に設置物である道路標識ＲＳが検出される道路状況である。メモリ５２には、車両１の前方に設置物が検出される道路状況に対応づけて、設置物が検出される位置に向けて所定範囲を広げる変更ルールが記憶されている。そのため、範囲変更部５３２は、変更ルールに従って、所定範囲ＲＲ３１を道路標識ＲＳが検出される位置に向けて（図７の例では上向きに）に所定範囲を広げる。

位置Ｐ３２において、運転者の視線方向ＥＤ３２１－ＥＤ３２３が検出されている。視線方向ＥＤ３２１－ＥＤ３２３の分布する動作範囲ＡＲ３２において、視線方向ＥＤ３２１は、広げられた所定範囲ＲＲ３２の内側となる。そのため、動作範囲ＡＲ３２は所定範囲ＲＲ３２に含まれる。

図７の例では、車両１の運転者は、位置Ｐ３１において漫然運転状態と判定されず、位置Ｐ３２において漫然運転状態と判定される。

以上のようにＥＣＵ５が状態判定処理を実行することにより、ＥＣＵ５は、車両の運転者の運転状態を適切に判定することができる。

変形例によれば、範囲変更部５３２は、車両１の前方にカーブのある道路状況に応じてカーブの向きに所定範囲を広げる場合、カーブの曲率半径が小さいほど所定範囲を大きく広げてもよい。カーブの曲率半径は、ストレージ装置４に地図情報として記憶される。

異なる変形例によれば、範囲変更部５３２は、車両１の周囲の道路状況に応じて所定範囲を広げる場合、車両１の車速が大きいほど所定範囲を大きく広げてもよい。車両１の車速は、車内ネットワークに接続された不図示の車速センサから取得することができる。

異なる変形例によれば、判定部５３１は、車両１の運転者の視線方向に代えて、または視線方向に加えて、ドライバモニタカメラ２が生成した画像から運転者の顔向きを検出してもよい。顔向きは、車両１の進行方向と運転者が顔を向けている方向との間の水平方向または鉛直方向の角度により表される。顔向きは、画像から検出された目や口といった顔の部位を標準的な顔の３次元モデルと照合することにより検出することができる。

当業者は、本発明の精神および範囲から外れることなく、種々の変更、置換および修正をこれに加えることが可能であることを理解されたい。

１ 車両
５ ＥＣＵ
５３１ 判定部
５３２ 範囲変更部

Claims (3)

1. 車両の運転者の視線方向または顔向きを示す動作対応値の分布する動作範囲が所定範囲に含まれる場合、前記運転者が漫然運転状態にあると判定する判定部と、
   それぞれ異なる道路状況に関連づけてメモリに記憶され当該道路状況に応じて前記所定範囲に加えるべき変更をそれぞれ表す複数の変更ルールのうち、地図情報に表される、前記車両の自己位置における前記車両の周囲の道路状況に合致する道路状況に関連づけられた変更ルールに従って前記所定範囲を広げる範囲変更部と、
   を備え、
   前記複数の変更ルールは、前記車両の前方にカーブのある前記道路状況に関連づけて、前記カーブの向きに前記所定範囲を広げることを含み、または、
   前記複数の変更ルールは、前記車両の前方で勾配が変化する前記道路状況に関連づけて、前記勾配が変化する向きに前記所定範囲を広げることを含み、または、
   前記複数の変更ルールは、前記車両の前方に設置物が検出される前記道路状況に関連づけて、前記運転者の位置から前記設置物が検出される位置に向けて前記所定範囲を広げることを含み、または、
   前記範囲変更部は、前記車両の車速が大きいほど前記所定範囲を大きく広げる、
   状態判定装置。
2. 前記複数の変更ルールが、前記車両の前方で勾配が変化する前記道路状況に関連づけて、前記勾配が変化する向きに前記所定範囲を広げることを含む場合において、前記複数の変更ルールは、前記車両の前方にカーブのある前記道路状況にさらに関連づけて、前記カーブの曲率半径が小さいほど前記所定範囲を大きく広げることをさらに含む、請求項１に記載の状態判定装置。
3. 車両の運転者の視線方向または顔向きを示す動作対応値の分布する動作範囲が所定範囲に含まれる場合、前記運転者が漫然運転状態にあると判定し、
   それぞれ異なる道路状況に関連づけてメモリに記憶され当該道路状況に応じて前記所定範囲に加えるべき変更をそれぞれ表す複数の変更ルールのうち、地図情報に表される、前記車両の自己位置における前記車両の周囲の道路状況に合致する道路状況に関連づけられた変更ルールに従って前記所定範囲を広げる、ことを含み、
   前記複数の変更ルールは、前記車両の前方にカーブのある前記道路状況に関連づけて、前記カーブの向きに前記所定範囲を広げることを含み、または、
   前記複数の変更ルールは、前記車両の前方で勾配が変化する前記道路状況に関連づけて、前記勾配が変化する向きに前記所定範囲を広げることを含み、または、
   前記複数の変更ルールは、前記車両の前方に設置物が検出される前記道路状況に関連づけて、前記運転者の位置から前記設置物が検出される位置に向けて前記所定範囲を広げることを含み、または、
   前記所定範囲の変更において、前記車両の車速が大きいほど前記所定範囲を大きく広げる、
   状態判定方法。

Images