JPWO2020174601A1 - 覚醒度推定装置、自動運転支援装置および覚醒度推定方法 - Google Patents

Abstract

覚醒度推定装置（１０）において、顔画像取得部（１１）は、車両の乗員の顔を撮影した画像である顔画像を取得する。上瞼開度算出部（１２）は、顔画像から検出した目頭の位置、目尻の位置および上瞼の最高点の位置に基づいて上瞼の開度を算出する。上瞼の開度が予め定められた閾値より小さいとき、下方視判定部（１３）が、顔画像から検出した上瞼の最高点の位置および当該上瞼の最高点から下ろした鉛直線と下瞼の輪郭線との交点の位置に基づいて乗員が下方視状態か否かを判定する。上瞼の開度が閾値より小さくなり、且つ、乗員が下方視状態でないと判定されると、覚醒度推定装置（１０）の覚醒度推定部（１４）が、乗員の覚醒度が低下したと推定する。

Description

本発明は車両の乗員の覚醒度を推定する技術に関するものである。

車載カメラで撮影した運転者の顔の画像から求めた目の開度に基づいて、運転者の覚醒度（眠気の有無）を推定する覚醒度推定装置が知られている（例えば特許文献１）。

運転者は、車外前方を見るだけでなく、車内のメータやナビゲーション装置の画面などを見るために視線を下方へ向けることがある（以下、視線を下方へ向けることを「下方視」という）。下方視時の目の開度は、覚醒度が低下したときの目の開度に近い値になるため、覚醒度推定装置においては、運転者が下方視したときに、覚醒度が低下したと誤判定されるのを防止することが課題になる。

特許文献１の覚醒度推定装置は、運転者の目の開度から覚醒度を推定するとともに、運転者が下方視状態か否かの判定を行い、運転者が下方視状態と判定された場合に、目の開度から推定した運転者の覚醒度を、覚醒度を高くする方向へ補正することによって、上記誤判定を防止している。

特開２００８−１７１０６５号公報 特開２０１１−０４８５３１号公報 特開２００７−２４１９３７号公報

特許文献１の覚醒度推定装置では、上瞼の輪郭線の最高点と下瞼の輪郭線の最下点との間の距離に基づいて運転者の目の開度が算出され、上瞼の輪郭線および下瞼の輪郭線の形状に基づいて運転者が下方視状態か否かが判定される。一般に、下瞼の輪郭線は上瞼の輪郭線に比べて不明瞭であり、下瞼の輪郭線を高い精度で検出するのは難しい。そのため、特許文献１の手法では、算出される目の開度の誤差が大きくなり、その結果、運転者の覚醒度の推定結果の信頼性が低くなることが懸念される。なお、特許文献１では、運転者の眼球内に下瞼の影を投影させる光源を車内に設置し、その影をカメラで撮影することによって、下瞼の輪郭線の検出精度の向上を図っている。

本発明は以上のような課題を解決するためになされたものであり、車両の乗員の覚醒度を高い精度で推定可能な覚醒度推定装置を提供することを目的とする。

本発明に係る覚醒度推定装置は、車両の乗員の顔を撮影した画像である顔画像を取得する顔画像取得部と、顔画像から検出した目頭の位置、目尻の位置および上瞼の最高点の位置に基づいて上瞼の開度を算出する上瞼開度算出部と、上瞼の開度が予め定められた開度閾値より小さいときに、顔画像から検出した上瞼の最高点の位置および当該上瞼の最高点から下ろした鉛直線と下瞼の輪郭線との交点の位置に基づいて乗員が下方視状態か否かを判定する下方視判定部と、上瞼の開度が開度閾値より小さくなり、且つ、乗員が下方視状態でないと判定されると、乗員の覚醒度が低下したと推定する覚醒度推定部と、を備える。

本発明において、車両の乗員の覚醒度は、乗員の上瞼の開度および当該乗員が下方視状態か否かの判定（下方視判定）の結果に基づいて推定される。上瞼の開度は、下瞼の位置を用いずに算出できるため高い精度で算出できる。下方視判定には下瞼の輪郭線の位置が用いられるが、下方視判定は、上瞼の開度が小さい状態、すなわち、下瞼が膨らみを帯びて輪郭線が明瞭になった状態で行われるため、高い精度で行うことができる。その結果、乗員の覚醒度の推定精度も高いものとなる。

本発明の目的、特徴、態様、および利点は、以下の詳細な説明と添付図面とによって、より明白となる。

実施の形態１に係る覚醒度推定装置の構成を示すブロック図である。 実施の形態１に係る覚醒度推定装置の動作を示すフローチャートである。 実施の形態１に係る覚醒度推定装置の変更例を示すブロック図である。 覚醒度推定装置のハードウェア構成例を示す図である。 覚醒度推定装置のハードウェア構成例を示す図である。 実施の形態２に係る自動運転支援装置の構成を示すブロック図である。

＜実施の形態１＞
図１は、実施の形態１に係る覚醒度推定装置１０の構成を示すブロック図である。本実施の形態では、覚醒度推定装置１０は車両に搭載されているものと仮定する。ただし、覚醒度推定装置１０は、車両に常設されるものに限られず、例えば、携帯電話やスマートフォン、ポーダブルナビゲーション装置など、車両に持ち込み可能な携帯型のデバイスに構築されていてもよい。また、覚醒度推定装置１０の一部または全部が、車両との通信が可能なサーバー上に構築されていてもよい。

図１のように、覚醒度推定装置１０は、車両が備えるカメラ２１および警告装置２２と接続されている。

カメラ２１は、車内を撮影するものであり、車両の乗員の顔を撮影可能な位置に設置されている。本実施の形態では、カメラ２１は、車両の全座席の乗員の顔を撮影できるだけの撮影範囲を持つ広角カメラであるものとする。ただし、例えば覚醒度推定装置１０が運転席の乗員（運転者）の覚醒度のみを推定すればよい場合は、カメラ２１の撮影範囲は運転席のみを撮影できる広さでよい。

覚醒度推定装置１０は、カメラ２１が撮影した乗員の顔の画像（以下「顔画像」という）に基づいて、乗員の覚醒度（眠気の有無）を推定し、その推定結果を警告装置２２へ出力する。本実施の形態では、覚醒度推定装置１０は、カメラ２１で撮影された全乗員の覚醒度を推定するものとする。この場合、覚醒度推定装置１０は、各乗員の覚醒度の推定結果とともに、各乗員の座席の位置の情報を出力する。すなわち、覚醒度推定装置１０からは、覚醒度が高いと推定される乗員がどの座席にいて、覚醒度が低いと推定される乗員がどの座席にいるのか、といった情報が出力される。

警告装置２２は、覚醒度推定装置１０が推定した乗員の覚醒度に応じて、車内へ警報を発するものであり、警告音や警告メッセージを発するスピーカ、警報画面を表示するディスプレイなどを備えている。本実施の形態では、警告装置２２は、運転席の乗員（運転者）の覚醒度が低下したと推定された場合に警告を発するものとする。ただし、警告装置２２の動作内容に制約はなく、例えば、運転者以外の乗員の覚醒度が低下したと推定された場合にも、警告を発してもよい。

図１のように、覚醒度推定装置１０は、顔画像取得部１１、上瞼開度算出部１２、下方視判定部１３および覚醒度推定部１４を備えている。

顔画像取得部１１は、カメラ２１が撮影した乗員の顔画像を取得する。本実施の形態では、カメラ２１は車両の全座席を撮影できる広角カメラであるため、顔画像取得部１１は、顔認識技術を用いて、カメラ２１が撮影した車内の画像から乗員ごとの顔画像を抽出する。

上瞼開度算出部１２は、顔画像取得部１１が取得した乗員の顔画像から、乗員の目頭の位置、目尻の位置および上瞼の最高点の位置を検出し、それらの位置関係に基づいて、上瞼の開き具合（以下「開度」という）を算出する。より具体的には、上瞼開度算出部１２は、目頭と目尻とを結ぶ直線と上瞼の最高点との間の距離である第１の距離に基づいて、上瞼の開度を算出する。先に述べたように、下瞼の輪郭線は、上瞼の輪郭線に比べ、高い精度で検出するのは難しい。上瞼開度算出部１２が算出する上瞼の開度は、下瞼の輪郭線の情報を用いずに算出できるため、その精度は高いものとなる。なお、上瞼の最高点とは、目尻と目頭とを結ぶ直線から最も離れている上瞼の点（頂点）である。

本実施の形態では、上瞼開度算出部１２は、第１の距離を、目頭と目尻との間の距離で除算することで目の扁平率を求め、扁平率を予め定められた基準値で除算して得られる値を、上瞼の開度として算出する。

目の扁平率の基準値は、例えば、目の扁平率の平均的な値として覚醒度推定装置１０の製造者が定めた一定の値でよい。あるいは、覚醒度推定装置１０が、顔画像を用いた顔認証などによって乗員個人を識別可能な場合には、覚醒度推定装置１０に乗員ごとの基準値を登録できるようにしてもよい。乗員ごとに異なる基準値を用いられることで、上瞼の開度の算出結果に、目の大きさの個人差が影響することが抑えられる。

下方視判定部１３は、上瞼開度算出部１２が算出した乗員の上瞼の開度が予め定められた閾値（以下「開度閾値」という）より小さい場合に、当該乗員が下方視状態か否かを判定する下方視判定を行う。具体的には、下方視判定部１３は、上瞼の開度が開度閾値よりも小さい場合に、顔画像取得部１１が取得した顔画像から、上瞼の最高点の位置と、下瞼の輪郭線と、上瞼の最高点から下ろした鉛直線と下瞼の輪郭線との交点（以下「下瞼の特定点」という）の位置とを検出し、上瞼の最高点と下瞼の特定点との位置関係に基づいて、乗員が下方視状態か否かを判定する。なお、下瞼の特定点は、目頭と目尻とを結ぶ直線に向かって上瞼の最高点から下した垂線と下瞼の輪郭線との交点でもよい。

一般に、人が目を伏せたり目を細めたりして上瞼の開度が小さくなった状態では、下瞼が膨らみを帯び、下瞼の輪郭線が明瞭になるため、顔画像から下瞼の輪郭線を高い精度で検出できる。下方視判定部１３が行う下方視判定には、下瞼の輪郭線の位置が必要であるが、下方視判定は、上瞼の開度が小さいときに行われるため、下方視判定には、高い精度で得られた下瞼の輪郭線の位置が用いられる。従って、下方視判定部１３が行う下方視判定は、精度の高いものとなる。

本実施の形態では、下方視判定部１３は、上瞼の開度が開度閾値よりも小さい場合に、上瞼の最高点と下瞼の特定点との間の距離である第２の距離とに基づいて、乗員が下方視状態か否かを判定する。すなわち、下方視判定部１３は、上瞼の開度が開度閾値より小さく、且つ、第２の距離が予め定められた閾値（以下「距離閾値」という）より大きい場合に、乗員が下方視状態であると判定する。

以下、「上瞼の開度が開度閾値より小さく、且つ、第２の距離が距離閾値より大きい」という条件を「下方視条件」ということもある。また、第２の距離を「上下瞼間距離」ということもある。

距離閾値は、例えば、下方視に最低限必要とされる上下瞼間距離の大きさとして覚醒度推定装置１０の製造者が定めた一定の値もよい。あるいは、覚醒度推定装置１０が、顔画像を用いた顔認証などによって乗員個人を識別可能な場合には、覚醒度推定装置１０に乗員ごとの距離閾値を登録できるようにしてもよい。乗員ごとに異なる距離閾値が用いられることで、下方視判定の結果に、下方視時の目の大きさの個人差が影響することが抑えられる。

覚醒度推定部１４は、上瞼開度算出部１２が算出した乗員の上瞼の開度、および、下方視判定部１３が行った当該乗員の下方視判定の結果に基づいて、当該乗員の覚醒度が低下したか否かを推定する。具体的には、覚醒度推定部１４は、乗員の上瞼の開度が開度閾値より小さくなり、且つ、当該乗員が下方視状態でないと判定されるときに、当該乗員の覚醒度が低下したと推定する。上記のように、上瞼開度算出部１２は乗員の上瞼の開度を高い精度で算出でき、下方視判定部１３は下方視判定を高い精度で行うことができるため、覚醒度推定部１４による乗員の覚醒度推定は精度の高いものとなる。

以下、「乗員の上瞼の開度が開度閾値より小さくなり、且つ、当該乗員が下方視状態でない」という条件を「覚醒度低下条件」ということもある。

このように、実施の形態１に係る覚醒度推定装置１０によれば、乗員が下方視状態か否かを考慮して、乗員の覚醒度を高い精度で推定することができる。また、比較的困難な処理となる下瞼の輪郭線の検出は、少なくとも下方視判定が行われるとき（つまり、上瞼の開度が開度閾値より小さいとき）に行われればよいことから、覚醒度推定装置１０の処理負荷の低減にも寄与できる。

図２は、実施の形態１に係る覚醒度推定装置１０の動作を示すフローチャートである。以下、図２を参照しつつ、覚醒度推定装置１０の動作を説明する。

車両のイグニッションがオンになり、覚醒度推定装置１０が起動すると、まず、顔画像取得部１１が、カメラ２１が撮影した乗員の顔画像を取得する（ステップＳ１０１）。ここでは説明の簡単のため、カメラ２１が撮影した画像には、１人の乗員の顔画像だけが含まれているものと仮定する。ただし、本実施の形態のようにカメラ２１が広角カメラであれば、ステップＳ１０１で複数の乗員の顔画像が取得されることもある。その場合、以下のステップＳ１０２〜Ｓ１０８の処理は、それぞれの乗員の顔画像に対して実施される。

次に、上瞼開度算出部１２が、ステップＳ１０１で取得された乗員の顔画像から、乗員の目頭の位置、目尻の位置および上瞼の最高点の位置を検出し、それらの位置関係に基づいて、乗員の上瞼の開度を算出する（ステップＳ１０２）。

ステップＳ１０２で算出された乗員の上瞼の開度が予め定められた開度閾値より小さい場合（ステップＳ１０３でＹＥＳ）、下方視判定部１３が、ステップＳ１０１で取得された乗員の顔画像に基づいて、当該乗員が下方視状態か否かを判定する下方視判定を行う（ステップＳ１０４）。

ステップＳ１０４の下方視判定の結果、乗員が下方視状態でないと判定された場合（ステップＳ１０５でＮＯ）、覚醒度推定部１４は、当該乗員の覚醒度が低下したと推定する（ステップＳ１０６）。

一方、ステップＳ１０２で算出された乗員の上瞼の開度が開度閾値より大きい場合（ステップＳ１０３でＮＯ）、または、ステップＳ１０４で乗員が下方視状態であると判定された場合（ステップＳ１０５でＹＥＳ）、覚醒度推定部１４は、当該乗員の覚醒度は高いと推定する（ステップＳ１０７）。

ステップＳ１０６またはＳ１０７による乗員の覚醒度の推定結果は、警告装置２２に出力される（ステップＳ１０８）。その結果、警告装置２２からは、乗員の覚醒度の推定結果に応じた警告が発せられる。

覚醒度推定装置１０は、以上のフローを繰り返し実行する。なお、当該フローは、例えば、覚醒度推定装置１０の起動後（車両のイグニッションがオンになった後）、常時実行されてもよいし、車両の走行中のみに実行される（車両の停止中は実行されない）ようにしてもよい。当該フローが常時実行される場合、車両が動き出す前から乗員の覚醒度が推定されるため、車両の安全性の向上に寄与できる。ただし、一般的には、車両の停止中に乗員の覚醒度を推定する必要性はあまり高くないため、当該フローが車両の走行中のみに実行されるようにして、覚醒度推定装置１０の処理負荷の低減および消費電力の低減を図ってもよい。

［変更例］
実施の形態１の覚醒度推定装置１０では、覚醒度推定部１４が、乗員の覚醒度の推定結果を警告装置２２に出力していたが、その出力先は警告装置２２に限られず、任意の装置でよい。例えば、図３のように、覚醒度推定部１４による乗員の覚醒度の推定結果が、車両の自動運転を行うＥＣＵ（Electronic Control Unit）である自動運転制御装置２３にも入力されてもよい。

図３の自動運転制御装置２３の動作としては、例えば、覚醒度推定部１４が運転席の乗員（運転者）の覚醒度が低下したと推定し、警告装置２２が警告を発したにもかかわらず、運転者の覚醒度が低下したままであった場合に、自動運転制御装置２３が、車両を自動的に安全な場所（例えば、幅の広い路肩やパーキングエリアなど）へ退避させて停止させるといった動作が考えられる。

また、実施の形態１では、下方視判定部１３は、乗員が上瞼の開度が開度閾値より小さく、且つ、当該乗員の上下瞼間距離（第２の距離）が距離閾値より大きくなるという条件（下方視条件）が満たされると、直ちに、当該乗員が下方視状態であると判定した。しかし、下方視判定部１３は、乗員の目が下方視条件を満たした時間がある程度長くなったときに、当該乗員が下方視状態であると判定してもよい。具体的には、下方視条件が満たされた時間の一定時間に占める割合が予め定められた閾値（時間閾値）を超えたときに、当該乗員が下方視状態であると判定してもよい。それにより、例えばノイズの影響などによる、下方視の誤検出を抑制でき、覚醒度の推定精度のさらなる向上に寄与できる。

乗員の顔の向きと視線の方向との間には相関がある。具体的には、乗員が下方視するとき、目や瞼が動くだけでなく、顔の向きが視線の方向へ向けて動く傾向がある。そのため、下方視判定部１３は、顔画像から検出した乗員の顔の向きを加味して、乗員が下方視状態か否かを判定してもよい。例えば、下方視判定部１３が、乗員の目が下方視条件を満たし、なお且つ、当該乗員の顔の向きが下方向（特に、車内のメータやナビゲーション装置の画面がある方向）へ向けて動いた場合に、当該乗員が下方視状態であると判定するようにしてもよい。

また、乗員の顔の向きと覚醒度との間にも相関がある。具体的には、乗員の覚醒度が下がると、顔の動きが少なくなり、顔の向きがほぼ一定になる傾向がある。そのため、覚醒度推定部１４は、顔画像から検出した乗員の顔の向きを加味して、乗員の覚醒度を推定してもよい。例えば、覚醒度推定部１４が、乗員の上瞼の開度が開度閾値より小さくなり、且つ、当該乗員が下方視状態でないという条件（覚醒度低下条件）が満たされ、なお且つ、当該乗員の顔の向きの変動が予め定められた閾値よりも小さい場合に、当該乗員の覚醒度が低下したと推定するようにしてもよい。

乗員は、シフトレバーやナビゲーション装置など、車両に搭載された機器（車載機器）を操作するときに、下方視することが多い。そのため、下方視判定部１３は、車載機器の操作状況を加味して、乗員が下方視状態か否かを判定してもよい。例えば、下方視判定部１３が、乗員の目が下方視条件を満たし、なお且つ、当該乗員が顔よりも低い位置にある車載機器の操作を行った場合に、乗員が下方視状態であると判定するようにしてもよい。なお、車載機器の動作状況の情報は、例えば車両のＥＣＵなどから取得することができる。

また、車載機器を操作している乗員は、覚醒度が高いと考えられる。そのため、覚醒度推定部１４は、車載機器の操作状況を加味して、乗員の覚醒度を推定してもよい。例えば、覚醒度推定部１４が、乗員の目が覚醒度低下条件を満たし、なお且つ、当該乗員が車載機器の操作を行っていない場合に、当該乗員の覚醒度が低下したと推定するようにしてもよい。

［ハードウェア構成例］
図４および図５は、それぞれ覚醒度推定装置１０のハードウェア構成の例を示す図である。図１に示した覚醒度推定装置１０の構成要素の各機能は、例えば図４に示す処理回路５０により実現される。すなわち、覚醒度推定装置１０は、車両の乗員の顔を撮影した画像である顔画像を取得し、顔画像から検出した目頭の位置、目尻の位置および上瞼の最高点の位置に基づいて上瞼の開度を算出し、上瞼の開度が予め定められた開度閾値より小さいときに、顔画像から検出した上瞼の最高点の位置および当該上瞼の最高点から下ろした鉛直線と下瞼の輪郭線との交点の位置に基づいて乗員が下方視状態か否かを判定し、上瞼の開度が開度閾値より小さくなり、且つ、乗員が下方視状態でないと判定されると、乗員の覚醒度が低下したと推定するための処理回路５０を備える。処理回路５０は、専用のハードウェアであってもよいし、メモリに格納されたプログラムを実行するプロセッサ（中央処理装置（ＣＰＵ：Central Processing Unit）、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、ＤＳＰ（Digital Signal Processor）とも呼ばれる）を用いて構成されていてもよい。

処理回路５０が専用のハードウェアである場合、処理回路５０は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、またはこれらを組み合わせたものなどが該当する。覚醒度推定装置１０の構成要素の各々の機能が個別の処理回路で実現されてもよいし、それらの機能がまとめて一つの処理回路で実現されてもよい。

図５は、処理回路５０がプログラムを実行するプロセッサ５１を用いて構成されている場合における覚醒度推定装置１０のハードウェア構成の例を示している。この場合、覚醒度推定装置１０の構成要素の機能は、ソフトウェア等（ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせ）により実現される。ソフトウェア等はプログラムとして記述され、メモリ５２に格納される。プロセッサ５１は、メモリ５２に記憶されたプログラムを読み出して実行することにより、各部の機能を実現する。すなわち、覚醒度推定装置１０は、プロセッサ５１により実行されるときに、車両の乗員の顔を撮影した画像である顔画像を取得する処理と、顔画像から検出した目頭の位置、目尻の位置および上瞼の最高点の位置に基づいて上瞼の開度を算出する処理と、上瞼の開度が予め定められた開度閾値より小さいときに、顔画像から検出した上瞼の最高点の位置および当該上瞼の最高点から下ろした鉛直線と下瞼の輪郭線との交点の位置に基づいて乗員が下方視状態か否かを判定する処理と、上瞼の開度が開度閾値より小さくなり、且つ、乗員が下方視状態でないと判定されると、乗員の覚醒度が低下したと推定する処理と、が結果的に実行されることになるプログラムを格納するためのメモリ５２を備える。換言すれば、このプログラムは、覚醒度推定装置１０の構成要素の動作の手順や方法をコンピュータに実行させるものであるともいえる。

ここで、メモリ５２は、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリー、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）などの、不揮発性または揮発性の半導体メモリ、ＨＤＤ（Hard Disk Drive）、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Digital Versatile Disc）およびそのドライブ装置等、または、今後使用されるあらゆる記憶媒体であってもよい。

以上、覚醒度推定装置１０の構成要素の機能が、ハードウェアおよびソフトウェア等のいずれか一方で実現される構成について説明した。しかしこれに限ったものではなく、覚醒度推定装置１０の一部の構成要素を専用のハードウェアで実現し、別の一部の構成要素をソフトウェア等で実現する構成であってもよい。例えば、一部の構成要素については専用のハードウェアとしての処理回路５０でその機能を実現し、他の一部の構成要素についてはプロセッサ５１としての処理回路５０がメモリ５２に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。

以上のように、覚醒度推定装置１０は、ハードウェア、ソフトウェア等、またはこれらの組み合わせによって、上述の各機能を実現することができる。

＜実施の形態２＞
実施の形態２では、実施の形態１で示した覚醒度推定装置１０を、車両の自動運転を支援する自動運転支援装置に適用した例を示す。

ここで、自動車の自動運転の自動化レベル（自動運転レベル）の定義について説明する。ＳＡＥ（Society of Automotive Engineers）International のＪ３０１６（２０１６年９月）、および、その日本語参考訳であるＪＡＳＯ ＴＰ１８００４（２０１８年２月）によると、自動運転システムの自動運転レベルは次のように定義されている。

レベル０（運転自動化なし）：運転者が一部又は全ての動的運転タスクを実行
レベル１（運転支援）：システムが縦方向又は横方向のいずれかの車両運動制御のサブタスクを限定領域において実行
レベル２（部分運転自動化）：システムが縦方向及び横方向両方の車両運動制御のサブタスクを限定領域において実行
レベル３（条件付運転自動化）：システムが全ての動的運転タスクを限定領域において実行するが、作動継続が困難な場合は、システムからの介入要求等に運転者が適切に応答
レベル４（高度運転自動化）：システムが全ての動的運転タスク及び作動継続が困難な場合への応答を限定領域において実行
レベル５（完全運転自動化）：システムが全ての動的運転タスク及び作動継続が困難な場合への応答を無制限に（すなわち限定領域内ではない）実行
なお、「動的運転タスク」とは、道路交通において車両を操作する際にリアルタイムで行う必要がある全ての操作上及び戦術上の機能（行程計画並びに経由地の選択などの戦略上の機能は除く）をいう。また、「限定領域」とは、システム又はその機能が作動するように設計されている特定の条件（地理的制約、道路面の制約、環境的制約、交通の制約、速度上の制約、時間的な制約などを含む）をいう。

図６は、実施の形態２に係る自動運転支援装置３０の構成を示すブロック図である。図６において、図１に示したものと同様に機能する要素には、図１と同一の参照符号を付しており、ここではそれらの説明は省略する。

図６のように、自動運転支援装置３０は、カメラ２１、自動運転制御装置２３および通知装置２４と接続されている。自動運転制御装置２３は、車両の自動運転を行うＥＣＵであり、上記の「システム」に相当する。本実施の形態では、自動運転制御装置２３は、少なくともレベル３の自動運転を行うものとする。通知装置２４は、車両の乗員に対する通知を行うものであり、通知音や通知メッセージの音声を発するスピーカ、警報画面を表示するディスプレイなどを備えている。

また、自動運転支援装置３０は、覚醒度推定装置１０と、乗員選択部３１とを備えている。覚醒度推定装置１０は、実施の形態１で説明したものと同様に車両の乗員の覚醒度を推定し、その推定結果を乗員選択部３１へ出力する。

乗員選択部３１は、自動運転支援装置３０からの介入要求に応じて、車両の運転に介入させる乗員（運転者にする乗員）を選択する。介入要求は、自動運転支援装置３０がレベル３の自動運転を実行しており、自動運転の継続が困難になった場合に、自動運転支援装置３０から乗員選択部３１へ入力される。乗員選択部３１は、自動運転支援装置３０からの介入要求を受けると、覚醒度推定装置１０による乗員の覚醒度の推定結果を確認し、覚醒度が高いと推定された乗員を、車両の運転に介入させる乗員として選択する。

乗員選択部３１による選択結果は、通知装置２４に入力される。通知装置２４は、乗員選択部３１が選択した乗員に対し、車両の運転へ介入を指示するための通知を行う。

乗員選択部３１が運転席にいる乗員を選択した場合は、車両を停止させることなく、車両の運転権限をその乗員へ移行することができる。しかし、乗員選択部３１が運転席以外の乗員を選択した場合は、自動運転制御装置２３が車両を安全な場所に停止させ、選択された乗員が運転席へ移動してから、その乗員に運転権限を移行すればよい。覚醒度が高いと推定された乗員が複数いる場合、乗員選択部３１はそのうちの誰を選択してもよいが、運転席にいる乗員を優先的に選択するようにしてもよい。

このように、実施の形態２の自動運転支援装置３０は、自動運転支援装置３０が乗員へ運転権限を引き渡す、いわゆるハンドオーバーの処理を支援し、覚醒度の低い乗員に運転権限が移行されることを防止することができる。

なお、本発明は、その発明の範囲内において、各実施の形態を自由に組み合わせたり、各実施の形態を適宜、変形、省略したりすることが可能である。

本発明は詳細に説明されたが、上記した説明は、すべての態様において、例示であって、この発明がそれに限定されるものではない。例示されていない無数の変形例が、この発明の範囲から外れることなく想定され得るものと解される。

１０ 覚醒度推定装置、１１ 顔画像取得部、１２ 上瞼開度算出部、１３ 下方視判定部、１４ 覚醒度推定部、２１ カメラ、２２ 警告装置、２３ 自動運転制御装置、２４ 通知装置、３０ 自動運転支援装置、３１ 乗員選択部、５０ 処理回路、５１ プロセッサ、５２ メモリ。

Claims (17)

1. 車両の乗員の顔を撮影した画像である顔画像を取得する顔画像取得部と、
   前記顔画像から検出した目頭の位置、目尻の位置および上瞼の最高点の位置に基づいて前記上瞼の開度を算出する上瞼開度算出部と、
   前記上瞼の開度が予め定められた開度閾値より小さいときに、前記顔画像から検出した前記上瞼の最高点の位置および当該上瞼の最高点から下ろした鉛直線と下瞼の輪郭線との交点の位置に基づいて前記乗員が下方視状態か否かを判定する下方視判定部と、
   前記上瞼の開度が前記開度閾値より小さくなり、且つ、前記乗員が下方視状態でないと判定されると、前記乗員の覚醒度が低下したと推定する覚醒度推定部と、
   を備える覚醒度推定装置。
2. 前記上瞼開度算出部は、前記目頭と前記目尻とを結ぶ直線と前記上瞼の最高点との間の距離である第１の距離に基づいて、前記上瞼の開度を算出する、
   請求項１に記載の覚醒度推定装置。
3. 前記上瞼開度算出部は、前記第１の距離を前記目頭と前記目尻との間の距離で除算して得られる扁平率を予め定められた基準値で除算して得られる値を、前記上瞼の開度として算出する、
   請求項２に記載の覚醒度推定装置。
4. 前記上瞼開度算出部は、乗員ごとに異なる値の前記基準値を用いる、
   請求項３に記載の覚醒度推定装置。
5. 前記下方視判定部は、前記上瞼の最高点と当該上瞼の最高点から下ろした鉛直線と前記下瞼の輪郭線との交点との間の距離である第２の距離に基づいて、前記乗員が下方視状態か否かを判定する
   請求項１に記載の覚醒度推定装置。
6. 前記下方視判定部は、前記上瞼の開度が前記開度閾値より小さく、且つ、前記第２の距離が予め定められた距離閾値より大きい場合に、前記乗員が下方視状態であると判定する
   請求項５に記載の覚醒度推定装置。
7. 前記下方視判定部は、乗員ごとに異なる値の前記距離閾値を用いる、
   請求項６に記載の覚醒度推定装置。
8. 前記下方視判定部は、前記上瞼の開度が前記開度閾値より小さく、且つ、前記第２の距離が予め定められた距離閾値より大きくなった時間の一定時間に占める割合が予め定められた時間閾値を超える場合に、前記乗員が下方視状態であると判定する
   請求項５に記載の覚醒度推定装置。
9. 前記下方視判定部は、乗員ごとに異なる値の前記距離閾値を用いる、
   請求項８に記載の覚醒度推定装置。
10. 前記下方視判定部は、前記顔画像から検出した前記乗員の顔の向きを加味して、前記乗員が下方視状態か否かを判定する、
    請求項１に記載の覚醒度推定装置。
11. 前記覚醒度推定部は、前記顔画像から検出した前記乗員の顔の向きを加味して、前記乗員の覚醒度を推定する、
    請求項１に記載の覚醒度推定装置。
12. 前記下方視判定部は、前記車両に搭載された機器の操作状況を加味して、前記乗員が下方視状態か否かを判定する、
    請求項１に記載の覚醒度推定装置。
13. 前記覚醒度推定部は、前記車両に搭載された機器の操作状況を加味して、前記乗員の覚醒度を推定する、
    請求項１に記載の覚醒度推定装置。
14. 前記覚醒度推定部は、前記乗員の覚醒度の推定結果を、前記車両の乗員への警告を行う警告装置へ出力する、
    請求項１に記載の覚醒度推定装置。
15. 前記覚醒度推定部は、前記乗員の覚醒度の推定結果を、前記車両の自動運転制御装置へ出力する、
    請求項１に記載の覚醒度推定装置。
16. 車両の自動運転を支援する自動運転支援装置であって、
    請求項１に記載の覚醒度推定装置と、
    前記車両の自動運転の継続が困難になった場合に、前記覚醒度推定部による前記乗員の覚醒度の推定結果に基づいて、前記車両の運転へ介入させる乗員を選択する乗員選択部と、
    を備える自動運転支援装置。
17. 覚醒度推定装置の顔画像取得部が、車両の乗員の顔を撮影した画像である顔画像を取得し、
    前記覚醒度推定装置の上瞼開度算出部が、前記顔画像から検出した目頭の位置、目尻の位置および上瞼の最高点の位置に基づいて前記上瞼の開度を算出し、
    前記上瞼の開度が予め定められた開度閾値より小さいときに、前記覚醒度推定装置の下方視判定部が、前記顔画像から検出した前記上瞼の最高点の位置および当該上瞼の最高点から下ろした鉛直線と下瞼の輪郭線との交点の位置に基づいて前記乗員が下方視状態か否かを判定し、
    前記上瞼の開度が前記開度閾値より小さくなり、且つ、前記乗員が下方視状態でないと判定されると、前記覚醒度推定装置の覚醒度推定部が、前記乗員の覚醒度が低下したと推定する、
    覚醒度推定方法。

Images