JP7175381B2 - 覚醒度推定装置、自動運転支援装置および覚醒度推定方法 - Google Patents

Description

本発明は車両の乗員の覚醒度を推定する技術に関するものである。

車載カメラで撮影した運転者の顔の画像から求めた開眼度（目の開度、すなわち目の開き具合）に基づいて、運転者の覚醒度（眠気の有無）を推定する覚醒度推定装置が知られている（例えば特許文献１～３）。

運転者は、他の乗員との会話中やハンズフリー通話中などに笑顔になることがある。一般に、人が笑顔になると目が細くなるので、笑顔になったときの開眼度は、覚醒度が低下したときの開眼度に近い値になる。そのため、覚醒度推定装置においては、運転者が笑顔になったときに、覚醒度が低下したと誤判定されるのを防止することが課題になる。

特許文献１～３の覚醒度推定装置は、運転者の開眼度から覚醒度を推定するとともに、運転者が笑顔か否かの判定を行い、運転者の開眼度が小さくなった場合でも、運転者が笑顔であれば覚醒度が高いと判定することによって、上記誤判定を防止している。

特開２０１６－１１５１２０号公報 特開２０１０－９０９３号公報 特開２０１０－１４２３４５号公報

特許文献１～３には、運転者の笑顔の判定手法が種々提案されているが、覚醒度の推定精度の判定の更なる向上を図るために、新たな判定手法が望まれる。

本発明は以上のような課題を解決するためになされたものであり、車両の乗員が笑顔か否かを考慮することで、当該乗員の覚醒度を高い精度で推定可能な覚醒度推定装置を提供することを目的とする。

本発明に係る覚醒度推定装置は、車両の乗員の顔を撮影した画像である顔画像を取得する顔画像取得部と、顔画像に基づいて乗員の開眼度を算出する開眼度算出部と、開眼度が予め定められた閾値より小さいか否かを判定する開閉眼判定部と、顔画像から乗員の両口角および両目頭の中点の位置を検出し、一方の口角と両目頭の中点とを結ぶ直線と他方の口角と両目頭の中点とを結ぶ直線とが成す角度である笑顔判定用角度を算出する笑顔判定用角度算出部と、笑顔判定用角度に基づいて、乗員が笑顔か否かを判定する笑顔判定部と、開眼度が閾値より小さくなり、且つ、乗員が笑顔でないと判定されると、乗員の覚醒度が低下したと推定する覚醒度推定部と、を備え、笑顔判定部は、顔画像から検出した乗員の目の形状を加味して、乗員が笑顔か否かを判定する。

本発明によれば、乗員の開眼度が閾値より小さくなり、且つ、乗員が笑顔でないと判定されたときに、乗員の覚醒度が低下したと推定される。つまり、乗員が笑顔と判定されたときは、乗員の開眼度が閾値より小さくても覚醒度は高いと推定される。それにより、乗員が笑顔になったときに覚醒度が低下したと誤判定されることが防止され、覚醒度の推定精度が向上する。また、乗員が笑顔か否かの判定は、乗員の両口角および両目頭の中点の位置から算出される笑顔判定用角度に基づいて行われる。一般に、口角の位置は、人が笑顔のときとそうでないときとで大きく変化するため、乗員の笑顔か否かの判定を容易、且つ、高い精度で行うことができる。

本発明の目的、特徴、態様、および利点は、以下の詳細な説明と添付図面とによって、より明白となる。

実施の形態１に係る覚醒度推定装置の構成を示すブロック図である。 実施の形態１に係る覚醒度推定装置の動作を示すフローチャートである。 実施の形態１に係る覚醒度推定装置の変更例を示すブロック図である。 覚醒度推定装置のハードウェア構成例を示す図である。 覚醒度推定装置のハードウェア構成例を示す図である。 実施の形態２に係る覚醒度推定装置の構成を示すブロック図である。 実施の形態２に係る覚醒度推定装置の動作を示すフローチャートである。 実施の形態３に係る自動運転支援装置の構成を示すブロック図である。

＜実施の形態１＞
図１は、実施の形態１に係る覚醒度推定装置１０の構成を示すブロック図である。本実施の形態では、覚醒度推定装置１０は車両に搭載されているものと仮定する。ただし、覚醒度推定装置１０は、車両に常設されるものに限られず、例えば、携帯電話やスマートフォン、ポーダブルナビゲーション装置など、車両に持ち込み可能な携帯型のデバイスに構築されていてもよい。また、覚醒度推定装置１０の一部または全部が、車両の外部に設置され、車両との通信が可能なサーバー上に構築されていてもよい。

図１のように、覚醒度推定装置１０は、車両が備えるカメラ２１および警告装置２２と接続されている。

カメラ２１は、車内を撮影するものであり、車両の乗員の顔を撮影可能な位置に設置されている。本実施の形態では、カメラ２１は、車両の全座席の乗員の顔を撮影できるだけの撮影範囲を持つ広角カメラであるものとする。ただし、例えば覚醒度推定装置１０が運転席の乗員（運転者）の覚醒度のみを推定すればよい場合は、カメラ２１の撮影範囲は少なくとも運転席を撮影できる広さでよい。

覚醒度推定装置１０は、カメラ２１が撮影した乗員の顔の画像（以下「顔画像」という）に基づいて、乗員の覚醒度（眠気の有無）を推定し、その推定結果を警告装置２２へ出力する。本実施の形態では、覚醒度推定装置１０は、カメラ２１で撮影された全乗員の覚醒度を推定するものとする。この場合、覚醒度推定装置１０は、各乗員の覚醒度の推定結果とともに、各乗員の座席の位置の情報を出力する。すなわち、覚醒度推定装置１０からは、覚醒度が高いと推定される乗員がどの座席にいて、覚醒度が低いと推定される乗員がどの座席にいるのか、といった情報が出力される。

警告装置２２は、覚醒度推定装置１０が推定した乗員の覚醒度に応じて、車内へ警報を発するものであり、警告音や警告メッセージを発するスピーカ、警報画面を表示するディスプレイなどを備えている。本実施の形態では、警告装置２２は、運転席の乗員（運転者）の覚醒度が低下したと推定された場合に警告を発するものとする。ただし、警告装置２２の動作内容に制約はなく、例えば、運転者以外の乗員の覚醒度が低下したと推定された場合にも、警告を発してもよい。

図１のように、覚醒度推定装置１０は、顔画像取得部１１、開眼度算出部１２、開閉眼判定部１３、笑顔判定用角度算出部１４、笑顔判定部１５および覚醒度推定部１６を備えている。

顔画像取得部１１は、カメラ２１が撮影した乗員の顔画像を取得する。本実施の形態では、カメラ２１は車両の全座席を撮影できる広角カメラであるため、顔画像取得部１１は、顔認識技術を用いて、カメラ２１が撮影した車内の画像から乗員ごとの顔画像を抽出する。

開眼度算出部１２は、顔画像取得部１１が取得した乗員の顔画像に基づいて、当該乗員の開眼度（目の開き具合）を算出する。顔画像取得部１１により複数の乗員の顔画像が取得された場合、開眼度算出部１２は、複数の乗員それぞれの開眼度を算出する。開眼度算出部１２における開眼度の算出方法に特に制約はなく、例えば、上記の特許文献１～３に示された方法を用いてもよい。

本実施の形態では、開眼度算出部１２は、乗員の顔画像から、乗員の目頭の位置、目尻の位置および上瞼の最高点の位置を検出し、目頭と目尻とを結ぶ直線と上瞼の最高点との間の距離を、目頭と目尻との間の距離で除算することで目の扁平率を求め、扁平率を予め定められた基準値で除算して得られる値を、開眼度として算出する。一般に、下瞼の輪郭線は、上瞼の輪郭線に比べて顔画像から検出することが難しいが、この方法では、下瞼の輪郭線の情報を用いずに開眼度を算出するため、開眼度を高い精度で算出できる。なお、上瞼の最高点とは、目尻と目頭とを結ぶ直線から最も離れている上瞼の点（頂点）である。

目の扁平率の基準値は、例えば、目の扁平率の平均的な値として覚醒度推定装置１０の製造者が定めた一定の値でよい。あるいは、覚醒度推定装置１０が、顔画像を用いた顔認証などによって乗員個人を識別可能な場合には、覚醒度推定装置１０に乗員ごとの基準値を登録できるようにしてもよい。乗員ごとに異なる基準値を用いられることで、開眼度の算出結果に、目の大きさの個人差が影響することが抑えられる。

開閉眼判定部１３は、開眼度算出部１２が算出した乗員の開眼度と予め定められた閾値とを比較し、乗員の開眼度が閾値以上か否かを判定することで、乗員の目が開いているか閉じているかを判定する。以下、この判定を「開閉眼判定」といい、開眼度が閾値以上の状態を「開眼状態」、開眼度が閾値より小さい状態を「閉眼状態」という。先に述べたように、開眼度算出部１２により算出される開眼度の精度は高いため、開閉眼判定部１３による開閉眼判定の精度も高いものとなる。

笑顔判定用角度算出部１４は、顔画像から乗員の両口角および両目頭の中点の位置を検出し、一方の口角と両目頭の中点とを結ぶ直線と他方の口角と両目頭の中点とを結ぶ直線とが成す角度を算出する。この角度を「笑顔判定用角度」と定義する。

笑顔判定部１５は、笑顔判定用角度算出部１４が算出した乗員の笑顔判定用角度に基づいて、乗員が笑顔か否かを判定する。具体的には、笑顔判定部１５は、乗員の笑顔判定用角度と予め定められた閾値とを比較し、笑顔判定用角度が閾値以上の場合に、当該乗員が笑顔であると判定する。以下、この判定を「笑顔判定」という。

ここで、本実施の形態では、乗員の笑顔判定が、乗員の両口角および両目頭の中点の位置から算出される笑顔判定用角度に基づいて行われる。一般に、口角の位置は、人が笑顔のときとそうでないときとで大きく変化するため、この笑顔判定の方法によれば、乗員の笑顔判定を容易、且つ、高い精度で行うことができる。

覚醒度推定部１６は、開閉眼判定部１３による乗員の開閉眼判定の結果と、笑顔判定部１５による当該乗員の笑顔判定の結果とに基づいて、当該乗員の覚醒度が低下したか否かを推定する。具体的には、覚醒度推定部１６は、乗員が閉眼状態と判定され、且つ、当該乗員が笑顔でないと判定されるときに、当該乗員の覚醒度が低下したと推定する。すなわち、乗員の開眼度が閾値より小さく、且つ、当該乗員の笑顔判定用角度が閾値よりも小さいと判定されるときに、当該乗員の覚醒度が低下したと推定される。上述したように、開閉眼判定部１３は開閉眼判定を高い精度で行うことができ、笑顔判定部１５は笑顔判定を高い精度で行うことができるため、覚醒度推定部１６による乗員の覚醒度推定も精度の高いものとなる。

このように、実施の形態１に係る覚醒度推定装置１０によれば、乗員が笑顔か否かを考慮することで、乗員の覚醒度を高い精度で推定することができる。

図２は、実施の形態１に係る覚醒度推定装置１０の動作を示すフローチャートである。以下、図２を参照しつつ、実施の形態１の覚醒度推定装置１０の動作を説明する。

車両のイグニッションがオンになり、覚醒度推定装置１０が起動すると、まず、顔画像取得部１１が、カメラ２１が撮影した乗員の顔画像を取得する（ステップＳ１０１）。ここでは説明の簡単のため、カメラ２１が撮影した画像には、１人の乗員の顔画像だけが含まれているものと仮定する。ただし、本実施の形態のようにカメラ２１が広角カメラであれば、ステップＳ１０１で複数の乗員の顔画像が取得されることもある。その場合、以下のステップＳ１０２～Ｓ１０８の処理は、それぞれの乗員の顔画像に対して実施される。

次に、開眼度算出部１２が、ステップＳ１０１で取得された乗員の顔画像から、乗員の目頭の位置、目尻の位置および上瞼の最高点の位置を検出し、それらの位置関係に基づいて、乗員の開眼度を算出する（ステップＳ１０２）。

そして、開閉眼判定部１３が、ステップＳ１０２で算出された乗員の開眼度と予め定められた閾値とを比較することで、当該乗員の開閉眼判定を行う（ステップＳ１０３）。

ステップＳ１０３で、当該乗員が閉眼状態である（開眼度が閾値よりも小さい）と判定された場合（ステップＳ１０３でＹＥＳ）、笑顔判定用角度算出部１４が、ステップＳ１０１で取得された乗員の顔画像に基づいて、当該乗員の笑顔判定用角度を算出する（ステップＳ１０４）。そして、笑顔判定部１５が、ステップＳ１０４で算出された笑顔判定用角度と予め定められた閾値とを比較することで、当該乗員の笑顔判定を行う（ステップＳ１０５）。

ステップＳ１０５で、当該乗員が笑顔でない（笑顔判定用角度が閾値よりも小さい）と判定された場合（ステップＳ１０５でＮＯ）、覚醒度推定部１６は、当該乗員の覚醒度が低下したと推定する（ステップＳ１０６）。

一方、ステップＳ１０３で、当該乗員が開眼状態である（開眼度が閾値以上）と判定された場合（ステップＳ１０３でＮＯ）、または、ステップＳ１０５で乗員が笑顔である（笑顔判定用角度が閾値以上）と判定された場合（ステップＳ１０５でＹＥＳ）、覚醒度推定部１６は、当該乗員の覚醒度は高いと推定する（ステップＳ１０７）。

ステップＳ１０６またはＳ１０７による乗員の覚醒度の推定結果は、警告装置２２に出力される（ステップＳ１０８）。その結果、警告装置２２からは、乗員の覚醒度の推定結果に応じた警告が発せられる。

覚醒度推定装置１０は、以上のフローを繰り返し実行する。なお、当該フローは、例えば、覚醒度推定装置１０の起動後（車両のイグニッションがオンになった後）、常時実行されてもよいし、車両の走行中のみに実行される（車両の停止中は実行されない）ようにしてもよい。当該フローが常時実行される場合、車両が動き出す前から乗員の覚醒度が推定されるため、車両の安全性の向上に寄与できる。ただし、一般的には、車両の停止中に乗員の覚醒度を推定する必要性はあまり高くないため、当該フローが車両の走行中のみに実行されるようにして、覚醒度推定装置１０の処理負荷の低減および消費電力の低減を図ってもよい。

［変更例］
実施の形態１の覚醒度推定装置１０では、覚醒度推定部１６が、乗員の覚醒度の推定結果を警告装置２２に出力していたが、その出力先は警告装置２２に限られず、任意の装置でよい。例えば、図３のように、覚醒度推定部１６による乗員の覚醒度の推定結果が、車両の自動運転を行うＥＣＵ（Electronic Control Unit）である自動運転制御装置２３にも入力されてもよい。

図３の自動運転制御装置２３の動作としては、例えば、覚醒度推定部１６が運転席の乗員（運転者）の覚醒度が低下したと推定し、警告装置２２が警告を発したにもかかわらず、運転者の覚醒度が低下したままであった場合に、自動運転制御装置２３が、車両を自動的に安全な場所（例えば、幅の広い路肩やパーキングエリアなど）へ退避させて停止させるといった動作が考えられる。

［ハードウェア構成例］
図４および図５は、それぞれ覚醒度推定装置１０のハードウェア構成の例を示す図である。図１に示した覚醒度推定装置１０の構成要素の各機能は、例えば図４に示す処理回路５０により実現される。すなわち、覚醒度推定装置１０は、車両の乗員の顔を撮影した画像である顔画像を取得し、顔画像に基づいて乗員の開眼度を算出し、開眼度が予め定められた閾値より小さいか否かを判定し、顔画像から乗員の両口角および両目頭の中点の位置を検出し、一方の口角と両目頭の中点とを結ぶ直線と他方の口角と両目頭の中点とを結ぶ直線とが成す角度である笑顔判定用角度を算出し、笑顔判定用角度に基づいて、乗員が笑顔か否かを判定し、開眼度が閾値より小さくなり、且つ、乗員が笑顔でないと判定されると、乗員の覚醒度が低下したと推定するための処理回路５０を備える。処理回路５０は、専用のハードウェアであってもよいし、メモリに格納されたプログラムを実行するプロセッサ（中央処理装置（ＣＰＵ：Central Processing Unit）、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、ＤＳＰ（Digital Signal Processor）とも呼ばれる）を用いて構成されていてもよい。

処理回路５０が専用のハードウェアである場合、処理回路５０は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、またはこれらを組み合わせたものなどが該当する。覚醒度推定装置１０の構成要素の各々の機能が個別の処理回路で実現されてもよいし、それらの機能がまとめて一つの処理回路で実現されてもよい。

図５は、処理回路５０がプログラムを実行するプロセッサ５１を用いて構成されている場合における覚醒度推定装置１０のハードウェア構成の例を示している。この場合、覚醒度推定装置１０の構成要素の機能は、ソフトウェア等（ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせ）により実現される。ソフトウェア等はプログラムとして記述され、メモリ５２に格納される。プロセッサ５１は、メモリ５２に記憶されたプログラムを読み出して実行することにより、各部の機能を実現する。すなわち、覚醒度推定装置１０は、プロセッサ５１により実行されるときに、車両の乗員の顔を撮影した画像である顔画像を取得する処理と、顔画像に基づいて乗員の開眼度を算出する処理と、開眼度が予め定められた閾値より小さいか否かを判定する処理と、顔画像から乗員の両口角および両目頭の中点の位置を検出し、一方の口角と両目頭の中点とを結ぶ直線と他方の口角と両目頭の中点とを結ぶ直線とが成す角度である笑顔判定用角度を算出する処理と、笑顔判定用角度に基づいて、乗員が笑顔か否かを判定する処理と、開眼度が閾値より小さくなり、且つ、乗員が笑顔でないと判定されると、乗員の覚醒度が低下したと推定する処理と、が結果的に実行されることになるプログラムを格納するためのメモリ５２を備える。換言すれば、このプログラムは、覚醒度推定装置１０の構成要素の動作の手順や方法をコンピュータに実行させるものであるともいえる。

ここで、メモリ５２は、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリー、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）などの、不揮発性または揮発性の半導体メモリ、ＨＤＤ（Hard Disk Drive）、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Digital Versatile Disc）およびそのドライブ装置等、または、今後使用されるあらゆる記憶媒体であってもよい。

以上、覚醒度推定装置１０の構成要素の機能が、ハードウェアおよびソフトウェア等のいずれか一方で実現される構成について説明した。しかしこれに限ったものではなく、覚醒度推定装置１０の一部の構成要素を専用のハードウェアで実現し、別の一部の構成要素をソフトウェア等で実現する構成であってもよい。例えば、一部の構成要素については専用のハードウェアとしての処理回路５０でその機能を実現し、他の一部の構成要素についてはプロセッサ５１としての処理回路５０がメモリ５２に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。

以上のように、覚醒度推定装置１０は、ハードウェア、ソフトウェア等、またはこれらの組み合わせによって、上述の各機能を実現することができる。

＜実施の形態２＞
図６は、実施の形態２に係る覚醒度推定装置１０の構成を示すブロック図である。図６の覚醒度推定装置１０の構成は、図１の構成に対し、眼形状検出部１７を追加したものである。その他は、基本的に図１と同様であるため、ここでは図１の覚醒度推定装置１０と相違する点のみ説明する。

眼形状検出部１７は、顔画像取得部１１が取得した乗員の顔画像から、乗員の目の形状の情報を検出する。眼形状検出部１７が取得する情報としては、例えば、上瞼と下瞼との間の距離、目尻と目頭との間の距離、目尻の成す角度などが挙げられる。ここで、目尻の成す角度は、一方の目尻と両目頭の中点とを結ぶ直線と他方の目尻と両目頭の中点とを結ぶ直線とが成す角度として定義されるものとする。

また、実施の形態２では、笑顔判定部１５は、笑顔判定用角度算出部１４が算出する乗員の笑顔判定用角度（一方の口角と両目頭の中点とを結ぶ直線と他方の口角と両目頭の中点とを結ぶ直線とが成す角度）だけでなく、眼形状検出部１７が検出した当該乗員の目の形状を加味して、当該乗員が笑顔か否かを判定する。

一般的に、人が笑顔になると、目が細くなったり目尻が下がったりして、目の形状が変化する。すなわち、人が笑顔になると、上瞼と下瞼との間の距離は短くなり、目尻と目頭との間の距離は長くなり、目尻の成す角度は小さくなる、といった目の形状の変化が現れる。笑顔判定部１５が、乗員の笑顔判定用角度および当該乗員の目の形状の情報を総合的に考慮して、当該乗員が笑顔か否かを判定することで、笑顔判定の精度向上が期待できる。

図７は、実施の形態２に係る覚醒度推定装置１０の動作を示すフローチャートである。図７のフローは、図２のフローのＳ１０４とＳ１０５との間に、ステップＳ１１０を追加したものである。

以下、図７を参照しつつ、実施の形態２の覚醒度推定装置１０の動作を説明する。

覚醒度推定装置１０が起動すると、まず、顔画像取得部１１が、カメラ２１が撮影した乗員の顔画像を取得する（ステップＳ１０１）。次に、開眼度算出部１２が、ステップＳ１０１で取得された乗員の顔画像から、乗員の目頭の位置、目尻の位置および上瞼の最高点の位置を検出し、それらの位置関係に基づいて、乗員の開眼度を算出する（ステップＳ１０２）。そして、開閉眼判定部１３が、ステップＳ１０２で算出された乗員の開眼度と予め定められた閾値とを比較することで、当該乗員の開閉眼判定を行う（ステップＳ１０３）。

ステップＳ１０３で、乗員が閉眼状態と判定されると（ステップＳ１０３でＹＥＳ）、笑顔判定用角度算出部１４が、当該乗員の笑顔判定用角度を算出する（ステップＳ１０４）。さらに、眼形状検出部１７が当該乗員の目の形状を検出する（ステップＳ１１０）。そして、笑顔判定部１５が、ステップＳ１０４で算出された笑顔判定用角度と、ステップＳ１１０で検出された乗員の目の形状の情報とを総合的に考慮して、当該乗員の笑顔判定を行う（ステップＳ１０５）。

ステップＳ１０５で、当該乗員が笑顔でないと判定された場合（ステップＳ１０５でＮＯ）、覚醒度推定部１６は、当該乗員の覚醒度が低下したと推定する（ステップＳ１０６）。

一方、ステップＳ１０３で、当該乗員が開眼状態であると判定された場合（ステップＳ１０３でＮＯ）、または、ステップＳ１０５で乗員が笑顔であると判定された場合（ステップＳ１０５でＹＥＳ）、覚醒度推定部１６は、当該乗員の覚醒度は高いと推定する（ステップＳ１０７）。

ステップＳ１０６またはＳ１０７による乗員の覚醒度の推定結果は、警告装置２２に出力される（ステップＳ１０８）。その結果、警告装置２２からは、乗員の覚醒度の推定結果に応じた警告が発せられる。

覚醒度推定装置１０は、以上のフローを繰り返し実行する。なお、図７では、ステップＳ１１０をステップＳ１０４の次に挿入したが、ステップＳ１１０とステップＳ１０４はどちらが先に行われてもよい。また、実施の形態２においても、覚醒度推定装置１０による乗員の覚醒度の推定結果の出力先は警告装置２２に限られず、例えば図３の変形例と同様に自動運転制御装置２３でもよい。

＜実施の形態３＞
実施の形態３では、実施の形態１で示した覚醒度推定装置１０を、車両の自動運転を支援する自動運転支援装置に適用した例を示す。

ここで、自動車の自動運転の自動化レベル（自動運転レベル）の定義について説明する。ＳＡＥ（Society of Automotive Engineers）International のＪ３０１６（２０１６年９月）、および、その日本語参考訳であるＪＡＳＯ ＴＰ１８００４（２０１８年２月）によると、自動運転システムの自動運転レベルは次のように定義されている。

レベル０（運転自動化なし）：運転者が一部又は全ての動的運転タスクを実行
レベル１（運転支援）：システムが縦方向又は横方向のいずれかの車両運動制御のサブタスクを限定領域において実行
レベル２（部分運転自動化）：システムが縦方向及び横方向両方の車両運動制御のサブタスクを限定領域において実行
レベル３（条件付運転自動化）：システムが全ての動的運転タスクを限定領域において実行するが、作動継続が困難な場合は、システムからの介入要求等に運転者が適切に応答
レベル４（高度運転自動化）：システムが全ての動的運転タスク及び作動継続が困難な場合への応答を限定領域において実行
レベル５（完全運転自動化）：システムが全ての動的運転タスク及び作動継続が困難な場合への応答を無制限に（すなわち限定領域内ではない）実行
なお、「動的運転タスク」とは、道路交通において車両を操作する際にリアルタイムで行う必要がある全ての操作上及び戦術上の機能（行程計画並びに経由地の選択などの戦略上の機能は除く）をいう。また、「限定領域」とは、システム又はその機能が作動するように設計されている特定の条件（地理的制約、道路面の制約、環境的制約、交通の制約、速度上の制約、時間的な制約などを含む）をいう。

図８は、実施の形態３に係る自動運転支援装置３０の構成を示すブロック図である。図８において、図１に示したものと同様に機能する要素には、図１と同一の参照符号を付しており、ここではそれらの説明は省略する。

図８のように、自動運転支援装置３０は、カメラ２１、自動運転制御装置２３および通知装置２４と接続されている。自動運転制御装置２３は、車両の自動運転を行うＥＣＵであり、上記の「システム」に相当する。本実施の形態では、自動運転制御装置２３は、少なくともレベル３の自動運転を行うものとする。通知装置２４は、車両の乗員に対する通知を行うものであり、通知音や通知メッセージの音声を発するスピーカ、警報画面を表示するディスプレイなどを備えている。

また、自動運転支援装置３０は、覚醒度推定装置１０と、乗員選択部３１とを備えている。覚醒度推定装置１０は、実施の形態１で説明したものと同様に車両の乗員の覚醒度を推定し、その推定結果を乗員選択部３１へ出力する。

乗員選択部３１は、自動運転支援装置３０からの介入要求に応じて、車両の運転に介入させる乗員（運転者にする乗員）を選択する。介入要求は、自動運転支援装置３０がレベル３の自動運転を実行しており、自動運転の継続が困難になった場合に、自動運転支援装置３０から乗員選択部３１へ入力される。乗員選択部３１は、自動運転支援装置３０からの介入要求を受けると、覚醒度推定装置１０による乗員の覚醒度の推定結果を確認し、覚醒度が高いと推定された乗員を、車両の運転に介入させる乗員として選択する。

乗員選択部３１による選択結果は、通知装置２４に入力される。通知装置２４は、乗員選択部３１が選択した乗員に対し、車両の運転へ介入を指示するための通知を行う。

乗員選択部３１が運転席にいる乗員を選択した場合は、車両を停止させることなく、車両の運転権限をその乗員へ移行することができる。しかし、乗員選択部３１が運転席以外の乗員を選択した場合は、自動運転制御装置２３が車両を安全な場所に停止させ、選択された乗員が運転席へ移動してから、その乗員に運転権限を移行すればよい。覚醒度が高いと推定された乗員が複数いる場合、乗員選択部３１はそのうちの誰を選択してもよいが、運転席にいる乗員を優先的に選択するようにしてもよい。

このように、実施の形態３の自動運転支援装置３０は、自動運転支援装置３０が乗員へ運転権限を引き渡す、いわゆるハンドオーバーの処理を支援し、覚醒度の低い乗員に運転権限が移行されることを防止することができる。

実施の形態３では、実施の形態１で示した覚醒度推定装置１０を、車両の自動運転を支援する自動運転支援装置に適用した例を示したが、実施の形態２で示した覚醒度推定装置１０も、自動運転支援装置に適用可能であることは言うまでもない。

なお、本発明は、その発明の範囲内において、各実施の形態を自由に組み合わせたり、各実施の形態を適宜、変形、省略したりすることが可能である。

本発明は詳細に説明されたが、上記した説明は、すべての態様において、例示であって、この発明がそれに限定されるものではない。例示されていない無数の変形例が、この発明の範囲から外れることなく想定され得るものと解される。

１０ 覚醒度推定装置、１１ 顔画像取得部、１２ 開眼度算出部、１３ 開閉眼判定部、１４ 笑顔判定用角度算出部、１５ 笑顔判定部、１６ 覚醒度推定部、１７ 眼形状検出部、２１ カメラ、２２ 警告装置、２３ 自動運転制御装置、２４ 通知装置、３０ 自動運転支援装置、３１ 乗員選択部、５０ 処理回路、５１ プロセッサ、５２ メモリ。

Claims (6)

1. 車両の乗員の顔を撮影した画像である顔画像を取得する顔画像取得部と、
   前記顔画像に基づいて前記乗員の開眼度を算出する開眼度算出部と、
   前記開眼度が予め定められた閾値より小さいか否かを判定する開閉眼判定部と、
   前記顔画像から前記乗員の両口角および両目頭の中点の位置を検出し、一方の口角と両目頭の中点とを結ぶ直線と他方の口角と両目頭の中点とを結ぶ直線とが成す角度である笑顔判定用角度を算出する笑顔判定用角度算出部と、
   前記笑顔判定用角度に基づいて、前記乗員が笑顔か否かを判定する笑顔判定部と、
   前記開眼度が前記閾値より小さくなり、且つ、前記乗員が笑顔でないと判定されると、前記乗員の覚醒度が低下したと推定する覚醒度推定部と、
   を備え、
   前記笑顔判定部は、前記顔画像から検出した前記乗員の目の形状を加味して、前記乗員が笑顔か否かを判定する覚醒度推定装置。
2. 前記笑顔判定部は、前記笑顔判定用角度が予め定められた閾値より大きくなると前記乗員が笑顔であると判定する、
   請求項１に記載の覚醒度推定装置。
3. 前記覚醒度推定部は、前記乗員の覚醒度の推定結果を、前記車両の乗員への警告を行う警告装置へ出力する、
   請求項１に記載の覚醒度推定装置。
4. 前記覚醒度推定部は、前記乗員の覚醒度の推定結果を、前記車両の自動運転制御装置へ出力する、
   請求項１に記載の覚醒度推定装置。
5. 車両の自動運転を支援する自動運転支援装置であって、
   請求項１に記載の覚醒度推定装置と、
   前記車両の自動運転の継続が困難になった場合に、前記覚醒度推定部による前記乗員の覚醒度の推定結果に基づいて、前記車両の運転へ介入させる乗員を選択する乗員選択部と、
   を備える自動運転支援装置。
6. 覚醒度推定装置の顔画像取得部が、車両の乗員の顔を撮影した画像である顔画像を取得し、
   前記覚醒度推定装置の開眼度算出部が、前記顔画像に基づいて前記乗員の開眼度を算出し、
   前記覚醒度推定装置の開閉眼判定部が、前記開眼度が予め定められた閾値より小さいか否かを判定し、
   前記覚醒度推定装置の笑顔判定用角度算出部が、前記顔画像から前記乗員の両口角および両目頭の中点の位置を検出し、一方の口角と両目頭の中点とを結ぶ直線と他方の口角と両目頭の中点とを結ぶ直線とが成す角度である笑顔判定用角度を算出し、
   前記覚醒度推定装置の笑顔判定部が、前記笑顔判定用角度に基づいて、前記乗員が笑顔か否かを判定し、
   前記開眼度が前記閾値より小さくなり、且つ、前記乗員が笑顔でないと判定されると、前記覚醒度推定装置の覚醒度推定部が、前記乗員の覚醒度が低下したと推定し、
   前記笑顔判定部が、前記顔画像から検出した前記乗員の目の形状を加味して、前記乗員が笑顔か否かを判定する、
   覚醒度推定方法。

Images