JP7240910B2 - 乗員観察装置 - Google Patents

Description

本発明は、乗員観察装置に関する。

車両の運転者をはじめとする乗員の状態を装置によって検知する仕組みについて研究が進められている。乗員の状態には、眠気を感じているか否か、集中度合い、感情などが含まれる。乗員の状態を検知するために重要なファクターとして、眼の状態が挙げられる。従って、カメラによって乗員を撮像し、画像を解析して眼の状態を観察する装置の実用化が進められている。

例えば、特許文献１には、運転手の顔を撮像する撮像手段と、前記撮像手段により撮像された顔画像から運転手の口又は手の動き及び目の開閉を検出する検出手段と、前記検出手段により検出された前記口の鉛直方向成分の形状変化からあくびを検出し、前記口の水平方向成分の形状変化から溜め息又は深呼吸を検出し、前記口の形状変化から前記運転手の首または頭の運動動作を検出し、前記運転手の顔に接近または離間する手の動作を検出する第１特徴検出手段と、前記目の閉時間から閉眼率を検出する第２特徴検出手段と、前記第１特徴検出手段及び前記第２特徴検出手段により検出された特徴動作の経時的変化から前記運転手の覚醒状態、眠気に対する苦闘又は葛藤状態、居眠りの初期状態及び居眠り状態を判定する判定手段と、を備える運転支援装置が開示されている。

特許第５３４３６３１号公報

しかしながら、従来の技術では、眼の状態や口の動きを乗員の状態推定に反映させる割合が一律であったため、状態推定の精度が低下する場合があった。

本発明は、このような事情を考慮してなされたものであり、乗員の状態推定の精度を高く維持することができる乗員観察装置を提供することを目的の一つとする。

この発明に係る乗員観察装置は、以下の構成を採用した。
（１）：この発明の一態様に係る乗員観察装置は、車両の乗員の頭部を撮像する撮像部と、前記撮像部により撮像された画像において、少なくとも前記乗員の眼の一部を検出する眼検出部と、前記撮像部により撮像された画像において、少なくとも前記乗員の口の一部を検出する口検出部と、前記眼検出部の検出結果と前記口検出部の結果とに基づいて前記乗員の状態を推定する状態推定部と、を備え、前記状態推定部は、前記眼検出部の検出結果または前記眼検出部の検出結果に基づいて行われる処理の結果に基づいて、前記眼検出部の検出結果と前記口検出部の結果とのそれぞれを前記乗員の状態の推定に反映させる割合を変更するものである。

（２）：上記（１）の態様において、前記眼検出部は、前記乗員の眼の輪郭の一部を少なくとも検出し、前記眼検出部により検出された輪郭における複数の特徴点の位置関係に基づいて、前記乗員の眼の開眼率を導出する開眼率導出部を更に備え、前記状態推定部は、前記乗員の眼の開眼率と、前記口検出部の結果とに基づいて前記乗員の状態を推定し、前記眼検出部の検出結果に基づいて行われる処理の結果は、前記開眼率導出部の処理によって得られる前記乗員の眼の開眼度合いであるものである。

（３）：上記（２）の態様において、前記状態推定部は、前記乗員の眼の開眼度合いが所定度合い以下である状態が所定期間以上継続した場合、前記眼検出部の検出結果と前記口検出部の結果とを前記乗員の状態の推定に反映させる割合を変更するものである。

（４）；上記（１）～（３）の態様において、前記状態推定部は、前記眼検出部の検出結果と前記口検出部の結果とを前記乗員の状態の推定に反映させる割合を変更する場合、前記眼検出部の結果を前記乗員の状態の推定に反映させる割合を小さくするものである。

上記（１）～（４）の態様によれば、乗員の状態推定の精度を高く維持することができる。

上記（３）の態様によれば、眼の細い乗員についても、乗員の状態推定の精度を高く維持することができる。

乗員観察装置１の構成と使用環境の一例を示す図である。 撮像部１０の設置される位置を例示した図である。 眼検出部２４による処理の内容を模式的に示す図である。 開眼率導出部２８の処理について説明するための図である。 所定の事象が生じやすい人物の一部を示す図である。 所定の事象が生じやすい人物の一部を示す図である。 所定の事象が生じやすい人物の一部を示す図である。 画像処理装置２０による処理の流れの一例を示すフローチャートである。

以下、図面を参照し、本発明の乗員観察装置の実施形態について説明する。乗員観察装置は、車両に搭載される。車両とは、四輪車両や二輪車両などである。以下の説明では、車両は四輪車両であるものとする。また、車両は右ハンドルの車両であることを前提とするが、左ハンドルの車両に適用する場合、以下の説明における左右関係を逆にして読み替えればよい。

図１は、乗員観察装置１の構成と使用環境の一例を示す図である。乗員観察装置１は、例えば、撮像部１０と、画像処理装置２０とを備える。画像処理装置２０は、例えば、眼検出部２４と、口検出部２６と、開眼率導出部２８と、状態推定部３０とを備える。乗員観察装置１は、例えば、車両の乗員の状態を推定し、推定結果を各種車載装置１００に出力する。乗員は、少なくとも運転者を含み、助手席乗員を含んでもよい。各種車載装置１００は、運転支援装置、自動運転制御装置、エージェント装置、その他の装置であり、乗員観察装置１は、各種車載装置１００の種類や目的に応じた乗員の状態を推定して出力する。乗員の状態は、眠気、視線の向き、感情などのうち一部または全部を含む。以下の説明では、乗員観察装置１は乗員の眠気を推定するものとする。

図２は、撮像部１０の設置される位置を例示した図である。撮像部１０は、例えば、車両のインストルメントパネルの中央部に設置され、車両の乗員の少なくとも頭部を撮像する。図中、ＳＷはステアリングホイールであり、ＤＳは運転席であり、ＡＳは助手席である。

撮像部１０は、例えば、赤外線を撮像する赤外線カメラと、可視光をカラー画像として撮像するＲＧＢカメラとのうち一方または双方を含む。より好ましくは、撮像部１０は、少なくとも赤外線カメラを含み、更にＲＧＢカメラを含んでもよい。以下の説明では、撮像部１０は専ら赤外線カメラを含むものとし、ＲＧＢカメラを含む場合については後述する。

図１に戻り、画像処理装置２０の各部について説明する。画像処理装置２０の構成要素は、例えば、ＣＰＵ（Central Processing Unit）などのハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。これらの構成要素のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）などのハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予めＨＤＤ（Hard Disk Drive）やフラッシュメモリなどの記憶装置（非一過性の記憶媒体を備える記憶装置）に格納されていてもよいし、ＤＶＤやＣＤ－ＲＯＭなどの着脱可能な記憶媒体（非一過性の記憶媒体）に格納されており、記憶媒体がドライブ装置に装着されることでインストールされてもよい。

眼検出部２４の機能について、一例として、エッジを抽出した後に眼を検出する手法について説明する。眼検出部２４は、例えば、撮像部１０によって撮像された画像（以下、撮像画像と称する）において、エッジを抽出する。エッジとは、自身の周辺の画素との画素値の差が基準よりも大きい画素（或いは画素群）、すなわち特徴的な画素である。眼検出部２４は、例えば、ＳＯＢＥＬフィルタなどのエッジ抽出フィルタを用いて、エッジを抽出する。なお、ＳＯＢＥＬフィルタを用いるのは単なる一例であり、眼検出部２４は、他のフィルタ、或いはアルゴリズムに基づいてエッジを抽出してもよい。

眼検出部２４は、例えば、撮像画像において抽出されたエッジの分布に基づいて、撮像画像における少なくとも乗員の眼の一部を検出する。眼検出部２４は、エッジを抽出するのではなく、ディープラーニングなどの機械学習手法により生成された学習済みモデルに撮像画像を入力することで、眼の一部（或いは後述する特徴点）を直接的に検出するようにしてもよい。図３は、眼検出部２４による処理の内容を模式的に示す図である。図中、ＩＭは撮像画像にエッジＥＧを重畳させた画像を表している。また、本図では専ら運転席ＤＳに着座した乗員に着目している。眼検出部２４は、まず、図３の上図に示すように、エッジＥＧに対して楕円や卵型などのモデルをフィッテイングすることで、輪郭ＣＴを抽出する。次に、眼検出部２４は、図３の中図に示すように、輪郭ＣＴを基準として鼻検出ウインドウＮＭを設定し、鼻検出ウインドウＮＭの中で、エッジが明確に抽出されやすい部位である鼻梁ＢＮの位置を検出する。次に、眼検出部２４は、図３の下図に示すように、鼻梁ＢＮの位置を基準として、乗員の左右の眼が存在する筈の鼻梁ＢＮの右側および左側に所定のサイズの眼検出ウインドウＥＷｒおよびＥＷｌを設定し、眼検出ウインドウＥＷの中で眼の少なくとも一部を検出する。これによって、運転席ＤＳに着座した乗員の左右の眼に重なる位置に眼検出ウインドウＥＷｒおよびＥＷｌが設定されることになる。以下、これらを区別しない場合、単に眼検出ウインドウＥＷと称する場合がある。なお、「眼の少なくとも一部を検出する」処理の具体例については種々に定義されるが、以下の説明では、「目の輪郭の少なくとも一部を検出する」ものとする。輪郭を検出する際に、眼検出部２４は、例えば、エッジＥＧの分布に曲線モデルをフィッティングすることで、輪郭を検出する。

口検出部２６は、例えば、眼検出部２４の処理過程の一部を利用して、鼻梁ＢＮの位置を基準として口検出ウインドウＭＷ（不図示）を設定し、口検出ウインドウＭＷの中で口の輪郭の少なくとも一部を検出する。口の輪郭とは、例えば、上唇の下端線と下唇の上端線とを意味する。上記に代えて、口検出部２６は、ディープラーニングなどの機械学習手法により生成された学習済みモデルに撮像画像を入力することで、口の輪郭の一部を直接的に検出するようにしてもよい。

開眼率導出部２８は、眼検出部２４により検出された眼の輪郭における複数の特徴点の位置関係に基づいて、乗員の眼の開眼率を導出する。複数の特徴点とは、例えば、眼の輪郭における、横方向に関して撮像部１０に近い側の端部（目尻または目がしらのうち一方に相当する）である第１特徴点と、上端部である第２特徴点と、下端部である第３特徴点と、横方向に関して撮像部１０から遠い側の端部（目尻または目がしらのうち他方に相当する）である第４特徴点とを含む。図４は、開眼率導出部２８の処理について説明するための図である。図中、Ｐ１は第１特徴点、Ｐ２は第２特徴点、Ｐ３は第３特徴点、Ｐ４は第４特徴点である。

開眼率導出部２８は、例えば、眼検出ウインドウＥＷ内で垂直線Ｌ１を眼検出ウインドウＥＷの右端から左に向かって仮想的に移動させ、最初に眼の輪郭ＥＣＴと交わったときの交点を第１特徴点Ｐ１とする。また、開眼率導出部２８は、例えば、眼検出ウインドウＥＷ内で水平線Ｌ２を眼検出ウインドウＥＷの上端から下に向かって仮想的に移動させ、最初に眼の輪郭ＥＣＴと交わったときの交点を第２特徴点Ｐ２とする。また、開眼率導出部２８は、例えば、眼検出ウインドウＥＷ内で水平線Ｌ３を眼検出ウインドウＥＷの下端から上に向かって仮想的に移動させ、最初に眼の輪郭ＥＣＴと交わったときの交点を第３特徴点Ｐ３とする。また、開眼率導出部２８は、例えば、眼検出ウインドウＥＷ内で垂直線Ｌ４を眼検出ウインドウＥＷの左端から右に向かって仮想的に移動させ、最初に眼の輪郭ＥＣＴと交わったときの交点を第４特徴点Ｐ４とする。

そして、開眼率導出部２８は、第１特徴点Ｐ１～第４特徴点Ｐ４の座標に基づいて、乗員の開眼度合いＲｏを導出する。例えば、開眼率導出部２８は、垂直性Ｌ１とＬ４との間隔Ｄｘと、水平線Ｌ２とＬ３との間隔Ｄｙとの比率を開眼度合いＲｏとする（式（１）参照）。なお、開眼度合いＲｏの求め方はこれに限らず、如何なる手法を用いてもよい。

Ｒｏ＝Ｄｘ／Ｄｙ …（１）

そして、開眼率導出部２８は、開眼度合いＲｏに基づいて、乗員の開眼率を導出する。開眼率導出部２８は、例えば、当該乗員が車両に乗り込んでから最初の数分程度の撮像画像に基づいて導出された開眼度合いＲｏiniを開眼率１００［％］と定義し、その後に導出された開眼度合いＲｏを基準開眼度合いＲｏiniで除算して開眼率αを導出する（式（２）参照）。なお、これに限らず、乗員の人物認証が行われる場合、乗員ごとの１００［％］に対応する基準開眼度合いをメモリに記憶させ、乗員ごとに基準開眼度合いをメモリから読み出して計算に使用してもよい。また、規定値を基準開眼度合いＲｏiniに設定してもよいし、最初は規定値を使用し、徐々に乗員の平均的な開眼度合いに合わせていくようにしてもよい。

α＝ＭＩＮ｛Ｒｏ／Ｒｏini，１００［％］｝ …（２）

また、これまでの説明では、あくまで画像平面上での開眼度合いＲｏに基づいて開眼率を導出するものとしているが、例えば、眼の三次元モデルを用意しておき、輪郭ＣＴと鼻梁ＢＮの関係から推定される顔向き角度に応じて回転させた目のモデルから二次元に写像した後に、上記説明した処理を行うことで、開眼率の推定精度を向上させることができる。

状態推定部３０は、例えば、開眼率導出部２８により導出された開眼率αと、口検出部２６により検出された口の輪郭の動きとに基づいて、乗員の眠気を数値化（或いは段階を示す符号化）し、各種車載装置１００に出力する。例えば、状態推定部３０は、開眼率αが小さくなるほど乗員の眠気が強いことを示す数値を出力し、口の輪郭の動きから「あくび」が推定された回数が多いほど乗員の眠気が強いことを示す数値を出力する。状態推定部３０は、例えば、開眼率αの逆数と観察期間におけるあくびの回数の加重和を求めることで、乗員の眠気を数値化する（式（３）参照）。式（３）において、γは乗員の眠気を示す指標値であり、Ｃｙは観察期間におけるあくびの回数であり、βｅとβｍは、眼検出部２４の検出結果と口検出部２６の結果とのそれぞれを乗員の状態の推定に反映させる割合を示す係数である。係数βｅとβｍは、例えば、和が１になるように予め設定されている。なお、あくびの検出手法については、例えば、あくびをすると口が縦方向に大きく変化することから、口検出部２６により検出された口の輪郭の縦方向の長さを閾値と比較し、閾値以上である状態が所定時間以上、継続した場合にあくびをしたと判定する手法などが用いられてよい。

γ＝βｅ・（１／α）＋βｍ・Ｃｙ …（３）

ここで、状態推定部３０は、眼検出部２４の検出結果または眼検出部２４の検出結果に基づいて行われる処理の結果（例えば、開眼度合いＲｏ）に基づいて、係数βｅと係数βｍの比率を変更する。具体的に、状態推定部３０は、所定の事象が発生した場合に、係数βｅが小さく、係数βｍが大きくなるように、これらを変更する。

以下は、状態推定部３０が係数βｅと係数βｍの比率を変更するトリガーとなる所定の事象を列挙したものである。
（１）エッジＥＧからの眼の輪郭へのフィッティング率が基準よりも低い。
（２）エッジＥＧの分布のフィッティングした曲線に対するバラつきが基準よりも大きい。
（３）瞳孔が判別できない、或いは白目と黒目が判別できない。
（４）開眼度合いＲｏが所定度合い以下である状態が所定時間以上継続した。

図５～７は、所定の事象が生じやすい人物の一部を示す図である。図５に示す人物は、睫毛が長く、且つ伏し目がちであるため、（１）～（３）に該当する確率が高い。図６に示す人物は、睫毛が長いため、（１）または（２）に該当する確率が高い。図７に示す人物は、眼が非常に細いため、（３）または（４）に該当する確率が高い。これらの人物に対して規定値である係数βｅとβｍを使用した場合、そもそも眼の状態が良く判別できないため、眠気の推定精度が悪化してしまうことが懸念される。このため、状態推定部３０は、上記の事象に該当する場合、係数βｅが小さく、係数βｍが大きくなるように、眼検出部２４の検出結果と口検出部２６の結果とのそれぞれを乗員の状態の推定に反映させる割合を変更する。これによって、乗員観察装置１は、乗員の状態推定の精度を高く維持することができる。

ここで、状態推定部３０は、規定値（初期値）の係数のセットと、係数βｍを大きくした係数のセットの二段階で係数を切り替えてもよいが、上記（１）～（４）のうち該当する事象の数が多いほど、係数βｅの減少量を大きく、且つ係数βｍの増加量を大きくしてもよい。

図８は、画像処理装置２０による処理の流れの一例を示すフローチャートである。まず、画像処理装置２０は、撮像部１０により撮像された画像（撮像画像）を取得する（ステップＳ２００）。

次に、眼検出部２４が、乗員の眼を検出し（ステップＳ２０４）、開眼率導出部２８が、開眼率を導出する（ステップＳ２０６）。これと併行して、口検出部２６が、乗員の口を検出する（ステップＳ２０８）。

そして、状態推定部３０が、上記の所定の事象が発生したか否かを判定する（ステップＳ２１０）。状態推定部３０は、所定の事象が発生していないと判定した場合、初期値の係数βｅとβｍを使用して状態推定を行い、これを出力する（ステップＳ２１２）。一方、所定の事象が発生したと判定した場合、状態推定部３０は、小さく変更したβｅと大きく変更したβｍを使用して状態推定を行い、これを出力する（ステップＳ２１４）。

以上説明した実施形態の乗員観察装置１によれば、状態推定部３０が、眼検出部２４の検出結果または眼検出部の検出結果に基づいて行われる処理の結果に基づいて、眼検出部２４の検出結果と口検出部２６の検出結果とのそれぞれを乗員の状態の推定に反映させる割合を変更するため、乗員の状態推定の精度を高く維持することができる。

また、乗員観察装置１によれば、状態推定部３０は、乗員の眼の開眼度合いＲｏが所定度合い以下である状態が所定時間以上継続した場合、眼検出部２４の検出結果と口検出部２６の検出結果とを乗員の状態の推定に反映させる割合を変更するため、眼の細い乗員についても乗員の状態推定の精度を高く維持することができる。

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

１ 乗員観察装置
１０ 撮像部
２０ 画像処理装置
２４ 眼検出部
２６ 口検出部
２８ 開眼率導出部
３０ 状態推定部
１００ 各種車載装置

Claims (3)

1. 車両の乗員の頭部を撮像する撮像部と、
   前記撮像部により撮像された画像において、少なくとも前記乗員の眼の一部を検出する眼検出部と、
   前記撮像部により撮像された画像において、少なくとも前記乗員の口の一部を検出する口検出部と、
   前記眼検出部の検出結果と前記口検出部の結果とに基づいて前記乗員の状態を推定する状態推定部と、を備え、
   前記状態推定部は、前記眼検出部の検出結果または前記眼検出部の検出結果に基づいて行われる処理の結果に基づいて認識される所定の事象に該当する場合に、前記眼検出部の検出結果を前記乗員の状態の推定に反映させる割合に比して、前記口検出部の検出結果を前記乗員の状態の推定に反映させる割合を高くする、
   乗員観察装置。
2. 前記眼検出部は、前記乗員の眼の輪郭の一部を少なくとも検出し、
   前記眼検出部により検出された輪郭における複数の特徴点の位置関係に基づいて、前記乗員の眼の開眼率を導出する開眼率導出部を更に備え、
   前記状態推定部は、前記乗員の眼の開眼率と、前記口検出部の検出結果とに基づいて前記乗員の状態を推定し、
   前記眼検出部の検出結果に基づいて行われる処理の結果は、前記開眼率導出部の処理によって得られる前記乗員の眼の開眼度合いである、
   請求項１記載の乗員観察装置。
3. 前記所定の事象は、前記乗員の眼の開眼度合いが所定度合い以下である状態が所定時間以上継続したことである、
   請求項２記載の乗員観察装置。

Images