JP7378681B2 - 乗員状態判定装置、乗員状態判定方法、および、乗員状態判定システム - Google Patents

Description

本開示は、車両の乗員の状態を判定する乗員状態判定装置、乗員状態判定方法、および、乗員状態判定システムに関する。

従来、車両内の乗員が撮像された撮像画像に基づいて当該撮像画像上で乗員がどれぐらい目を開けているかの開眼度を判定し、判定した開眼度に基づき、乗員が開眼している開眼状態か、閉眼している閉眼状態かを判定する技術が知られている。
ところで、運転手の視線が特定の車載部品の方向を向いていることを、当該車載部品に付設した補助カメラの撮像画像から得られる視線に基づいて検出することで、主カメラの撮像画像から得られる視線に基づいて検出する方法と比べて、脇見運転とそうでない行為とを明確に区別して判定する脇見運転検出装置が知られている（例えば、特許文献１）。

特開２０２０－２４５３２号公報

撮像画像に基づいて乗員が開眼状態か閉眼状態かを判定する従来技術において、乗員が実際に目を開けている場合に乗員が開眼状態であると判定されるためには、撮像画像上で乗員の開眼度が一定以上の大きさと判定される必要がある。
一方、車両において、乗員を撮像する撮像装置は、乗員の正面付近、または、それより上方に設置されている場合が多い。そのため、乗員が通常の乗車状態における視線よりも下方に視線を向けると、乗員は、撮像装置から見て、伏し目状態になる。つまり、撮像画像上では、乗員の目の上瞼と下瞼が近づいてうつる。そうすると、実際には乗員の目が開いているにもかかわらず、撮像画像に基づく開眼度が小さく判定されてしまう。すなわち、撮像画像に基づくと、乗員の伏し目状態は閉眼状態と判定されてしまう可能性がある。
従来技術では、このように、乗員が撮像装置から見て伏し目状態となる可能性があることが考慮されておらず、実際の閉眼状態と伏し目状態とが区別できていないという課題があった。
なお、仮に、従来技術において、特許文献１に開示されている脇見運転検出装置における脇見運転とそうでない行為とを区別するために車載部品に付設した補助カメラを設ける考え方を採用し、撮像装置から見て伏し目状態となる場合の乗員の視線の先となり得る場所に補助的な撮像装置を設置しようとしても、当該撮像装置から見て伏し目状態となる場所に当該撮像装置が設置されるとは限らず、撮像画像から閉眼状態と伏し目状態とを区別するのは困難である。

本開示は上記のような課題を解決するためになされたもので、乗員が通常の乗車状態における視線よりも下方に視線を向けた場合を考慮して、乗員が閉眼状態であるか伏し目状態であるかを判定する乗員状態判定装置を提供することを目的とする。

本開示に係る乗員状態判定装置は、車両内に設けられている撮像装置によって車両内の乗員の顔が撮像された撮像画像を取得する画像取得部と、画像取得部が取得した撮像画像に基づいて、乗員の開眼度を判定する開眼度判定部と、画像取得部が取得した撮像画像に基づいて、乗員の視線を検知する視線検知部と、開眼度判定部が判定した開眼度が第１閾値未満となった場合、視線検知部が検知していた乗員の視線方向が下方に向かった後に開眼度が第１閾値未満となったのであれば、乗員は伏し目状態であると判定し、視線検知部が検知していた乗員の視線方向が下方に向かった後に開眼度が第１閾値未満となったのでなければ、乗員は閉眼状態であると判定する目状態判定部と、目状態判定部が乗員は伏し目状態であると判定した場合、脇見判定用条件を満たすか否かによって乗員が脇見をしているか否かを判定する脇見判定部とを備え、脇見判定部は、目状態判定部が乗員は伏し目状態であると判定すると伏し目判定後時間のカウントアップを開始して、カウントアップした伏し目判定後時間が脇見判定用時間以上継続した場合に脇見判定用条件を満たし乗員は脇見をしていると判定し、伏し目判定後時間のカウントアップを開始後、目状態判定部が乗員は伏し目状態であると判定しても、開眼度判定部が判定した乗員の開眼度が第１閾値よりも小さい第２閾値未満である場合は、伏し目判定後時間のカウントアップを一時停止することを特徴とするものである。

本開示によれば、乗員が通常の乗車状態における視線よりも下方に視線を向けた場合を考慮して、乗員が閉眼状態であるか伏し目状態であるかを判定することができる。

実施の形態１に係る乗員状態判定装置の構成例を示す図である。 実施の形態１において、撮像装置の設置例、および、撮像装置が乗員を撮像する様子の一例を説明するための図である。 実施の形態１において、撮像装置の設置例、および、撮像装置が乗員を撮像する様子の一例を説明するためのその他の図である。 図４Ａおよび図４Ｂは、実施の形態１において、撮像装置が通常の乗車状態における乗員の顔を撮像した撮像画像上の乗員の状態一例と、乗員が下方視したことで撮像装置から見て伏し目状態となった場合に撮像装置が当該乗員の顔を撮像した撮像画像上の乗員の状態の一例を示す図である。 実施の形態１に係る乗員状態判定装置の動作について説明するためのフローチャートである。 図５のステップＳＴ７における目状態判定部による伏し目判定処理の詳細を説明するフローチャートである。 図５のステップＳＴ９における脇見判定部による脇見判定処理の詳細を説明するフローチャートである。 図５のステップＳＴ１０における居眠り判定部による居眠り判定処理の詳細を説明するフローチャートである。 図９Ａ，図９Ｂは、実施の形態１に係る乗員状態判定装置のハードウェア構成の一例を示す図である。

以下、本開示の実施の形態について、図面を参照しながら詳細に説明する。
実施の形態１．
実施の形態１に係る乗員状態判定装置は、車両内に存在する乗員の顔が撮像された画像（以下「撮像画像」という。）に基づいて当該乗員の状態を判定する。
具体的には、実施の形態１に係る乗員状態判定装置は、撮像画像に基づいて、乗員が開眼している開眼状態であるか、乗員が開眼状態でない場合には、乗員は閉眼している閉眼状態であるとすべきか、視線を下方に向けた伏し目状態であるとすべきかを判定する。実施の形態１において、「伏し目状態」とは、乗員が、通常の乗車状態における視線よりも下方に視線を向けた状態を想定している。実際に乗員が伏し目状態であるとき、乗員の目は閉じてはいない。しかし、乗員が伏し目状態であるとき、撮像画像上は、乗員の上瞼と下瞼が近づいて撮像され、撮像画像から乗員の開眼度の判定が行われると、当該開眼度が小さく判定される場合がある。この場合、撮像画像から判定された開眼度だけでは、閉眼状態と伏し目状態との判別は困難である。実施の形態１に係る乗員状態判定装置は、特に、このような場合に、乗員は閉眼状態であるか伏し目状態であるかを判定することを特徴とする。
さらに、実施の形態１に係る乗員状態判定装置は、乗員が脇見をしている脇見状態であるか、および、乗員が居眠りをしている居眠り状態であるかを判定できる。なお、実施の形態１において乗員状態判定装置が判定する脇見は、視線が下方に向けられたことによる下側の脇見を想定している。
以下の実施の形態１において、車両内に存在する乗員を、車両内の乗員、あるいは、単に「乗員」という。実施の形態１では、乗員状態判定装置が状態を判定する対象となる乗員は、車両の運転者を想定している。

図１は、実施の形態１に係る乗員状態判定装置１の構成例を示す図である。
乗員状態判定装置１は、車両３０（後述の図２参照）に搭載され、撮像装置２と接続される。乗員状態判定装置１と撮像装置２とで乗員状態判定システム１００を構成する。
撮像装置２は、車両３０に搭載され、少なくとも乗員４（後述の図２参照）の顔が存在すべき範囲を撮像可能に設置されている。
実施の形態１において、撮像装置２は、車両３０において、乗員４の頭部の正面付近、または、乗員４の頭部の正面よりも上方に設けられていることを前提とする。より詳細には、実施の形態１において、撮像装置２は、車両３０内においてインストルメントパネル（以下「インパネ」という。）３２（後述の図２参照）のセンターバイザー３１（後述の図２参照）上部に設けられていることを前提とする。なお、これは一例に過ぎず、撮像装置２は、例えば、車両３０においてヘッドレスト３３ａ（後述の図２参照）よりも上方、または、ハンドルよりも上方に設けられることもある。車両３０内においてヘッドレスト３３ａよりも上方、または、ハンドルよりも上方とは、例えば、オーバーヘッドコンソール、インナーミラー３６（後述の図３参照）、フロントガラスＷ（後述の図３参照）上部、または、天井である。ハンドルよりも上方は、例えば、ピラーも含む。なお、後述の図２において、ハンドル、オーバーヘッドコンソール、および、ピラーへの符号の付与は省略している。撮像装置２は、例えば、車室内をモニタリングすることを目的に設置される、いわゆるＤＭＳ（Ｄｒｉｖｅｒ Ｍｏｎｉｔｏｒｉｎｇ Ｓｙｓｔｅｍ）と共用のものを想定している。撮像装置２は、可視光カメラ、または、赤外線カメラである。
撮像装置２は、撮像した撮像画像を、乗員状態判定装置１に出力する。実施の形態１において、画像は、静止画像でもよいし、動画像でもよい。

乗員状態判定装置１は、撮像装置２から取得した撮像画像に基づき乗員４の開眼度を判定し、判定した乗員４の開眼度が予め設定された閾値（以下「第１閾値」という。）未満となった場合、当該乗員４の開眼度が第１閾値未満となった状態は当該乗員４の視線方向が下方に向かい、かつ、当該乗員４の顔向きが下方に向かった後に生じた状態であるか否かによって、乗員４が伏し目状態であるか、閉眼状態であるかを判定する。なお、乗員状態判定装置１は、乗員４の開眼度が第１閾値以上の場合は、乗員４が開眼状態であると判定する。第１閾値には、予め、撮像画像上で、乗員４がじゅうぶんに開眼していると判定できる値が設定されている。
また、乗員状態判定装置１は、乗員４が伏し目状態であると判定したか、閉眼状態であると判定したかに基づいて、乗員４が脇見状態であるかの判定、または、乗員４が居眠り状態であるかの判定を行う。乗員状態判定装置１の詳細については、後述する。

ここで、図２および図３は、実施の形態１において、撮像装置２の設置例、および、撮像装置２が乗員４を撮像する様子の一例を説明するための図である。
図２は、車両３０の運転席３３を車両３０の側面から見た場合の車室内の様子を示している。図３は、車室内から車両３０の進行方向に向かってフロントガラスＷおよびインパネ３２を見た場合の車室内の様子を示している。

図２に示すように、インパネ３２のセンターバイザー３１上部に設けられている撮像装置２は、乗員４の頭部位置の正面付近から、乗員４の顔を撮像する。
図３に示すように、インパネ３２には、ディスプレイ３４およびエアコン操作部３５が設けられている。ディスプレイ３４は、例えば、カーナビゲーション装置（図示省略）が備える表示装置であり、経路情報またはテレビの映像等を表示する。エアコン操作部３５は、例えば、エアコンの風量または温度を調整するための操作パネルである。

例えば、通常の乗車状態において、言い換えれば、ここでは、通常の運転状態において、乗員４は正面を見る。すなわち、乗員４の視線方向は車両３０の進行方向となる（図２のＤ_１参照）。
しかし、例えば、乗員４は、カーナビゲーション装置を操作するためディスプレイ３４の方向を見ることがある。例えば、乗員４は、エアコンの温度を調整するためエアコン操作部３５の方向を見ることもある。この場合、乗員４の視線方向は、車両３０の進行方向から、ディスプレイ３４またはエアコン操作部３５が設けられている方向へと移動する（図２のＤ_２参照）。

撮像装置２は、乗員４の頭部位置の正面付近から乗員４の顔を撮像しているため、乗員４が通常の乗車状態よりも下方に視線を移動させると、より詳細には、乗員４が通常の乗車状態よりも下方に視線を移動させ視線方向が撮像装置２よりも下方になると、乗員４の状態は、撮像装置２から見て、伏し目状態になる。撮像装置２から見て乗員４が伏し目状態になると、撮像装置２が撮像した撮像画像上では、乗員４の上瞼と下瞼が近づく。なお、実施の形態１において、乗員４が通常の乗車状態よりも下方に視線を向けることを「下方視」ともいう。
図３において５００で示す領域（以下「下方視領域」という。）については、後述する。

ここで、図４Ａおよび図４Ｂは、実施の形態１において、撮像装置２が通常の乗車状態における乗員４の顔を撮像した撮像画像上の乗員４の状態の一例と、乗員４が下方視したことで撮像装置２から見て伏し目状態となった場合に撮像装置２が当該乗員４の顔を撮像した撮像画像上の乗員４の状態の一例を示す図である。

乗員４が通常の乗車状態である場合、すなわち、乗員４が車両３０の進行方向、言い換えれば、正面を見ている場合、図４Ａに示す撮像画像のように、撮像画像において、乗員４の目はじゅうぶんに開いてうつる。なお、この場合、撮像画像から判定される開眼度は、第１閾値以上となる。
一方、乗員４が下方視をした場合、実際には乗員４は目を閉じていないにもかかわらず、図４Ｂに示す撮像画像のように、撮像画像において、乗員４の目はじゅうぶんに開いていない、言い換えれば、閉じているかのようにうつる。なお、この場合、撮像画像から判定される開眼度は、第１閾値未満となる。

実施の形態１に係る乗員状態判定装置１は、図４Ｂに示す撮像画像のように、乗員４が下方視したことで、撮像画像上、目がじゅうぶんに開いていない、言い換えれば、閉じているかのようにうつったと想定される場合に、当該乗員４が伏し目状態であると判定する。

図１に戻り、実施の形態１に係る乗員状態判定装置１の構成例について説明する。
実施の形態１に係る乗員状態判定装置１は、画像取得部１１、開眼度判定部１２、視線検知部１３、顔向き検知部１４、眠気検知部１５、目状態判定部１６、脇見判定部１７、居眠り判定部１８、および、出力部１９を備える。

画像取得部１１は、車両３０内に設けられている撮像装置２によって車両３０内の乗員４の顔が撮像された撮像画像を取得する。
画像取得部１１は、取得した撮像画像を開眼度判定部１２、視線検知部１３、顔向き検知部１４、および、眠気検知部１５に出力する。

開眼度判定部１２は、画像取得部１１が取得した撮像画像に基づいて、乗員４の開眼度を判定する。
具体的には、開眼度判定部１２は、撮像画像に対して既知の画像認識技術を用いて、乗員４の上瞼と下瞼を検知する。例えば、撮像画像において、乗員４の顔が存在し得る領域（以下「顔検知領域」という。）が予め設定されており、開眼度判定部１２は、撮像画像の顔検知領域に対して既知のエッジ検出を行って、乗員４の上瞼を示す特徴点、および、下瞼を示す特徴点を抽出する。次に、開眼度判定部１２は、例えば、撮像画像における乗員４の上瞼と下瞼の上下の距離（以下「瞼距離」という。）を、撮像画像上、左から順に算出し、最大となる瞼距離を算出する。そして、開眼度判定部１２は、算出した最大となる瞼距離と開眼度の基準値との比率に基づき、開眼度を判定する。すなわち、開眼度の単位はパーセントである。開眼度の基準値には、予め、例えば、試験を行って算出された、一般的な体格の成人の覚醒時の開眼度の平均値が設定されている。なお、これは一例に過ぎず、開眼度の基準値は、例えば、乗員４が車両３０に搭乗してから予め設定された時間における乗員４の開眼度の平均値としてもよいし、開眼度判定部１２が現在までに判定したすべての開眼度の平均値としてもよい。
なお、上述した開眼度の判定方法は、一例に過ぎない。開眼度判定部１２は、公知の種々のアルゴリズムを用いて開眼度を判定すればよい。
開眼度判定部１２は、乗員４の開眼度の判定結果に関する情報（以下「開眼度情報」という。）を、目状態判定部１６に出力する。開眼度情報は、例えば、乗員４の開眼度と、画像取得部１１が取得した撮像画像とが対応付けられた情報である。

視線検知部１３は、画像取得部１１が取得した撮像画像に基づいて、乗員４の視線を検知する。具体的には、視線検知部１３は、撮像画像に基づいて、乗員４の視線方向を検知する。乗員４の視線方向とは、すなわち、乗員４の視線の向きである。
視線検知部１３は、撮像画像に対して既知の画像認識技術を用いて、乗員４の視線方向を検知すればよい。例えば、撮像装置２が可視光カメラである場合、視線検知部１３は、撮像画像上で乗員４の目頭と虹彩を検出し、目頭と虹彩の位置関係から、乗員４の視線方向を検知できる。また、例えば、撮像装置２が赤外線カメラである場合、視線検知部１３は、赤外線カメラが近赤外の点光源を照射すると角膜で反射して得られたプルキニエ像と瞳孔との位置関係から、乗員４の視線方向を検知することもできる。なお、これらは一例に過ぎず、視線検知部１３は、公知の種々のアルゴリズムを用いて乗員４の視線方向を検知すればよい。
実施の形態１において、乗員４の視線方向は、所定の基準方向に対する角度であらわされる。例えば、乗員４の視線方向は、乗員４が座席にて真っすぐ前方を見たときの状態を基準として、当該状態から視線方向が水平方向および垂直方向にそれぞれ何度回転しているかを表す視線の角度であらわされる。
視線検知部１３は、検知した乗員４の視線に関する情報（以下「視線情報」という。）
を、目状態判定部１６に出力する。視線情報は、例えば、乗員４の視線方向を示す情報と、撮像画像とが対応付けられた情報である。

なお、実施の形態１において、視線検知部１３は、乗員４の視線を検知できなかった場合、乗員４の視線を検知できなかった旨の視線情報を、目状態判定部１６に出力する。

顔向き検知部１４は、画像取得部１１が取得した撮像画像に基づいて、乗員４の顔向きを検知する。
顔向き検知部１４は、撮像画像に対して既知の画像認識技術を用いて、乗員４の顔向きを検知すればよい。例えば、顔向き検知部１４は、撮像画像に基づいて一般的なパターン認識によって乗員４の顔向きを検知する。これは一例に過ぎず、顔向き検知部１４は、公知の種々のアルゴリズムを用いて乗員４の顔向きを検知すればよい。
実施の形態１において、乗員４の顔向きは、所定の基準方向に対する角度であらわされる。例えば、乗員４の顔向きは、乗員４が座席にて真っすぐ前方を見たときの状態を基準として、当該状態から顔向きが水平方向および垂直方向にそれぞれ何度回転しているかを表す顔向きの角度であらわされる。
顔向き検知部１４は、検知した乗員４の顔向きに関する情報（以下「顔向き情報」という。）を、目状態判定部１６に出力する。顔向き情報は、例えば、乗員４の顔向きと撮像画像とが対応付けられた情報である。

眠気検知部１５は、画像取得部１１が取得した撮像画像に基づいて、乗員４の眠気レベルを検知する。
眠気検知部１５は、撮像画像に対して既知の画像認識技術を用いて、乗員４の眠気レベルを検知すればよい。例えば、眠気検知部１５は、撮像画像に基づいて、予め設定されている単位時間における乗員４の瞬きの回数を判定する。眠気検知部１５は、単位時間内に乗員４が何回瞬きを行ったかによって、乗員４の眠気レベルを検知する。単位時間内にどれぐらいの回数瞬きを行った場合にどの段階の眠気レベルとするかは予め決められている。例えば、眠気レベルには、眠気レベルが高いほど乗員４の眠気が強いことを示し、眠気レベルが低いほど乗員４が覚醒していることを示す値が設定される。
眠気検知部１５は、公知の種々のアルゴリズムを用いて乗員４の眠気レベルを検知すればよい。なお、ここでは、眠気検知部１５は、撮像画像に基づいて乗員４の眠気レベルを検知するものとしたが、これは一例に過ぎない。眠気検知部１５は、例えば、車両３０に設けられている生体センサから、体温等の乗員４の生体情報を取得し、生体情報から乗員４の眠気レベルを検知してもよい。
眠気検知部１５は、検知した乗員４の眠気レベルに関する情報（以下「眠気レベル情報」という。）を、居眠り判定部１８に出力する。眠気レベル情報は、例えば、乗員４の眠気レベルと撮像画像とが対応付けられた情報である。

目状態判定部１６は、開眼度判定部１２が判定した乗員４の開眼度が第１閾値未満となった場合、当該開眼度が第１閾値未満と判定される前に視線検知部１３が検知していた乗員４の視線方向と、顔向き検知部１４が検知していた乗員４の顔向きとに基づいて、乗員４が伏し目状態であるか閉眼状態であるかを判定する。
具体的には、目状態判定部１６は、開眼度判定部１２が判定した開眼度が第１閾値未満となった場合、視線検知部１３が検知していた乗員４の視線方向が下方に向かい、かつ、顔向き検知部１４が検知していた乗員４の顔向きが下方に向かった後に開眼度が第１閾値未満となったのであれば、乗員４は伏し目状態であると判定する。一方、目状態判定部１６は、視線検知部１３が検知していた乗員４の視線方向が下方に向かい、かつ、顔向き検知部１４が検知していた乗員４の顔向きが下方に向かった後に開眼度が第１閾値未満となったのでなければ、乗員４は閉眼状態であると判定する。
実施の形態１において、目状態判定部１６が行う、乗員４が伏し目状態であるか、閉眼状態であるかの判定を、「伏し目判定」ともいう。目状態判定部１６は、開眼度判定部１２から出力された開眼度情報に基づき、乗員４の開眼度が第１閾値未満となったか否かを判定する。
なお、目状態判定部１６は、開眼度判定部１２が判定した乗員４の開眼度が第１閾値以上である場合は、伏し目判定を行わず、乗員４は開眼状態であると判定する。

以下、目状態判定部１６による伏し目判定処理について詳細に説明する。
目状態判定部１６は、開眼度判定部１２から出力される開眼度情報と、視線検知部１３から出力される視線情報と、顔向き検知部１４から出力される顔向き情報とを時系列で対応付けて記憶している。実施の形態１において、目状態判定部１６が時系列で記憶している、開眼度情報と視線情報と顔向き情報とが対応付けられた情報を、「目関連情報」という。
目状態判定部１６は、乗員４の開眼度が第１閾値未満となったと判定すると、目関連情報を参照して、乗員４の開眼度が第１閾値未満となる前の乗員４の視線情報を取得する。
次に、目状態判定部１６は、取得した乗員４の視線情報に基づき、開眼度が第１閾値未満と判定される前に視線検知部１３が検知していた乗員４の視線方向から乗員４の視線方向の軌跡を算出する。なお、開眼度が第１閾値未満となるまでのどれぐらいの時間の視線方向の軌跡を算出するかは、適宜設定可能である。また、目状態判定部１６は、目関連情報を参照して、乗員４の開眼度が第１閾値未満となる前の乗員４の顔向き情報を取得する。目状態判定部１６は、取得した乗員４の顔向き情報に基づき、開眼度が第１閾値未満と判定される前に顔向き検知部１４が検知していた乗員４の顔向きから乗員４の顔向きの軌跡を算出する。なお、開眼度が第１閾値未満となるまでのどれぐらいの時間の顔向きの軌跡を算出するかは、適宜設定可能である。ただし、視線方向の軌跡を算出する時間の長さと、顔向きの軌跡を算出する時間の長さは同じであることが望ましい。
なお、実施の形態１において、「開眼度が第１閾値未満と判定される前」とは、開眼度が第１閾値未満と判定された時点から遡った、設定された時間のことをいう。当該設定された時間は、上述のとおり、適宜設定可能である。

そして、目状態判定部１６は、算出した乗員４の視線方向の軌跡が下方に向かっているか否か、および、算出した乗員４の顔向きの軌跡が下方に向かっているか否かを判定する。より詳細には、目状態判定部１６は、算出した乗員４の視線方向の軌跡が予め設定されている下方視領域の方向へ向かっているか否か、および、算出した乗員４の顔向きの軌跡が上記下方視領域の方向へ向かっているか否かを判定する。目状態判定部１６は、乗員４の視線方向の軌跡が下方視領域の方向へ向かっている場合、乗員４の視線方向が下方に向かっていたと判定する。また、目状態判定部１６は、乗員４の顔向きの軌跡が下方視領域の方向へ向かっている場合、乗員４の顔向きが下方に向かっていたと判定する。
下方視領域は、例えば、図３において５００で示す領域であり、目状態判定部１６は下方視領域に関する情報を記憶している。実施の形態１において、下方視領域とは、車両３０内において撮像装置２よりも下方に設定された領域である。下方視領域には、例えば、下方視をした乗員４の視線方向がその領域内にある状態が予め決められた時間継続した場合、当該乗員４が脇見をしている可能性があると想定される領域が設定される。例えば、下方視領域には、カーナビゲーション装置のディスプレイ３４等、撮像装置２よりも下方において乗員４が操作し得る装置が存在する領域を含む領域が設定される。なお、実施の形態１では、下方視領域は、例えば、製造業者等が、予め、撮像装置２の設置位置に応じて、設定しておくものとするが、これは一例に過ぎない。例えば、乗員状態判定装置１において、目状態判定部１６が、撮像装置２の設置位置と乗員４の頭部位置との位置関係に応じて、都度、下方視領域を設定する機能を有していてもよい。なお、目状態判定部１６は、既知の画像認識技術を用いて乗員４の頭部位置を推定すればよい。撮像装置２の設置位置は予めわかっている。

目状態判定部１６は、乗員４の視線方向の軌跡および乗員４の顔向きの軌跡が下方に向かっていた場合、乗員４は伏し目状態であると判定する。言い換えれば、目状態判定部１６は、乗員４の視線方向および乗員４の顔向きが下方に向かう傾向にある中で乗員４の開眼度が第１閾値未満となった場合、乗員４は伏し目状態であると判定する。
目状態判定部１６は、乗員４の視線方向の軌跡および乗員４の顔向きの軌跡が下方に向かっていなかった場合は、乗員４は閉眼状態であると判定する。言い換えれば、目状態判定部１６は、乗員４の視線方向および乗員４の顔向きが下方に向かう傾向にある中で乗員４の開眼度が第１閾値未満となったのでなければ、乗員４は閉眼状態であると判定する。

目状態判定部１６は、乗員４が伏し目状態と判定したか、乗員４が閉眼状態と判定したか、乗員４は開眼状態と判定したかを示す情報（以下「目状態情報」という。）を、脇見判定部１７、居眠り判定部１８、または、出力部１９に出力する。
具体的には、目状態判定部１６は、伏し目判定を行った結果、乗員４は伏し目状態であると判定した場合、乗員４は伏し目状態である旨の目状態情報を、脇見判定部１７に出力する。目状態判定部１６は、伏し目判定を行った結果、乗員４は閉眼状態であると判定した場合、乗員４は閉眼状態である旨の目状態情報を、居眠り判定部１８に出力する。目状態判定部１６は、乗員４は開眼状態であると判定した場合は、乗員４は開眼状態である旨の目状態情報を出力部１９に出力する。

脇見判定部１７は、目状態判定部１６から乗員４は伏し目状態である旨の目状態情報が出力された場合、言い換えれば、目状態判定部１６が乗員４は伏し目状態であると判定した場合、予め設定されている条件（以下「脇見判定用条件」という。）を満たすか否かによって乗員４が脇見をしているか否かを判定する。実施の形態１において、目状態判定部１６から乗員４は伏し目状態である旨の目状態情報が出力された場合に脇見判定部１７が行う、乗員４が脇見をしているか否かの判定を、「脇見判定」ともいう。
脇見判定用条件には、例えば、以下の条件（１）が設定されている。脇見判定部１７は、例えば、以下の条件（１）を満たす場合、乗員４は脇見をしていると判定する。

＜条件（１）＞
乗員の伏し目状態が予め設定されている時間（以下「脇見判定用時間」という。）以上継続していること

脇見判定部１７は、目状態判定部１６から乗員４は伏し目状態である旨の目状態情報が出力されると、時間（以下「伏し目判定後時間」という。）をカウントアップする。なお、脇見判定部１７は、カウントアップした伏し目判定後時間を記憶しておく。そして、脇見判定部１７は、カウントアップした伏し目判定後時間が脇見判定用時間以上となった場合、乗員４の伏し目状態が脇見判定用時間以上継続しているとし、脇見判定用条件を満たすと判定する。すなわち、脇見判定部１７は、乗員４は脇見をしていると判定する。
なお、脇見判定部１７は、カウントアップした伏し目判定後時間が脇見判定用時間以上となり乗員４は脇見をしていると判定した場合、伏し目判定後時間のカウントアップを開始後、乗員４が伏し目状態でなくなった場合、または、車両３０のエンジンがオフされた場合、伏し目判定後時間をクリアする。

脇見判定部１７は、乗員４の伏し目状態が脇見判定用時間以上継続していないと判定した場合は、脇見判定用条件を満たさないと判定する。すなわち、脇見判定部１７は、乗員４は脇見をしていないと判定する。

脇見判定部１７は、脇見判定を行った結果、乗員４が脇見をしていると判定した場合、乗員４は脇見状態である旨の情報を、出力部１９に出力する。

居眠り判定部１８は、目状態判定部１６から乗員４は閉眼状態である旨の目状態情報が出力された場合、言い換えれば、目状態判定部１６が乗員４は閉眼状態であると判定した場合、眠気検知部１５が検知した乗員４の眠気レベルに基づいて乗員４が居眠りをしているか否かを判定する。実施の形態１において、目状態判定部１６から乗員４は閉眼状態である旨の目状態情報が出力された場合に居眠り判定部１８が行う、乗員４が居眠りをしているか否かの判定を、「居眠り判定」ともいう。居眠り判定部１８は、眠気検知部１５から出力された眠気レベル情報から乗員４の眠気レベルを特定すればよい。
具体的には、居眠り判定部１８は、乗員４の眠気レベルが予め設定された閾値（以下
「眠気判定用閾値」という。）以上である状態（以下「眠気有状態」という。）が予め設定された時間（以下「居眠り判定用時間」という。）以上継続した場合、乗員４は居眠りをしていると判定する。

例えば、居眠り判定部１８は、目状態判定部１６から乗員４は閉眼状態である旨の目状態情報が出力され、眠気検知部１５が検知した乗員４の眠気レベルが眠気判定用閾値以上である場合、乗員４が眠気有状態であると判定する。居眠り判定部１８は、乗員４が眠気有状態であると判定すると、時間（以下「眠気判定後時間」という。）をカウントアップする。なお、居眠り判定部１８は、カウントアップした眠気判定後時間を記憶しておく。そして、居眠り判定部１８は、カウントアップした眠気判定後時間が居眠り判定用時間以上となった場合、乗員４の眠気有状態が居眠り判定用時間以上継続しているとし、乗員４は居眠りをしていると判定する。
なお、居眠り判定部１８は、カウントアップした眠気判定後時間が居眠り判定用時間以上となり乗員４は居眠りをしていると判定した場合、眠気判定後時間のカウントアップを開始後、乗員４の眠気レベルが眠気判定用閾値以上でなくなった場合、眠気判定後時間のカウントアップを開始後、乗員４が閉眼状態でなくなった場合、または、車両３０のエンジンがオフされた場合、眠気判定後時間をクリアする。

居眠り判定部１８は、居眠り判定を行った結果、乗員４が居眠りをしていると判定した場合、乗員４は居眠り状態である旨の情報を、出力部１９に出力する。

出力部１９は、各種警報を出力する。
具体的には、出力部１９は、脇見判定部１７から乗員４は脇見状態である旨の情報が出力された場合、言い換えれば、脇見判定部１７が、乗員４が脇見をしていると判定した場合、乗員４に対して前方不注意であることを警告するための情報（以下「第１警告情報」という。）を出力する。出力部１９は、居眠り判定部１８から乗員４は居眠り状態である旨の情報が出力された場合、言い換えれば、居眠り判定部１８が、乗員４が居眠りをしていると判定した場合、乗員４に対して居眠りを警告するための情報（以下「第２警告情報」という。）を出力する。

出力部１９は、第１警告情報、または、第２警告情報を、例えば、車両３０に搭載されている出力装置（図示省略）に出力する。実施の形態１では、出力装置は乗員状態判定装置１の外部において車両３０に搭載されていることを想定しているが、出力装置は乗員状態判定装置１に搭載されていてもよい。出力装置は、例えば、ディスプレイ３４または音声出力装置である。例えば、出力装置がディスプレイ３４である場合、ディスプレイ３４は、第１警告情報または第２警告情報に応じた表示を行う。具体例を挙げると、例えば、ディスプレイ３４は、出力部１９から第１警告情報が出力されると、「前方注意」とのメッセージを出力する。また、例えば、ディスプレイ３４は、出力部１９から第２警告情報が出力されると、「居眠り注意。休憩をとってください。」とのメッセージを表示する。例えば、ディスプレイ３４は、出力部１９から第２警告情報が出力された場合、コーヒーカップのアイコン等、休憩を促すアイコンを表示してもよい。出力装置が音声出力装置である場合、音声出力装置は、第１警告情報または第２警告情報に応じた音声出力を行う。具体例を挙げると、例えば、音声出力装置は、出力部１９から第１警告情報が出力されると、「前方注意」との音声を出力する。また、例えば、音声出力装置は、出力部１９から第２警告情報が出力されると、「居眠り注意。休憩をとってください。」との音声を出力する。

出力部１９は、目状態判定部１６から乗員４は開眼状態である旨の目状態情報が出力された場合、何も出力しない。なお、これは一例に過ぎず、出力部１９は、例えば、目状態判定部１６から乗員４は開眼状態である旨の目状態情報が出力された場合、運転状態が良好である旨を知らせるための通知情報を出力装置に出力してもよい。

実施の形態１に係る乗員状態判定装置１の動作について説明する。
図５は、実施の形態１に係る乗員状態判定装置１の動作について説明するためのフローチャートである。なお、乗員状態判定装置１は、車両３０が走行中、図５のフローチャートに示す動作を繰り返す。

画像取得部１１は、車両３０内に設けられている撮像装置２によって車両３０内の乗員４の顔が撮像された撮像画像を取得する（ステップＳＴ１）。
画像取得部１１は、取得した撮像画像を開眼度判定部１２、視線検知部１３、顔向き検知部１４、および、眠気検知部１５に出力する。

開眼度判定部１２は、ステップＳＴ１にて画像取得部１１が取得した撮像画像に基づいて、乗員４の開眼度を判定する（ステップＳＴ２）。
開眼度判定部１２は、開眼度情報を、目状態判定部１６に出力する。

視線検知部１３は、ステップＳＴ１にて画像取得部１１が取得した撮像画像に基づいて、乗員４の視線を検知する（ステップＳＴ３）。
視線検知部１３は、視線情報を、目状態判定部１６に出力する。

顔向き検知部１４は、ステップＳＴ１にて画像取得部１１が取得した撮像画像に基づいて、乗員４の顔向きを検知する（ステップＳＴ４）。
顔向き検知部１４は、顔向き情報を、目状態判定部１６に出力する。

眠気検知部１５は、ステップＳＴ１にて画像取得部１１が取得した撮像画像に基づいて、乗員４の眠気レベルを検知する（ステップＳＴ５）。
眠気検知部１５は、眠気レベル情報を、居眠り判定部１８に出力する。

目状態判定部１６は、開眼度判定部１２が判定した乗員４の開眼度が第１閾値未満となった場合（ステップＳＴ６の“ＹＥＳ”の場合）、伏し目判定を行う（ステップＳＴ７）。
一方、目状態判定部１６は、開眼度判定部１２が判定した乗員４の開眼度が第１閾値以上である場合（ステップＳＴ６の“ＮＯ”の場合）は、乗員４は開眼状態であると判定する。そして、目状態判定部１６は、乗員４は開眼状態である旨を示す目状態情報を出力部１９に出力し、乗員状態判定装置１の動作は、処理を終了する。

伏し目判定を行った結果、目状態判定部１６が乗員４は伏し目状態であると判定した場合（ステップＳＴ８の“ＹＥＳ”の場合）、脇見判定部１７は、脇見判定用条件を満たすか否かによって乗員４が脇見をしているか否かを判定する脇見判定を行う（ステップＳＴ９）。
一方、伏し目判定を行った結果、目状態判定部１６が乗員４は伏し目状態ではないと判定した場合、言い換えれば、乗員４は閉眼状態であると判定した場合（ステップＳＴ８の“ＮＯ”の場合）、居眠り判定部１８は、ステップＳＴ５にて眠気検知部１５が検知した乗員４の眠気レベルに基づいて乗員４が居眠りをしているか否かを判定する居眠り判定を行う（ステップＳＴ１０）。

出力部１９は、ステップＳＴ９にて脇見判定部１７から乗員４は脇見状態である旨の情報が出力された場合、言い換えれば、脇見判定部１７が、乗員４が脇見をしていると判定した場合、第１警告情報を出力する。また、出力部１９は、ステップＳＴ１０にて居眠り判定部１８から乗員４は居眠り状態である旨の情報が出力された場合、言い換えれば、居眠り判定部１８が、乗員４が居眠りをしていると判定した場合、第２警告情報を出力する（ステップＳＴ１１）。

なお、図５のフローチャートで示す乗員状態判定装置１の動作について、ステップＳＴ１～ステップＳＴ５は、この順番で処理が行われることを必須としない。例えば、ステップＳＴ１～ステップＳＴ５の処理が並行して行われてもよい。

図６は、図５のステップＳＴ７における目状態判定部１６による伏し目判定処理の詳細を説明するフローチャートである。
目状態判定部１６は、開眼度が第１閾値未満と判定される前に視線検知部１３が検知していた乗員４の視線方向は下方に向かっていたか否かを判定する（ステップＳＴ７１）。具体的には、目状態判定部１６は、まず、目関連情報を参照して、乗員４の開眼度が第１閾値未満となる前の乗員４の視線情報を取得する。次に、目状態判定部１６は、取得した乗員４の視線情報に基づき、開眼度が第１閾値未満と判定される前に視線検知部１３が検知していた乗員４の視線方向から乗員４の視線方向の軌跡を算出する。そして、目状態判定部１６は、算出した乗員４の視線方向の軌跡が下方に向かっているか否かを判定する。より詳細には、目状態判定部１６は、算出した乗員４の視線方向の軌跡が下方視領域の方向へ向かっているか否かを判定する。

ステップＳＴ７１にて乗員４の視線方向が下方に向かっていた場合（ステップＳＴ７１の“ＹＥＳ”の場合）、目状態判定部１６は、開眼度が第１閾値未満と判定される前に顔向き検知部１４が検知していた乗員４の顔向きは下方に向かっていたか否かを判定する（ステップＳＴ７２）。具体的には、目状態判定部１６は、目関連情報を参照して、乗員４の開眼度が第１閾値未満となる前の乗員４の顔向き情報を取得する。次に、目状態判定部１６は、取得した乗員４の顔向き情報に基づき、開眼度が第１閾値未満と判定される前に顔向き検知部１４が検知していた乗員４の顔向きから乗員４の顔向きの軌跡を算出する。そして、目状態判定部１６は、算出した乗員４の顔向きの軌跡が下方に向かっているか否かを判定する。より詳細には、目状態判定部１６は、算出した乗員４の顔向きの軌跡が下方視領域の方向へ向かっているか否かを判定する。

ステップＳＴ７２にて、開眼度が第１閾値未満と判定される前に顔向き検知部１４が検知していた乗員４の顔向きは下方に向かっていたと判定した場合（ステップＳＴ７２の“ＹＥＳ”の場合）、目状態判定部１６は、乗員４は伏し目状態であると判定する（ステップＳＴ７３）。言い換えれば、目状態判定部１６は、乗員４の視線方向および乗員４の顔向きが下方に向かう傾向にある中で乗員４の開眼度が第１閾値未満となった場合、乗員４は伏し目状態であると判定する。そして、目状態判定部１６は、乗員４は伏し目状態である旨の目状態情報を、脇見判定部１７に出力する。

ステップＳＴ７１にて、乗員４の視線方向が下方に向かっていなかった場合（ステップＳＴ７１の“ＮＯ”の場合）、または、乗員４の顔向きが下方に向かっていなかった場合（ステップＳＴ７２の“ＮＯ”の場合）、すなわち、乗員４の視線方向および乗員４の顔向きが下方に向かった後に乗員４の開眼度が第１閾値未満となった場合でなければ、目状態判定部１６は、乗員４は閉眼状態であると判定する（ステップＳＴ７４）。言い換えれば、目状態判定部１６は、乗員４の視線方向および乗員４の顔向きが下方に向かう傾向にある中で乗員４の開眼度が第１閾値未満となったのでなければ、乗員４は閉眼状態であると判定する。そして、目状態判定部１６は、乗員４は閉眼状態である旨の目状態情報を、居眠り判定部１８に出力する。

図７は、図５のステップＳＴ９における脇見判定部１７による脇見判定処理の詳細を説明するフローチャートである。なお、ここでは、一例として、脇見判定用条件には、上述の条件（１）が設定されているとする。
脇見判定部１７は、図５のステップＳＴ８にて目状態判定部１６から乗員４は伏し目状態である旨の目状態情報が出力されると、伏し目判定後時間をカウントアップする（ステップＳＴ９１）。なお、脇見判定部１７は、カウントアップした伏し目判定後時間を記憶しておく。
脇見判定部１７は、乗員４の伏し目状態が脇見判定用時間以上継続しているか否かを判定する（ステップＳＴ９２）。具体的には、脇見判定部１７は、カウントアップした伏し目判定後時間が脇見判定用時間以上となったか否かを判定する。
ステップＳＴ９２にて乗員４の伏し目状態が脇見判定用時間以上継続していると判定した場合（ステップＳＴ９２の“ＹＥＳ”の場合）、脇見判定部１７は、脇見判定用条件を満たすとし、乗員４は脇見状態であると判定する（ステップＳＴ９３）。そして、脇見判定部１７は、乗員４は脇見状態である旨の情報を、出力部１９に出力する。
ステップＳＴ９２にて乗員４の伏し目状態が脇見判定用時間以上継続していないと判定した場合（ステップＳＴ９２の“ＮＯ”の場合）、脇見判定部１７は、脇見判定用条件を満たさないとし、言い換えれば、乗員４は脇見状態ではないと判定し、脇見判定処理を終了する。

図８は、図５のステップＳＴ１０における居眠り判定部１８による居眠り判定処理の詳細を説明するフローチャートである。
居眠り判定部１８は、図５のステップＳＴ５にて眠気検知部１５が検知した乗員４の眠気レベルを特定する。そして、居眠り判定部１８は、乗員４は、眠気レベルが眠気判定用閾値以上である眠気有状態か否かを判定する（ステップＳＴ１０１）。
ステップＳＴ１０１にて、乗員４は、眠気レベルが眠気判定用閾値以上である眠気有状態であると判定した場合（ステップＳＴ１０１の“ＹＥＳ”の場合）、居眠り判定部１８は、眠気判定後時間をカウントアップする（ステップＳＴ１０２）。
居眠り判定部１８は、乗員４の眠気有状態が居眠り判定用時間以上継続したか否かを判定する（ステップＳＴ１０３）。具体的には、居眠り判定部１８は、カウントアップした眠気判定後時間が居眠り判定用時間以上となったか否かを判定する。
ステップＳＴ１０３にて、乗員４の眠気有状態が居眠り判定用時間以上継続したと判定した場合（ステップＳＴ１０３の“ＹＥＳ”の場合）、居眠り判定部１８は、乗員４は居眠りをしていると判定する（ステップＳＴ１０４）。そして、居眠り判定部１８は、乗員４は居眠り状態である旨の情報を、出力部１９に出力する。
ステップＳＴ１０１にて、乗員４は、乗員４の眠気レベルが眠気判定用閾値以上である眠気有状態ではないと判定した場合（ステップＳＴ１０１の“ＮＯ”の場合）、および、ステップＳＴ１０３にて、乗員４の眠気有状態が居眠り判定用時間以上継続していないと判定した場合（ステップＳＴ１０３の“ＮＯ”の場合）、居眠り判定部１８は、乗員４は居眠り状態ではないと判定し、居眠り判定処理を終了する。

上述したように、従来技術では、乗員４が撮像装置２から見て伏し目状態となる可能性があることが考慮されておらず、実際の閉眼状態と伏し目状態とが区別できていないという問題があった。
これに対し、実施の形態１に係る乗員状態判定装置１は、車両３０内の乗員４の開眼度が第１閾値未満となった場合、乗員４の視線方向および乗員４の顔向きが下方に向かった後に開眼度が第１閾値未満となったのであれば、乗員４は伏し目状態であると判定し、乗員４の視線方向および乗員４の顔向きが下方に向かった後に開眼度が第１閾値未満となったのでなければ、乗員４は閉眼状態であると判定する。
そのため、乗員状態判定装置１は、乗員４が通常の乗車状態における視線よりも下方に視線を向けた場合を考慮して、乗員４が閉眼状態であるか伏し目状態であるかを判定することができる。
また、実施の形態１に係る乗員状態判定装置１は、乗員４は伏し目状態であると判定した場合、乗員４が脇見をしているか否かを判定し、乗員４が脇見状態と判定すると第１警告情報を出力する。また、乗員状態判定装置１は、乗員４は閉眼状態であると判定した場合、乗員４が居眠りをしているか否かを判定し、乗員４が居眠り状態と判定すると第２警告情報を出力する。乗員状態判定装置１は、撮像画像から乗員４が閉眼状態であるか伏し目状態であるかを判定可能としたので、例えば、乗員４が実際には目を閉じていないにもかかわらず閉眼状態と判定してしまい、その結果、居眠りをしていると判定し、第２警告情報を出力することを防ぐ。すなわち、乗員状態判定装置１は、例えば、乗員４が実際には目を閉じていないにもかかわらず乗員４に対して、実際の乗員４の状態にそぐわない居眠りを警告してしまうことを防ぐことができる。
また、上述のとおり、乗員状態判定装置１は、乗員４が脇見状態と判定すると、「前方不注意」であることを警告するための第１警告情報を出力する。乗員４が下方視をした場合、撮像画像からは、直接的に、伏し目状態と閉眼状態とを厳密に区別することができないことがある。そこで、実施の形態１において、乗員状態判定装置１は、撮像画像に基づいて、乗員４が開眼状態でない場合、言い換えれば、乗員４の開眼度が第１閾値未満となった場合、乗員４の視線方向および乗員４の顔向きが下方に向かった後に開眼度が第１閾値未満となったのであれば、乗員４は伏し目状態とすべきと判定するようにした。そして、乗員状態判定装置１は、当該伏し目状態が脇見判定用時間以上継続していれば、乗員４が脇見状態と判定するようにした。ここで、上述のとおり、撮像画像からは直接的に伏し目状態と閉眼状態とを厳密に区別することができないため、乗員状態判定装置１が乗員４は伏し目状態と判定した場合に、実際には乗員４は閉眼している可能性もないとは言い切れない。乗員状態判定装置１は、乗員４が脇見状態と判定した場合に「前方不注意」との警告を出力させることで、例えば「脇見注意」との警告よりも意味の範囲が広い警告を出力させるようにし、乗員４に対して誤った警告をすることを防ぐことができる。

以上の実施の形態１では、乗員状態判定装置１において、目状態判定部１６は、開眼度判定部１２が判定した開眼度が第１閾値未満となった場合、視線検知部１３が検知した乗員４の視線方向が下方に向かい、かつ、顔向き検知部１４が検知した乗員４の顔向きが下方に向かった後に開眼度判定部１２が判定した開眼度が第１閾値未満となったのであれば、乗員４は伏し目状態であると判定し、視線検知部１３が検知した乗員４の視線方向が下方に向かい、かつ、顔向き検知部１４が検知した乗員４の顔向きが下方に向かった後に開眼度判定部１２が判定した開眼度が第１閾値未満となったのでなければ、乗員４は閉眼状態であると判定していた。これは一例に過ぎず、目状態判定部１６は、乗員４の顔向きは考慮せず、開眼度判定部１２が判定した開眼度が第１閾値未満となった場合、視線検知部１３が検知していた乗員４の視線方向が下方に向かった後に開眼度が第１閾値未満となったのであれば、乗員４は伏し目状態であると判定し、視線検知部１３が検知していた乗員４の視線方向が下方に向かった後に開眼度が第１閾値未満となったのでなければ、乗員４は閉眼状態であると判定してもよい。
この場合、例えば、図１にて示した乗員状態判定装置１の構成例について、乗員状態判定装置１は、顔向き検知部１４を備えない構成とできる。また、図６のフローチャートを用いて説明した乗員状態判定装置１における目状態判定部１６の動作について、ステップＳＴ７２の処理を省略できる。
ただし、乗員状態判定装置１は、乗員４の顔向きを考慮して、乗員４の開眼度が第１閾値未満となった場合、乗員４の視線方向が下方に向かい、かつ、乗員４の顔向きが下方に向かった後に開眼度が第１閾値未満となったのであれば乗員４は伏し目状態であると判定することで、乗員４の視線方向が下方に向かっているか否かの下方視判定の確度を上げることができる。

また、例えば、目状態判定部１６は、乗員４の開眼度が第１閾値未満と判定された場合、乗員４の開眼度が第１閾値未満と判定される前に視線検知部１３が検知していた乗員４の視線方向から算出した乗員４の視線方向の軌跡と、乗員４の開眼度が第１閾値未満と判定される前に顔向き検知部１４が検知していた乗員４の顔向きから算出した乗員４の顔向きの軌跡とが、下方視領域内に存在する対象物（以下「下方視対象物」という。）に向かっていた場合に、乗員４の視線方向が下方に向かっていたとしてもよい。
なお、下方視対象物は、例えば、ナビゲーション装置、エアコン操作部３５、または、ディスプレイ３４等の車載装置を想定している。例えば、インナーミラー３６を下方視対象物としてもよい。
下方視対象物の設置位置は予めわかっているので、目状態判定部１６は、乗員４の視線方向の軌跡がわかれば、当該視線方向が下方視対象物の方向に向かっていたか否かを判定できる。この場合、図６のフローチャートを用いて説明した乗員状態判定装置１における目状態判定部１６の動作について、目状態判定部１６は、ステップＳＴ７１において、乗員４の視線方向の軌跡が下方視対象物に向かっていたか否かを判定する。また、目状態判定部１６は、ステップＳＴ７２において、乗員４の顔向きの軌跡が下方視対象物に向かっていたか否かを判定する。
また、目状態判定部１６は、乗員４の顔向きは考慮せず、乗員４の開眼度が第１閾値未満と判定された場合、乗員４の開眼度が第１閾値未満と判定される前に視線検知部１３が検知していた乗員４の視線方向から算出した乗員４の視線方向の軌跡が、下方視領域内に存在する下方視対象物に向かっていた場合に、乗員４の視線方向が下方に向かっていたとしてもよい。この場合、例えば、図１にて示した乗員状態判定装置１の構成例について、乗員状態判定装置１は、顔向き検知部１４を備えない構成とできる。また、図６のフローチャートを用いて説明した乗員状態判定装置１における目状態判定部１６の動作について、目状態判定部１６は、ステップＳＴ７１において、乗員４の視線方向の軌跡が下方視領域内に存在する下方視対象物に向かっていたか否かを判定する。目状態判定部１６は、ステップＳＴ７２の処理は省略できる。

また、以上の実施の形態１では、乗員状態判定装置１は、乗員４が脇見をしているか否かの脇見判定を行うものとした。しかし、これは一例に過ぎず、乗員状態判定装置１は、脇見判定を行う機能を有することを必須としない。
乗員状態判定装置１が脇見判定を行う機能を有しない場合、例えば、図１にて示した乗員状態判定装置１の構成例について、乗員状態判定装置１は、脇見判定部１７を備えない構成とできる。また、図５のフローチャートを用いて説明した乗員状態判定装置１の動作について、ステップＳＴ９の処理を省略できる。
この場合、目状態判定部１６は、乗員４が伏し目状態と判定すると、乗員４は伏し目状態である旨の目状態情報を、出力部１９に出力する。出力部１９は、目状態判定部１６から乗員４は伏し目状態である旨の目状態情報が出力されると、例えば、脇見を警告するための第１警告情報を出力してもよい。その際、出力部１９は、例えば、乗員４の伏し目状態が脇見判定用時間以上継続した場合に、第１警告情報を出力するようにしてもよい。
例えば、乗員状態判定装置１が、目状態情報に基づいて乗員４の脇見判定を行う脇見判定装置（図示省略）と接続されている場合、出力部１９は、目状態判定部１６から出力された、乗員４が伏し目状態である旨の目状態情報を、脇見判定装置に出力してもよい。

また、以上の実施の形態１では、乗員状態判定装置１は、乗員４が居眠りをしているか否かの居眠り判定を行うものとした。しかし、これは一例に過ぎず、乗員状態判定装置１は、居眠り判定を行う機能を有することを必須としない。
乗員状態判定装置１が居眠り判定を行う機能を有しない場合、例えば、図１にて示した乗員状態判定装置１の構成例について、乗員状態判定装置１は、眠気検知部１５および居眠り判定部１８を備えない構成とできる。また、図５のフローチャートを用いて説明した乗員状態判定装置１の動作について、ステップＳＴ１０の動作を省略できる。
この場合、目状態判定部１６は、乗員４が閉眼状態と判定すると、乗員４は閉眼状態である旨の目状態情報を、出力部１９に出力する。出力部１９は、目状態判定部１６から乗員４は閉眼状態である旨の目状態情報が出力されると、例えば、居眠りを警告するための第２警告情報を出力してもよい。その際、出力部１９は、例えば、乗員４の閉眼状態が居眠り判定用時間以上継続した場合に、第２警告情報を出力するようにしてもよい。
例えば、乗員状態判定装置１が、目状態情報に基づいて乗員４の居眠り判定を行う居眠り判定装置（図示省略）と接続されている場合、出力部１９は、目状態判定部１６から出力された、乗員４が閉眼状態である旨の目状態情報を、居眠り判定装置に出力してもよい。

乗員状態判定装置１は、脇見判定部１７、眠気検知部１５、および、居眠り判定部１８を備えず、脇見判定を行う機能と居眠り判定を行う機能の両方を有していないものとしてもよい。

また、以上の実施の形態１に係る乗員状態判定装置１において、脇見判定部１７は、目状態判定部１６によって乗員４は伏し目状態であると判定されて脇見判定処理を行い、伏し目判定後時間をカウントアップしている過程で、開眼度判定部１２が判定した開眼度が第１閾値よりも小さい閾値（以下「第２閾値」という。）未満となった場合は、伏し目判定後時間のカウントアップを一時停止してもよい。なお、このとき、脇見判定部１７は、伏し目判定後時間のクリアは行わない。第２閾値は適宜設定可能であり、第２閾値には第１閾値よりも小さい値が設定されていればよい。
例えば、乗員４が、その視線方向または顔向きから下方視をしているかのように見える動きをしても、実際には目を閉じて閉眼状態になったということも想定される。このような場合を想定し、脇見判定部１７は、脇見判定処理において、乗員４の開眼度が第２閾値未満であれば、伏し目判定後時間のカウントアップを一時停止する。これにより、乗員状態判定装置１は、乗員４が伏し目と同じような動きで閉眼した場合に、乗員４は脇見していると誤判定してしまうことを防ぐことができる。なお、例えば、脇見判定部１７は、伏し目判定後時間のカウントアップを一時停止するとともに、居眠り判定部１８にその旨を通知し、居眠り判定部１８は眠気判定後時間をカウントアップするようにしてもよい。

また、以上の実施の形態１では、乗員状態判定装置１が状態を判定する対象となる乗員４は、車両３０の運転者を想定していた。しかし、これは一例に過ぎない。
乗員状態判定装置１は、運転者以外の車両３０の乗員４の状態を判定することもできる。

図９Ａ，図９Ｂは、実施の形態１に係る乗員状態判定装置１のハードウェア構成の一例を示す図である。
実施の形態１において、画像取得部１１と、開眼度判定部１２と、視線検知部１３と、顔向き検知部１４と、眠気検知部１５と、目状態判定部１６と、脇見判定部１７と、居眠り判定部１８と、出力部１９の機能は、処理回路１００１により実現される。すなわち、乗員状態判定装置１は、乗員４の開眼度が第１閾値未満となった場合に、乗員４が伏し目状態であるか閉眼状態であるかの判定を含む乗員４の状態の判定を制御するための処理回路１００１を備える。
処理回路１００１は、図９Ａに示すように専用のハードウェアであっても、図９Ｂに示すようにメモリに格納されるプログラムを実行するプロセッサ１００４であってもよい。

処理回路１００１が専用のハードウェアである場合、処理回路１００１は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、またはこれらを組み合わせたものが該当する。

処理回路がプロセッサ１００４の場合、画像取得部１１と、開眼度判定部１２と、視線検知部１３と、顔向き検知部１４と、眠気検知部１５と、目状態判定部１６と、脇見判定部１７と、居眠り判定部１８と、出力部１９の機能は、ソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアまたはファームウェアは、プログラムとして記述され、メモリ１００５に記憶される。プロセッサ１００４は、メモリ１００５に記憶されたプログラムを読み出して実行することにより、画像取得部１１と、開眼度判定部１２と、視線検知部１３と、顔向き検知部１４と、眠気検知部１５と、目状態判定部１６と、脇見判定部１７と、居眠り判定部１８と、出力部１９の機能を実行する。すなわち、乗員状態判定装置１は、プロセッサ１００４により実行されるときに、上述の図５のステップＳＴ１～ステップＳＴ１１が結果的に実行されることになるプログラムを格納するためのメモリ１００５を備える。また、メモリ１００５に記憶されたプログラムは、画像取得部１１と、開眼度判定部１２と、視線検知部１３と、顔向き検知部１４と、眠気検知部１５と、目状態判定部１６と、脇見判定部１７と、居眠り判定部１８と、出力部１９の処理の手順または方法をコンピュータに実行させるものであるともいえる。ここで、メモリ１００５とは、例えば、ＲＡＭ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）等の、不揮発性もしくは揮発性の半導体メモリ、または、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等が該当する。

なお、画像取得部１１と、開眼度判定部１２と、視線検知部１３と、顔向き検知部１４と、眠気検知部１５と、目状態判定部１６と、脇見判定部１７と、居眠り判定部１８と、出力部１９の機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。例えば、画像取得部１１については専用のハードウェアとしての処理回路１００１でその機能を実現し、開眼度判定部１２と、視線検知部１３と、顔向き検知部１４と、眠気検知部１５と、目状態判定部１６と、脇見判定部１７と、居眠り判定部１８と、出力部１９についてはプロセッサ１００４がメモリ１００５に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
また、乗員状態判定装置１は、撮像装置２または出力装置等の装置と、有線通信または無線通信を行う入力インタフェース装置１００２および出力インタフェース装置１００３を備える。

以上の実施の形態１では、乗員状態判定装置１は、車両３０に搭載される車載装置とし、画像取得部１１と、開眼度判定部１２と、視線検知部１３と、顔向き検知部１４と、眠気検知部１５と、目状態判定部１６と、脇見判定部１７と、居眠り判定部１８と、出力部１９は、乗員状態判定装置１に備えられていた。
これに限らず、画像取得部１１と、開眼度判定部１２と、視線検知部１３と、顔向き検知部１４と、眠気検知部１５と、目状態判定部１６と、脇見判定部１７と、居眠り判定部１８と、出力部１９のうち、一部が車両３０の車載装置に搭載され、その他が当該車載装置とネットワークを介して接続されるサーバに備えられて、車載装置とサーバとで乗員状態判定システム１００を構成してもよい。
また、画像取得部１１と、開眼度判定部１２と、視線検知部１３と、顔向き検知部１４と、眠気検知部１５と、目状態判定部１６と、脇見判定部１７と、居眠り判定部１８と、出力部１９が全部サーバに備えられてもよい。

以上のように、実施の形態１に係る乗員状態判定装置１は、車両３０内に設けられている撮像装置２によって車両３０内の乗員４の顔が撮像された撮像画像を取得する画像取得部１１と、画像取得部１１が取得した撮像画像に基づいて、乗員４の開眼度を判定する開眼度判定部１２と、画像取得部１１が取得した撮像画像に基づいて、乗員４の視線を検知する視線検知部１３と、開眼度判定部１２が判定した開眼度が第１閾値未満となった場合、視線検知部１３が検知していた乗員４の視線方向が下方に向かった後に開眼度が第１閾値未満となったのであれば、乗員４は伏し目状態であると判定し、視線検知部１３が検知していた乗員４の視線方向が下方に向かった後に開眼度が第１閾値未満となったのでなければ、乗員４は閉眼状態であると判定する目状態判定部１６とを備えるように構成した。そのため、乗員状態判定装置１は、乗員４が通常の乗車状態における視線よりも下方に視線を向けた場合を考慮して、乗員４が閉眼状態であるか伏し目状態であるかを判定することができる。

なお、実施の形態の任意の構成要素の変形、もしくは実施の形態の任意の構成要素の省略が可能である。

本開示に係る乗員状態判定装置は、乗員が通常の乗車状態における視線よりも下方に視線を向けた場合を考慮して、乗員が閉眼状態であるか伏し目状態であるかを判定することができる。

１ 乗員状態判定装置、１１ 画像取得部、１２ 開眼度判定部、１３ 視線検知部、１４ 顔向き検知部、１５ 眠気検知部、１６ 目状態判定部、１７ 脇見判定部、１８ 居眠り判定部、１９ 出力部、２ 撮像装置、１００ 乗員状態判定システム、１００１ 処理回路、１００２ 入力インタフェース装置、１００３ 出力インタフェース装置、１００４ プロセッサ、１００５ メモリ。

Claims (14)

1. 車両内に設けられている撮像装置によって前記車両内の乗員の顔が撮像された撮像画像を取得する画像取得部と、
   前記画像取得部が取得した前記撮像画像に基づいて、前記乗員の開眼度を判定する開眼度判定部と、
   前記画像取得部が取得した前記撮像画像に基づいて、前記乗員の視線を検知する視線検知部と、
   前記開眼度判定部が判定した前記開眼度が第１閾値未満となった場合、前記視線検知部が検知していた前記乗員の視線方向が下方に向かった後に前記開眼度が前記第１閾値未満となったのであれば、前記乗員は伏し目状態であると判定し、前記視線検知部が検知していた前記乗員の前記視線方向が下方に向かった後に前記開眼度が前記第１閾値未満となったのでなければ、前記乗員は閉眼状態であると判定する目状態判定部と、
   前記目状態判定部が前記乗員は前記伏し目状態であると判定した場合、脇見判定用条件を満たすか否かによって前記乗員が脇見をしているか否かを判定する脇見判定部とを備え、
   前記脇見判定部は、前記目状態判定部が前記乗員は前記伏し目状態であると判定すると伏し目判定後時間のカウントアップを開始して、カウントアップした前記伏し目判定後時間が脇見判定用時間以上継続した場合に前記脇見判定用条件を満たし前記乗員は脇見をしていると判定し、前記伏し目判定後時間のカウントアップを開始後、前記目状態判定部が前記乗員は前記伏し目状態であると判定しても、前記開眼度判定部が判定した前記乗員の前記開眼度が前記第１閾値よりも小さい第２閾値未満である場合は、前記伏し目判定後時間のカウントアップを一時停止する
   ことを特徴とする乗員状態判定装置。
2. 前記目状態判定部は、前記乗員の前記視線方向が前記車両内において前記撮像装置よりも下方に設定された下方視領域の方向へ向かっていた場合、前記乗員の前記視線方向が下方に向かっていたとする
   ことを特徴とする請求項１記載の乗員状態判定装置。
3. 前記目状態判定部は、前記開眼度が前記第１閾値未満と判定される前に前記視線検知部が検知していた前記乗員の前記視線方向から算出した前記乗員の前記視線方向の軌跡が、前記下方視領域内に存在する下方視対象物に向かっていた場合、前記乗員の前記視線方向が下方に向かっていたとする
   ことを特徴とする請求項２記載の乗員状態判定装置。
4. 前記画像取得部が取得した前記撮像画像に基づいて、前記乗員の顔向きを検知する顔向き検知部を備え、
   前記目状態判定部は、前記開眼度判定部が判定した前記開眼度が前記第１閾値未満となった場合、前記視線検知部が検知した前記乗員の前記視線方向が下方に向かい、かつ、前記顔向き検知部が検知した前記乗員の前記顔向きが下方に向かった後に前記開眼度判定部が判定した前記開眼度が前記第１閾値未満となったのであれば、前記乗員は前記伏し目状態であると判定し、前記視線検知部が検知した前記乗員の前記視線方向が下方に向かい、かつ、前記顔向き検知部が検知した前記乗員の前記顔向きが下方に向かった後に前記開眼度判定部が判定した前記開眼度が前記第１閾値未満となったのでなければ、前記乗員は前記閉眼状態であると判定する
   ことを特徴とする請求項１記載の乗員状態判定装置。
5. 前記目状態判定部は、前記乗員の前記視線方向および前記乗員の前記顔向きが、前記車両内において前記撮像装置よりも下方に設定された下方視領域の方向へ向かっていた場合、前記乗員の前記視線方向および前記乗員の前記顔向きが下方に向かっていたとする
   ことを特徴とする請求項４記載の乗員状態判定装置。
6. 前記目状態判定部は、前記開眼度が前記第１閾値未満と判定される前に前記視線検知部が検知していた前記乗員の前記視線方向から算出した前記乗員の前記視線方向の軌跡と、前記開眼度が前記第１閾値未満と判定される前に前記顔向き検知部が検知していた前記乗員の前記顔向きから算出した前記乗員の前記顔向きの軌跡とが、前記下方視領域内に存在する下方視対象物に向かっていた場合、前記乗員の前記視線方向および前記乗員の前記顔向きが下方に向かっていたとする
   ことを特徴とする請求項５記載の乗員状態判定装置。
7. 前記乗員の眠気レベルを検知する眠気検知部と、
   前記目状態判定部が前記乗員は前記閉眼状態であると判定した場合、前記眠気検知部が検知した前記乗員の前記眠気レベルに基づいて前記乗員が居眠りをしているか否かを判定する居眠り判定部を備えた
   ことを特徴とする請求項１記載の乗員状態判定装置。
8. 前記居眠り判定部は、前記乗員の前記眠気レベルが眠気判定用閾値以上である眠気有状態が居眠り判定用時間以上継続した場合、前記乗員は居眠りをしていると判定する
   ことを特徴とする請求項７記載の乗員状態判定装置。
9. 前記目状態判定部が前記乗員は前記伏し目状態であると判定した場合、前方不注意であることを警告するための第１警告情報を出力し、前記目状態判定部が前記乗員は前記閉眼状態であると判定した場合、居眠りを警告するための第２警告情報を出力する出力部を備えた
   ことを特徴とする請求項１記載の乗員状態判定装置。
10. 画像取得部が、車両内に設けられている撮像装置によって前記車両内の乗員の顔が撮像された撮像画像を取得するステップと、
    開眼度判定部が、前記画像取得部が取得した前記撮像画像に基づいて、前記乗員の開眼度を判定するステップと、
    視線検知部が、前記画像取得部が取得した前記撮像画像に基づいて、前記乗員の視線を検知するステップと、
    目状態判定部が、前記開眼度判定部が判定した前記開眼度が第１閾値未満となった場合、前記視線検知部が検知していた前記乗員の視線方向が下方に向かった後に前記開眼度が前記第１閾値未満となったのであれば、前記乗員は伏し目状態であると判定し、前記視線検知部が検知していた前記乗員の前記視線方向が下方に向かった後に前記開眼度が前記第１閾値未満となったのでなければ、前記乗員は閉眼状態であると判定するステップと、
    脇見判定部が、前記目状態判定部が前記乗員は前記伏し目状態であると判定した場合、脇見判定用条件を満たすか否かによって前記乗員が脇見をしているか否かを判定するステップとを備え、
    前記脇見判定部は、前記目状態判定部が前記乗員は前記伏し目状態であると判定すると伏し目判定後時間のカウントアップを開始して、カウントアップした前記伏し目判定後時間が脇見判定用時間以上継続した場合に前記脇見判定用条件を満たし前記乗員は脇見をしていると判定し、前記伏し目判定後時間のカウントアップを開始後、前記目状態判定部が前記乗員は前記伏し目状態であると判定しても、前記開眼度判定部が判定した前記乗員の前記開眼度が前記第１閾値よりも小さい第２閾値未満である場合は、前記伏し目判定後時間のカウントアップを一時停止する
    ことを特徴とする乗員状態判定方法。
11. 請求項１から請求項９のうちのいずれか１項記載の乗員状態判定装置と、
    前記車両内に設けられた前記撮像装置
    とを備えた乗員状態判定システム。
12. 前記撮像装置は、前記車両内においてインストルメントパネルに設けられている
    ことを特徴とする請求項１１記載の乗員状態判定システム。
13. 前記撮像装置は、前記車両内においてヘッドレストよりも上方に設けられている
    ことを特徴とする請求項１１記載の乗員状態判定システム。
14. 前記撮像装置は、前記車両内においてハンドルよりも上方に設けられている
    ことを特徴とする請求項１１記載の乗員状態判定システム。

Images