JP7325687B2 - 眠気推定装置及び眠気推定システム - Google Patents

Description

本開示は、車内の乗員の眠気を推定する眠気推定装置及び眠気推定システムに関する。

居眠り運転を防止するため、乗員の眼、口等、乗員の顔の要素（以下、顔要素という）を検出し、開眼度、開口度等を算出して乗員の眠気を推定する技術が開発されている。乗員の顔要素を検出する場合、例えば、乗員がサングラス又はマスクを着用する等、様々な要因により乗員の顔要素が検出できなくなる可能性がある。従来、サングラスの着用により乗員の眼が検出できなくなった場合には、サングラスのレンズに写り込む風景の濃淡を特徴量として抽出し、また、マスクの着用により乗員の口が検出できなくなった場合には、マスクの形状を特徴量として抽出し、乗員の顔の向き等の状態を推定していた（例えば、特許文献１参照）。

特開２００３－２９６７１２号公報

しかしながら、上述したように、乗員の複数の顔要素を検出する際、一部の顔要素を検出することが困難となる場合がある。そのため、一部の顔要素を検出できなかった場合には、乗員の眠気の推定結果の信頼性が低下するという課題があった。

本開示は、上述のような課題を解決するためになされたもので、乗員の一部の顔要素が検出されなかった場合であっても、乗員の眠気の推定結果の信頼性を担保することができる眠気推定装置を提供することを目的とする。

本開示に係る眠気推定装置は、車内の乗員を撮像する撮像装置から、撮像画像を取得する画像取得部と、乗員の複数の顔要素を、撮像画像から検出する顔検出処理を行う顔検出部と、撮像画像から検出された乗員の眠気を推定する眠気推定部と、を備え、顔検出部は、顔検出処理として、第１顔検出処理と、第１顔検出処理の後に第２顔検出処理とを行い、眠気推定部は、第２顔検出処理により、乗員の複数の顔要素のうち、一部の顔要素が検出されなかった場合、第１顔検出処理によって検出された、一部の顔要素から得た第１顔情報を用いて算出された第１眠気レベルと、第２顔検出処理によって検出された、一部の顔要素と異なる他の顔要素から得た第２顔情報から第１眠気レベルに対する眠気レベルの変化量を推論するための学習済モデルが記録された学習済モデル記憶部より取得した眠気レベルの変化量とを用いて、乗員の眠気を推定するものである。

また、本開示に係る眠気推定システムは、車両に搭載され、車内の乗員を撮像する撮像装置と、撮像装置から、撮像画像を取得する画像取得部と、乗員の複数の顔要素を、撮像画像から検出する顔検出処理を行う顔検出部と、撮像画像から検出された乗員の眠気を推定する眠気推定部と、を備え、顔検出部は、顔検出処理として、第１顔検出処理と、第１顔検出処理の後に第２顔検出処理とを行い、眠気推定部は、第２顔検出処理により、乗員の複数の顔要素のうち、一部の顔要素が検出されなかった場合、第１顔検出処理によって検出された、一部の顔要素から得た第１顔情報を用いて算出された第１眠気レベルと、第２顔検出処理によって検出された、一部の顔要素と異なる他の顔要素から得た第２顔情報から第１眠気レベルに対する眠気レベルの変化量を推論するための学習済モデルが記録された学習済モデル記憶部より取得した眠気レベルの変化量とを用いて、乗員の眠気を推定するものである。

本開示によれば、乗員の一部の顔の要素が検出されなかった場合であっても、乗員の眠気の推定結果の信頼性を担保できる。

実施の形態１に係る眠気推定システムの構成例を示すブロック図である。 実施の形態１に係る撮像装置の撮像範囲を示す説明図である。 実施の形態１に係る眠気推定装置の特徴点検出例を示す説明図である。 実施の形態１に係る眠気推定装置の顔要素の特定結果例を示す説明図である。 実施の形態１に係る眠気推定装置の動作例を示すフローチャートである。 実施の形態１に係る眠気推定装置のハードウェア構成例を示す図である。 実施の形態２に係る眠気推定装置の動作例を示すフローチャートである。 実施の形態３に係る眠気推定装置に関する学習装置の構成図である。 実施の形態３に係る学習装置のニューラルネットワークの学習例を示す説明図である。 実施の形態３に係る学習装置の学習済モデル生成処理例を示すフローチャートである。 実施の形態３に係る顔情報の変化量の推論に対する寄与度を示す説明図である。 実施の形態３に係る眠気推定システムの構成例を示す構成図である。 実施の形態３に係る眠気推定装置の動作例を示すフローチャートである。

以下、図面に基づいて実施の形態について説明する。

実施の形態１．
図１は、実施の形態１に係る眠気推定システム１００の構成例を示すブロック図である。眠気推定システム１００は、眠気推定装置１０及び撮像装置２０を備えており、眠気推定装置１０及び撮像装置２０は、車両に搭載される。また、眠気推定装置１０は、眠気推定装置１０が搭載された車両における、空調機器、音響機器、ナビゲーション装置、報知部等の車載機器、及びエンジン等を制御する車両側制御装置２００と接続されている。

図２は、実施の形態１に係る撮像装置２０の撮像範囲を示す説明図である。図２には、眠気推定装置１０を搭載した車両の内部を上方から見た図を示している。撮像装置２０は、例えば、広角カメラ、赤外線カメラ等で構成され、車両の内部を撮像する。また、撮像装置２０は、撮像装置２０と被写体との距離を反映した画像を撮像可能な、ＴＯＦ（Ｔｉｍｅ－ｏｆ－ｆｌｉｇｈｔ）カメラであってもよい。撮像装置２０は、例えば３０～６０ｆｐｓ（ｆｒａｍｅｓ ｐｅｒ ｓｅｃｏｎｄ）の間隔で車両の内部を撮像し、撮像した画像（以下、撮像画像という）を眠気推定装置１０が有する画像取得部１に出力する。図２の例において、撮像装置２０の撮像範囲を領域Ａで示している。撮像装置２０は、少なくとも運転席５０１に存在する運転者５０３を撮像範囲に含むように、一台又は複数台、オーバーヘッドコンソール、インストメントパネル、ステアリングコラム、ルームミラー等に配置される。

また、図２に示すように、撮像装置２０は、助手席５０２又は後席に存在する乗員、すなわち同乗者５０４を撮像範囲に含むように配置されていてもよい。つまり、撮像装置２０の撮像範囲に、運転席５０１に加えて、例えば、助手席５０２、後席左側の座席、後席中央の座席、及び後席右側の座席の少なくともいずれかを含んでもよい。以下、運転者５０３、同乗者５０４をそれぞれ「乗員」と表現する場合がある。

図１に戻り、眠気推定装置１０について説明する。眠気推定装置１０は、撮像装置２０から撮像画像を取得する画像取得部１と、撮像画像から乗員の顔要素を検出する顔検出部１１と、撮像画像から検出された乗員の眠気を推定する眠気推定部１２とを備える。

眠気推定装置１０の画像取得部１は、撮像装置２０と接続されており、撮像装置２０から撮像画像を取得する。そして、画像取得部１は、取得した撮像画像を顔検出部１１に出力する。また、図１に示すように、画像取得部１は、次に説明する車両情報取得部２と接続されている。画像取得部１は、車両情報取得部２から、例えば、車両のエンジンが始動した旨の信号を取得した場合、撮像画像の取得を開始する。一方、画像取得部１は、車両情報取得部２から、例えば、車両のエンジンが停止した旨の信号を取得した場合、撮像画像の取得を終了する。

眠気推定装置１０は、車両側制御装置２００と接続された車両情報取得部２を有する。車両情報取得部２は、車両側制御装置２００から、車両の始動、停止等に関する信号を取得する。そして、車両側制御装置２００から取得した信号を用いて、画像取得部１に撮像画像の取得を開始させる旨の信号、又は撮像画像の取得を終了させる旨の信号を出力する。

例えば、車両情報取得部２は、車両側制御装置２００から、ドアの開錠、ドアのオープン、イグニッションのＯＮ、人感センサのＯＮ、シフトレバーがドライブの位置に移動、車両速度が０ｋｍ／ｈを超えた、ナビゲーション装置が案内を開始した、及び車両が自宅を出発した等のいずれかの信号を取得した場合、画像取得部１に撮像画像の取得を開始させる旨の信号を出力する。一方、例えば、車両情報取得部２は、車両側制御装置２００から、イグニッションのＯＦＦ、人感センサのＯＦＦ、シフトレバーがパーキングの位置に移動、ナビゲーション装置が案内を終了した、及び車両が自宅へ帰着した等のいずれかの信号を取得した場合、画像取得部１に撮像画像の取得を終了させる旨の信号を出力する。

次に、眠気推定装置１０の顔検出部１１について説明する。顔検出部１１は、撮像画像内の乗員の顔要素の特徴点を検出する特徴点検出部３と、乗員の顔要素に関する特徴量を算出する特徴量算出部４と、乗員の複数の顔要素のうち、一部の顔要素が検出されなかったか否かを判定する顔要素判定部５とを有する。

まず、特徴点検出部３による特徴点検出処理について説明する。図３は、実施の形態１に係る眠気推定装置１０の特徴点検出例を示す説明図である。図３には、運転者５０３が撮像された撮像画像６１を示している。特徴点検出部３は、撮像画像の解析を行い、撮像画像において、乗員の顔が存在する領域である顔領域を検出する。まず、特徴点検出部３は、例えば、撮像画像内におけるコントラスト比から、乗員の顔が存在する領域を抽出する。

そして、特徴点検出部３は、例えば図３Ｂの例のように、乗員の顔が存在する領域を含むよう、矩形等の領域を設定し、顔領域７１として検出する。さらに、特徴点検出部３は、顔領域の位置情報を取得し、眠気推定装置１０の記憶部（図示せず）に出力する。ここで、顔領域の位置情報とは、例えば顔領域が矩形である場合、撮像画像における特定の点（例えば、図３Ａに示す点Ｏ）に対する顔領域の各頂点の座標、顔領域の幅、高さ、及び大きさ等である。

次に、特徴点検出部３は、顔領域に含まれる乗員の顔の要素（以下、顔要素という）の特徴点を抽出する。ここで、乗員の顔要素とは、例えば、図３Ｂに示す、乗員の左眼８１、右眼８２、鼻８３、及び口８４等である。なお、乗員の顔要素は、乗員の顔のパーツのみでなく、乗員の頭部の形状、顔の輪郭等を含んでもよい。すなわち、乗員の顔要素は、乗員の身体を構成する要素であればよい。また、特徴点検出部３による特徴点の検出処理は、公知の種々のアルゴリズムを用いることができるものであり、これらのアルゴリズムの詳細な説明は省略する。例えば、特徴点検出部３は、乗員の顔要素の特徴点を検出する場合、顔要素（例えば、左眼、右眼、鼻、口等）の各々が有する、一つ又は複数の特徴点を検出する処理を実行する。

特徴点検出部３は、例えば、左眼及び右眼に関して、瞳孔、目尻、目頭、上瞼、及び下瞼等、顔要素が有する特徴的な部位、すなわち特徴点の、撮像画像内における位置情報を取得する。以下、説明のため、左眼及び右眼をまとめて、眼と記載する場合がある。

また、特徴点検出部３は、例えば、鼻に関して、鼻根、鼻尖、鼻背、及び鼻翼等の、顔要素が有する特徴点の撮像画像内における位置情報を取得する。さらに、特徴点検出部３は、例えば、口に関して、上唇、下唇、及び口角等の、顔要素が有する特徴点の撮像画像内における位置情報を取得する。そして、特徴点検出部３が取得した各顔要素に関する位置情報、すなわち特徴点の位置情報は、特徴量算出部４及び顔要素判定部５に出力される。

なお、特徴点検出部３が取得する、各顔要素が有する特徴点の位置情報は、例えば図３Ａに示す撮像画像内の特定の位置Ｏを始点とした座標、又は撮像画像における中心等の特定の位置を始点とした座標等を示す情報である。

そして、顔検出部１１の特徴量算出部４は、検出された特徴点から、乗員の顔要素に関する特徴量を算出する。ここで、特徴量とは、例えば、開眼度、開口度等、乗員の状態を示す、後述の眠気推定処理に用いられる情報である。さらに、特徴量は、例えば、瞬目の頻度、瞬目の時間、欠伸の有無、頷きの速度等、複数の撮像画像にわたって得られる情報であってもよい。なお、特徴量算出部４による特徴量の算出処理についても、公知の種々のアルゴリズムを用いることができる。また、特徴量算出部４が算出した特徴量についても、眠気推定装置１０の記憶部に記録されてもよい。以下、顔検出処理によって検出された乗員の眠気推定処理に関する情報、すなわち、顔要素が有する特徴点の位置情報と、顔要素を用いて算出された特徴量とをまとめて、顔情報という。

ところで、撮像画像を用いて乗員の顔要素を検出する場合、様々な要因により顔要素を検出することが困難となる場合がある。例えば、乗員がサングラスを着用した場合、乗員の顔要素である眼はサングラスに隠れ、顔検出部１１により検出することが困難となる。また、乗員がマスクを着用した場合、乗員の顔要素である鼻及び口はマスクに隠れ、顔検出部１１により検出することが困難となる。さらに、例えば、乗員が手で顔の一部を覆う等すれば、乗員の手で隠れた顔要素は検出できなくなる。また、逆光等により、取得した撮像画像が暗くなる、又は明るくなる等すれば、顔要素と、顔要素の背景との間のコントラスト比が小さくなり、顔検出部１１による顔要素の検出が困難となる場合がある。

上述のように、顔検出処理により、複数の顔要素のうち、一部の顔要素が検出されなかった場合においては、検出された顔要素のみを用いて乗員の眠気を推定すると、眠気推定処理に用いられる顔情報が不足し、乗員の眠気の状態が不定になる等、眠気推定結果の信頼性を担保できない可能性が生じ、また、眠気推定処理を実行できなくなる可能性も生じる。そこで、本開示に係る眠気推定部１２は、顔検出処理により、複数の顔要素のうち、一部の顔要素が検出されなかった場合は、過去に検出された顔情報も用いて乗員の眠気を推定する。

以下、顔要素判定部５による、顔検出処理で複数の顔要素のうち、一部の顔要素が検出されたか否かを判定する処理について説明した後、眠気推定部１２について説明する。まず、顔要素判定部５は、顔検出部１１の特徴点検出部３から顔要素が有する特徴点の位置情報を取得し、撮像画像から検出された顔要素を特定する。

例えば、顔要素判定部５は、特徴点検出部３から取得した特徴点の位置情報から、撮像画像に乗員の左眼が存在することが示されれば、撮像画像から乗員の左眼が検出されたと特定する。一方、顔要素判定部５は、特徴点検出部３から取得した特徴点の位置情報から、撮像画像に乗員の左眼が存在しないことが示されれば、顔検出部１１により左眼が検出されなかったと特定する。

ここで、顔要素判定部５は、例えば、顔要素が有する特徴点が顔領域におけるいずれの位置に存在するかによって、乗員の顔要素が検出されたか否かを特定すればよい。この場合、例えば眼に関して、眼が有する特徴点、すなわち瞳孔、目尻、目頭、上瞼、及び下瞼等が、顔領域において存在し得る位置で検出されれば、眼が検出されたと特定するようにすればよい。なお、乗員の鼻、口、及び輪郭等、他の顔要素についても同様に、顔要素が有する特徴点が、顔領域における顔要素が存在し得る位置で検出されれば、顔検出部１１により顔要素が検出されたと特定すればよい。

さらに、顔要素判定部５は、顔検出部１１の特徴量算出部４から、特徴量の算出結果を取得し、撮像画像から検出された顔要素を特定するようにしてもよい。この場合、顔要素判定部５は、例えば、特徴量算出部４から開口度を取得した場合、口が検出されたと特定し、開口度を取得できなかった場合、口が検出されなかったと特定してもよい。このように、顔要素判定部５は、顔要素に対応した特徴量を取得すれば、撮像画像から顔要素が検出されたと特定し、顔要素に対応した特徴量を取得できなかった場合、撮像画像から顔要素が検出されなかったと判定するようにしてもよい。なお、顔要素に対応した特徴量とは、例えば、眼に関しては開眼度であり、口に関しては開口度であり、また、輪郭に関しては顔向き等である。

また、顔要素判定部５による顔要素の特定処理は上述の例に限らない。例えば、顔要素判定部５は、テンプレートマッチング等の画像処理手法を用いて、撮像画像から検出された顔要素を特定してもよい。テンプレートマッチングを用いて撮像画像から検出された顔要素を特定する場合は、例えば、撮像画像と、顔要素を撮像した画像等の、記憶部等に予め蓄積された類似度判定用の画像とを、顔要素判定部５により比較して、撮像画像から検出された顔要素を特定すればよい。なお、顔要素判定部５による特定処理については、インスタンスセグメンテーション等、公知の画像処理手法を用いることも可能である。

さらに、顔要素判定部５は、乗員がマスク、サングラス等の着類を着用していることが検出された場合に、着類に隠れる可能性がある顔要素が検出されなかったと特定するようにしてもよい。例えば、乗員がマスクを着用していることが検出された場合には、顔要素のうち、鼻及び口が検出されなかったと特定するようにしてもよい。また、例えば、乗員がサングラスを着用していることが検出された場合には、顔要素のうち、眼が検出されなかったと特定するようにしてもよい。

そして、顔要素判定部５は、上述の特定処理を行った撮像画像における、顔要素の特定結果を眠気推定装置１０の記憶部に記録する。図４は、実施の形態１に係る眠気推定装置１０の顔要素の特定結果例を示す説明図である。図４には、撮像画像を取得したフレーム（フレームＮ１～Ｎ５）について、顔検出処理によって乗員の左眼、右眼、鼻、口、及び輪郭が検出されたか否かを特定した結果の記録例を示している。図４では、特定のフレームにおいて、顔要素判定部５が、顔検出処理によって検出されたと特定した顔要素についてはＯＫと示し、顔検出処理によって検出されなかったと特定した顔要素についてはＮＧと示している。なお、フレームＮ１からフレームＮ５において、Ｎ１、Ｎ２、Ｎ３、Ｎ４、Ｎ５の順に時間が進んでおり、それぞれのフレーム間の間隔は任意である。

図４には、フレームＮ１からＮ５において、顔検出部１１の顔検出処理により乗員の左眼、右眼、鼻、口、及び輪郭が検出され、フレームＮ３からＮ５において、顔検出部１１の顔検出処理により乗員の左眼及び右眼が検出されなかった例を示している。このような場合、フレームＮ３からＮ５において、乗員の眠気推定処理に、左眼及び右眼を用いることができない。すなわち、一部の顔要素が検出されなかった撮像画像については、検出されなかった顔要素を眠気推定処理に用いることができない。

そのため、顔要素判定部５は、顔要素特定処理の結果を用いて、特定のフレームにおいて、乗員の複数の顔要素のうち、一部の顔要素が検出されなかったか否かを判定する。顔要素判定部５は、例えば、顔検出処理において、複数の顔要素のうち、予め設定された顔要素が検出されなかった場合、複数の顔要素のうち、一部の顔要素が検出されなかったと判定する。一方、顔要素判定部５は、顔検出処理において、複数の顔要素のうち、予め設定された顔要素が全て検出された場合、複数の顔要素のうち、全ての顔要素が検出されたと判定する。

また、顔要素判定部５は、例えば、顔検出処理において、予め設定された複数の顔要素うち、全ての顔要素が検出されなかった場合、複数の顔要素のうち、一部の顔要素が検出されなかったと判定してもよい。この場合、顔要素判定部５は、顔検出処理において、予め設定された複数の顔要素の全てが検出された場合、複数の顔要素のうち、全ての顔要素が検出されたと判定する。

なお、予め設定された顔要素とは、例えば、左眼、右眼、又は口等、眠気推定処理に用いられる一つ又は複数の顔要素である。また、上述したように、全ての顔要素とは、乗員が有する全ての顔要素に限らず、乗員が有する全ての顔要素から選択された複数の顔要素も含む。そして、顔要素判定部５は、特定のフレームにおいて、複数の顔要素のうち、一部の顔要素が検出されなかったか否かを示す判定結果を、眠気推定部１２に出力する。

次に、眠気推定部１２について、撮像画像から検出された乗員の眠気推定処理の一例として、眠気レベルを算出して乗員の眠気を推定する例を挙げて説明する。ここで、眠気レベルとは、覚醒状態から強い眠気を感じている状態まで段階的に分けられた、乗員の眠気の指標を示す指標値である。例えば、乗員が覚醒状態にある場合、眠気レベルは１となり、乗員が強い眠気を感じている状態にある場合、眠気レベルは９となる。なお、乗員が眠気を感じていくにつれ、眠気レベル１から眠気レベル９に推移していくものとする。

眠気推定部１２は、顔検出部１１から取得した顔情報を用いて、乗員の眠気レベルを算出する。例えば、眠気推定部１２は、特徴量である開眼度を顔情報として取得した場合、開眼度が小さくなるにつれて乗員の眠気レベルを高く算出する。眠気が強くなれば、乗員の開眼度が小さくなる傾向にあるためである。この場合、例えば、眠気推定部１２により開眼度に対して複数の閾値を設定し、開眼度がそれぞれの閾値未満であるか否かを判定して眠気レベルを算出すればよい。

また、例えば、眠気推定部１２は、特徴量である開口度を顔情報として取得した場合、開口度が大きくなるにつれて眠気レベルを高く算出する。開口度が大きい場合は、乗員が眠気を感じ、欠伸をした可能性があるためである。この場合、例えば、開口度に対して複数の閾値を設け、眠気推定部１２により開口度がそれぞれの閾値未満であるか否かを判定して眠気レベルを算出すればよい。

さらに、例えば、眠気推定部１２は、特徴量である瞬きの頻度を顔情報として取得した場合、瞬きの頻度が低くなるにつれて乗員の眠気レベルを高く算出する。眠気が強くなれば、乗員の瞬きの頻度は低くなる傾向にあるためである。この場合、例えば、瞬きの頻度に対して複数の閾値を設け、眠気推定部１２により瞬きの頻度がそれぞれの閾値未満であるか否かを判定して眠気レベルを算出すればよい。

そして、眠気推定部１２は、顔検出部１１から複数の顔情報を取得した場合、複数の顔情報を用いて総合的に眠気レベルを算出する。例えば、眠気推定部１２は、顔検出部１１から顔情報として、特徴量である開眼度及び開口度を取得した場合、開眼度及び開口度を用いて眠気レベルを算出する。この場合、眠気推定部１２は、開眼度から算出した眠気レベルと、開口度から算出した眠気レベルとをそれぞれ算出し、各眠気レベルの平均を総合的な眠気レベルとしてもよい。

また、眠気推定部１２は、例えば、開眼度から算出した眠気レベルと、開口度から算出した眠気レベルとを比較し、各眠気レベルのうち、眠気レベルが高い方を総合的な眠気レベルとしてもよい。一方、眠気推定部１２は、例えば、開眼度から算出した眠気レベルと、開口度から算出した眠気レベルとを比較し、各眠気レベルのうち、眠気レベルが低い方を総合的な眠気レベルとしてもよい。

このように、眠気推定部１２は、顔検出部１１から複数の顔情報を取得した場合、算出した総合的な眠気レベルを眠気推定結果として、車両側制御装置２００等に出力する。なお、眠気推定部１２による眠気推定処理は、上述の例に限らず、公知の種々のアルゴリズムを用いることができる。例えば、眠気推定部１２は、眠気レベルを算出せずに、顔検出部１１から取得した顔情報を用いて、段階的に分けられた眠気状態のうち、乗員がどの眠気状態にあるかを推定してもよい。また、眠気推定部１２は、顔検出部１１から特徴点の位置情報を顔情報として取得した場合、特徴量算出部４と同様に特徴点の位置情報から特徴量の算出処理を行った後、特徴量を用いて上述の眠気推定処理を行ってもよい。

さらに、眠気推定部１２は、顔要素判定部５による、顔検出処理で複数の顔要素のうち、一部の顔要素が検出されたか否かの判定結果で、眠気推定処理が異なる。本実施の形態における眠気推定部１２は、特定のフレームにおける顔検出処理において、複数の顔要素のうち、一部の顔要素が検出されなかった場合、特定のフレームの以前に行われた顔検出処理により得られた顔情報を用いて、乗員の眠気推定処理を行う。以下、説明のため、特定のフレームの以前に行われた顔検出処理を、第１顔検出処理といい、特定のフレームにおける顔検出処理を、第２顔検出処理という。すなわち、第２顔検出処理は、第１顔検出処理の後に行われる処理である。

また、第１顔検出処理によって得られた一つ又は複数の顔情報を第１顔情報といい、第２顔検出処理によって得られた一つ又は複数の顔情報を第２顔情報という。なお、第２顔検出処理が、第１顔検出処理の後に行われる処理であれば、第１顔検出処理と第２顔検出処理との間隔は任意である。また、第１顔情報、第２顔情報をそれぞれ「顔情報」と表現する場合がある。

第２顔検出処理により、複数の顔要素のうち、一部の顔要素が検出されなかった場合の眠気推定処理について説明する。眠気推定部１２は、第２顔検出処理によって、複数の顔要素のうち、一部の顔要素が検出されなかった場合、第１顔検出処理によって得られた一部の顔要素に関する第１顔情報と、第２顔検出処理によって得られた他の顔要素に関する第２顔情報とから、乗員の眠気レベルを算出する。なお、他の顔要素とは、複数の顔要素のうち、一部の顔要素と異なる一つ又は複数の顔要素である。

例えば、乗員がサングラスを着用し、第２顔検出処理で、乗員の眼が検出されず、乗員の口が検出された例を挙げて、眠気推定部１２による眠気推定処理について説明する。

第２顔検出処理で乗員の左眼及び右眼が検出されなかった場合、顔要素判定部５は、第２顔検出処理により、複数の顔要素のうち、一部の顔要素が検出されなかったことを示す判定結果を眠気推定部１２に出力する。そして、判定結果を取得した眠気推定部１２は、第１顔検出処理によって得られた、一部の顔要素（眼）に関する第１顔情報の開眼度と、第２顔検出処理によって得られた、他の顔要素（口）に関する第２顔情報の開口度とを用いて、乗員の眠気を推定する。

また、例えば、乗員がマスクを着用し、第２顔検出処理で乗員の口が検出されず、乗員の眼が検出された例を挙げて、複数の顔要素のうち、一部の顔要素が検出されなかった場合の、眠気推定部１２による眠気推定処理について説明する。

第２顔検出処理で乗員の口が検出されなかった場合、顔要素判定部５は、第２顔検出処理により、複数の顔要素のうち、一部の顔要素が検出されなかったことを示す判定結果を眠気推定部１２に出力する。そして、判定結果を取得した眠気推定部１２は、第１顔検出処理によって得られた、一部の顔要素（口）に関する第１顔情報の開口度と、第２顔検出処理によって得られた、他の顔要素（眼）に関する第２顔情報の開眼度とを用いて、乗員の眠気を推定する。なお、眠気推定処理については、上述した処理と同様であるため、詳細な説明を省略する。

また、眠気推定部１２による眠気推定結果は、車両側制御装置２００に出力されてもよい。例えば、車両側制御装置２００は、眠気推定部１２による乗員の眠気推定結果から、乗員が眠気を感じていることが示された場合に、眠気を解消するように空調機器を制御する、又は乗員に警告を発するよう報知部を制御する等してもよい。

以下、眠気推定装置１０の動作について説明する。図５は、実施の形態１に係る眠気推定装置１０の動作例を示すフローチャートである。眠気推定装置１０は、例えば、車両情報取得部２が、車両側制御装置２００から車両のエンジンが始動した旨を示す信号を取得した場合、動作を開始する。また、図５のフローチャートには、眠気推定装置１０の動作を終了する処理が示されていないが、眠気推定装置１０は、例えば、車両情報取得部２が、車両側制御装置２００から車両のエンジンが停止した旨を示す信号を取得した場合、動作を終了する。

まず、眠気推定装置１０の動作が開始した後、眠気推定装置１０の画像取得部１は、撮像装置２０から撮像画像を取得する（ＳＴ１０１）。そして、眠気推定装置１０の顔検出部１１は、撮像画像を用いて、第１顔検出処理を行う（ＳＴ１０２）。ここで、第１顔検出処理とは、顔検出部１１の特徴点検出部３と特徴量算出部４とにより、撮像画像内の乗員の顔要素の特徴点を検出し、特徴量を算出する処理である。そして、顔要素判定部５は、次に説明する、ＳＴ１０３、ＳＴ１０５の処理で、第１顔検出処理によって乗員の顔要素が検出されたか否かを特定する。

顔要素判定部５は、第１顔検出処理によって、乗員の複数の顔要素のうち、一部の顔要素が検出されたか否かを特定する（ＳＴ１０３）。例えば、顔要素判定部５は、特徴点検出部３から特徴点の位置情報を取得し、顔要素が存在し得る位置で特徴点が検出されたか否かにより、顔要素が検出されたか否かを特定する。なお、図５の例において、第１顔検出処理によって検出される、一部の顔要素を顔要素Ａ１として示している。ここで、顔要素Ａ１は、乗員の複数の顔要素のうち、設定された一つ又は複数の顔要素である。

そして、顔要素判定部５は、第１顔検出処理によって、顔要素Ａ１が検出されたと特定した場合（ＳＴ１０３；ＹＥＳ）、第１顔検出処理によって顔要素Ａ１が検出されたことを示す特定結果とともに、顔検出部１１から取得した顔要素Ａ１に関連する第１顔情報を記憶部に記録する（ＳＴ１０４）。ここで、記憶部に記録される顔要素Ａ１の第１顔情報とは、例えば、顔要素Ａ１が有する特徴点の位置情報、顔要素Ａ１に関する特徴量等である。一方、顔要素判定部５により、第１顔検出処理によって、顔要素Ａ１が検出されなかったと特定された場合（ＳＴ１０３；ＮＯ）、眠気推定装置１０の動作は、ＳＴ１０５の処理に進む。

次に、顔要素判定部５は、第１顔検出処理で、乗員の複数の顔要素のうち、他の顔要素が検出されたか否かを特定する（ＳＴ１０５）。他の顔要素とは、一部の顔要素、すなわち顔要素Ａ１と異なる、設定された一つ又は複数の顔要素である。なお、図５の例において、第１顔検出処理によって検出される他の顔要素を、顔要素Ｂ１として示している。また、説明のため、一部の顔要素を顔要素Ａ１とし、顔要素Ａ１と異なる他の顔要素を顔要素Ｂ１としているが、顔要素Ａ１及び顔要素Ｂ１はいずれも、乗員の顔要素のうち、一部の顔要素である。さらに、顔要素Ａ１及び顔要素Ｂ１の関係は、一方が一部の顔要素となり、他方が他の顔要素となる。

そして、顔要素判定部５は、第１顔検出処理で、顔要素Ｂ１が検出されたと特定した場合（ＳＴ１０５；ＹＥＳ）、第１顔検出処理によって顔要素Ｂ１が検出されたことを示す特定結果とともに、顔検出部１１から取得した顔要素Ｂ１に関連する第１顔情報を記憶部に記録する（ＳＴ１０６）。記憶部に記録される顔要素Ｂ１の第１顔情報とは、例えば、顔要素Ｂ１が有する特徴点の位置情報、顔要素Ｂ１に関する特徴量等である。なお、顔要素Ａ１、Ｂ１の顔情報は、第１顔検出処理が行われた時間を示す情報である時系列データ等とともに、記憶部に記録されてもよい。さらに、図示は省略するが、眠気推定装置１０の眠気推定部１２は、顔要素Ａ１、Ｂ１から得られた第１顔情報を用いて眠気レベルの算出処理を行ってもよい。

一方、顔要素判定部５により、第１顔検出処理で、顔要素Ｂ１が検出されなかったと特定された場合（ＳＴ１０５；ＮＯ）、眠気推定装置１０の動作は、ＳＴ１０７の処理に進む。

まず、画像取得部１は、撮像装置２０から撮像画像を取得する（ＳＴ１０７）。そして、眠気推定装置１０の顔検出部１１は、撮像画像を用いて、第２顔検出処理を行う（ＳＴ１０８）。ここで、第２顔検出処理とは、第１顔検出処理の後に行われる処理であり、顔検出部１１の特徴点検出部３と特徴量算出部４とにより、撮像画像内の乗員の顔要素の特徴点を検出し、特徴量を算出する処理である。

さらに、顔要素判定部５は、次に説明する、ＳＴ１０９、ＳＴ１１０、ＳＴ１１４の処理で、第２顔検出処理によって検出された乗員の顔要素がいずれの顔要素であるかを特定する。なお、前述したＳＴ１０１～ＳＴ１０６の処理と同様の処理については、詳細な説明を省略する。

まず、顔要素判定部５は、第２顔検出処理で、乗員の複数の顔要素のうち、一部の顔要素が検出されたか否かを特定する（ＳＴ１０９）。なお、図５の例において、第２顔検出処理によって検出される一部の顔要素を、顔要素Ａ２として示している。ここで、顔要素Ａ２は、顔要素Ａ１と同一の顔要素である。

そして、顔要素判定部５により、第２顔検出処理で、顔要素Ａ２が検出されたと特定された場合（ＳＴ１０９；ＹＥＳ）、眠気推定装置１０の動作は、ＳＴ１１０の処理に進む。なお、顔要素判定部５は、第２顔検出処理で顔要素Ａ２が検出されたと特定した場合、ＳＴ１０４の処理と同様に、第２顔検出処理で顔要素Ａ２が検出されたことを示す特定結果とともに、顔要素Ａ２に関連する第２顔情報を記憶部に記録してもよい。

次に、顔要素判定部５は、第２顔検出処理で、乗員の複数の顔要素のうち、設定された他の顔要素が検出されたか否かを特定する（ＳＴ１１０）。なお、図５の例において、第２顔検出処理によって検出される他の顔要素を、顔要素Ｂ２として示している。ここで、顔要素Ｂ２は、顔要素Ｂ１と同一の顔要素である。また、顔要素Ａ１及び顔要素Ｂ１と同様に、顔要素Ａ２及び顔要素Ｂ２の関係は、一方が一部の顔要素となり、他方が他の顔要素となる。

顔要素判定部５は、第２顔検出処理で、顔要素Ｂ２が検出されたと特定した場合（ＳＴ１１０；ＹＥＳ）、第２顔検出処理で、顔要素Ａ２及び顔要素Ｂ２が検出された、すなわち複数の顔要素のうち、全ての顔要素が検出されたと判定する。そして、顔要素判定部５は、判定結果を眠気推定部１２に出力する。

眠気推定部１２は、第２顔検出処理で、複数の顔要素のうち、全ての顔要素が検出されたことを示す判定結果を取得した場合、第２顔検出処理によって得られた第２顔情報を用いて、乗員の眠気推定処理を行う（ＳＴ１１１）。すなわち、眠気推定部１２は、顔要素Ａ２及び顔要素Ｂ２から得られた第２顔情報を用いて、乗員の眠気レベルを算出する。なお、眠気推定部１２によって算出された乗員の眠気レベルは、車両側制御装置２００に出力されてもよい。そして、眠気推定装置１０の動作は、ＳＴ１０１の処理に進む。

一方、顔要素判定部５は、第２顔検出処理で、顔要素Ｂ２が検出されなかったと特定した場合（ＳＴ１１０；ＮＯ）、第２顔検出処理で、顔要素Ａ２が検出され、顔要素Ｂ２が検出されなかった、すなわち、複数の顔要素のうち、一部の顔要素が検出されなかったと判定する。そして、顔要素判定部５は、判定結果を眠気推定部１２に出力する。

眠気推定部１２は、第２顔検出処理で、複数の顔要素のうち、一部の顔要素が検出されなかったことを示す判定結果を取得した場合、第２顔検出処理で検出されなかった顔要素の第１顔情報が、第１顔検出処理で得られたか否かを確認する。ＳＴ１１２の処理の場合は、第２顔検出処理で検出されなかった顔要素は顔要素Ｂ２である。つまり、眠気推定部１２は、第１顔検出処理で顔要素Ｂ１の第１顔情報が得られたか否か、すなわち記憶部に顔要素Ｂ１の第１顔情報が記録されているか否かを確認する（ＳＴ１１２）。

眠気推定部１２は、顔要素Ｂ１の第１顔情報が記憶部に記録されていることを確認した場合（ＳＴ１１２；ＹＥＳ）、第１顔検出処理によって得られた第１顔情報と、第２顔検出処理によって得られた第２顔情報とを用いて、乗員の眠気推定処理を行う。すなわち、眠気推定部１２は、第１顔検出処理によって得られた顔要素Ｂ１の第１顔情報と、第２顔検出処理によって得られた顔要素Ａ２の第２顔情報とを用いて、乗員の眠気推定処理を行う（ＳＴ１１３）。

このように、眠気推定部１２は、第２顔検出処理によって一部の顔要素が検出されなかった場合、第１顔検出処理によって得られた一部の顔要素に関する顔情報と、第２顔検出処理によって得られた他の顔要素に関する顔情報とを用いて乗員の眠気を推定する。なお、ＳＴ１１３の処理で、眠気推定部１２によって算出された乗員の眠気レベルは、車両側制御装置２００に出力されてもよい。そして、眠気推定装置１０の動作は、ＳＴ１０１の処理に進む。

一方、眠気推定部１２により、顔要素Ｂ１の第１顔情報が記憶部に記録されていることが確認されなかった場合（ＳＴ１１２；ＮＯ）、眠気推定装置１０の動作は、ＳＴ１０１の処理に進む。ここで、第２顔検出処理が第１顔検出処理の後に行われる処理であれば、第１顔検出処理と第２顔検出処理との間隔は任意である。つまり、顔要素Ｂ１の第１顔情報が記憶部に記録されていない場合とは、第２顔検出処理以前の顔検出処理で、一度も顔要素Ｂ１が検出されていない場合と、設定された期間の間で顔要素Ｂ１が検出されていない場合とを含むものである。

顔要素判定部５により、第２顔検出処理で、顔要素Ａ２が検出されなかったと特定された場合（ＳＴ１０９；ＮＯ）について説明する。顔要素判定部５により、第２顔検出処理で顔要素Ａ２が検出されなかったと特定された場合、眠気推定装置１０の動作は、ＳＴ１１４の処理に進む。なお、図５において、ＳＴ１１０の処理とＳＴ１１４の処理とで、同様の処理を行う例を示しているが、ＳＴ１１０の処理とＳＴ１１４の処理とは、以降の眠気推定装置１０の動作が異なる。

次に、顔要素判定部５は、第２顔検出処理で、乗員の複数の顔要素のうち、他の顔要素、すなわち顔要素Ｂ２が検出されたか否かを特定する（ＳＴ１１４）。顔要素判定部５は、第２顔検出処理で、顔要素Ｂ２が検出されなかったと特定した場合（ＳＴ１１４；ＮＯ）、特定結果を眠気推定部１２に出力する。そして、眠気推定装置１０の動作はＳＴ１０１の処理に進む。なお、眠気推定部１２は、第２顔検出処理で顔要素Ａ２及び顔要素Ｂ２のいずれも検出されなかったことを示す特定結果を取得した場合、顔要素Ａ１の第１顔情報及び顔要素Ｂ１の第１顔情報の少なくともいずれかを用いて乗員の眠気推定処理を行ってもよい。

一方、顔要素判定部５は、第２顔検出処理で、顔要素Ｂ２が検出されたと特定した場合（ＳＴ１１４；ＹＥＳ）、第２顔検出処理で、顔要素Ｂ２が検出され、顔要素Ａ２が検出されなかった、すなわち、複数の顔要素のうち、一部の顔要素が検出されなかったと判定する。そして、顔要素判定部５は、判定結果を眠気推定部１２に出力する。

眠気推定部１２は、第２顔検出処理で、複数の顔要素のうち、一部の顔要素が検出されなかったことを示す判定結果を取得した場合、第２顔検出処理で検出されなかった顔要素の第１顔情報が、第１顔検出処理で得られたか否かを確認する。ＳＴ１１５の処理の場合は、第２顔検出処理で検出されなかった顔要素は顔要素Ａ２である。つまり、眠気推定部１２は、第１顔検出処理で顔要素Ａ１の第１顔情報が得られたか否か、すなわち記憶部に顔要素Ａ１の第１顔情報が記録されているか否かを確認する（ＳＴ１１５）。

眠気推定部１２は、顔要素Ａ１の第１顔情報が記憶部に記録されていることを確認した場合（ＳＴ１１５；ＹＥＳ）、第１顔検出処理によって得られた第１顔情報と、第２顔検出処理によって得られた第２顔情報とを用いて、乗員の眠気推定処理を行う。すなわち、眠気推定部１２は、第１顔検出処理によって得られた顔要素Ａ１の第１顔情報と、第２顔検出処理によって得られた顔要素Ｂ２の第２顔情報とを用いて、乗員の眠気推定処理を行う（ＳＴ１１６）。

このように、眠気推定部１２は、第２顔検出処理によって一部の顔要素と異なる他の顔要素が検出されなかった場合においても、第１顔検出処理によって得られた他の顔要素に関する顔情報と、第２顔検出処理によって得られた一部の顔要素に関する顔情報とを用いて乗員の眠気を推定する。なお、ＳＴ１１６の処理で、眠気推定部１２によって算出された乗員の眠気レベルは、車両側制御装置２００に出力されてもよい。そして、眠気推定装置１０の動作は、ＳＴ１０１の処理に進む。

一方、眠気推定部１２により、顔要素Ａ１の第１顔情報が記憶部に記録されていることが確認されなかった場合（ＳＴ１１５；ＮＯ）、眠気推定装置１０の動作は、ＳＴ１０１の処理に進む。ここで、第２顔検出処理が第１顔検出処理の後に行われる処理であれば、第１顔検出処理と第２顔検出処理との間隔は任意である。つまり、顔要素Ａ１の検出結果が記憶部に記録されていない場合とは、第２顔検出処理以前の顔検出処理で、一度も顔要素Ａ１が検出されていない場合と、設定された期間の間で顔要素Ａ１が検出されていない場合とを含むものである。

また、上述の眠気推定装置１０の動作において、第２顔検出処理の後に第３顔検出処理を行い、第２顔検出処理によって検出された顔要素と第３顔検出処理によって検出された顔要素とが同一である場合、第３顔検出処理以降の眠気推定処理を、他の顔要素を用いて眠気を推定するようにしてもよい。つまり、眠気推定部１２は、第２顔検出処理及び第３顔検出処理により、乗員の複数の顔要素のうち、一部の顔要素が検出されなかった場合、第３顔検出処理によって検出された他の顔要素から得た第３顔情報を用いて、眠気を推定してもよい。

例えば、乗員が着類を着用せず、顔検出部１１による第１顔検出処理で眼、鼻、及び口が検出され、乗員がサングラスを着用して顔検出部１１による第２顔検出処理で眼が検出されず、鼻及び口が検出されたとする。この場合、眠気推定部１２は、眼、鼻、及び口から得た第１顔情報を用いて眠気を推定し、その後、第２顔検出処理で得た第２顔情報と第１顔検出処理で得た第１顔情報とを用いて眠気を推定する。そして、眠気推定部１２は、乗員がサングラスを着用したままであれば、第３顔検出処理で鼻及び口から得た第３顔情報を用いて眠気を推定する。このようにすると、一部の顔要素が検出できなくなった以降の眠気推定処理では、顔検出処理によって検出可能な顔要素を用いて眠気推定を行うため、眠気推定装置１０の処理負荷を軽減できる。なお、第２顔検出処理と第３顔検出処理との間隔は任意である。

すなわち、眠気推定部１２は、第１顔検出処理又は第２顔検出処理で、乗員の顔要素が検出されれば、検出された顔要素の顔情報を用いて乗員の眠気を推定する。さらに、眠気推定部１２は、第２顔検出処理で、乗員の複数の顔要素のうち、一部の顔要素が検出されなければ、第２顔検出処理の以前に行われた、第１顔検出処理で得られた一部の顔要素の顔情報と、第２顔検出処理で得られた他の顔要素の顔情報とを用いて乗員の眠気を推定する。このようにすると、乗員の顔の要素の一部が検出されなかった場合においても、乗員の眠気の推定結果が不定となることがなく、乗員の眠気の推定結果の信頼性を担保することができる。

次に、眠気推定装置１０の機能を実現するハードウェア構成について説明する。図６は、実施の形態１に係る眠気推定装置１０のハードウェア構成例を示す図である。眠気推定装置１０における画像取得部１、車両情報取得部２、特徴点検出部３、特徴量算出部４、顔要素判定部５、顔検出部１１、眠気推定部１２、及び記憶部の機能は、処理回路によって実現される。すなわち、眠気推定装置１０の、画像取得部１、車両情報取得部２、特徴点検出部３、特徴量算出部４、顔要素判定部５、顔検出部１１、眠気推定部１２、及び記憶部は、図６Ａに示すように専用のハードウェアである処理回路１０ａであってもよいし、図６Ｂに示すようにメモリ１０ｃに格納されているプログラムを実行するプロセッサ１０ｂであってもよい。

図６Ａに示すように、画像取得部１、車両情報取得部２、特徴点検出部３、特徴量算出部４、顔要素判定部５、顔検出部１１、眠気推定部１２、及び記憶部が専用のハードウェアである場合、処理回路１０ａは、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-programmable Gate Array）、又はこれらを組み合わせたものが該当する。画像取得部１、車両情報取得部２、特徴点検出部３、特徴量算出部４、顔要素判定部５、顔検出部１１、眠気推定部１２、及び記憶部の各部の機能それぞれを処理回路で実現してもよいし、各部の機能をまとめて１つの処理回路で実現してもよい。

図６Ｂに示すように、画像取得部１、車両情報取得部２、特徴点検出部３、特徴量算出部４、顔要素判定部５、顔検出部１１、眠気推定部１２、及び記憶部がプロセッサ１０ｂである場合、各部の機能は、ソフトウェア、ファームウェア、又はソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェア又はファームウェアはプログラムとして記述され、メモリ１０ｃに格納される。プロセッサ１０ｂは、メモリ１０ｃに記憶されたプログラムを読み出して実行することにより、画像取得部１、車両情報取得部２、特徴点検出部３、特徴量算出部４、顔要素判定部５、顔検出部１１、眠気推定部１２、及び記憶部の各機能を実現する。すなわち、画像取得部１、車両情報取得部２、特徴点検出部３、特徴量算出部４、顔要素判定部５、顔検出部１１、眠気推定部１２、及び記憶部は、プロセッサ１０ｂにより実行されるときに、図５に示す各ステップが結果的に実行されることになるプログラムを格納するためのメモリ１０ｃを備える。また、これらのプログラムは、画像取得部１、車両情報取得部２、特徴点検出部３、特徴量算出部４、顔要素判定部５、顔検出部１１、眠気推定部１２、及び記憶部の手順又は方法をコンピュータに実行させるものであるともいえる。

ここで、プロセッサ１０ｂとは、例えば、ＣＰＵ（Central Processing Unit）、処理装置、演算装置、プロセッサ、マイクロプロセッサ、マイクロコンピュータ、又はＤＳＰ（Digital Signal Processor）等のことである。メモリ１０ｃは、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable ROM）、ＥＥＰＲＯＭ（Electrically EPROM）等の不揮発性又は揮発性の半導体メモリであってもよいし、ハードディスク、フレキシブルディスク等の磁気ディスクであってもよいし、ミニディスク、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）等の光ディスクであってもよい。

なお、画像取得部１、車両情報取得部２、特徴点検出部３、特徴量算出部４、顔要素判定部５、顔検出部１１、眠気推定部１２、及び記憶部の各機能について、一部を専用のハードウェアで実現し、一部をソフトウェア又はファームウェアで実現するようにしてもよい。このように、眠気推定装置１０における処理回路１０ａは、ハードウェア、ソフトウェア、ファームウェア、又はこれらの組み合わせによって、上述の各機能を実現することができる。また、画像取得部１、車両情報取得部２、特徴点検出部３、特徴量算出部４、顔要素判定部５、顔検出部１１、眠気推定部１２、及び記憶部の少なくとも一部の機能を、外部サーバに実行させてもよい。

このように、眠気推定装置１０に、車内の乗員を撮像する撮像装置２０から、撮像画像を取得する画像取得部１と、撮像画像から、乗員の複数の顔要素を検出する顔検出処理を行う顔検出部１１と、撮像画像から検出された乗員の眠気を推定する眠気推定部１２と、を備え、顔検出部１１は、顔検出処理として、第１顔検出処理と、第１顔検出処理の後に第２顔検出処理とを行い、眠気推定部１２は、第２顔検出処理により、乗員の複数の顔要素のうち、一部の顔要素が検出されなかった場合、第１顔検出処理よって検出された、一部の顔要素から得た第１顔情報と、第２顔検出処理によって検出された、一部の顔要素と異なる他の顔要素から得た第２顔情報とを用いて、乗員の眠気を推定するものであると、乗員の顔の要素の一部が検出されなかった場合においても、乗員の眠気の推定結果の信頼性を担保することができる。

なお、本実施の形態で、眠気推定部１２が、第２顔検出処理で複数の顔要素のうち、一部の顔要素が検出されなかった場合、第１顔検出処理で検出された一部の顔要素の第１顔情報と、第２顔検出処理で検出された他の顔要素の第２顔情報とを用いて乗員の眠気を推定する例を挙げて説明した。しかしながら、眠気推定部１２は、第２顔検出処理で複数の顔要素のうち、一部の顔要素が検出されなかった場合、第１顔検出処理で検出された一部の顔要素の第１顔情報と、第２顔検出処理で検出された他の顔要素の第２顔情報とに加え、第１顔検出処理で検出された他の顔要素の第１顔情報を用いて乗員の眠気を推定してもよい。このようにすると、乗員の眠気推定に用いられる顔情報の数が増加するため、乗員の眠気の推定結果の信頼性を担保できる。

実施の形態２．
実施の形態２に係る眠気推定装置１０は、実施の形態１と同様に、撮像画像を取得する画像取得部１と、撮像画像から乗員の複数の顔要素を検出する顔検出処理を行う顔検出部１１と、撮像画像から検出された乗員の眠気を推定する眠気推定部１２とを備える。本実施の形態では、第２顔検出処理によって一部の顔要素が検出されなかった場合、第１顔検出処理によって得られた第１顔情報から推定された眠気レベルと、第２顔検出処理によって検出された他の顔要素から得られた第２顔情報とを用いて乗員の眠気を推定する点が、実施の形態１と異なる。実施の形態１と同じ構成要素には同じ符号を付し、その説明を省略する。

眠気推定装置１０において、左眼、右眼、及び口等、複数の顔要素を用いて乗員の眠気を推定すると、一つの顔要素を用いて乗員の眠気を推定する場合に比して、眠気の推定精度が向上する。一方で、特定のフレームにおいて、複数の顔要素のうち、一部の顔要素が検出されなかった場合に眠気推定処理が行われない等すると、乗員の眠気の状態が不定となり、眠気推定結果の信頼性が低下するおそれがある。

そのため、本実施の形態に係る眠気推定装置１０は、特定のフレームにおける顔検出処理で、複数の顔要素のうち、一部の顔要素が検出されなかった場合には、一部の顔要素が検出できなくなる前に算出された眠気レベルを引き継ぎ、特定のフレームにおける顔検出処理によって得られた顔情報を用いて乗員の眠気を推定する。

本実施の形態に係る眠気推定部１２による眠気推定処理について説明する。なお、顔要素判定部５により第２顔検出処理で、複数の顔要素のうち、全ての顔要素が検出されたと判定された場合の眠気推定処理については、実施の形態１と同様であるため、詳細な説明を省略する。眠気推定部１２は、第２顔検出処理によって、複数の顔要素のうち、一部の顔要素が検出されなかった場合、第１顔検出処理によって得られた第１顔情報から算出された眠気レベルと、第２顔検出処理によって得られた他の顔要素に関する第２顔情報とから、総合的な眠気レベルを算出する。

まず、眠気推定部１２は、第１顔検出処理によって得られた第１顔情報から、乗員の眠気レベルを算出する。以下、説明のため、第１顔検出処理によって得られた第１顔情報から算出された眠気レベルを、第１眠気レベルという。そして、眠気推定部１２は、第２顔検出処理によって得られた他の顔要素に関する第２顔情報から、第１眠気レベルに対する眠気レベルの変化量を算出する。さらに、眠気推定部１２は、第１眠気レベルと、第１眠気レベルに対する眠気レベルの変化量とから、総合的な眠気レベルを算出する。ここで、第１眠気レベルに対する眠気レベルの変化量とは、第１眠気レベルを基準として、眠気レベルがいかに変化したかを示す指標値である。以下、第１眠気レベルに対する眠気レベルの変化量を、単に変化量という。

顔検出部１１による第１顔検出処理で乗員の左眼、右眼、及び口が検出され、乗員がサングラスを着用したことにより、第２顔検出処理で乗員の口が検出され、左眼及び右眼が検出されなかった例を挙げて、変化量について説明する。顔検出部１１による第１顔検出処理で、乗員の左眼、右眼、及び口が検出された場合、眠気推定部１２は、第１顔情報として、開眼度及び開口度等を顔検出部１１から取得する。そして、眠気推定部１２は、開眼度及び開口度等を用いて、第１眠気レベルを算出し、眠気推定装置１０の記憶部に第１眠気レベルを記録する。

さらに、第２顔検出処理で乗員の口が検出され、左眼及び右眼が検出されなかった場合、すなわち、複数の顔要素のうち、一部の顔要素が検出されなかった場合、まず、眠気推定部１２は、顔検出部１１又は記憶部から第１眠気レベルを取得する。そして、眠気推定部１２は、顔検出部１１から、第２顔情報として、第２顔検出処理で検出された顔要素に関する第２顔情報を取得する。上述の例では、第２顔検出処理で検出された顔要素は口であり、眠気推定部１２が第２顔情報として取得する情報は、開口度等である。

次に、眠気推定部１２は、変化量を算出する。例えば、第１眠気レベルとして算出された眠気レベルが５であり、第２顔情報として取得した開口度から欠伸等、乗員が眠気を感じていると考えられる行動をしたことが示された場合、例えば、変化量を＋１として算出する。一方、眠気推定部１２は、第２顔情報として取得した開口度から、欠伸等、乗員が眠気を感じていると考えられる行動をしていないことが示された場合、例えば、変化量を－１として算出する。

そして、眠気推定部１２は、第１眠気レベルと、第１眠気レベルに対する変化量とから、総合的な乗員の眠気レベルを算出する。例えば、上述の例で、第１眠気レベルが５であり、変化量が＋１である場合、総合的な乗員の眠気レベルは６となる。なお、眠気推定部１２により変化量が０と算出された場合は、総合的な乗員の眠気レベルは第１眠気レベルと同等となる。

なお、眠気推定部１２による変化量は、眠気レベルの算出処理と同様に、例えば、顔情報である特徴量に対して閾値を設定し、設定された閾値と特徴量とを比較して算出すればよい。この場合、例えば眼に関しては、開眼度に対して複数の閾値を設定し、開眼度が閾値よりも小さくなれば総合的な眠気レベルが大きくなるように、眠気推定部１２により変化量を算出すればよい。また、開眼度が閾値よりも大きくなれば、総合的な眠気レベルが小さくなるように、眠気推定部１２により変化量を算出すればよい。

さらに、第１顔情報と第２顔情報とを比較して、第１顔情報が得られた乗員の顔の状態よりも、第２顔情報が得られた乗員の顔の状態が、眠気を感じている顔の状態である場合に、眠気推定部１２により、眠気レベルが増加するように変化量を算出してもよい。一方、第１顔情報と第２顔情報とを比較して、第１顔情報が得られた乗員の顔の状態よりも、第２顔情報が得られた乗員の顔の状態が、眠気が解消された顔の状態である場合に、眠気推定部１２により、眠気レベルが低下するように変化量を算出してもよい。

このように、眠気推定部１２は、複数の顔要素のうち、一部の顔要素が検出されなかった場合、乗員の顔要素の一部が検出できなくなる前の眠気レベルを引き継いで乗員の眠気を推定するため、乗員の眠気状態が不定となることがなく、眠気推定結果の信頼性を担保できる。

以下、眠気推定装置１０の動作について説明する。図７は、実施の形態２に係る眠気推定装置１０の動作例を示すフローチャートである。以下では、実施の形態１に係る眠気推定装置１０の処理と同一のステップには図５で示した符号と同一の符号を付し、説明を省略又は簡略化する。眠気推定装置１０は、例えば、車両情報取得部２が、車両側制御装置２００から車両のエンジンが始動した旨を示す信号を取得した場合、動作を開始する。また、図７のフローチャートには、眠気推定装置１０の動作を終了する処理が示されていないが、眠気推定装置１０は、例えば、車両情報取得部２が、車両側制御装置２００から車両のエンジンが停止した旨を示す信号を取得した場合、動作を終了する。

まず、眠気推定装置１０の動作が開始した後、画像取得部１は撮像装置２０から撮像画像を取得する（ＳＴ１０１）。そして、顔検出部１１は、撮像画像を用いて第１顔検出処理を行う（ＳＴ１０２）。

次に、顔要素判定部５は、第１顔検出処理により検出された乗員の顔要素を特定する。ここで、顔要素判定部５は、第１顔検出処理により乗員の複数の顔要素のうち、全ての顔要素が検出されたか否かを特定する。図７の例では、実施の形態１と同様に、一部の顔要素を顔要素Ａ１、他の顔要素を顔要素Ｂ１として示している。すなわち、顔要素判定部５は、第１顔検出処理により検出された乗員の顔要素を特定し、顔要素Ａ１及び顔要素Ｂ１の両方が検出されたか否かを判定する（ＳＴ２０１）。

顔要素判定部５は、第１顔検出処理によって、顔要素Ａ１及び顔要素Ｂ１の両方が検出されなかった、すなわち、顔要素Ａ１又は顔要素Ｂ１の少なくとも一方が検出されなかったと判定した場合（ＳＴ２０１；ＮＯ）、判定結果を眠気推定部１２に出力する。そして、眠気推定装置１０の動作は、ＳＴ１０１の処理に進む。一方、顔要素判定部５は、第１顔検出処理によって、顔要素Ａ１及び顔要素Ｂ１の両方が検出された、すなわち複数の顔要素のうち、全ての顔要素が検出されたと判定した場合（ＳＴ２０１；ＹＥＳ）、判定結果を眠気推定部１２に出力する。

そして、眠気推定部１２は、顔要素Ａ１及び顔要素Ｂ１の両方が検出されたことを示す判定結果を取得した場合、第１顔検出処理により得られた第１顔情報を用いて、第１眠気レベルを算出する（ＳＴ２０２）。そして、眠気推定部１２は、算出した第１眠気レベルを記憶部に記録する。なお、眠気推定部１２によって算出された第１眠気レベルは、車両側制御装置２００に出力されてもよい。そして、眠気推定装置１０の動作は、ＳＴ１０７の処理に進む。

画像取得部１は、撮像装置２０から撮像画像を取得する（ＳＴ１０７）。次いで、顔検出部１１は、撮像画像を用いて、第１顔検出処理の後に行われる処理である、第２顔検出処理を行う（ＳＴ１０８）。

次に、顔要素判定部５は、ＳＴ２０１の処理と同様に、第２顔検出処理により検出された乗員の顔要素を特定し、顔要素Ａ２及び顔要素Ｂ２の両方が検出されたか否かを判定する（ＳＴ２０３）。なお、図７の例では、実施の形態１と同様に、第２顔検出処理により検出される顔要素のうち、顔要素Ａ１と同一の顔要素を顔要素Ａ２として示し、顔要素Ｂ１と同一の顔要素を顔要素Ｂ２として示している。

顔要素判定部５は、第２顔検出処理により、顔要素Ａ２及び顔要素Ｂ２の両方が検出された、すなわち複数の顔要素のうち、全ての顔要素が検出されたと判定した場合（ＳＴ２０３；ＹＥＳ）、判定結果を眠気推定部１２に出力する。そして、眠気推定部１２は、顔要素Ａ２及び顔要素Ｂ２の両方が検出されたことを示す判定結果を取得した場合、第２顔検出処理により得られた第２顔情報を用いて、眠気レベルを算出する（ＳＴ２０４）。次いで、眠気推定部１２は、算出した眠気レベルを記憶部に記録する。以下、第２顔情報を用いて算出された眠気レベルを第２眠気レベルという。なお、眠気推定部１２によって算出された第２眠気レベルは、車両側制御装置２００に出力されてもよい。そして、眠気推定装置１０の動作は、ＳＴ１０１の処理に進む。

一方、顔要素判定部５は、顔要素Ａ２又は顔要素Ｂ２の少なくとも一方が検出されなかったと特定した場合（ＳＴ２０３；ＮＯ）、複数の顔要素のうち、一部の顔要素が検出されなかったと判定する。そして、眠気推定装置１０の動作は、ＳＴ２０５の処理に進む。

次に、顔要素判定部５は、ＳＴ２０５、ＳＴ２０６の処理で、第２顔検出処理によって検出された顔要素がいずれの顔要素であるかを示す特定結果を眠気推定部１２に出力する。まず、顔要素判定部５は、第２顔検出処理によって、顔要素Ａ２が検出されたか否かを確認する（ＳＴ２０５）。ここで、顔要素判定部５は、例えば、ＳＴ２０３の処理における、第２顔検出処理で検出された顔要素の特定結果を用いて、顔要素Ａ２が検出されたか否かを確認すればよい。

そして、顔要素判定部５は、第２顔検出処理により顔要素Ａ２が検出されたことを確認した場合（ＳＴ２０５；ＹＥＳ）、第２顔検出処理で、複数の顔要素のうち、一部の顔要素が検出されなかったことを示す判定結果と、複数の顔要素のうち、一部の顔要素、すなわち顔要素Ａ２が検出されたことを示す特定結果とを眠気推定部１２に出力する。

次に、ＳＴ２０５の処理における判定結果と特定結果とを取得した眠気推定部１２は、第１眠気レベルと、第２顔情報とを用いて乗員の第２眠気レベルを算出する（ＳＴ２０７）。例えば、眠気推定部１２は、第２顔情報として、開口度を取得した場合、開口度を用いて変化量を算出する。そして、眠気推定部１２は、第１眠気レベルと、変化量とから、第２眠気レベルを算出する。なお、眠気推定部１２により算出された第２眠気レベルは、車両側制御装置２００に出力されてもよい。

一方、顔要素判定部５により、第２顔検出処理で顔要素Ａ２が検出されなかったことを確認された場合（ＳＴ２０５；ＮＯ）、眠気推定装置１０の動作は、ＳＴ２０５の処理に進む。顔要素判定部５は、第２顔検出処理によって、顔要素Ｂ２が検出されたか否かを確認する（ＳＴ２０６）。ここで、顔要素判定部５は、ＳＴ２０５の処理と同様に、例えば、ＳＴ２０３の処理における、第２顔検出処理で検出された顔要素の特定結果を用いて、顔要素Ｂ２が検出されたか否かを確認すればよい。

そして、顔要素判定部５は、第２顔検出処理により顔要素Ｂ２が検出されたことを確認した場合（ＳＴ２０６；ＹＥＳ）、第２顔検出処理で、複数の顔要素のうち、一部の顔要素が検出されなかったことを示す判定結果と、複数の顔要素のうち、一部の顔要素、すなわち顔要素Ｂ２が検出されたことを示す特定結果とを眠気推定部１２に出力する。

次に、ＳＴ２０５の処理における判定結果と特定結果とを取得した眠気推定部１２は、第１眠気レベルと、第２顔情報とを用いて乗員の第２眠気レベルを算出する（ＳＴ２０８）。例えば、まず、眠気推定部１２は、第２顔情報として、開眼度を取得した場合、開眼度を用いて変化量を算出する。そして、眠気推定部１２は、第１眠気レベルと、変化量とから、第２眠気レベルを算出する。なお、眠気推定部１２により算出された第２眠気レベルは、車両側制御装置２００に出力されてもよい。

一方、顔要素判定部５により、第２顔検出処理で顔要素Ｂ２が検出されなかったことを確認された場合（ＳＴ２０６；ＮＯ）、すなわち、第２顔検出処理で顔要素Ａ２も顔要素Ｂ２も検出されなかったことが確認された場合、眠気推定装置１０の動作は、ＳＴ１０１の処理に進む。なお、眠気推定部１２は、第２顔検出処理で顔要素Ａ２も顔要素Ｂ２も検出されなかったことが確認された場合、第１眠気レベルを取得して、取得した第１眠気レベルを第２眠気レベルとして車両側制御装置２００に出力してもよい。

また、上述の眠気推定装置１０の動作において、第２顔検出処理の後に第３顔検出処理を行い、第２顔検出処理によって検出された顔要素と第３顔検出処理によって検出された顔要素とが同一である場合、第３顔検出処理以降の眠気推定処理を、他の顔要素を用いて眠気を推定するようにしてもよい。つまり、眠気推定部１２は、第２顔検出処理及び第３顔検出処理により、乗員の複数の顔要素のうち、一部の顔要素が検出されなかった場合、第３顔検出処理によって検出された他の顔要素から得た第３顔情報を用いて、眠気を推定してもよい。

例えば、乗員が着類を着用せず、顔検出部１１による第１顔検出処理で眼、鼻、及び口が検出され、乗員がサングラスを着用して顔検出部１１による第２顔検出処理で眼が検出されず、鼻及び口が検出されたとする。この場合、眠気推定部１２は、眼、鼻、及び口から得た第１顔情報を用いて第１眠気レベルを算出し、その後、第２顔検出処理で得た第２顔情報を用いて変化量を算出するとともに第２眠気レベルを算出する。そして、眠気推定部１２は、乗員がサングラスを着用したままであれば、第３顔検出処理で鼻及び口から得た第３顔情報を用いて第３眠気レベルを算出する。このようにすると、一部の顔要素が検出できなくなった以降の眠気推定処理では、顔検出処理によって検出可能な顔要素を用いて眠気推定を行うため、眠気推定装置１０の処理負荷を軽減できる。

すなわち、眠気推定部１２は、乗員の顔要素の一部が検出されなかった場合、顔要素の一部が検出できなくなる前の第１眠気レベルを引き継いで、引き継いだ第１眠気レベルと、第１眠気レベルに対する眠気レベルの変化量とから乗員の眠気を推定する。このようにすると、一部の顔要素が検出されなかった場合においても乗員の眠気状態が不定となることがなく、眠気推定結果の信頼性を担保できる。

実施の形態３．
実施の形態３に係る眠気推定装置１０は、実施の形態１と同様に、撮像画像を取得する画像取得部１と、撮像画像から乗員の複数の顔要素を検出する顔検出処理を行う顔検出部１１と、撮像画像から検出された乗員の眠気を推定する眠気推定部１２とを備える。本実施の形態では、第２顔検出処理によって一部の顔要素が検出されなかった場合、第１顔検出処理によって得られた顔情報から推定された眠気レベルと、第２顔検出処理によって検出された他の顔要素から得られた顔情報とを用いて乗員の眠気を推定する点が、実施の形態１と異なる。実施の形態１と同じ構成要素には同じ符号を付し、その説明を省略する。

本実施の形態の眠気推定部１２は、実施の形態２と同様に、複数の顔要素のうち、一部の顔要素が検出されなかった場合、一部の顔要素が検出できなくなる前の第１眠気レベルを引き継ぐ。そして、眠気推定部１２は、引き継いだ第１眠気レベルと、第１眠気レベルに対する変化量とから乗員の眠気を推定する。

さらに、本実施の形態の眠気推定装置１０は、第１眠気レベルに対する変化量を、眠気レベルの変化量を推論するための学習済モデルから取得する。以下、眠気推定装置１０に関する学習装置３００と、眠気推定装置１０とについてそれぞれ説明する。

図８は、実施の形態３に係る眠気推定装置１０に関する学習装置３００の構成図である。学習装置３００は、データ取得部３１、モデル生成部３２、及び学習済モデル記憶部４０を備える。

データ取得部３１は、顔検出部１１から顔情報と、変化量とを学習用データとして取得する。

モデル生成部３２は、データ取得部３１から出力される顔情報と、変化量との組み合わせに基づいて作成される学習用データに基づいて変化量を学習する。すなわち、眠気推定装置１０の顔情報と、変化量とから最適な変化量を推論する学習済モデルを生成する。ここで、学習用データは、顔情報及び変化量を互いに関連付けたデータである。

なお、学習装置３００は、眠気推定装置１０の変化量を学習するために使用されるが、例えば、ネットワークを介して眠気推定装置１０に接続され、眠気推定装置１０とは別個の装置であってもよい。また、学習装置３００は、眠気推定装置１０に内蔵されていてもよい。さらに、学習装置３００は、クラウドサーバ上に存在していてもよい。

モデル生成部３２が用いる学習アルゴリズムは、教師あり学習、教師なし学習、強化学習等の公知の種々のアルゴリズムを用いることができる。以下、一例として、ニューラルネットワークを適用した場合について説明する。

モデル生成部３２は、例えば、ニューラルネットワークモデルに従って、いわゆる教師あり学習により、変化量を学習する。ここで、教師あり学習とは、入力と結果（ラベル）のデータの組を学習装置３００に与えることで、それらの学習用データにある特徴を学習し、入力から結果を推論する手法をいう。

図９は、実施の形態３に係る学習装置３００のニューラルネットワークの学習例を示す説明図である。ニューラルネットワークは、複数のニューロンを有する入力層、複数のニューロンを有する中間層（隠れ層）、及び複数のニューロンを有する出力層で構成される。なお、中間層は１層、又は２層以上であってもよい。

例えば、図９に示すような３層のニューラルネットワークであれば、複数の入力が入力層（Ｘ１－Ｘ３）に入力されると、その値に重みＷ１（ｗ１１－ｗ１６）を掛けて中間層（Ｙ１－Ｙ２）に入力され、その結果にさらに重みＷ２（ｗ２１－ｗ２６）を掛けて出力層（Ｚ１－Ｚ３）から出力される。この出力結果は、重みＷ１とＷ２の値によって変化する。

本開示において、ニューラルネットワークは、データ取得部３１によって取得される顔情報、変化量の組み合わせに基づいて作成される学習用データに従って、いわゆる教師あり学習により、変化量を学習する。

本開示において、ニューラルネットワークは、入力層に顔情報を入力して出力層から出力された結果が、学習用データとして入力された変化量に近づくように重みＷ１とＷ２とを調整することで学習する。モデル生成部３２は、上述のような学習を実行することで学習済モデルを生成し、出力する。また、学習済モデル記憶部４０は、モデル生成部３２から出力された学習済モデルを記憶する。以下、説明のため、学習済モデルを生成する処理を、学習済モデル生成処理という。

図１０は、実施の形態３に係る学習装置３００の学習済モデル生成処理例を示すフローチャートである。図１０を用いて、学習装置３００が学習する処理について説明する。まず、データ取得部３１は、顔情報と、変化量とを取得する（ＳＴ３０１）。なお、顔情報と、変化量とを同時に取得するものとしたが、顔情報と、変化量とを関連付けて入力できればよく、顔情報と、変化量とのデータをそれぞれ異なるタイミングで取得してもよい。

次に、モデル生成部３２は、データ取得部３１によって取得される顔情報と、変化量との組み合わせに基づいて作成される学習用データに従って、いわゆる教師あり学習により、変化量を学習し、学習済モデルを生成する（ＳＴ３０２）。そして、学習済モデル記憶部４０は、モデル生成部３２が生成した学習済モデルを記録する（ＳＴ３０３）。

さらに、モデル生成部３２は、上述の学習済モデルの生成手法により、複数の学習済モデルを生成し、学習済モデル記憶部４０に記録する。本実施の形態における複数の学習済モデルは、それぞれ入力される顔情報の種別に応じて、顔情報の変化量の推論への寄与度が異なる。ここで、変化量の推論への寄与度とは、特定の顔情報を学習済モデルに入力した場合に、特定の顔情報が、変化量の推論へ与える影響の大きさを示す指標値である。

図１１は、実施の形態３に係る顔情報の変化量の推論に対する寄与度を示す説明図である。図１１Ａは、開眼度が変化量の推論に対する寄与度が最も高い学習済モデルを説明するための説明図であり、図１１Ｂは、開口度が変化量の推論に対する寄与度が最も高い学習済モデルを説明するための説明図である。

例えば、顔検出部１１による顔検出処理で、複数の顔要素のうち、一部の顔要素が検出されなければ、一部の顔要素に関する顔情報は眠気推定処理に用いることができない。例えば、開眼度、開口度、頭部の動き（顔向き）等、複数の顔情報を入力して変化量を推論する場合、変化量の推論の処理についての詳細な説明は後述するが、顔情報を学習済モデルに入力し、学習済モデルから変化量を得る必要がある。

しかしながら、顔情報が入力される学習済モデルにおいて、顔検出処理によって得ることができなかった顔情報が変化量の推論に対する寄与度が高い場合は、学習済モデルから取得した変化量の信頼性が低いおそれがある。これにより、学習済モデルから取得した変化量を用いて推定される乗員の眠気推定結果の信頼性も担保できない可能性がある。

そこで、本実施の形態においては、学習済モデル記憶部４０は、顔情報の種別に応じて変化量の推論に対する寄与度が異なる複数の学習済モデルが記録されていると好ましい。以下に、複数の学習済モデル例を示す。

例えば、図１１Ａの例では、眼に関する顔情報である開眼度、瞬目の速度、及び瞬目の頻度が、口に関する顔情報である開口度に比して、変化量の推論への寄与度が高い学習済モデルの例を示している。すなわち、乗員がマスクを着用する等して、顔検出処理で乗員の眼が検出され、口が検出されなかった場合に、図１１Ａの例に示すような寄与度を有する学習済モデルに、顔情報を入力すれば、変化量の推論結果の信頼性を向上できる。

一方、例えば、図１１Ｂの例では、口に関する顔情報である開口度が、眼に関する顔情報である開眼度、瞬目の速度、及び瞬目の頻度に比して、変化量の推論への寄与度が高い学習済モデルの例を示している。すなわち、乗員がサングラスを着用する等して、顔検出処理によって乗員の口が検出され、眼が検出されなかった場合に、図１１Ｂの例に示すような寄与度を有する学習済モデルへ顔情報を入力すれば、変化量の推論結果の信頼性を向上できる。

すなわち、顔検出処理により、複数の顔要素のうち、一部の顔要素が検出されなかった場合は、検出された他の顔要素の種別に応じて、眠気レベルの変化量を取得する学習済モデルを、複数の学習済モデルから選択すれば、眠気推定結果の信頼性を担保できる。以下、眠気推定装置１０の構成とともに、眠気推定処理について説明する。

図１２は、実施の形態３に係る眠気推定システム１００の構成例を示す構成図である。本実施の形態において、眠気推定装置１０の眠気推定部１２は、学習済モデル記憶部４０と接続されている。

眠気推定部１２は、学習済モデルを利用して変化量を推論する。すなわち、眠気推定部１２は、顔検出部１１から顔情報を取得し、学習済モデルに顔検出部１１から取得した顔情報を入力することで、顔情報から推論される変化量を得る。

なお、本実施の形態では、眠気推定装置１０に関する学習装置３００のモデル生成部３２で学習した学習済モデルを用いて変化量を出力するものとして説明したが、他の眠気推定装置に関する学習装置等の、外部から学習済モデルを取得し、この学習済モデルに基づいて変化量を出力するようにしてもよい。

次に、図１３を用いて、変化量及び眠気レベルを得るための処理について説明する。図１３は、実施の形態３に係る眠気推定装置１０の動作例を示すフローチャートである。図１３Ａには、図７におけるＳＴ２０７の処理に対応するフローチャートを示し、図１３Ｂには、図７におけるＳＴ２０８の処理に対応するフローチャートを示している。

つまり、図１３Ａに示す、ＳＴ３０４～ＳＴ３０７には、顔要素判定部５により、第２顔検出処理で、一部の顔要素（顔要素Ｂ２）が検出されず、他の顔要素（顔要素Ａ２）が検出されたと特定された後の眠気推定処理を示している。そして、図１３Ｂに示す、ＳＴ３０８～ＳＴ３１１には、顔要素判定部５により、第２顔検出処理で、一部の顔要素（顔要素Ａ２）が検出されず、他の顔要素（顔要素Ｂ２）が検出されなかったと特定された後の眠気推定処理を示している。なお、ＳＴ３０４～ＳＴ３０７、ＳＴ３０８～ＳＴ３１１のいずれも、顔要素判定部５により、第２顔検出処理で複数の顔要素のうち、一部の顔要素が検出されなかったと判定された後の処理である。

まず、図１３Ａに示す処理について説明する。まず、眠気推定部１２は、顔検出部１１から第２顔情報を取得する（ＳＴ３０４）。なお、眠気推定部１２が取得する第２顔情報は、第２顔検出処理で検出されなかった一部の顔要素（顔要素Ｂ２）と異なる他の顔要素（顔要素Ａ２）に関する第２顔情報である。

そして、眠気推定部１２は、学習済モデル記憶部４０に記録された学習済モデルに第２顔情報を入力する（ＳＴ３０５）。ここで、眠気推定部１２は、第２顔検出処理で検出された他の顔要素（顔要素Ａ２）が、顔要素Ａ２と異なる顔要素（例えば、顔要素Ｂ２）に比して、変化量の推論に対して寄与度が高い学習済モデルに第２顔情報を入力する。なお、図１３Ａの例では、第１の顔要素である顔要素Ａ２が変化量の推論に対して寄与度が高い学習済モデルを、第１学習済モデルとして示している。また、第１の顔要素とは、例えば、乗員の眼であり、第１学習済モデルとは、例えば、図１１Ａに示すような、眼に関する顔情報の寄与度が、口等に関する顔情報の寄与度よりも大きい学習済モデルである。

次に、眠気推定部１２は、学習済モデルにより得られた第１眠気レベルに対する変化量を取得する（ＳＴ３０６）。そして、眠気推定部１２は、記憶部等から第１眠気レベルを取得し、第１眠気レベルと、学習済モデルにより得られた変化量とから第２眠気レベルを算出する（ＳＴ３０７）。

一方、図１３Ｂに示す処理について説明する。まず、眠気推定部１２は、顔検出部１１から第２顔情報を取得する（ＳＴ３０８）。なお、眠気推定部１２が取得する第２顔情報は、第２顔検出処理で検出されなかった一部の顔要素（顔要素Ａ２）と異なる他の顔要素（顔要素Ｂ２）に関する第２顔情報である。

そして、眠気推定部１２は、学習済モデル記憶部４０に記録された学習済モデルに第２顔情報を入力する（ＳＴ３０９）。ここで、眠気推定部１２は、第２顔検出処理で検出された他の顔要素（顔要素Ｂ２）が、顔要素Ｂ２と異なる顔要素（例えば、顔要素Ａ２）に比して、変化量の推論に対して寄与度が高い学習済モデルに第２顔情報を入力する。なお、図１３Ｂの例では、第２の顔要素である顔要素Ｂ２が変化量の推論に対して寄与度が高い学習済モデルを、第２学習済モデルとして示している。また、第２の顔要素とは、例えば、乗員の口であり、第２学習済モデルとは、例えば、図１１Ｂに示すような、口に関する顔情報の寄与度が、眼等に関する顔情報の寄与度よりも大きい学習済モデルである。

次に、眠気推定部１２は、学習済モデルにより得られた第１眠気レベルに対する変化量を取得する（ＳＴ３１０）。そして、眠気推定部１２は、記憶部等から第１眠気レベルを取得し、第１眠気レベルと、学習済モデルにより得られた変化量とから第２眠気レベルを算出する（ＳＴ３１１）。このようにすると、複数の顔要素のうち、一部の顔要素が検出されなかった場合においても、乗員の眠気状態が不定となることがなく、顔検出処理によって検出可能な顔要素が眠気の推定に与える影響が大きい学習済モデルを用いて乗員の眠気の推定が可能となるため、眠気推定結果の信頼性を向上できる。

また、上述の眠気推定装置１０の動作において、第２顔検出処理の後に第３顔検出処理を行い、第２顔検出処理によって検出された顔要素と第３顔検出処理によって検出された顔要素とが同一である場合、第３顔検出処理以降の眠気推定処理を、他の顔要素を用いて眠気を推定するようにしてもよい。つまり、眠気推定部１２は、第２顔検出処理及び第３顔検出処理により、乗員の複数の顔要素のうち、一部の顔要素が検出されなかった場合、第３顔検出処理によって検出された他の顔要素から得た第３顔情報を用いて、眠気を推定してもよい。

例えば、乗員が着類を着用せず、顔検出部１１による第１顔検出処理で眼、鼻、及び口が検出され、乗員がサングラスを着用して顔検出部１１による第２顔検出処理で眼が検出されず、鼻及び口が検出されたとする。この場合、眠気推定部１２は、眼、鼻、及び口から得た第１顔情報を用いて第１眠気レベルを算出し、その後、第２顔検出処理で得た第２顔情報を用いて変化量を算出するとともに、第２眠気レベルを算出する。そして、眠気推定部１２は、乗員がサングラスを着用したままであれば、第３顔検出処理で鼻及び口から得た第３顔情報を用いて第３眠気レベルを算出する。このようにすると、一部の顔要素が検出できなくなった以降の眠気推定処理では、顔検出処理によって検出可能な顔要素を用いて眠気推定を行うため、眠気推定装置１０の処理負荷を軽減できる。

さらに、顔情報から眠気レベルを推論するための学習済モデルを生成し、学習済モデル記憶部４０に学習済モデルを記憶させ、眠気推定部１２は、第３顔情報を学習済モデル記憶部４０に入力して第３眠気レベルを取得してもよい。この場合、第３眠気レベルを推論する学習済モデルは、第３顔情報の眠気レベルの算出に対する影響が大きい学習済モデルであると好ましい。このようにすると、一部の顔要素が検出できなくなった場合であっても、顔検出処理によって検出可能な顔要素が眠気の推定に与える影響が大きい学習済モデルを用いて眠気推定を行えるため、眠気推定装置１０の眠気推定結果の信頼性を向上できる。

なお、本実施の形態では、モデル生成部３２が用いる学習アルゴリズムに教師あり学習を適用した場合について説明したが、これに限られるものではない。学習アルゴリズムについては、教師あり学習以外にも、強化学習、教師なし学習、又は半教師あり学習等を適用することも可能である。

また、モデル生成部３２は、複数の眠気推定装置１０に対して作成される学習用データに従って、変化量を学習するようにしてもよい。なお、モデル生成部３２は、同一のエリアで使用される複数の眠気推定装置１０から学習用データを取得してもよいし、異なるエリアで独立して動作する複数の眠気推定装置１０から収集される学習用データを利用して変化量を学習してもよい。また、学習用データを収集する眠気推定装置１０を途中で対象に追加、又は対象から除去することも可能である。さらに、ある眠気推定装置に関して変化量を学習した学習装置３００を、これとは別の眠気推定装置に適用し、当該別の眠気推定装置１０に関して変化量を再学習して更新するようにしてもよい。

また、モデル生成部３２に用いられる学習アルゴリズムとしては、特徴量そのものの抽出を学習する、深層学習（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）を用いることもでき、他の公知の方法、例えば、勾配ブースティング、遺伝的プログラミング、機能論理プログラミング、サポートベクターマシンなどに従って機械学習を実行してもよい。

なお、本明細書中に開示する各実施の形態は、その範囲内において、各実施の形態を自由に組み合わせることが可能であり、各実施の形態を適宜、変形、省略することが可能である。

１ 画像取得部、２ 車両情報取得部、３ 特徴点検出部、４ 特徴量算出部、５ 顔要素判定部、１０ 眠気推定装置、１１ 顔検出部、１２ 眠気推定部、２０ 撮像装置、３１ データ取得部、３２ モデル生成部、４０ 学習済モデル記憶部、６１ 撮像画像、７１ 顔領域、８１ 左眼、８２ 右眼、８３ 鼻、８４ 口、１００ 眠気推定システム、２００ 車両側制御装置、３００ 学習装置、５０１ 運転席、５０２ 助手席、５０３ 運転者、５０４ 同乗者。

Claims (6)

1. 車内の乗員を撮像する撮像装置から、撮像画像を取得する画像取得部と、
   前記乗員の複数の顔要素を、前記撮像画像から検出する顔検出処理を行う顔検出部と、 前記撮像画像から検出された前記乗員の眠気を推定する眠気推定部と、を備え、
   前記顔検出部は、前記顔検出処理として、第１顔検出処理と、前記第１顔検出処理の後に第２顔検出処理とを行い、
   前記眠気推定部は、前記第２顔検出処理により、前記乗員の複数の顔要素のうち、一部の顔要素が検出されなかった場合、前記第１顔検出処理によって検出された、前記一部の顔要素から得た第１顔情報を用いて算出された第１眠気レベルと、前記第２顔検出処理によって検出された、前記一部の顔要素と異なる他の顔要素から得た第２顔情報から前記第１眠気レベルに対する眠気レベルの変化量を推論するための学習済モデルが記録された学習済モデル記憶部より取得した前記眠気レベルの変化量とを用いて、前記乗員の眠気を推定する
   ことを特徴とする眠気推定装置。
2. 前記学習済モデル記憶部には、複数の学習済モデルが記録され、
   前記眠気推定部は、前記第２顔検出処理によって検出された前記他の顔要素の種別に応じて、前記眠気レベルの変化量を取得する前記学習済モデルを、前記複数の学習済モデルから選択する
   ことを特徴とする請求項１に記載の眠気推定装置。
3. 前記学習済モデル記憶部には、前記乗員の顔要素のうち、第１の顔要素に関する顔情報が、前記乗員の顔要素のうち、前記第１の顔要素と異なる第２の顔要素に関する顔情報に比して、前記眠気レベルの変化量の推論に対する影響が大きい第１学習済モデルと、前記第２の顔要素に関する顔情報が、前記第１の顔要素に関する顔情報に比して、前記眠気レベルの変化量の推論に対する影響が大きい第２学習済モデルとが記録され、
   前記眠気推定部は、前記第２顔検出処理によって検出された前記他の顔要素が前記第１の顔要素である場合、前記眠気レベルの変化量を前記第１学習済モデルから取得し、前記第２顔検出処理によって検出された前記他の顔要素が前記第２の顔要素である場合、前記眠気レベルの変化量を前記第２学習済モデルから取得する
   ことを特徴とする請求項２に記載の眠気推定装置。
4. 前記第１の顔要素は、眼であり、
   前記第２の顔要素は、口である
   ことを特徴とする請求項３に記載の眠気推定装置。
5. 前記眠気推定部は、前記第２顔検出処理の後に、第３顔検出処理を行い、前記第２顔検出処理及び前記第３顔検出処理により、前記乗員の複数の顔要素のうち、前記一部の顔要素が検出されなかった場合、前記第３顔検出処理によって検出された前記他の顔要素から得た第３顔情報を用いて、前記乗員の眠気を推定する
   ことを特徴とする請求項１から請求項４のいずれか一項に記載の眠気推定装置。
6. 車両に搭載され、車内の乗員を撮像する撮像装置と、
   前記撮像装置から、撮像画像を取得する画像取得部と、
   前記乗員の複数の顔要素を、前記撮像画像から検出する顔検出処理を行う顔検出部と、
   前記撮像画像から検出された前記乗員の眠気を推定する眠気推定部と、を備え、
   前記顔検出部は、前記顔検出処理として、第１顔検出処理と、前記第１顔検出処理の後に第２顔検出処理とを行い、
   前記眠気推定部は、前記第２顔検出処理により、前記乗員の複数の顔要素のうち、一部の顔要素が検出されなかった場合、前記第１顔検出処理によって検出された、前記一部の顔要素から得た第１顔情報を用いて算出された第１眠気レベルと、前記第２顔検出処理によって検出された、前記一部の顔要素と異なる他の顔要素から得た第２顔情報から前記第１眠気レベルに対する眠気レベルの変化量を推論するための学習済モデルが記録された学習済モデル記憶部より取得した前記眠気レベルの変化量とを用いて、前記乗員の眠気を推定する
   ことを特徴とする眠気推定システム。

Images