JP6906717B2

JP6906717B2 - 状態判定装置、状態判定方法、及び状態判定プログラム

Info

Publication number: JP6906717B2
Application number: JP2020558850A
Authority: JP
Inventors: 隼也大澤; 貴弘大塚
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2018-12-12
Filing date: 2018-12-12
Publication date: 2021-07-21
Anticipated expiration: 2038-12-12
Also published as: CN113168680A; DE112018008131B4; DE112018008131T5; WO2020121425A1; US11963759B2; US20210271865A1; JPWO2020121425A1

Description

本発明は、状態判定装置、状態判定方法、及び状態判定プログラムに関する。

人は、非覚醒状態になる場合がある。例えば、非覚醒状態は、居眠り状態、飲酒により居眠りしている状態などである。
ところで、事故の防止のため、車内又は工場内に居る人の非覚醒状態を判定する技術の開発が進んでいる。例えば、心拍、脳波、瞬きなどから非覚醒状態のときに変化する特徴量が抽出される。次に、当該特徴量と閾値とが比較される。比較結果から非覚醒状態が判定される。このように、非覚醒状態は、心拍などの生体信号から判定できる。しかし、当該判定の方法では、人にセンサが装着される。そのため、当該判定の方法では、人は、煩わしさを感じる。また、人がセンサを装着していない場合、当該判定の方法は、使用することができない。さらに、当該判定の方法は、センサを用いるため、コストがかかる。

ここで、居眠り状態を検出する技術が提案されている（特許文献１を参照）。例えば、特許文献１の居眠り運転検出装置は、瞬き頻度を用いて、運転手の居眠り状態を検出する。また、運転手の眠気状態を判定する技術が提案されている（特許文献２を参照）。例えば、特許文献２の眠気判定装置は、瞬き頻度を用いて、眠気状態を判定する。

特開平１１−３３９２００号公報特開２００８−２１２２９８号公報

ＰａｕｌＶｉｏｌａ，ＭｉｃｈａｅｌＪＪｏｎｅｓ「ＲｏｂｕｓｔＲｅａｌ−ＴｉｍｅＦａｃｅＤｅｔｅｃｔｉｏｎＩｎｔｅｒｎａｔｉｏｎａｌＪｏｕｒｎａｌｏｆＣｏｍｐｕｔｅｒＶｉｓｉｏｎ５７（２）」、２００４年ＬａｕｒｅｎｚＷｉｓｋｏｔｔ，Ｊｅａｎ−ＭａｒｃＦｅｌｌｏｕｓ，ＮｏｒｂｅｒｔＫｒｕｇｅｒ，ＣｈｒｉｓｔｏｐｈｖｏｎｄｅｒＭａｌｓｂｕｒｇ「ＦａｃｅＲｅｃｏｇｎｉｔｉｏｎｂｙＥｌａｓｔｉｃＢｕｎｃｈＧｒａｐｈＭａｔｃｈｉｎｇ」、１９９６年ＮａｖｎｅｅｔＤａｌａｌａｎｄＢｉｌｌＴｒｉｇｇｓ「ＨｉｓｔｏｇｒａｍｓｏｆＯｒｉｅｎｔｅｄＧｒａｄｉｅｎｔｓｆｏｒＨｕｍａｎＤｅｔｅｃｔｉｏｎ」

特許文献１，２の技術は、瞬き頻度を用いている。しかし、瞬き頻度は、個人差が大きい。例えば、覚醒時に瞬き頻度が非常に高い人の場合、特許文献１，２の技術を用いて非覚醒状態であるか否かを判定することは、難しい。
そのため、どのように高い精度で非覚醒状態を判定するかが問題である。

本発明の目的は、高い精度で非覚醒状態を判定することである。

本発明の一態様に係る状態判定装置が提供される。状態判定装置は、ユーザの顔を撮影することで順次取得される複数のフレームのそれぞれのフレームから前記顔の領域を示す顔領域を抽出し、前記顔領域から顔の部位を示す顔特徴点を抽出し、前記顔特徴点に基づいて、前記ユーザが非覚醒状態であるときに前記顔領域の中で変化が生じる領域である顔特徴量抽出領域を算出し、前記顔特徴量抽出領域から特徴量である顔特徴量を抽出する抽出部と、前記複数のフレームのそれぞれにおける前記顔特徴量と予め作成されている判定情報とに基づいて、前記ユーザが前記非覚醒状態であるか否かを判定する状態判定部と、判定結果を出力する出力部と、を有する。前記顔特徴量抽出領域は、前記顔領域内の口領域である。前記判定情報は、前記ユーザが唇をなめた回数に応じた非覚醒レベルを決定するための情報を含む。前記状態判定部は、前記複数のフレームのそれぞれにおける前記口領域から抽出された前記顔特徴量に基づいて、前記ユーザが唇をなめた回数を算出し、前記ユーザが唇をなめた回数と前記判定情報とに基づいて非覚醒レベルを決定し、決定した非覚醒レベルが予め設定された閾値レベル以上の場合、前記ユーザが前記非覚醒状態であると判定する。

本発明によれば、高い精度で非覚醒状態を判定することができる。

実施の形態１の状態判定装置を示す図である。実施の形態１の状態判定装置が有するハードウェアの構成を示す図である。実施の形態１の顔特徴点テーブルの例を示す図である。（Ａ），（Ｂ）は、顔特徴量抽出領域の算出例を示す図である。実施の形態１の顔特徴量テーブルの例を示す図である。実施の形態１の状態判定モデルテーブルの例を示す図である。実施の形態１の眉間に皺が寄せられた回数を算出する方法を説明するための図である。実施の形態１の非覚醒レベルの具体例を示す図である。実施の形態１の判定結果テーブルの例を示す図である。実施の形態１の顔特徴量抽出領域の算出処理を示すフローチャートである。実施の形態１の顔特徴量の抽出処理を示すフローチャートである。実施の形態１のカウント処理を示すフローチャートである。実施の形態１の非覚醒状態の判定処理を示すフローチャートである。実施の形態２の状態判定装置の構成を示す機能ブロック図である。実施の形態２の平均顔特徴点モデルテーブルの一例を示す図である。（Ａ）〜（Ｃ）は、顔条件テーブルの一例を示す図である。実施の形態２の抽出領域決定モデルテーブルの一例を示す図である。実施の形態２の顔条件の判定処理を示すフローチャートである。実施の形態２の顔特徴量抽出領域の決定処理を示すフローチャートである。

以下、図面を参照しながら実施の形態を説明する。以下の実施の形態は、例にすぎず、本発明の範囲内で種々の変更が可能である。

実施の形態１．
図１は、実施の形態１の状態判定装置を示す図である。状態判定装置１００は、状態判定方法を実行する装置である。
状態判定装置１００は、非覚醒状態を判定する。例えば、非覚醒状態は、居眠り状態、飲酒により居眠りしている状態などである。また、非覚醒状態は、意識が朦朧としている状態を含む。例えば、意識が朦朧としている状態は、ユーザがうとうとしている状態、飲酒によりユーザが酔っ払っている状態などである。ここで、ユーザは、居眠り状態から一時的に覚醒状態になった後、再び居眠り状態になる場合がある。このように、ユーザが居眠り状態から短い時間の後に再び居眠り状態になることは、ユーザが居眠り状態と考えてもよい。よって、非覚醒状態には、ユーザが居眠り状態から一時的に覚醒状態になった後、再び居眠り状態になる場合が含まれる。

次に、状態判定装置１００が有するハードウェアについて説明する。
図２は、実施の形態１の状態判定装置が有するハードウェアの構成を示す図である。状態判定装置１００は、プロセッサ１０１、揮発性記憶装置１０２、不揮発性記憶装置１０３、カメラ１０４、及びディスプレイ１０５を有する。

プロセッサ１０１は、状態判定装置１００全体を制御する。例えば、プロセッサ１０１は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）、又はＦＰＧＡ（ＦｉｅｌｄＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）などである。プロセッサ１０１は、マルチプロセッサでもよい。状態判定装置１００は、処理回路によって実現されてもよく、又は、ソフトウェア、ファームウェア若しくはそれらの組み合わせによって実現されてもよい。なお、処理回路は、単一回路又は複合回路でもよい。

揮発性記憶装置１０２は、状態判定装置１００の主記憶装置である。例えば、揮発性記憶装置１０２は、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）である。不揮発性記憶装置１０３は、状態判定装置１００の補助記憶装置である。例えば、不揮発性記憶装置１０３は、ＳＳＤ（ＳｏｌｉｄＳｔａｔｅＤｒｉｖｅ）である。
カメラ１０４は、顔を撮像する装置である。また、カメラ１０４は、撮像デバイスとも言う。ディスプレイ１０５は、情報を表示する装置である。また、ディスプレイ１０５は、表示デバイスとも言う。
なお、状態判定装置１００がカメラ１０４及びディスプレイ１０５を有していない状態は、情報処理装置と考えてもよい。

図１に戻って、状態判定装置１００を説明する。
状態判定装置１００は、取得部１１０、抽出部１０、状態判定部１６０、及び出力部１７０を有する。抽出部１０は、顔領域抽出部１２０、顔特徴点抽出部１３０、顔特徴量抽出領域算出部１４０、及び顔特徴量抽出部１５０を有する。
また、状態判定装置１００は、顔特徴点記憶部１８０、顔特徴量記憶部１８１、状態判定モデル記憶部１８２、及び判定結果記憶部１８３を有する。

抽出部１０、取得部１１０、顔領域抽出部１２０、顔特徴点抽出部１３０、顔特徴量抽出領域算出部１４０、顔特徴量抽出部１５０、状態判定部１６０、及び出力部１７０の一部又は全部は、プロセッサ１０１によって実現してもよい。

また、抽出部１０、取得部１１０、顔領域抽出部１２０、顔特徴点抽出部１３０、顔特徴量抽出領域算出部１４０、顔特徴量抽出部１５０、状態判定部１６０、及び出力部１７０の一部又は全部は、プロセッサ１０１が実行するプログラムのモジュールとして実現してもよい。例えば、プロセッサ１０１が実行するプログラムは、状態判定プログラムとも言う。例えば、状態判定プログラムは、揮発性記憶装置１０２、不揮発性記憶装置１０３などの記録媒体に格納されている。

顔特徴点記憶部１８０、顔特徴量記憶部１８１、状態判定モデル記憶部１８２、及び判定結果記憶部１８３は、揮発性記憶装置１０２又は不揮発性記憶装置１０３に確保した記憶領域として実現してもよい。

取得部１１０は、ユーザの顔を撮影することで順次取得される複数のフレームをカメラ１０４から取得する。複数のフレームは、動画像と表現してもよい。フレームは、画像である。また、複数のフレームは、異なる時刻にユーザの顔が撮影された複数のフレームと表現してもよい。
抽出部１０は、複数のフレームのそれぞれのフレームから顔領域を抽出し、顔領域から顔特徴点を抽出し、顔特徴点に基づいて顔特徴量抽出領域を算出し、顔特徴量抽出領域から顔特徴量を抽出する。なお、顔領域は、顔の領域を示す。顔特徴点は、顔の部位を示す。顔特徴量抽出領域は、ユーザが非覚醒状態であるときに顔領域の中で変化が生じる領域である。顔特徴量は、特徴量である。

また、顔特徴量抽出領域は、ユーザが非覚醒状態のときに顔領域の中で変化が生じる領域であり、かつユーザが非覚醒状態のときにユーザの顔の動きとして個人差が生じない領域であると表現してもよい。
抽出部１０が実行する処理は、顔領域抽出部１２０、顔特徴点抽出部１３０、顔特徴量抽出領域算出部１４０、及び顔特徴量抽出部１５０を用いて詳細に説明する。

顔領域抽出部１２０は、動画像の中から顔領域を抽出する。顔領域抽出部１２０は、Ａｄａｂｏｏｓｔ学習によるＨａａｒ−ｌｉｋｅ特徴を用いた識別器を用いて実現してもよい。例えば、顔領域を抽出する方法は、非特許文献１に記載されている。
顔特徴点抽出部１３０は、顔領域に基づいて、輪郭、眉毛、目、鼻、口などの顔特徴点を抽出する。例えば、顔特徴点を抽出する方法は、非特許文献２に記載されている。
顔特徴点抽出部１３０は、顔特徴点を顔特徴点記憶部１８０に格納する。ここで、顔特徴点記憶部１８０について説明する。顔特徴点記憶部１８０は、顔特徴点テーブルを記憶する。

図３は、実施の形態１の顔特徴点テーブルの例を示す図である。顔特徴点テーブル１８０ａは、顔特徴点記憶部１８０に格納される。顔特徴点テーブル１８０ａは、特徴点、顔の向きの項目を有する。また、顔特徴点テーブル１８０ａは、座標、角度の項目を有する。
例えば、顔特徴点テーブル１８０ａには、顔特徴点抽出部１３０が左目内端を抽出した座標が登録される。なお、左目内端は、左目頭とも言う。
顔特徴点抽出部１３０は、顔特徴点から顔の向きを算出する。顔の向きは、Ｙａｗ、Ｐｉｔｃｈ、Ｒｏｌｌで表される。顔特徴点抽出部１３０は、顔の向きを顔特徴点テーブル１８０ａに登録する。

図１に戻って、顔特徴量抽出領域算出部１４０を説明する。
顔特徴量抽出領域算出部１４０は、非覚醒状態の判定に用いる顔特徴量の抽出領域を算出する。
ここで、ユーザが非覚醒状態のときに行う行為又はユーザが非覚醒状態の予兆となる行為として、ユーザは、眠気に抗う行為を行う。眠気に抗う行為とは、ユーザが故意にギュッと目をつぶる行為である。眠気に抗う行為は、ユーザが故意にギュッと目を閉じる強い瞬目と表現してもよい。ユーザが故意にギュッと目をつぶる場合、眉間に皺が生じる。そこで、顔特徴量抽出領域算出部１４０は、顔特徴量抽出領域として、顔領域内の眉間領域を算出する。

また、ユーザが飲酒に伴う非覚醒状態などの場合、ユーザは、口の渇きを潤すために唇をなめる。そこで、顔特徴量抽出領域算出部１４０は、顔特徴量抽出領域として、顔領域内の口領域を算出する。
さらに、ユーザが非覚醒状態のときに行う行為又はユーザが非覚醒状態の予兆となる行為として、ユーザは、あくびをする。ユーザがあくびを行った場合、口が開く。また、ユーザがあくびを行った場合、頬に皺が生じる。そこで、顔特徴量抽出領域算出部１４０は、顔特徴量抽出領域として、顔領域内の口領域及び頬領域を算出する。

ここで、具体例として、眉間領域の算出と口領域の算出を説明する。
図４（Ａ），（Ｂ）は、顔特徴量抽出領域の算出例を示す図である。図４（Ａ）は、眉間領域の算出例である。顔特徴量抽出領域算出部１４０は、顔特徴点抽出部１３０が抽出した顔特徴点の中から左右目頭を特定する。顔特徴量抽出領域算出部１４０は、左目頭と右目頭との間の中間点２００を算出する。顔特徴量抽出領域算出部１４０は、中間点２００を中心とした矩形領域２０１（すなわち、ａ［ｐｉｘｅｌ］×ａ［ｐｉｘｅｌ］の領域）を算出する。矩形領域２０１は、眉間領域である。このように、顔特徴量抽出領域算出部１４０は、眉間領域を算出する。

また、顔特徴量抽出領域算出部１４０は、顔領域抽出部１２０で抽出した顔領域の矩形領域に基づいて、矩形領域２０１の各辺をｋ倍する。これにより、顔特徴量抽出領域算出部１４０は、（ａ×ｋ）［ｐｉｘｅｌ］×（ａ×ｋ）［ｐｉｘｅｌ］の矩形領域を算出できる。

ここで、顔の向きにより、眉間領域が正確に算出されない場合がある。そこで、顔特徴量抽出領域算出部１４０は、顔特徴点抽出部１３０が算出した顔の向きと中間点とに基づいて、眉間領域を算出してもよい。具体的に説明する。例えば、顔が左方向に向いているとする。顔が左方向に向いている場合、眉間の皺が発生する領域の中心は、左目頭と右目頭との間の中間点よりも左の位置である。そのため、顔特徴量抽出領域算出部１４０は、当該中間点を左にｌ［ｐｉｘｅｌ］平行移動した座標を、眉間領域の中心座標として算出する。顔特徴量抽出領域算出部１４０は、中心座標を中心とした矩形領域を算出する。

図４（Ｂ）は、口領域の算出例である。顔特徴量抽出領域算出部１４０は、顔特徴点抽出部１３０が抽出した顔特徴点の中から左右口角を特定する。顔特徴量抽出領域算出部１４０は、左口角と右口角との間の中間点２１０を算出する。顔特徴量抽出領域算出部１４０は、中間点２１０を中心とした矩形領域２１１（すなわち、ｂ［ｐｉｘｅｌ］×ｂ［ｐｉｘｅｌ］の領域）を算出する。矩形領域２１１は、口領域である。このように、顔特徴量抽出領域算出部１４０は、口領域を算出する。

また、顔特徴量抽出領域算出部１４０は、顔領域抽出部１２０で抽出した顔領域の矩形領域に基づいて、矩形領域２１１の各辺をｋ倍する。これにより、顔特徴量抽出領域算出部１４０は、（ｂ×ｋ）［ｐｉｘｅｌ］×（ｂ×ｋ）［ｐｉｘｅｌ］の矩形領域を算出できる。
さらに、顔特徴量抽出領域算出部１４０は、顔特徴点抽出部１３０が算出した顔の向きと顔特徴点とに基づいて、口領域を算出してもよい。算出方法は、上述した通りである。
顔特徴量抽出領域算出部１４０は、同様に、頬領域を算出することができる。

図１に戻って、顔特徴量抽出部１５０を説明する。
顔特徴量抽出部１５０は、眉間領域、口領域、頬領域に基づいて、顔特徴量を抽出する。顔特徴量は、ＨＯＧ（ＨｉｓｔｏｇｒａｍｓｏｆＯｒｉｅｎｔｅｄＧｒａｄｉｅｎｔｓ）特徴量である。例えば、ＨＯＧ特徴量は、非特許文献３に記載されている。
また、顔特徴量は、ＨＯＧ特徴量以外でもよい。例えば、顔特徴量は、ＳＩＦＴ（ＳｃａｌｅｄＩｎｖａｒｉａｎｃｅＦｅａｔｕｒｅＴｒａｎｓｆｏｒｍ）特徴量、ＳＵＲＦ（Ｓｐｅｅｄｅｄ−ＵｐＲｏｂｕｓｔＦｅａｔｕｒｅｓ）、Ｈａａｒ−ｌｉｋｅ特徴量などである。
顔特徴量抽出部１５０は、顔特徴量を顔特徴量記憶部１８１に格納する。ここで、顔特徴量記憶部１８１について説明する。顔特徴量記憶部１８１は、顔特徴量テーブルを記憶する。

図５は、実施の形態１の顔特徴量テーブルの例を示す図である。顔特徴量テーブル１８１ａは、顔特徴量記憶部１８１に格納される。顔特徴量テーブル１８１ａは、特徴量及び値の項目を有する。顔特徴量抽出部１５０は、顔特徴量テーブル１８１ａに顔特徴量を登録する。すなわち、顔特徴量抽出部１５０は、顔特徴量テーブル１８１ａの顔特徴量の項目に顔特徴量を示す情報を登録する。そして、顔特徴量抽出部１５０は、顔特徴量テーブル１８１ａの値の項目に、顔特徴量に対応する値を登録する。
また、顔特徴量テーブル１８１ａには、取得部１１０が所定時間に取得したｎ（ｎは、２以上の整数）枚のフレームのそれぞれに対応するＨＯＧ特徴量が登録される。なお、例えば、所定時間は、５分である。

図１に戻って、状態判定部１６０を説明する。
状態判定部１６０は、複数のフレームのそれぞれにおける顔特徴量と予め作成されている判定情報とに基づいて、ユーザが非覚醒状態であるか否かを判定する。また、状態判定部１６０は、複数のフレームのそれぞれに対応する顔特徴量と予め格納されている判定情報とに基づいて、ユーザが非覚醒状態であるか否かを判定すると表現してもよい。

状態判定部１６０について、詳細に説明する。
状態判定部１６０は、ＨＯＧ特徴量に基づいて、非覚醒状態を判定する。具体的には、状態判定部１６０は、所定時間内で、上記の３つの行為をユーザが行った回数に基づいて、非覚醒状態を判定する。なお、３つの行為とは、ユーザが眉間に皺を寄せる行為、ユーザが口の渇きを潤すために唇をなめる行為、ユーザがあくびを行う行為である。また、例えば、所定時間は、５分である。

ここで、状態判定モデル記憶部１８２には、非覚醒状態を判定するための情報が記憶されている。なお、当該情報は、状態判定装置１００が非覚醒状態の判定を実行する前に、状態判定モデル記憶部１８２に予め格納されている。
当該情報は、状態判定モデルテーブルと言う。状態判定モデルテーブルについて説明する。

図６は、実施の形態１の状態判定モデルテーブルの例を示す図である。状態判定モデルテーブル１８２ａは、状態判定モデル記憶部１８２に格納される。状態判定モデルテーブル１８２ａは、非覚醒レベル、５分間に眉間に皺が寄せられた回数、５分間に唇がなめられた回数、及び５分間にあくびがされた回数の項目を有する。

状態判定モデルテーブル１８２ａは、判定情報とも言う。また、状態判定モデルテーブル１８２ａは、ユーザが眉間に皺を寄せた回数に応じた非覚醒レベルを決定するための情報を含む。状態判定モデルテーブル１８２ａは、ユーザが唇をなめた回数に応じた非覚醒レベルを決定するための情報を含む。状態判定モデルテーブル１８２ａは、ユーザがあくびをした回数に応じた非覚醒レベルを決定するための情報を含む。

ここで、状態判定部１６０が眉間に皺が寄せられたと判定する方法を説明する。状態判定部１６０は、式（１）を用いて、コサイン類似度Ｓｎを算出する。

平均値Ｈｍは、高覚醒状態（すなわち、通常状態）の複数のフレームに対して顔特徴量抽出部１５０が抽出したＨＯＧ特徴量の平均値である。なお、平均値Ｈｍは、状態判定装置１００が非覚醒状態の判定を実行する前に、予め算出される。また、例えば、平均値Ｈｍは、顔特徴量記憶部１８１に格納されている。
ＨＯＧ特徴量Ｈｎは、取得部１１０が所定時間に取得したｎフレームに対応するＨＯＧ特徴量である。

ここで、コサイン類似度Ｓｎと時間との関係の例を示す図を説明する。
図７は、実施の形態１の眉間に皺が寄せられた回数を算出する方法を説明するための図である。図７のグラフの縦軸は、コサイン類似度Ｓｎを示す。図７のグラフの横軸は、時間を示す。眉間に皺が寄せられた場合、皺のエッジが強く表れる。皺のエッジが強く表れた場合、コサイン類似度Ｓｎは、小さい値になる。

状態判定部１６０は、コサイン類似度Ｓｎが予め設定された閾値Ｓよりも小さい値の場合、眉間に皺が寄せられたと判定する。状態判定部１６０は、眉間に皺が寄せられたと判定した場合、眉間に皺が寄せられた回数をインクリメントする。

眉間に皺が寄せられたと判定する方法と唇をなめたと判定する方法とは、同様の方法である。また、眉間に皺が寄せられたと判定する方法とあくびをしたと判定する方法とは、同様の方法である。そのため、唇をなめたと判定する方法とあくびをしたと判定する方法とについては、説明を省略する。

このように、状態判定部１６０は、複数のフレームのそれぞれにおける眉間領域から抽出された顔特徴量に基づいて、ユーザが眉間に皺を寄せた回数を算出する。状態判定部１６０は、複数のフレームのそれぞれにおける口領域から抽出された顔特徴量に基づいて、ユーザが唇をなめた回数を算出する。状態判定部１６０は、複数のフレームのそれぞれにおける口領域及び頬領域から抽出された顔特徴量に基づいて、ユーザがあくびをした回数を算出する。

状態判定部１６０は、眉間に皺が寄せられた回数と状態判定モデルテーブル１８２ａとに基づいて、非覚醒レベルを決定する。状態判定部１６０は、唇がなめられた回数と状態判定モデルテーブル１８２ａとに基づいて、非覚醒レベルを決定する。状態判定部１６０は、あくびがされた回数と状態判定モデルテーブル１８２ａとに基づいて、非覚醒レベルを決定する。

図８は、実施の形態１の非覚醒レベルの具体例を示す図である。図８は、眉間に皺が寄せられた回数に基づいて決定された非覚醒レベルがレベル２であることを示している。図８は、唇がなめられた回数に基づいて決定された非覚醒レベルがレベル４であることを示している。図８は、あくびがされた回数に基づいて決定された非覚醒レベルがレベル３であることを示している。

状態判定部１６０は、３つの非覚醒レベルの平均値を算出する。例えば、状態判定部１６０は、平均値であるレベル３（＝（２＋４＋３）／３）を算出する。また、状態判定部１６０は、平均値の小数点以下を四捨五入してもよい。
状態判定部１６０は、平均値が予め設定された閾値以上の場合、ユーザが非覚醒状態であると判定する。例えば、閾値は、３である。なお、当該閾値は、閾値レベルとも言う。このように、状態判定部１６０は、平均値がレベル３以上の場合、ユーザが非覚醒状態であると判定する。なお、どのレベルを非覚醒状態と判定するかは、評価方法によって変更できる。

状態判定部１６０は、判定結果を判定結果記憶部１８３に格納する。判定結果は、平均値である。ここで、判定結果記憶部１８３について説明する。判定結果記憶部１８３は、判定結果テーブルを記憶する。

図９は、実施の形態１の判定結果テーブルの例を示す図である。判定結果テーブル１８３ａは、判定結果記憶部１８３に格納される。判定結果テーブル１８３ａは、非覚醒レベルの項目を有する。状態判定部１６０は、算出した平均値を判定結果テーブル１８３ａに登録する。

また、状態判定部１６０は、ＲａｎｄｏｍＦｏｒｅｓｔ、ＳＶＭ（ＳｕｐｐｏｒｔＶｅｃｔｏｒＭａｃｈｉｎｅ）、Ａｄａｂｏｏｓｔ、ＣＮＮ(ＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｕｒａｌＮｅｔｗｏｒｋ)などを用いて機械学習することにより得られた情報と、顔特徴量とに基づいて、非覚醒状態を判定してもよい。なお、当該情報は、判定情報とも言う。すなわち、判定情報は、機械学習により得られた情報であり、かつユーザが非覚醒状態であるか否かを判定するための情報である。

図１に戻って、出力部１７０を説明する。出力部１７０は、判定結果を出力する。出力部１７０について、詳細に説明する。
出力部１７０は、判定結果テーブル１８３ａに登録されている非覚醒レベルを出力する。例えば、出力部１７０は、非覚醒レベルをディスプレイ１０５に出力する。また、出力部１７０は、非覚醒レベルを音声出力してもよい。なお、判定結果テーブル１８３ａに登録されている非覚醒レベルは、平均値を示す情報とも言う。

出力部１７０は、判定結果テーブル１８３ａに登録されている非覚醒レベルがレベル３以上の場合、ユーザが非覚醒状態であることを出力してもよい。出力部１７０は、判定結果テーブル１８３ａに登録されている非覚醒レベルがレベル２以下の場合、ユーザが非覚醒状態でないことを出力してもよい。

次に、状態判定装置１００が実行する処理についてフローチャートを用いて説明する。
図１０は、実施の形態１の顔特徴量抽出領域の算出処理を示すフローチャートである。なお、図１０では、眉間領域の算出処理を説明する。また、図１０は、顔特徴量抽出領域算出部１４０が実行する処理の一例である。

（ステップＳ１１）顔特徴量抽出領域算出部１４０は、左右目頭の座標と顔の向きとを顔特徴点記憶部１８０から取得する。
（ステップＳ１２）顔特徴量抽出領域算出部１４０は、左目頭と右目頭との間の中間点を算出する。

（ステップＳ１３）顔特徴量抽出領域算出部１４０は、中間点と顔の向きとに基づいて、中心座標を算出する。具体的には、顔特徴量抽出領域算出部１４０は、中間点を平行移動した座標である中心座標を算出する。
（ステップＳ１４）顔特徴量抽出領域算出部１４０は、中心座標を中心とした矩形領域を算出する。
（ステップＳ１５）顔特徴量抽出領域算出部１４０は、顔領域抽出部１２０で抽出した顔領域の矩形領域を取得する。

（ステップＳ１６）顔特徴量抽出領域算出部１４０は、顔領域の矩形領域に基づいて、ステップＳ１４で算出した矩形領域の大きさを変更する。例えば、顔特徴量抽出領域算出部１４０は、顔領域の矩形領域に基づいて、矩形領域の各辺をｋ倍する。これにより、顔の大きさに応じた眉間領域が算出される。
顔特徴量抽出領域算出部１４０は、上記の処理と同様の処理により、口領域と頬領域とを算出することができる。

図１１は、実施の形態１の顔特徴量の抽出処理を示すフローチャートである。
（ステップＳ２１）顔特徴量抽出部１５０は、顔特徴量抽出領域算出部１４０が算出した３つの顔特徴量抽出領域を取得する。すなわち、３つの顔特徴量抽出領域は、眉間領域、口領域、及び頬領域である。
（ステップＳ２２）顔特徴量抽出部１５０は、眉間領域に基づいて、ＨＯＧ特徴量を抽出する。また、顔特徴量抽出部１５０は、口領域に基づいて、ＨＯＧ特徴量を抽出する。さらに、顔特徴量抽出部１５０は、頬領域に基づいて、ＨＯＧ特徴量を抽出する。

（ステップＳ２３）顔特徴量抽出部１５０は、眉間領域に基づいて抽出したＨＯＧ特徴量を顔特徴量記憶部１８１に格納する。また、顔特徴量抽出部１５０は、口領域に基づいて抽出したＨＯＧ特徴量を顔特徴量記憶部１８１に格納する。さらに、顔特徴量抽出部１５０は、頬領域に基づいて抽出したＨＯＧ特徴量を顔特徴量記憶部１８１に格納する。
これにより、顔特徴量テーブル１８１ａには、３つの顔特徴量抽出領域のそれぞれに基づいて抽出されたＨＯＧ特徴量のそれぞれが登録される。

図１２は、実施の形態１のカウント処理を示すフローチャートである。図１２では、眉間に皺が寄せられた回数をカウントする場合を説明する。
（ステップＳ３１）状態判定部１６０は、１つのフレーム（例えば、第１のフレームと言う。）から抽出された眉間領域に基づいて、抽出されたＨＯＧ特徴量を顔特徴量記憶部１８１から取得する。
（ステップＳ３２）状態判定部１６０は、式（１）を用いて、コサイン類似度Ｓｎを算出する。

（ステップＳ３３）状態判定部１６０は、ステップＳ３２で算出したコサイン類似度Ｓｎが閾値Ｓよりも小さいか否かを判定する。
例えば、ステップＳ３２で算出したコサイン類似度Ｓｎが閾値Ｓよりも小さい場合とは、眉間のしわのエッジが、強く表れる場合である。すなわち、ステップＳ３２で算出したコサイン類似度Ｓｎが閾値Ｓよりも小さい場合とは、ユーザが眉間に皺を寄せている場合である。
判定条件が満たされる場合、状態判定部１６０は、処理をステップＳ３４に進める。判定条件が満たされない場合、状態判定部１６０は、処理をステップＳ３５に進める。

（ステップＳ３４）状態判定部１６０は、眉間に皺が寄せられた回数をインクリメントする。
（ステップＳ３５）状態判定部１６０は、カウント処理を開始してから５分経過したか否かを判定する。状態判定部１６０は、５分経過している場合、処理を終了する。状態判定部１６０は、５分経過していない場合、処理をステップＳ３１に進める。なお、例えば、当該ステップＳ３１では、状態判定部１６０は、第１のフレームの次に取得部１１０が取得した第２のフレームから抽出された眉間領域に基づいて、抽出されたＨＯＧ特徴量を顔特徴量記憶部１８１から取得する。

このように、状態判定部１６０は、取得部１１０が５分間に取得したｎ枚のフレーム内の眉間領域に基づいて、抽出されたＨＯＧ特徴量のそれぞれを取得する。状態判定部１６０は、ＨＯＧ特徴量のそれぞれに基づいて、眉間に皺が寄せられたか否かを判定する。これにより、状態判定部１６０は、５分間にユーザが眉間に皺を寄せた回数を取得できる。

唇がなめられた回数は、図１１に示すカウント処理と同様の方法により、取得される。例えば、ステップＳ３１に記載の眉間領域は、口領域に変換される。これにより、状態判定部１６０は、５分間にユーザが唇をなめた回数を取得できる。

また、あくびした回数は、図１１に示すカウント処理と同様の方法により、取得される。例えば、ステップＳ３１に記載の眉間領域は、口領域と頬領域に変換される。また、例えば、ステップＳ３３では、状態判定部１６０は、口領域に対応するＨＯＧ特徴量に基づいて算出したコサイン類似度Ｓｎと、頬領域に対応するＨＯＧ特徴量に基づいて算出したコサイン類似度Ｓｎとが予め設定されている閾値よりも小さい場合、処理をステップＳ３４に進める。これにより、状態判定部１６０は、５分間にユーザがあくびをした回数を取得できる。
なお、上記の５分は、任意の時間である。そのため、５分という時間は、５分以外の時間でもよい。

図１３は、実施の形態１の非覚醒状態の判定処理を示すフローチャートである。
（ステップＳ４１）状態判定部１６０は、状態判定モデルテーブル１８２ａと眉間に皺が寄せられた回数とに基づいて、非覚醒レベルを決定する。状態判定部１６０は、状態判定モデルテーブル１８２ａと唇がなめられた回数とに基づいて、非覚醒レベルを決定する。状態判定部１６０は、状態判定モデルテーブル１８２ａとあくびした回数とに基づいて、非覚醒レベルを決定する。

（ステップＳ４２）状態判定部１６０は、３つの非覚醒レベルに基づいて、平均値を算出する。状態判定部１６０は、平均値の小数点以下を四捨五入してもよい。
（ステップＳ４３）状態判定部１６０は、平均値に基づいて、非覚醒状態を判定する。例えば、状態判定部１６０は、平均値がレベル３以上の場合、ユーザが非覚醒状態であると判定する。
（ステップＳ４４）状態判定部１６０は、判定結果を判定結果記憶部１８３に格納する。

実施の形態１によれば、状態判定装置１００は、ユーザが眉間に皺を寄せる行為、ユーザが唇をなめる行為、及びユーザがあくびをする行為に基づいて、非覚醒状態であるか否かを判定する。非覚醒状態における３つの行為は、個人差が小さい又は個人差がない。状態判定装置１００は、個人差が小さい又は個人差がないユーザの行為に基づいて、非覚醒状態を判定するため、高い精度で非覚醒状態を判定できる。

また、状態判定部１６０は、ユーザが眉間に皺を寄せた回数と状態判定モデルテーブル１８２ａとに基づいて非覚醒レベルを決定し、決定した非覚醒レベルが予め設定された閾値レベル以上の場合、ユーザが非覚醒状態であると判定してもよい。例えば、予め設定された閾値レベルは、レベル３である。出力部１７０は、決定された非覚醒レベルを出力してもよい。

また、状態判定部１６０は、ユーザが唇をなめた回数と状態判定モデルテーブル１８２ａとに基づいて非覚醒レベルを決定し、決定した非覚醒レベルが予め設定された閾値レベル以上の場合、ユーザが非覚醒状態であると判定してもよい。例えば、予め設定された閾値レベルは、レベル３である。出力部１７０は、決定された非覚醒レベルを出力してもよい。

また、状態判定部１６０は、ユーザがあくびをした回数と状態判定モデルテーブル１８２ａとに基づいて非覚醒レベルを決定し、決定した非覚醒レベルが予め設定された閾値レベル以上の場合、ユーザが非覚醒状態であると判定してもよい。例えば、予め設定された閾値レベルは、レベル３である。出力部１７０は、決定された非覚醒レベルを出力してもよい。

また、上記では、状態判定部１６０が３つの非覚醒レベルの平均値に基づいて、ユーザが非覚醒状態であるか否かを判定する場合を説明した。状態判定部１６０は、２つの非覚醒レベルの平均値に基づいて、ユーザが非覚醒状態であるか否かを判定してもよい。例えば、状態判定部１６０は、ユーザが眉間に皺を寄せた回数に基づく非覚醒レベルとユーザが唇をなめた回数に基づく非覚醒レベルとの平均値に基づいて、ユーザが非覚醒状態であるか否かを判定する。また、例えば、状態判定部１６０は、ユーザが眉間に皺を寄せた回数に基づく非覚醒レベルとユーザがあくびをした回数に基づく非覚醒レベルとの平均値に基づいて、ユーザが非覚醒状態であるか否かを判定する。また、例えば、状態判定部１６０は、ユーザが唇をなめた回数に基づく非覚醒レベルとユーザがあくびをした回数に基づく非覚醒レベルとの平均値に基づいて、ユーザが非覚醒状態であるか否かを判定する。

実施の形態２．
次に、実施の形態２を説明する。実施の形態２は、実施の形態１と相違する事項を主に説明し、実施の形態１と共通する事項の説明を省略する。実施の形態２は、図１〜１３を参照する。

図１４は、実施の形態２の状態判定装置の構成を示す機能ブロック図である。状態判定装置１００ａは、抽出部１０ａを有する。抽出部１０ａは、顔条件判定部１９１、及び顔特徴量抽出領域決定部１９２を有する。
また、状態判定装置１００ａは、平均顔特徴点モデル記憶部１８４、顔条件記憶部１８５、及び抽出領域決定モデル記憶部１８６を有する。

抽出部１０ａ、顔条件判定部１９１、及び顔特徴量抽出領域決定部１９２の一部又は全部は、プロセッサ１０１によって実現してもよい。また、抽出部１０ａ、顔条件判定部１９１、及び顔特徴量抽出領域決定部１９２の一部又は全部は、プロセッサ１０１が実行するプログラムのモジュールとして実現してもよい。例えば、プロセッサ１０１が実行するプログラムは、状態判定プログラムとも言う。

平均顔特徴点モデル記憶部１８４、顔条件記憶部１８５、及び抽出領域決定モデル記憶部１８６は、揮発性記憶装置１０２又は不揮発性記憶装置１０３に確保した記憶領域として実現してもよい。
図１に示される構成と同じ図１４の構成は、図１に示される符号と同じ符号を付している。

顔条件判定部１９１は、複数のフレームに基づいて、ユーザが装着物を装着しているか否かを判定する。例えば、顔条件判定部１９１は、顔特徴点として目の特徴点が抽出されていない場合、ユーザがサングラスを装着していると判定する。また、例えば、顔条件判定部１９１は、顔特徴点として口の特徴点が抽出されていない場合、ユーザがマスクを装着していると判定する。

また、顔条件判定部１９１は、以下で説明するように、ユーザが装着物を装着しているか否かを判定してもよい。まず、平均顔特徴点モデル記憶部１８４について説明する。平均顔特徴点モデル記憶部１８４は、平均顔特徴点モデルテーブルを記憶する。

図１５は、実施の形態２の平均顔特徴点モデルテーブルの一例を示す図である。平均顔特徴点モデルテーブル１８４ａは、平均顔特徴点モデル記憶部１８４に格納される。平均顔特徴点モデルテーブル１８４ａは、状態判定装置１００ａが非覚醒状態の判定を実行する前に、平均顔特徴点モデル記憶部１８４に格納されている。平均顔特徴点モデルテーブル１８４ａは、平均顔特徴点モデル情報とも言う。

平均顔特徴点モデルテーブル１８４ａは、特徴点と平均座標との項目を有する。平均顔特徴点モデルテーブル１８４ａは、平均的な顔の部位の位置を示す。例えば、平均顔特徴点モデルテーブル１８４ａには、多くの人の顔における平均的な左眉外端の位置が（１００，１００）であることが登録されている。

顔条件判定部１９１は、平均顔特徴点モデルテーブル１８４ａと顔特徴点とを用いて、ユーザが装着物を装着しているか否かを判定する。例えば、顔条件判定部１９１は、左目の特徴点の位置と、平均顔特徴点モデルテーブル１８４ａに登録されている左目（すなわち、左目外端及び左目内端）の平均座標の位置との距離が閾値以上の場合、左目の特徴点の位置として信頼度が低いと判定する。そして、顔条件判定部１９１は、ユーザがサングラスを装着していると判定する。同様に、顔条件判定部１９１は、口の特徴点の位置と、平均顔特徴点モデルテーブル１８４ａに登録されている口の平均座標との距離が閾値以上の場合、ユーザがマスクを装着していると判定する。

ここで、顔条件判定部１９１は、平均顔特徴点モデルテーブル１８４ａに登録されている情報と顔特徴点とを比較する場合、ユークリッド距離又はマハラノビス距離を用いる。なお、例えば、顔条件判定部１９１は、ユークリッド距離又はマハラノビス距離を用いる場合、顔特徴点抽出部１３０が抽出した左目外端と右目外端との間の距離と、平均顔特徴点モデルテーブル１８４ａに登録されている左目外端と右目外端との間の距離とを同じにする。このように、顔条件判定部１９１は、左目外端と右目外端との間の距離を用いる。また、顔条件判定部１９１は、左目外端と右目外端との間の距離以外の距離を用いてもよい。例えば、顔条件判定部１９１は、左眉外端と右眉外端との間の距離を用いる。

また、顔条件判定部１９１は、ｎフレームのいずれかのフレームに影が含まれているか否かを判定する。さらに、顔条件判定部１９１は、複数のフレームのいずれかのフレームに色飛びが存在するか否かを判定する。例えば、色飛びとは、白飛びである。白飛びとは、フレーム内に白い部分が現れることである。例えば、照明によって左方向から光が照射されている場合、フレーム内の左顔部分が色飛びする。

顔条件判定部１９１は、フレームに影又は色飛びの領域が含まれている場合、影又は色飛びの領域を特徴量抽出領域に設定しないように制御する。これにより、顔特徴量抽出領域算出部１４０は、適切な領域を顔特徴量抽出領域として算出できる。
また、顔条件判定部１９１は、ユーザが装着物を装着していない、かつフレームに影及び色飛びの領域が含まれていない場合、通常時と判定する。
顔条件判定部１９１は、判定結果を顔条件記憶部１８５に格納する。ここで、顔条件記憶部１８５について説明する。顔条件記憶部１８５は、顔条件テーブルを記憶する。

図１６（Ａ）〜（Ｃ）は、顔条件テーブルの一例を示す図である。顔条件テーブル１８５ａは、顔条件の項目を有する。
図１６（Ａ）は、顔条件判定部１９１が顔条件テーブル１８５ａに“通常時”を登録した状態を示す。図１６（Ｂ）は、顔条件判定部１９１が顔条件テーブル１８５ａに“マスク着用”を登録した状態を示す。図１６（Ｃ）は、顔条件判定部１９１が顔条件テーブル１８５ａに“左から照射”を登録した状態を示す。

顔条件判定部１９１は、顔の向きに基づいて、顔の左半分がフレームに存在しないと判定した場合、顔条件テーブル１８５ａに“斜め顔”を登録してもよい。
次に、抽出領域決定モデル記憶部１８６について説明する。抽出領域決定モデル記憶部１８６は、抽出領域決定モデルテーブルを記憶する。

図１７は、実施の形態２の抽出領域決定モデルテーブルの一例を示す図である。抽出領域決定モデルテーブル１８６ａは、抽出領域決定モデル記憶部１８６に格納される。抽出領域決定モデルテーブル１８６ａは、状態判定装置１００ａが非覚醒状態の判定を実行する前に、抽出領域決定モデル記憶部１８６に格納されている。抽出領域決定モデルテーブル１８６ａは、顔条件と顔特徴量抽出領域との項目を有する。抽出領域決定モデルテーブル１８６ａは、抽出領域決定モデル情報とも言う。抽出領域決定モデルテーブル１８６ａは、装着物が装着されている位置に応じて、顔領域のうちどの領域を顔特徴量抽出領域とするのかを示す情報である。また、抽出領域決定モデルテーブル１８６ａは、影又は色飛びが存在する位置に応じて、顔領域のうちどの領域を顔特徴量抽出領域とするのかを示す情報である。

顔特徴量抽出領域決定部１９２は、ユーザが装着物を装着していると判定された場合、抽出領域決定モデルテーブル１８６ａに基づいて、顔特徴量抽出領域を決定する。詳細には、顔特徴量抽出領域決定部１９２は、抽出領域決定モデルテーブル１８６ａと顔条件判定部１９１が判定した顔条件とに基づいて、顔特徴量抽出領域を決定する。

また、顔特徴量抽出領域決定部１９２は、複数のフレームのいずれかのフレームに影又は色飛びが存在すると判定された場合、抽出領域決定モデルテーブル１８６ａに基づいて、顔特徴量抽出領域を決定する。

例えば、顔条件判定部１９１がマスク着用と判定した場合、顔特徴量抽出領域決定部１９２は、顔特徴量抽出領域を眉間領域に決定する。ここで、ユーザがマスクを着用している場合、顔特徴量抽出領域算出部１４０が口領域及び頬領域を算出することは、困難である。そこで、顔特徴量抽出領域決定部１９２は、口領域及び頬領域を顔特徴量抽出領域にしないように制御する。そして、顔特徴量抽出領域決定部１９２は、顔特徴量抽出領域を眉間領域に決定する。
顔特徴量抽出領域算出部１４０は、顔特徴点抽出部１３０が抽出した顔特徴点に基づいて、顔特徴量抽出領域決定部１９２が決定した顔特徴量抽出領域を算出する。

次に、状態判定装置１００ａが実行する処理についてフローチャートを用いて説明する。
図１８は、実施の形態２の顔条件の判定処理を示すフローチャートである。また、図１８は、顔条件判定部１９１が実行する処理の一例である。
（ステップＳ５１）顔条件判定部１９１は、顔特徴点記憶部１８０から顔特徴点を取得する。

（ステップＳ５２）顔条件判定部１９１は、フレーム内に影又は色飛びが存在するか否かを判定する。
例えば、顔条件判定部１９１は、フレーム内の顔のある領域の色彩が黒の場合、フレーム内に影が存在すると判定する。また、例えば、顔条件判定部１９１は、フレーム内の顔のある領域の色彩が白の場合、又はフレーム内のある領域の顔特徴点を取得できていない場合、フレーム内に色飛びが存在すると判定する。なお、図１８では、影又は色飛びは、照明によって左方向から光が照射されているため、発生するものとする。

また、顔条件判定部１９１は、照明の設置場所を示す位置情報を取得した場合、当該位置情報に基づいて、影又は色飛びがフレーム内に存在するか否かを判定してもよい。
フレーム内に影又は色飛びが存在する場合、顔条件判定部１９１は、処理をステップＳ５３に進める。フレーム内に影及び色飛びが存在しない場合、顔条件判定部１９１は、処理をステップＳ５４に進める。

（ステップＳ５３）顔条件判定部１９１は、顔条件テーブル１８５ａに“左から照射”を登録する。そして、顔条件判定部１９１は、処理を終了する。
（ステップＳ５４）顔条件判定部１９１は、ユーザが装着物を装着しているか否かを判定する。例えば、顔条件判定部１９１は、顔特徴点として目の特徴点が抽出されていない場合、ユーザが装着物を装着していると判定する。
ユーザが装着物を装着している場合、顔条件判定部１９１は、処理をステップＳ５６に進める。ユーザが装着物を装着していない場合、顔条件判定部１９１は、処理をステップＳ５５に進める。

（ステップＳ５５）顔条件判定部１９１は、顔条件テーブル１８５ａに“通常時”を登録する。そして、顔条件判定部１９１は、処理を終了する。
（ステップＳ５６）顔条件判定部１９１は、ユーザがマスクを装着しているか否かを判定する。例えば、顔条件判定部１９１は、顔特徴点として口の特徴点が抽出されていない場合、ユーザがマスクを装着していると判定する。
ユーザがマスクを装着している場合、顔条件判定部１９１は、処理をステップＳ５７に進める。ユーザがマスクを装着していない場合、顔条件判定部１９１は、処理をステップＳ５８に進める。

（ステップＳ５７）顔条件判定部１９１は、顔条件テーブル１８５ａに“マスク着用”を登録する。そして、顔条件判定部１９１は、処理を終了する。
（ステップＳ５８）顔条件判定部１９１は、ユーザがサングラスを装着しているか否かを判定する。例えば、顔条件判定部１９１は、顔特徴点として目の特徴点が抽出されていない場合、ユーザがサングラスを装着していると判定する。
ユーザがサングラスを装着している場合、顔条件判定部１９１は、処理をステップＳ５９に進める。ユーザがサングラスを装着していない場合、顔条件判定部１９１は、処理を終了する。

（ステップＳ５９）顔条件判定部１９１は、顔条件テーブル１８５ａに“サングラス着用”を登録する。そして、顔条件判定部１９１は、処理を終了する。

図１９は、実施の形態２の顔特徴量抽出領域の決定処理を示すフローチャートである。
（ステップＳ６１）顔特徴量抽出領域決定部１９２は、顔条件テーブル１８５ａから顔条件を取得する。

（ステップＳ６２）顔特徴量抽出領域決定部１９２は、抽出領域決定モデルテーブル１８６ａと顔条件に基づいて、顔特徴量抽出領域を決定する。例えば、顔特徴量抽出領域決定部１９２は、顔条件が“マスク着用”の場合、顔特徴量抽出領域を眉間領域に決定する。また、例えば、顔特徴量抽出領域決定部１９２は、顔条件が“サングラス着用”の場合、顔特徴量抽出領域を口領域と頬領域に決定する。また、例えば、顔特徴量抽出領域決定部１９２は、顔条件が“左から照射”の場合、顔特徴量抽出領域を眉間領域、口領域、右頬領域に決定する。すなわち、顔特徴量抽出領域決定部１９２は、左頬領域を顔特徴量抽出領域に設定しない。

実施の形態２によれば、状態判定装置１００ａは、ユーザが装着物を装着している場合でも、抽出可能な顔特徴量抽出領域を用いて、非覚醒状態を判定できる。また、状態判定装置１００ａは、光がユーザに対して照射している場合でも、抽出可能な顔特徴量抽出領域を用いて、非覚醒状態を判定できる。

以上に説明した各実施の形態における特徴は、互いに適宜組み合わせることができる。

１０，１０ａ抽出部、１００，１００ａ状態判定装置、１０１プロセッサ、１０２揮発性記憶装置、１０３不揮発性記憶装置、１０４カメラ、１０５ディスプレイ、１１０取得部、１２０顔領域抽出部、１３０顔特徴点抽出部、１４０顔特徴量抽出領域算出部、１５０顔特徴量抽出部、１６０状態判定部、１７０出力部、１８０顔特徴点記憶部、１８０ａ顔特徴点テーブル、１８１顔特徴量記憶部、１８１ａ顔特徴量テーブル、１８２状態判定モデル記憶部、１８２ａ状態判定モデルテーブル、１８３判定結果記憶部、１８３ａ判定結果テーブル、１８４平均顔特徴点モデル記憶部、１８４ａ平均顔特徴点モデルテーブル、１８５顔条件記憶部、１８５ａ顔条件テーブル、１８６抽出領域決定モデル記憶部、１８６ａ抽出領域決定モデルテーブル、１９１顔条件判定部、１９２顔特徴量抽出領域決定部、２００中間点、２０１矩形領域、２１０中間点、２１１矩形領域。

Claims

ユーザの顔を撮影することで順次取得される複数のフレームのそれぞれのフレームから前記顔の領域を示す顔領域を抽出し、前記顔領域から顔の部位を示す顔特徴点を抽出し、前記顔特徴点に基づいて、前記ユーザが非覚醒状態であるときに前記顔領域の中で変化が生じる領域である顔特徴量抽出領域を算出し、前記顔特徴量抽出領域から特徴量である顔特徴量を抽出する抽出部と、
前記複数のフレームのそれぞれにおける前記顔特徴量と予め作成されている判定情報とに基づいて、前記ユーザが前記非覚醒状態であるか否かを判定する状態判定部と、
判定結果を出力する出力部と、
を有し、
前記顔特徴量抽出領域は、前記顔領域内の口領域であり、
前記判定情報は、前記ユーザが唇をなめた回数に応じた非覚醒レベルを決定するための情報を含み、
前記状態判定部は、前記複数のフレームのそれぞれにおける前記口領域から抽出された前記顔特徴量に基づいて、前記ユーザが唇をなめた回数を算出し、前記ユーザが唇をなめた回数と前記判定情報とに基づいて非覚醒レベルを決定し、決定した非覚醒レベルが予め設定された閾値レベル以上の場合、前記ユーザが前記非覚醒状態であると判定する、
状態判定装置。
前記出力部は、決定された非覚醒レベルを出力する、
請求項１に記載の状態判定装置。
前記顔特徴量抽出領域は、前記顔領域内の眉間領域及び前記口領域であり、
前記判定情報は、前記ユーザが眉間に皺を寄せた回数に応じた非覚醒レベルを決定するための情報及び前記ユーザが唇をなめた回数に応じた非覚醒レベルを決定するための情報を含み、
前記状態判定部は、
前記複数のフレームのそれぞれにおける前記眉間領域から抽出された前記顔特徴量に基づいて、前記ユーザが眉間に皺を寄せた回数を算出し、前記ユーザが眉間に皺を寄せた回数と前記判定情報とに基づいて非覚醒レベルを決定し、前記複数のフレームのそれぞれにおける前記口領域から抽出された前記顔特徴量に基づいて、前記ユーザが唇をなめた回数を算出し、前記ユーザが唇をなめた回数と前記判定情報とに基づいて非覚醒レベルを決定し、
決定した複数の非覚醒レベルの平均値を算出し、
前記平均値が予め設定された閾値以上の場合、前記ユーザが前記非覚醒状態であると判定する、
請求項１に記載の状態判定装置。
前記顔特徴量抽出領域は、前記顔領域内の前記口領域及び頬領域であり、
前記判定情報は、前記ユーザが唇をなめた回数に応じた非覚醒レベルを決定するための情報及び前記ユーザがあくびをした回数に応じた非覚醒レベルを決定するための情報を含み、
前記状態判定部は、
前記複数のフレームのそれぞれにおける前記口領域から抽出された前記顔特徴量に基づいて、前記ユーザが唇をなめた回数を算出し、前記ユーザが唇をなめた回数と前記判定情報とに基づいて非覚醒レベルを決定し、前記複数のフレームのそれぞれにおける前記口領域及び前記頬領域から抽出された前記顔特徴量に基づいて、前記ユーザがあくびをした回数を算出し、前記ユーザがあくびをした回数と前記判定情報とに基づいて非覚醒レベルを決定し、
決定した複数の非覚醒レベルの平均値を算出し、
前記平均値が予め設定された閾値以上の場合、前記ユーザが前記非覚醒状態であると判定する、
請求項１に記載の状態判定装置。
前記顔特徴量抽出領域は、前記顔領域内の眉間領域、前記口領域、及び頬領域であり、
前記判定情報は、前記ユーザが眉間に皺を寄せた回数に応じた非覚醒レベルを決定するための情報、前記ユーザが唇をなめた回数に応じた非覚醒レベルを決定するための情報、及び前記ユーザがあくびをした回数に応じた非覚醒レベルを決定するための情報を含み、
前記状態判定部は、
前記複数のフレームのそれぞれにおける前記眉間領域から抽出された前記顔特徴量に基づいて、前記ユーザが眉間に皺を寄せた回数を算出し、前記ユーザが眉間に皺を寄せた回数と前記判定情報とに基づいて非覚醒レベルを決定し、前記複数のフレームのそれぞれにおける前記口領域から抽出された前記顔特徴量に基づいて、前記ユーザが唇をなめた回数を算出し、前記ユーザが唇をなめた回数と前記判定情報とに基づいて非覚醒レベルを決定し、前記複数のフレームのそれぞれにおける前記口領域及び前記頬領域から抽出された前記顔特徴量に基づいて、前記ユーザがあくびをした回数を算出し、前記ユーザがあくびをした回数と前記判定情報とに基づいて非覚醒レベルを決定し、
決定した複数の非覚醒レベルの平均値を算出し、
前記平均値が予め設定された閾値以上の場合、前記ユーザが前記非覚醒状態であると判定する、
請求項１に記載の状態判定装置。
ユーザの顔を撮影することで順次取得される複数のフレームのそれぞれのフレームから前記顔の領域を示す顔領域を抽出し、前記顔領域から顔の部位を示す顔特徴点を抽出し、前記顔特徴点に基づいて、前記ユーザが非覚醒状態であるときに前記顔領域の中で変化が生じる領域である顔特徴量抽出領域を算出し、前記顔特徴量抽出領域から特徴量である顔特徴量を抽出する抽出部と、
前記複数のフレームのそれぞれにおける前記顔特徴量と予め作成されている判定情報とに基づいて、前記ユーザが前記非覚醒状態であるか否かを判定する状態判定部と、
判定結果を出力する出力部と、
を有し、
前記顔特徴量抽出領域は、前記顔領域内の眉間領域、口領域、及び頬領域であり、
前記判定情報は、前記ユーザが眉間に皺を寄せた回数に応じた非覚醒レベルを決定するための情報及び前記ユーザがあくびをした回数に応じた非覚醒レベルを決定するための情報を含み、
前記状態判定部は、
前記複数のフレームのそれぞれにおける前記眉間領域から抽出された前記顔特徴量に基づいて、前記ユーザが眉間に皺を寄せた回数を算出し、前記ユーザが眉間に皺を寄せた回数と前記判定情報とに基づいて非覚醒レベルを決定し、前記複数のフレームのそれぞれにおける前記口領域及び前記頬領域から抽出された前記顔特徴量に基づいて、前記ユーザがあくびをした回数を算出し、前記ユーザがあくびをした回数と前記判定情報とに基づいて非覚醒レベルを決定し、
決定した複数の非覚醒レベルの平均値を算出し、
前記平均値が予め設定された閾値以上の場合、前記ユーザが前記非覚醒状態であると判定する、
状態判定装置。
前記出力部は、前記平均値を示す情報を出力する、
請求項３から６のいずれか１項に記載の状態判定装置。
前記判定情報は、機械学習により得られた情報であり、かつ前記ユーザが前記非覚醒状態であるか否かを判定するための情報である、
請求項１に記載の状態判定装置。
前記複数のフレームに基づいて、前記ユーザが装着物を装着しているか否かを判定する顔条件判定部と、
前記ユーザが前記装着物を装着していると判定された場合、前記装着物が装着されている位置に応じて、前記顔領域のうちどの領域を前記顔特徴量抽出領域とするのかを示す抽出領域決定モデル情報に基づいて、前記顔特徴量抽出領域を決定する顔特徴量抽出領域決定部と、
をさらに有する、
請求項１から８のいずれか１項に記載の状態判定装置。
前記顔条件判定部は、平均的な顔の部位の位置を示す平均顔特徴点モデル情報と前記顔特徴点の位置とに基づいて、前記ユーザが前記装着物を装着しているか否かを判定する、
請求項９に記載の状態判定装置。
前記複数のフレームのいずれかのフレームに影又は色飛びが存在するか否かを判定する顔条件判定部と、
前記複数のフレームのいずれかのフレームに前記影又は前記色飛びが存在すると判定された場合、前記影又は前記色飛びが存在する位置に応じて、前記顔領域のうちどの領域を前記顔特徴量抽出領域とするのかを示す抽出領域決定モデル情報に基づいて、前記顔特徴量抽出領域を決定する顔特徴量抽出領域決定部と、
をさらに有する、
請求項１から８のいずれか１項に記載の状態判定装置。
状態判定装置が、
ユーザの顔を撮影することで順次取得される複数のフレームのそれぞれのフレームから前記顔の領域を示す顔領域を抽出し、前記顔領域から顔の部位を示す顔特徴点を抽出し、前記顔特徴点に基づいて、前記ユーザが非覚醒状態であるときに前記顔領域の中で変化が生じる領域である顔特徴量抽出領域を算出し、前記顔特徴量抽出領域から特徴量である顔特徴量を抽出し、
前記複数のフレームのそれぞれにおける前記顔特徴量と予め作成されている判定情報とに基づいて、前記ユーザが前記非覚醒状態であるか否かを判定し、
判定結果を出力し、
前記顔特徴量抽出領域は、前記顔領域内の口領域であり、
前記判定情報は、前記ユーザが唇をなめた回数に応じた非覚醒レベルを決定するための情報を含み、
前記ユーザが前記非覚醒状態であるか否かを判定する場合、前記複数のフレームのそれぞれにおける前記口領域から抽出された前記顔特徴量に基づいて、前記ユーザが唇をなめた回数を算出し、前記ユーザが唇をなめた回数と前記判定情報とに基づいて非覚醒レベルを決定し、決定した非覚醒レベルが予め設定された閾値レベル以上の場合、前記ユーザが前記非覚醒状態であると判定する、
状態判定方法。
状態判定装置が、
ユーザの顔を撮影することで順次取得される複数のフレームのそれぞれのフレームから前記顔の領域を示す顔領域を抽出し、前記顔領域から顔の部位を示す顔特徴点を抽出し、前記顔特徴点に基づいて、前記ユーザが非覚醒状態であるときに前記顔領域の中で変化が生じる領域である顔特徴量抽出領域を算出し、前記顔特徴量抽出領域から特徴量である顔特徴量を抽出し、
前記複数のフレームのそれぞれにおける前記顔特徴量と予め作成されている判定情報とに基づいて、前記ユーザが前記非覚醒状態であるか否かを判定し、
判定結果を出力し、
前記顔特徴量抽出領域は、前記顔領域内の眉間領域、口領域、及び頬領域であり、
前記判定情報は、前記ユーザが眉間に皺を寄せた回数に応じた非覚醒レベルを決定するための情報及び前記ユーザがあくびをした回数に応じた非覚醒レベルを決定するための情報を含み、
前記ユーザが前記非覚醒状態であるか否かを判定する場合、前記複数のフレームのそれぞれにおける前記眉間領域から抽出された前記顔特徴量に基づいて、前記ユーザが眉間に皺を寄せた回数を算出し、前記ユーザが眉間に皺を寄せた回数と前記判定情報とに基づいて非覚醒レベルを決定し、前記複数のフレームのそれぞれにおける前記口領域及び前記頬領域から抽出された前記顔特徴量に基づいて、前記ユーザがあくびをした回数を算出し、前記ユーザがあくびをした回数と前記判定情報とに基づいて非覚醒レベルを決定し、
決定した複数の非覚醒レベルの平均値を算出し、
前記平均値が予め設定された閾値以上の場合、前記ユーザが前記非覚醒状態であると判定する、
状態判定方法。
状態判定装置に、
ユーザの顔を撮影することで順次取得される複数のフレームのそれぞれのフレームから前記顔の領域を示す顔領域を抽出し、前記顔領域から顔の部位を示す顔特徴点を抽出し、前記顔特徴点に基づいて、前記ユーザが非覚醒状態であるときに前記顔領域の中で変化が生じる領域である顔特徴量抽出領域を算出し、前記顔特徴量抽出領域から特徴量である顔特徴量を抽出し、
前記複数のフレームのそれぞれにおける前記顔特徴量と予め作成されている判定情報とに基づいて、前記ユーザが前記非覚醒状態であるか否かを判定し、
判定結果を出力し、
前記顔特徴量抽出領域は、前記顔領域内の口領域であり、
前記判定情報は、前記ユーザが唇をなめた回数に応じた非覚醒レベルを決定するための情報を含み、
前記ユーザが前記非覚醒状態であるか否かを判定する場合、前記複数のフレームのそれぞれにおける前記口領域から抽出された前記顔特徴量に基づいて、前記ユーザが唇をなめた回数を算出し、前記ユーザが唇をなめた回数と前記判定情報とに基づいて非覚醒レベルを決定し、決定した非覚醒レベルが予め設定された閾値レベル以上の場合、前記ユーザが前記非覚醒状態であると判定する、
処理を実行させる状態判定プログラム。
状態判定装置に、
ユーザの顔を撮影することで順次取得される複数のフレームのそれぞれのフレームから前記顔の領域を示す顔領域を抽出し、前記顔領域から顔の部位を示す顔特徴点を抽出し、前記顔特徴点に基づいて、前記ユーザが非覚醒状態であるときに前記顔領域の中で変化が生じる領域である顔特徴量抽出領域を算出し、前記顔特徴量抽出領域から特徴量である顔特徴量を抽出し、
前記複数のフレームのそれぞれにおける前記顔特徴量と予め作成されている判定情報とに基づいて、前記ユーザが前記非覚醒状態であるか否かを判定し、
判定結果を出力し、
前記顔特徴量抽出領域は、前記顔領域内の眉間領域、口領域、及び頬領域であり、
前記判定情報は、前記ユーザが眉間に皺を寄せた回数に応じた非覚醒レベルを決定するための情報及び前記ユーザがあくびをした回数に応じた非覚醒レベルを決定するための情報を含み、
前記ユーザが前記非覚醒状態であるか否かを判定する場合、前記複数のフレームのそれぞれにおける前記眉間領域から抽出された前記顔特徴量に基づいて、前記ユーザが眉間に皺を寄せた回数を算出し、前記ユーザが眉間に皺を寄せた回数と前記判定情報とに基づいて非覚醒レベルを決定し、前記複数のフレームのそれぞれにおける前記口領域及び前記頬領域から抽出された前記顔特徴量に基づいて、前記ユーザがあくびをした回数を算出し、前記ユーザがあくびをした回数と前記判定情報とに基づいて非覚醒レベルを決定し、
決定した複数の非覚醒レベルの平均値を算出し、
前記平均値が予め設定された閾値以上の場合、前記ユーザが前記非覚醒状態であると判定する、
処理を実行させる状態判定プログラム。