WO2020157989A1

WO2020157989A1 - 覚醒度推定装置、覚醒度推定方法、及びコンピュータ読み取り可能な記録媒体

Info

Publication number: WO2020157989A1
Application number: PCT/JP2019/003752
Authority: WO
Inventors: 剛範辻川
Original assignee: 日本電気株式会社
Priority date: 2019-02-01
Filing date: 2019-02-01
Publication date: 2020-08-06
Also published as: US20220313132A1; JPWO2020157989A1; JP7211441B2

Abstract

覚醒度推定装置１０は、人の顔画像の画像データから、眼を含む部分の画像を抽出する、画像抽出部１１と、抽出された画像に基づいて、第１の覚醒度を推定する、第１の覚醒度推定部１２と、推定された第１の覚醒度が設定条件を満たすかどうかを判定し、第１の覚醒度が設定条件を満たす場合に、顔画像から人の脈波を検出する、脈波検出部１３と、検出された脈波に基づいて、人の第２の覚醒度を推定する、第２の覚醒度推定部１４と、を備えている。

Description

覚醒度推定装置、覚醒度推定方法、及びコンピュータ読み取り可能な記録媒体

　本発明は、人の覚醒度を推定するための、覚醒度推定装置、及び覚醒度推定方法に関し、更には、これらを実現するためのコンピュータ読み取り可能な記録媒体に関する。

　近年、少子高齢化により生産年齢人口が減少し、労働力不足が進行している。そして、このような状況下において、今まで人が行っていた仕事の一部を、ロボット又はＡＩ（Artificial Intelligence）で置き換える試みが増加している。但し、人が行う仕事のうち、知的労働が必要となる仕事については、ロボット又はＡＩでの置き換えは困難である。このため、今後、人においては、知的労働の生産性を維持、向上することが必須となる。

　ところで、人は、機械と異なり、睡眠時無呼吸症候群などの疾病、その他何等かが原因で寝不足になったり、二日酔いになったりすることで、就業中に眠気を感じる（低覚醒の状態となる）ことがある。当然、そのような状態では就業者は通常の生産性を維持することが困難となる。

　就業者の覚醒状態を検出し、就業者本人に提示し、寝不足の原因を考えさせたり、生活習慣を見直すきっかけを与えたりすることで、就業中の覚醒度の低下を抑えることができる可能性がある。そのため、人の覚醒状態を精度良く検出することが重要となる。

　例えば、特許文献１は、人の覚醒状態を検出する装置を開示している。具体的には、特許文献１に開示された装置は、顔画像からまばたきの時間を計測し、更に、心拍センサから心拍変動を計測する。そして、特許文献１に開示された装置は、計測したまばたき時間に延長が現れ、且つ、計測した心拍変動においてＨＦ成分の上昇の開始が認められると、入眠予兆と判定する。

特開２００９－１８０９１号公報

　ところで、特許文献１に開示された装置によれば、人の覚醒状態を検出することが可能となるが、そのためには、心拍を検出するためのセンサを各人に装着させる必要がある。この結果、特許文献１に開示された装置を企業等で導入するためには、コストが掛かりすぎるという問題がある。

　一方、特許文献１に開示された装置に、人の顔画像から心拍を検出する技術を導入すれば、上記問題は解決できると考えられる。但し、この場合、装置は、顔画像からまばたき時間を計測する処理に加えて、顔画像から心拍を検出する処理も常時行う必要があり、装置における処理負担が増大してしまう。また、特許文献１に開示された装置は、従業員等が業務で使用するコンピュータ、又は別の用途のために用意されたコンピュータによって実現されるため、処理負担の増大は看過できない問題である。

　本発明の目的の一例は、上記問題を解消し、導入コスト及び処理負担を増加させることなく、人の覚醒状態を検出し得る、覚醒度推定装置、覚醒度推定方法、及びコンピュータ読み取り可能な記録媒体を提供することにある。

　上記目的を達成するため、本発明の一側面における覚醒度推定装置は、
　人の顔画像の画像データから、眼を含む部分の画像を抽出する、画像抽出部と、
　抽出された前記画像に基づいて、第１の覚醒度を推定する、第１の覚醒度推定部と、
　推定された前記第１の覚醒度が設定条件を満たすかどうかを判定し、前記第１の覚醒度が前記設定条件を満たす場合に、前記顔画像から前記人の脈波を検出する、脈波検出部と、
　検出された前記脈波に基づいて、前記人の第２の覚醒度を推定する、第２の覚醒度推定部と、
を備えている、
ことを特徴とする。

　また、上記目的を達成するため、本発明の一側面における覚醒度推定方法は、
（ａ）人の顔画像の画像データから、眼を含む部分の画像を抽出する、ステップと、
（ｂ）抽出された前記画像に基づいて、第１の覚醒度を推定する、ステップと、
（ｃ）推定された前記第１の覚醒度が設定条件を満たすかどうかを判定し、前記第１の覚醒度が前記設定条件を満たす場合に、前記顔画像から前記人の脈波を検出する、ステップと、
（ｄ）検出された前記脈波に基づいて、前記人の第２の覚醒度を推定する、ステップと、
を有する、
ことを特徴とする。

　更に、上記目的を達成するため、本発明の一側面におけるコンピュータ読み取り可能な記録媒体は、
コンピュータに、
（ａ）人の顔画像の画像データから、眼を含む部分の画像を抽出する、ステップと、
（ｂ）抽出された前記画像に基づいて、第１の覚醒度を推定する、ステップと、
（ｃ）推定された前記第１の覚醒度が設定条件を満たすかどうかを判定し、前記第１の覚醒度が前記設定条件を満たす場合に、前記顔画像から前記人の脈波を検出する、ステップと、
（ｄ）検出された前記脈波に基づいて、前記人の第２の覚醒度を推定する、ステップと、
を実行させる命令を含む、プログラムを記録している、
ことを特徴とする。

　以上のように、本発明によれば、導入コスト及び処理負担を増加させることなく、人の覚醒状態を検出することができる。

図１は、本発明の実施の形態における覚醒度推定装置の構成を示すブロック図である。図２は、本発明の実施の形態において第２の覚醒度推定部が使用するニューラルネットワークの学習に用いられる学習データの一例を示す図である。図３は、本発明の実施の形態における覚醒度推定装置で行われる処理を模式的に示す図である。図４は、本発明の実施の形態における覚醒度推定装置の動作を示すフロー図である。図５は、本発明の実施の形態における変形例３で用いられる学習データの一例を示す図である。図６は、本発明の実施の形態における覚醒度推定装置を実現するコンピュータの一例を示すブロック図である。

（実施の形態）
　以下、本発明の実施の形態における、覚醒度推定装置、覚醒度推定方法、及びプログラムについて、図１～図６を参照しながら説明する。

［装置構成］
　最初に、図１を用いて、本実施の形態における覚醒度推定装置の構成について説明する。図１は、本発明の実施の形態における覚醒度推定装置の構成を示すブロック図である。

　図１に示す、本実施の形態における覚醒度推定装置１０は、人３０の覚醒度を推定する装置である。図１に示すように、覚醒度推定装置１０は、画像抽出部１１と、第１の覚醒度推定部１２と、脈波検出部１３と、第２の覚醒度推定部１４とを備えている。

　画像抽出部１１は、人３０の顔画像の画像データから、眼を含む部分の画像を抽出する。第１の覚醒度推定部１２は、抽出された画像に基づいて、第１の覚醒度を推定する。脈波検出部１３は、推定された第１の覚醒度が設定条件を満たすかどうかを判定し、第１の覚醒度が設定条件を満たす場合に、人３０の顔画像から人３０の脈波を検出する。第２の覚醒度推定部１４は、この検出された脈波に基づいて、人３０の第２の覚醒度を推定する。

　このように、本実施の形態では、まず、眼の部分の状態から推定された覚醒度が設定条件を満たす場合にのみ、顔画像からの脈波の検出処理と脈波からの覚醒度の推定とが実行されるので、装置の処理負担の増大が抑制される。また、本実施の形態において、脈波の検出のために、各人にセンサを装着させる必要はない。このため、本実施の形態によれば、導入コスト及び処理負担を増加させることなく、人の覚醒状態を検出することができる。

　続いて、本実施の形態における覚醒度推定装置１０の構成及び各部の機能についてより具体的に説明する。

　図１に示すように、本実施の形態では、覚醒度推定装置１０は、撮像装置２０に接続されている。撮像装置２０は、覚醒度推定装置を使用する人３０の顔を撮影できるように配置されおり、設定間隔で、撮影した画像（顔を含む画像）の画像データを、覚醒度推定装置１０に出力する。撮像装置２０は、デジタルカメラ、Ｗｅｂカメラ等である。

　画像抽出部１１は、本実施の形態では、まず、撮像装置２０が出力した画像データを受け取ると、その度に、受け取った画像データの特徴量を抽出する。続いて、画像抽出部１１は、抽出した特徴量と、予め登録されている眼及び他の顔の部分の特徴量とを比較し、比較結果を用いて、画像データ中の眼及びその周辺の領域を特定し、特定した領域の画像を抽出する。

　第１の覚醒度推定部１２は、本実施の形態では、画像抽出部１１によって抽出された画像（以下「抽出画像」と表記する）から、瞼の開閉状態を検出し、検出した状態に応じて、人３０が起きているかどうかを判定し、判定結果を、第１の覚醒度とする。従って、第１の覚醒度は、人３０が起きていることを示す値「１」と、人３０が眠っていることを示す値「０」と、のうちいずれかとなる。

　具体的には、第１の覚醒度推定部１２は、設定期間分の抽出画像を取得し、抽出画像毎に、抽出画像中の瞼の開閉度合（閉じている状態０．０～開いている状態１．０）を算出し、算出した開閉度合の時系列変化から、例えば、瞼が閉じられている時間を算出する。続いて、第１の覚醒度推定部１２は、瞼が閉じられている時間が閾値以下の場合は、人３０が起きていると判定し、一方、瞼が閉じられている時間が閾値を越えると、人３０が眠っていると判定する。

　そして、第１の覚醒度推定部１２は、人３０が起きていると判定した場合は、人３０が起きていることを示す第１の覚醒度を「１」とする。また、第１の覚醒度推定部１２は、人３０が眠っていると判定した場合は、人３０が眠っていることを示す第１の覚醒度を「０（ゼロ）」とする。

　脈波検出部１３は、第１の覚醒度推定部１２によって、人３０が起きていないと判定された場合、即ち、第１の覚醒度が「０」の場合に、第１の覚醒度が設定条件を満たすと判断し、撮像装置２０によって撮影された顔画像から人３０の脈波を検出する。本実施の形態では、脈波の検出は、既存の手法によって、例えば、ヘモグロビンが緑色光を吸収するという特性を利用して、顔画像における緑色成分の輝度（Ｇ値）の変化を検出することによって行われる。

　具体的には、脈波検出部１３は、出力されてきた設定期間分の画像データ毎に、抽出された画像中の全画素の緑色成分の輝度値の平均値を算出し、これによって、緑色成分の輝度値の時系列変化を取得する。次に、脈波検出部１３は、取得した輝度値の時系列変化に対して、体や頭の動き、顔の表情変化、周囲の光環境の変化等により生じるノイズを除去する処理を行い、これらの処理後の輝度値の時系列変化を、脈波とする。

　ノイズの除去処理方法としては、次に示す方法が望ましい方法としてあげられる。まず、脈波検出部１３は、設定期間分（例えば、６０秒）のノイズを含む、輝度値の時系列変化の信号を、設定期間より短い時間（例えば４秒）の窓単位で周波数変換し、窓毎にパワーが最大となる周波数（脈拍成分に相当する周波数）を算出する。そして、脈波検出部１３は、算出結果を用いて、脈拍成分に相当する周波数の時系列変化の信号を抽出する。

　次に、脈波検出部１３は、抽出した周波数の時系列変化の信号から、統計値（例えば、平均値、標準偏差、最大値、及び最小値など）を算出し、算出した統計値を用いて、その周波数の時系列変化の信号がどの周波数範囲に分布するかを特定する。その後、脈波検出部１３は、時系列変化の信号が分布している周波数範囲の信号のみを通過させる帯域通過フィルタを、設定期間分（６０秒）のノイズを含む輝度値の時系列変化の信号に適用し、これによって、脈拍成分とは無関係のノイズを除去する。

　上述のノイズの除去処理方法によれば、ノイズを含む輝度値の時系列変化の信号から算出した、脈拍に相当する周波数の値は誤差を含むが、設定期間分（６０秒）の統計値を算出することにより、時系列変化の信号が分布する周波数範囲という点では誤差は抑えられている。このため、効果的に、ノイズ除去後の輝度値の時系列変化、つまり、脈波を得ることができる。

　第２の覚醒度推定部１４は、本実施の形態では、脈波検出部１３によって脈波として検出された時系列変化に応じて、人３０が起きているかどうかを判定し、判定結果を、第２の覚醒度とする。具体的には、第２の覚醒度推定部１４は、図２に示す学習データを用いて学習されたニューラルネットワークを用いて、人３０が起きているかどうかを判定する。図２は、本発明の実施の形態において第２の覚醒度推定部が使用するニューラルネットワークの学習に用いられる学習データの一例を示す図である。

　また、本実施の形態において用いられるニューラルネットワークとしては、例えば、畳み込みニューラルネットワーク（Convolutional Neural Network）等が挙げられる。図２においては、時刻Ｔ～時刻Ｔ＋Ｎ（例えば、６０秒間）の脈波の時系列信号が、畳み込みニューラルネットワークに入力されたときに、その結果が覚醒状態（第２の覚醒度）と一致するように、ネットワークの学習が行われる。

　第２の覚醒度推定部１４は、学習データ以外の新たな脈波の時系列信号を、ニューラルネットワークに入力する。これにより、ニューラルネットワークは、第２の覚醒度の判定結果として、０または１を出力する。そして、第２の覚醒度推定部１４は、１が出力されると、人３０は起きていると判定し、０が出力されると、人３０は眠っていると判定する。

　図３は、本発明の実施の形態における覚醒度推定装置で行われる処理を模式的に示す図である。図３に示すように、覚醒度推定装置１０では、眼の状態から推定された第１の覚醒度で「眠っている」と判定されて初めて、脈波の検出が行われ、検出された脈波による第２の覚醒度の推定が行われる。

［装置動作］
　次に、本発明の実施の形態における、覚醒度推定装置１０の動作について図４を用いて説明する。図４は、本発明の実施の形態における覚醒度推定装置の動作を示すフロー図である。以下の説明においては、適宜図１を参酌する。また、本実施の形態では、覚醒度推定装置１０を動作させることによって、覚醒度推定方法が実施される。よって、本実施の形態における覚醒度推定方法の説明は、以下の覚醒度推定装置１０の動作説明に代える。

　最初に、図４に示すように、画像抽出部１１は、撮像装置２０が出力した顔画像の画像データを受け取り、受け取った画像データから、眼を含む部分の画像を抽出する（ステップＡ１）。

　次に、第１の覚醒度推定部１２は、ステップＡ１で抽出された画像（抽出画像）に基づいて、第１の覚醒度を推定する（ステップＡ２）。具体的には、第１の覚醒度推定部１２は、ステップＡ１で抽出された画像から、眼の状態を検出し、検出した状態に応じて、人３０が起きているかどうかを判定し、判定結果を、第１の覚醒度とする。

　次に、脈波検出部１３は、ステップＡ２で推定された第１の覚醒度が設定条件を満たすかどうかを判定する（ステップＡ３）。具体的には、脈波検出部１３は、第１の覚醒度が、人３０が眠っていることを示しているかどうかを判定する。

　ステップＡ３の判定の結果、第１の覚醒度が設定条件を満たさない場合、即ち、第１の覚醒度が、人３０が起きていることを示している場合は、脈波検出部１３は、第１の覚醒度を外部の装置に出力する（ステップＡ７）。これにより、第１の覚醒度が、外部の装置の画面に表示される。外部の装置としては、表示装置、端末装置等が挙げられる。

　一方、ステップＡ３の判定の結果、第１の覚醒度が設定条件を満たしている場合、即ち、第１の覚醒度が、人３０が眠っていることを示している場合は、脈波検出部１３は、ステップＡ１で取得された画像データの顔画像から、人３０の脈波を検出する（ステップＡ４）。

　次に、第２の覚醒度推定部１４は、ステップＡ４で検出された脈波に基づいて、人３０の第２の覚醒度を推定する（ステップＡ５）。具体的には、第２の覚醒度推定部１４は、本実施の形態では、脈波検出部１３によって検出された特定の画素の輝度値の時系列変化に応じて、人３０が起きているかどうかを判定し、判定結果を、第２の覚醒度とする。

　その後、第２の覚醒度推定部１４は、ステップＡ５で推定した第２の覚醒度を外部の装置に出力する（ステップＡ６）。これにより、第２の覚醒度が、外部の装置の画面に表示される。

　また、ステップＡ６又はＡ７の実行後、再度、ステップＡ１が実行される。ステップＡ１～Ａ７は繰り返し実行される。これにより、外部の装置の画面上には、常に最新の第１の覚醒度又は第２の覚醒度が表示されることになる。

［変形例］
　以下に、本実施の形態１における変形例１～４について説明する。

変形例１：
　本変形例１では、第１の覚醒度推定部１２の第１の覚醒度推定モデルを学習する際に、正解データとして与える第１の覚醒度として、顔画像を参照して付与した多段階、例えば５段階（１：全く眠くなさそう、０．７５：やや眠そう、０．５：眠そう、０．２５：かなり眠そう、０．０：非常に眠そう）の覚醒度が用いられる。第１の覚醒度推定モデルの学習は、眼の状態として、眼を閉じている時間、又はまばたきの回数等が入力され、出力が上記正解データと一致するように行われる。

　また、本変形例１では、第１の覚醒度推定部１２の出力は２値（０または１）ではなく、０～１の多値となるため、脈波検出部１３は、第１の覚醒度が閾値を下回るかどうか（条件）に応じて動作する。また、閾値を上回っている場合は、脈波検出部１３は動作せず、下回っている場合は、脈波検出部１３は動作する。

変形例２：
　本変形２では、第２の覚醒度推定部１４の第２の覚醒度推定モデルを学習する際に、正解データとして与える第２の覚醒度として、行動情報が用いられる。行動情報は、例えば、対象者に４段階（１．０：起きていた、０．６６：浅い眠りだった、０．３３：普通の眠りだった、０．０：深い眠りだった）のどれだったかを聞きとることによって取得される。

　また、本変形例２では、第２の覚醒度推定部１４の出力は２値（０または１）ではなく、０～１の多値となる。更に、本変形例２では、第２の覚醒度推定部１４によって、多値の出力が２値（起きている又は眠っている）に変換されてから出力されてもよい。

変形例３：
　本変形例３では、第２の覚醒度推定部１４は、人３０の脳の活動と人３０の脈波との関係を機械学習することによって構築された学習モデルを用いて、人３０が起きているかどうかを判定し、その判定結果を第２の覚醒度とする。

　本変形例３では、学習モデルは、例えば、図５に示す学習データを用いて畳み込みニューラルネットワークを学習することによって構築できる。図５は、本発明の実施の形態における変形例３で用いられる学習データの一例を示す図である。

　図５の例では、脈波信号と、そのときの人３０の脳の行動（レム睡眠、ノンレム睡眠又は起きている）を示すラベルとの、組合せデータが、学習データとして用いられている。この場合、第２の覚醒度推定部１４は、脈波の時系列信号を、学習モデルに適用することで、第２の覚醒度を推定する。

［実施の形態における効果］
　以上のように本実施の形態によれば、眼の状態から推定された第１の覚醒度で「眠っている」と判定されて初めて、脈波による第２の覚醒度の推定が行われるので、覚醒度推定装置１０における処理負担の増大が抑制される。また、脈波は、第１の覚醒度と同様に、顔画像から検出されるので、脈波の検出のために別途センサを用意する必要はないことから、導入コストの増加も抑制される。

［プログラム］
　本実施の形態におけるプログラムは、コンピュータに、図４に示すステップＡ１～Ａ７を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態における覚醒度推定装置１０と覚醒度推定方法とを実現することができる。この場合、コンピュータのプロセッサは、画像抽出部１１、第１の覚醒度推定部１２、脈波検出部１３、及び第２の覚醒度推定部１４として機能し、処理を行なう。

　また、本実施の形態におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されても良い。この場合は、例えば、各コンピュータが、それぞれ、画像抽出部１１、第１の覚醒度推定部１２、脈波検出部１３、及び第２の覚醒度推定部１４のいずれかとして機能しても良い。

　ここで、本実施の形態におけるプログラムを実行することによって、覚醒度推定装置１０を実現するコンピュータについて図６を用いて説明する。図６は、本発明の実施の形態における覚醒度推定装置を実現するコンピュータの一例を示すブロック図である。

　図６に示すように、コンピュータ１１０は、ＣＰＵ（Central Processing Unit）１１１と、メインメモリ１１２と、記憶装置１１３と、入力インターフェイス１１４と、表示コントローラ１１５と、データリーダ／ライタ１１６と、通信インターフェイス１１７とを備える。これらの各部は、バス１２１を介して、互いにデータ通信可能に接続される。また、コンピュータ１１０は、ＣＰＵ１１１に加えて、又はＣＰＵ１１１に代えて、ＧＰＵ（Graphics Processing Unit）、又はＦＰＧＡ（Field-Programmable Gate Array）を備えていても良い。

　ＣＰＵ１１１は、記憶装置１１３に格納された、本実施の形態におけるプログラム（コード）をメインメモリ１１２に展開し、これらを所定順序で実行することにより、各種の演算を実施する。メインメモリ１１２は、典型的には、ＤＲＡＭ（Dynamic Random Access Memory）等の揮発性の記憶装置である。また、本実施の形態におけるプログラムは、コンピュータ読み取り可能な記録媒体１２０に格納された状態で提供される。なお、本実施の形態におけるプログラムは、通信インターフェイス１１７を介して接続されたインターネット上で流通するものであっても良い。

　また、記憶装置１１３の具体例としては、ハードディスクドライブの他、フラッシュメモリ等の半導体記憶装置が挙げられる。入力インターフェイス１１４は、ＣＰＵ１１１と、キーボード及びマウスといった入力機器１１８との間のデータ伝送を仲介する。表示コントローラ１１５は、ディスプレイ装置１１９と接続され、ディスプレイ装置１１９での表示を制御する。

　データリーダ／ライタ１１６は、ＣＰＵ１１１と記録媒体１２０との間のデータ伝送を仲介し、記録媒体１２０からのプログラムの読み出し、及びコンピュータ１１０における処理結果の記録媒体１２０への書き込みを実行する。通信インターフェイス１１７は、ＣＰＵ１１１と、他のコンピュータとの間のデータ伝送を仲介する。

　また、記録媒体１２０の具体例としては、ＣＦ（Compact Flash（登録商標））及びＳＤ（Secure Digital）等の汎用的な半導体記憶デバイス、フレキシブルディスク（Flexible Disk）等の磁気記録媒体、又はＣＤ－ＲＯＭ（Compact Disk Read Only Memory）などの光学記録媒体が挙げられる。

　なお、本実施の形態における覚醒度推定装置１０は、プログラムがインストールされたコンピュータではなく、各部に対応したハードウェアを用いることによっても実現可能である。更に、覚醒度推定装置１０は、一部がプログラムで実現され、残りの部分がハードウェアで実現されていてもよい。

　上述した実施の形態の一部又は全部は、以下に記載する（付記１）～（付記２１）によって表現することができるが、以下の記載に限定されるものではない。

（付記１）
　人の顔画像の画像データから、眼を含む部分の画像を抽出する、画像抽出部と、
　抽出された前記画像に基づいて、第１の覚醒度を推定する、第１の覚醒度推定部と、
　推定された前記第１の覚醒度が設定条件を満たすかどうかを判定し、前記第１の覚醒度が前記設定条件を満たす場合に、前記顔画像から前記人の脈波を検出する、脈波検出部と、
　検出された前記脈波に基づいて、前記人の第２の覚醒度を推定する、第２の覚醒度推定部と、
を備えている、
ことを特徴とする覚醒度推定装置。

（付記２）
付記１に記載の覚醒度推定装置であって、
　前記第１の覚醒度推定部が、抽出された前記画像から、前記眼の状態を検出し、検出した状態に応じて、前記人が起きているかどうかを判定し、判定結果を、前記第１の覚醒度とし、
　前記脈波検出部が、前記第１の覚醒度推定部によって、前記人が起きていないと判定された場合に、前記第１の覚醒度が前記設定条件を満たすとして、前記顔画像から前記人の脈波を検出する、
ことを特徴とする覚醒度推定装置。

（付記３）
付記２に記載の覚醒度推定装置であって、
　前記第１の覚醒度推定部が、画像に示された眼の状態と人の覚醒状態との関係を機械学習することによって構築された学習モデルを用いて、前記人が起きているかどうかを判定する、
ことを特徴とする覚醒度推定装置。

（付記４）
付記１または２に記載の覚醒度推定装置であって、
　前記脈波検出部が、前記顔画像から、画像中の特定の画素の輝度値の時系列変化を検出することによって前記脈波を検出し、
　前記第２の覚醒度推定部が、検出された前記時系列変化に応じて、前記人が起きているかどうかを判定し、判定結果を、前記第２の覚醒度とする、
ことを特徴とする覚醒度推定装置。

（付記５）
付記４に記載の覚醒度推定装置であって、
　前記第２の覚醒度推定部が、人の行動と人の脈波との関係を機械学習することによって構築された学習モデルを用いて、前記人が起きているかどうかを判定する、
ことを特徴とする覚醒度推定装置。

（付記６）
付記４に記載の覚醒度推定装置であって、
　前記第２の覚醒度推定部が、人の脳の活動と人の脈波との関係を機械学習することによって構築された学習モデルを用いて、前記人が起きているかどうかを判定する、
ことを特徴とする覚醒度推定装置。

（付記７）
付記１から６のいずれかに記載の覚醒度推定装置であって、
　前記第２の覚醒度推定部が、脈波から推定した脈拍に応じて、脈波に含まれるノイズを除去してから、前記第２の覚醒度を推定する、
ことを特徴とする覚醒度推定装置。

（付記８）
（ａ）人の顔画像の画像データから、眼を含む部分の画像を抽出する、ステップと、
（ｂ）抽出された前記画像に基づいて、第１の覚醒度を推定する、ステップと、
（ｃ）推定された前記第１の覚醒度が設定条件を満たすかどうかを判定し、前記第１の覚醒度が前記設定条件を満たす場合に、前記顔画像から前記人の脈波を検出する、ステップと、
（ｄ）検出された前記脈波に基づいて、前記人の第２の覚醒度を推定する、ステップと、
を有する、
ことを特徴とする覚醒度推定方法。

（付記９）
付記８に記載の覚醒度推定方法であって、
　前記（ｂ）のステップにおいて、抽出された前記画像から、前記眼の状態を検出し、検出した状態に応じて、前記人が起きているかどうかを判定し、判定結果を、前記第１の覚醒度とし、
　前記（ｃ）のステップにおいて、前記（ｂ）のステップによって、前記人が起きていないと判定された場合に、前記第１の覚醒度が前記設定条件を満たすとして、前記顔画像から前記人の脈波を検出する、
ことを特徴とする覚醒度推定方法。

（付記１０）
付記９に記載の覚醒度推定方法であって、
　前記（ｂ）のステップにおいて、画像に示された眼の状態と人の覚醒状態との関係を機械学習することによって構築された学習モデルを用いて、前記人が起きているかどうかを判定する、
ことを特徴とする覚醒度推定方法。

（付記１１）
付記８または９に記載の覚醒度推定方法であって、
　前記（ｃ）のステップにおいて、前記顔画像から、画像中の特定の画素の輝度値の時系列変化を検出することによって前記脈波を検出し、
　前記（ｄ）のステップにおいて、検出された前記時系列変化に応じて、前記人が起きているかどうかを判定し、判定結果を、前記第２の覚醒度とする、
ことを特徴とする覚醒度推定方法。

（付記１２）
付記１１に記載の覚醒度推定方法であって、
　前記（ｄ）のステップにおいて、人の行動と人の脈波との関係を機械学習することによって構築された学習モデルを用いて、前記人が起きているかどうかを判定する、
ことを特徴とする覚醒度推定方法。

（付記１３）
付記１２に記載の覚醒度推定方法であって、
　前記（ｄ）のステップにおいて、人の脳の活動と人の脈波との関係を機械学習することによって構築された学習モデルを用いて、前記人が起きているかどうかを判定する、
ことを特徴とする覚醒度推定方法。

（付記１４）
付記８から１３のいずれかに記載の覚醒度推定方法であって、
　前記（ｄ）のステップにおいて、脈波から推定した脈拍に応じて、脈波に含まれるノイズを除去してから、前記第２の覚醒度を推定する、
ことを特徴とする覚醒度推定方法。

（付記１５）
コンピュータに、
（ａ）人の顔画像の画像データから、眼を含む部分の画像を抽出する、ステップと、
（ｂ）抽出された前記画像に基づいて、第１の覚醒度を推定する、ステップと、
（ｃ）推定された前記第１の覚醒度が設定条件を満たすかどうかを判定し、前記第１の覚醒度が前記設定条件を満たす場合に、前記顔画像から前記人の脈波を検出する、ステップと、
（ｄ）検出された前記脈波に基づいて、前記人の第２の覚醒度を推定する、ステップと、
を実行させる命令を含む、プログラムを記録している、
ことを特徴とするコンピュータ読み取り可能な記録媒体。

（付記１６）
付記１５に記載のコンピュータ読み取り可能な記録媒体であって、
　前記（ｂ）のステップにおいて、抽出された前記画像から、前記眼の状態を検出し、検出した状態に応じて、前記人が起きているかどうかを判定し、判定結果を、前記第１の覚醒度とし、
　前記（ｃ）のステップにおいて、前記（ｂ）のステップによって、前記人が起きていないと判定された場合に、前記第１の覚醒度が前記設定条件を満たすとして、前記顔画像から前記人の脈波を検出する、
ことを特徴とするコンピュータ読み取り可能な記録媒体。

（付記１７）
付記１６に記載のコンピュータ読み取り可能な記録媒体であって、
　前記（ｂ）のステップにおいて、画像に示された眼の状態と人の覚醒状態との関係を機械学習することによって構築された学習モデルを用いて、前記人が起きているかどうかを判定する、
ことを特徴とするコンピュータ読み取り可能な記録媒体。

（付記１８）
付記１５または１６に記載のコンピュータ読み取り可能な記録媒体であって、
　前記（ｃ）のステップにおいて、前記顔画像から、画像中の特定の画素の輝度値の時系列変化を検出することによって前記脈波を検出し、
　前記（ｄ）のステップにおいて、検出された前記時系列変化に応じて、前記人が起きているかどうかを判定し、判定結果を、前記第２の覚醒度とする、
ことを特徴とするコンピュータ読み取り可能な記録媒体。

（付記１９）
付記１８に記載のコンピュータ読み取り可能な記録媒体であって、
　前記（ｄ）のステップにおいて、人の行動と人の脈波との関係を機械学習することによって構築された学習モデルを用いて、前記人が起きているかどうかを判定する、
ことを特徴とするコンピュータ読み取り可能な記録媒体。

（付記２０）
付記１８に記載のコンピュータ読み取り可能な記録媒体であって、
　前記（ｄ）のステップにおいて、人の脳の活動と人の脈波との関係を機械学習することによって構築された学習モデルを用いて、前記人が起きているかどうかを判定する、
ことを特徴とするコンピュータ読み取り可能な記録媒体。

（付記２１）
付記１５から２０のいずれかに記載のコンピュータ読み取り可能な記録媒体であって、
　前記（ｄ）のステップにおいて、脈波から推定した脈拍に応じて、脈波に含まれるノイズを除去してから、前記第２の覚醒度を推定する、
ことを特徴とするコンピュータ読み取り可能な記録媒体。

　以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施の形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

　以上のように、本発明によれば、導入コスト及び処理負担を増加させることなく、人の覚醒状態を検出することができる。本発明は、人の覚醒状態の検出が求められているシステム、例えば、車両の運転支援システム、業務用のコンピュータシステム等に有用である。

　１０　覚醒度推定装置
　１１　画像抽出部
　１２　第１の覚醒度推定部
　１３　脈波検出部
　１４　第２の覚醒度推定部
　２０　撮像装置
　３０　人
　１１０　コンピュータ
　１１１　ＣＰＵ
　１１２　メインメモリ
　１１３　記憶装置
　１１４　入力インターフェイス
　１１５　表示コントローラ
　１１６　データリーダ／ライタ
　１１７　通信インターフェイス
　１１８　入力機器
　１１９　ディスプレイ装置
　１２０　記録媒体
　１２１　バス

Claims

　人の顔画像の画像データから、眼を含む部分の画像を抽出する、画像抽出部と、
　抽出された前記画像に基づいて、第１の覚醒度を推定する、第１の覚醒度推定部と、
　推定された前記第１の覚醒度が設定条件を満たすかどうかを判定し、前記第１の覚醒度が前記設定条件を満たす場合に、前記顔画像から前記人の脈波を検出する、脈波検出部と、
　検出された前記脈波に基づいて、前記人の第２の覚醒度を推定する、第２の覚醒度推定部と、
を備えている、
ことを特徴とする覚醒度推定装置。
請求項１に記載の覚醒度推定装置であって、
　前記第１の覚醒度推定部が、抽出された前記画像から、前記眼の状態を検出し、検出した状態に応じて、前記人が起きているかどうかを判定し、判定結果を、前記第１の覚醒度とし、
　前記脈波検出部が、前記第１の覚醒度推定部によって、前記人が起きていないと判定された場合に、前記第１の覚醒度が前記設定条件を満たすとして、前記顔画像から前記人の脈波を検出する、
ことを特徴とする覚醒度推定装置。
請求項２に記載の覚醒度推定装置であって、
　前記第１の覚醒度推定部が、画像に示された眼の状態と人の覚醒状態との関係を機械学習することによって構築された学習モデルを用いて、前記人が起きているかどうかを判定する、
ことを特徴とする覚醒度推定装置。
請求項１または２に記載の覚醒度推定装置であって、
　前記脈波検出部が、前記顔画像から、画像中の特定の画素の輝度値の時系列変化を検出することによって前記脈波を検出し、
　前記第２の覚醒度推定部が、検出された前記時系列変化に応じて、前記人が起きているかどうかを判定し、判定結果を、前記第２の覚醒度とする、
ことを特徴とする覚醒度推定装置。
請求項４に記載の覚醒度推定装置であって、
　前記第２の覚醒度推定部が、人の行動と人の脈波との関係を機械学習することによって構築された学習モデルを用いて、前記人が起きているかどうかを判定する、
ことを特徴とする覚醒度推定装置。
請求項４に記載の覚醒度推定装置であって、
　前記第２の覚醒度推定部が、人の脳の活動と人の脈波との関係を機械学習することによって構築された学習モデルを用いて、前記人が起きているかどうかを判定する、
ことを特徴とする覚醒度推定装置。
請求項１から６のいずれかに記載の覚醒度推定装置であって、
　前記第２の覚醒度推定部が、脈波から推定した脈拍に応じて、脈波に含まれるノイズを除去してから、前記第２の覚醒度を推定する、
ことを特徴とする覚醒度推定装置。
（ａ）人の顔画像の画像データから、眼を含む部分の画像を抽出する、ステップと、
（ｂ）抽出された前記画像に基づいて、第１の覚醒度を推定する、ステップと、
（ｃ）推定された前記第１の覚醒度が設定条件を満たすかどうかを判定し、前記第１の覚醒度が前記設定条件を満たす場合に、前記顔画像から前記人の脈波を検出する、ステップと、
（ｄ）検出された前記脈波に基づいて、前記人の第２の覚醒度を推定する、ステップと、
を有する、
ことを特徴とする覚醒度推定方法。
請求項８に記載の覚醒度推定方法であって、
　前記（ｂ）のステップにおいて、抽出された前記画像から、前記眼の状態を検出し、検出した状態に応じて、前記人が起きているかどうかを判定し、判定結果を、前記第１の覚醒度とし、
　前記（ｃ）のステップにおいて、前記（ｂ）のステップによって、前記人が起きていないと判定された場合に、前記第１の覚醒度が前記設定条件を満たすとして、前記顔画像から前記人の脈波を検出する、
ことを特徴とする覚醒度推定方法。
請求項９に記載の覚醒度推定方法であって、
　前記（ｂ）のステップにおいて、画像に示された眼の状態と人の覚醒状態との関係を機械学習することによって構築された学習モデルを用いて、前記人が起きているかどうかを判定する、
ことを特徴とする覚醒度推定方法。
請求項８または９に記載の覚醒度推定方法であって、
　前記（ｃ）のステップにおいて、前記顔画像から、画像中の特定の画素の輝度値の時系列変化を検出することによって前記脈波を検出し、
　前記（ｄ）のステップにおいて、検出された前記時系列変化に応じて、前記人が起きているかどうかを判定し、判定結果を、前記第２の覚醒度とする、
ことを特徴とする覚醒度推定方法。
請求項１１に記載の覚醒度推定方法であって、
　前記（ｄ）のステップにおいて、人の行動と人の脈波との関係を機械学習することによって構築された学習モデルを用いて、前記人が起きているかどうかを判定する、
ことを特徴とする覚醒度推定方法。
請求項１２に記載の覚醒度推定方法であって、
　前記（ｄ）のステップにおいて、人の脳の活動と人の脈波との関係を機械学習することによって構築された学習モデルを用いて、前記人が起きているかどうかを判定する、
ことを特徴とする覚醒度推定方法。
請求項８から１３のいずれかに記載の覚醒度推定方法であって、
　前記（ｄ）のステップにおいて、脈波から推定した脈拍に応じて、脈波に含まれるノイズを除去してから、前記第２の覚醒度を推定する、
ことを特徴とする覚醒度推定方法。
コンピュータに、
（ａ）人の顔画像の画像データから、眼を含む部分の画像を抽出する、ステップと、
（ｂ）抽出された前記画像に基づいて、第１の覚醒度を推定する、ステップと、
（ｃ）推定された前記第１の覚醒度が設定条件を満たすかどうかを判定し、前記第１の覚醒度が前記設定条件を満たす場合に、前記顔画像から前記人の脈波を検出する、ステップと、
（ｄ）検出された前記脈波に基づいて、前記人の第２の覚醒度を推定する、ステップと、
を実行させる命令を含む、プログラムを記録している、
ことを特徴とするコンピュータ読み取り可能な記録媒体。
請求項１５に記載のコンピュータ読み取り可能な記録媒体であって、
　前記（ｂ）のステップにおいて、抽出された前記画像から、前記眼の状態を検出し、検出した状態に応じて、前記人が起きているかどうかを判定し、判定結果を、前記第１の覚醒度とし、
　前記（ｃ）のステップにおいて、前記（ｂ）のステップによって、前記人が起きていないと判定された場合に、前記第１の覚醒度が前記設定条件を満たすとして、前記顔画像から前記人の脈波を検出する、
ことを特徴とするコンピュータ読み取り可能な記録媒体。
請求項１６に記載のコンピュータ読み取り可能な記録媒体であって、
　前記（ｂ）のステップにおいて、画像に示された眼の状態と人の覚醒状態との関係を機械学習することによって構築された学習モデルを用いて、前記人が起きているかどうかを判定する、
ことを特徴とするコンピュータ読み取り可能な記録媒体。
請求項１５または１６に記載のコンピュータ読み取り可能な記録媒体であって、
　前記（ｃ）のステップにおいて、前記顔画像から、画像中の特定の画素の輝度値の時系列変化を検出することによって前記脈波を検出し、
　前記（ｄ）のステップにおいて、検出された前記時系列変化に応じて、前記人が起きているかどうかを判定し、判定結果を、前記第２の覚醒度とする、
ことを特徴とするコンピュータ読み取り可能な記録媒体。
請求項１８に記載のコンピュータ読み取り可能な記録媒体であって、
　前記（ｄ）のステップにおいて、人の行動と人の脈波との関係を機械学習することによって構築された学習モデルを用いて、前記人が起きているかどうかを判定する、
ことを特徴とするコンピュータ読み取り可能な記録媒体。
請求項１８に記載のコンピュータ読み取り可能な記録媒体であって、
　前記（ｄ）のステップにおいて、人の脳の活動と人の脈波との関係を機械学習することによって構築された学習モデルを用いて、前記人が起きているかどうかを判定する、
ことを特徴とするコンピュータ読み取り可能な記録媒体。
請求項１５から２０のいずれかに記載のコンピュータ読み取り可能な記録媒体であって、
　前記（ｄ）のステップにおいて、脈波から推定した脈拍に応じて、脈波に含まれるノイズを除去してから、前記第２の覚醒度を推定する、
ことを特徴とするコンピュータ読み取り可能な記録媒体。