JP7443283B2 - 覚醒度推定方法、覚醒度推定装置及び覚醒度推定プログラム - Google Patents

覚醒度推定方法、覚醒度推定装置及び覚醒度推定プログラム Download PDF

Info

Publication number
JP7443283B2
JP7443283B2 JP2021055295A JP2021055295A JP7443283B2 JP 7443283 B2 JP7443283 B2 JP 7443283B2 JP 2021055295 A JP2021055295 A JP 2021055295A JP 2021055295 A JP2021055295 A JP 2021055295A JP 7443283 B2 JP7443283 B2 JP 7443283B2
Authority
JP
Japan
Prior art keywords
estimation
driver
arousal level
frame
alertness
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021055295A
Other languages
English (en)
Other versions
JP2022152500A (ja
Inventor
綾子 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Railway Technical Research Institute
Original Assignee
Railway Technical Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Railway Technical Research Institute filed Critical Railway Technical Research Institute
Priority to JP2021055295A priority Critical patent/JP7443283B2/ja
Publication of JP2022152500A publication Critical patent/JP2022152500A/ja
Application granted granted Critical
Publication of JP7443283B2 publication Critical patent/JP7443283B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Description

この発明は、推定対象者の覚醒度を推定する覚醒度推定方法、覚醒度推定装置及び覚醒度推定プログラムに関する。
今日の鉄道では、ATS（自動列車停止装置）や ATC（自動列車制御装置）などの保安装置の整備により、運転士の眠気による注意力の低下が重大な事故に直結する可能性は大幅に減っている。しかし、運転中の前方監視や運転速度規制下における速度制御などは、運転士の注意力に頼っている場合もあり、運転中に生じる眠気に関する問題は、安全・安定輸送のためには軽視できない。運転士が眠気により注意力を欠いたり、居眠りした状態で運転したりすることのないように、覚醒レベルがある程度以下に下がった場合、すなわち一定程度以上の眠気が生じた場合、アラームで運転士自身に知らせることなどにより、運転士を支援することが望まれる。
従来の推定器生成装置は、車両を運転する被験者の顔画像データから対象者の状態を導出するように訓練される第１推定器と、顔画像データから生理学的データを再現するように訓練される第２推定器と、第１及び第２推定器に共通エンコーダとを備えている（例えば、特許文献１参照）。この従来の推定器生成装置は、共通のエンコーダのパラメータが対象者の状態を推定する精度のより良い局所解に向かうように第１及び第２の推定器が推定している。
従来の眠気推定装置は、運転者の口の動きの継続時間及び周期性の有無に基づいて、口の動きを判定する判定手段と、口の動きの種類に基づいて、運転者の眠気を推定する推定手段とを備えている（例えば、特許文献２参照）。この従来の眠気推定装置は、口の動きが眠気による動きの場合には、運転者が眠いと判断して、運転士に覚醒刺激を提供している。
従来の眠気検知装置は、運転者の下瞼と眼球との境界に形成される影を撮影する撮影手段と、運転者が下方視であるか否かを検知する下方視検知手段と、下方視であることによる覚醒度の低下分が相殺されるように覚醒度を補正し、補正後の覚醒度に基づいて運転士の眠気を検知する眠気検知手段とを備えている（例えば、特許文献３参照）。この従来の眠気検知装置は、運転者の下瞼の輪郭形状を示す近似曲線を算出し、運転者の瞼の形状を正確に認識し、下方視であることを精度良く検知している。
特開2020-071550号公報
特開2019-111090号公報
特開2008-167806号公報
特許文献１～３に示される技術では、主に自動車運転を想定した場合の眠気を推定している。近年、自動車分野では、画像処理技術などの進展により、ドライバーの眠気や居眠りを検知する技術の実用化が図られつつあるが、列車運転士を対象として、カメラと運転士の顔の相対的位置関係、運転士の着座姿勢、指差喚呼などを伴う確認動作および求められる精度の高さなど、鉄道特有の条件に対応した眠気の検知システムは現存しない。
この発明の課題は、推定対象者の覚醒度をより高精度に推定することができる覚醒度推定方法、覚醒度推定装置及び覚醒度推定プログラムを提供することである。
この発明は、以下に記載するような解決手段により、前記課題を解決する。
なお、この発明の実施形態に対応する符号を付して説明するが、この実施形態に限定するものではない。
請求項１の発明は、図１及び図６に示すように、推定対象者（Ｍ）の覚醒度を推定する覚醒度推定方法であって、前記推定対象者の目部分及び口部分の領域のフレーム毎の画像に基づいて、機械学習によってこの推定対象者の覚醒度をフレーム毎に推定するとともに、前記推定対象者の目部分、口部分及び顔部分の領域のフレーム毎の画像を時系列化した時系列画像に基づいて、機械学習によってこの推定対象者の覚醒度を時系列画像毎に推定する覚醒度推定工程（＃１２０、＃１３０）と、前記覚醒度推定工程における推定結果に基づいて、前記推定対象者の覚醒度を総合的に推定する総合推定工程（＃１４０）とを含み、前記覚醒度推定工程は、前記推定対象者の目又は口がマスクされているときに、マスクされていない方の目部分又は口部分の領域のフレーム毎の画像に基づいて、機械学習によってこの推定対象者の覚醒度をフレーム毎に推定する工程を含むことを特徴とする覚醒度推定方法（＃１００）である。
請求項２の発明は、請求項１に記載の覚醒度推定方法において、前記覚醒度推定工程は、ディープラーニングによって前記推定対象者の覚醒度をフレーム毎に推定する工程を含むことを特徴とする覚醒度推定方法である。
請求項３の発明は、請求項１又は請求項２に記載の覚醒度推定方法において、前記覚醒度推定工程は、前記推定対象者の目部分又は口部分の領域のフレーム毎の画像に基づいて、多変量解析によってこの推定対象者の覚醒度をフレーム毎に推定する工程（＃１１０）を含むことを特徴とする覚醒度推定方法である。
請求項４の発明は、請求項１から請求項３までのいずれか１項に記載の覚醒度推定方法において、前記総合推定工程は、アンサンブル学習によって前記推定対象者の覚醒度を総合的に推定する工程を含むことを特徴とする覚醒度推定方法である。
請求項５の発明は、請求項１から請求項４までのいずれか１項に記載の覚醒度推定方法において、前記総合推定工程における推定結果に基づいて、前記推定対象者に所定の警報を提示する警報提示装置（１０）に動作を指令する動作指令工程（＃１５０）を含むことを特徴とする覚醒度推定方法である。
請求項６の発明は、図１に示すように、推定対象者（Ｍ）の覚醒度を推定するための覚醒度推定装置であって、前記推定対象者の目部分及び口部分の領域のフレーム毎の画像に基づいて、機械学習によってこの推定対象者の覚醒度をフレーム毎に推定するとともに、前記推定対象者の目部分、口部分及び顔部分の領域のフレーム毎の画像を時系列化した時系列画像に基づいて、機械学習によってこの推定対象者の覚醒度を時系列画像毎に推定する覚醒度推定部（６，７）と、前記覚醒度推定部の推定結果に基づいて、前記推定対象者の覚醒度を総合的に推定する総合推定部（８）とを備え、前記覚醒度推定部は、前記推定対象者の目又は口がマスクされているときに、マスクされていない方の目部分又は口部分の領域のフレーム毎の画像に基づいて、機械学習によってこの推定対象者の覚醒度をフレーム毎に推定することを特徴とする覚醒度推定装置（４）である。
請求項７の発明は、図７に示すように、推定対象者（Ｍ）の覚醒度を推定するための覚醒度推定プログラムであって、前記推定対象者の目部分及び口部分の領域のフレーム毎の画像に基づいて、機械学習によってこの推定対象者の覚醒度をフレーム毎に推定するとともに、前記推定対象者の目部分、口部分及び顔部分の領域のフレーム毎の画像を時系列化した時系列画像に基づいて、機械学習によってこの推定対象者の覚醒度を時系列画像毎に推定する覚醒度推定手順（Ｓ１１０，Ｓ１２０）と、前記覚醒度推定手順における推定結果に基づいて、前記推定対象者の覚醒度を総合的に推定する総合推定手順（Ｓ１３０）とをコンピュータに実行させ、前記覚醒度推定手順は、前記推定対象者の目又は口がマスクされているときに、マスクされていない方の目部分又は口部分の領域のフレーム毎の画像に基づいて、機械学習によってこの推定対象者の覚醒度をフレーム毎に推定する手順を含むことを特徴とする覚醒度推定プログラムである。
この発明によると、推定対象者の覚醒度をより高精度に推定することができる。
この発明の実施形態に係る覚醒度推定装置を備える覚醒レベル低下防止支援システムを模式的に示す構成図である。 この発明の実施形態に係る覚醒度推定装置を備える覚醒レベル低下防止支援システムの顔検出装置の原理を説明するための模式図であり、（Ａ）は頭部画像の模式図であり、（Ｂ）は顔検出動作の模式図であり、（Ｃ）は特徴点抽出動作の模式図である。 この発明の実施形態に係る覚醒度推定装置の目・口開度算出部による算出方法を説明するための模式図であり、（Ａ）は左目のアスペクト比の算出方法を一例として説明するための模式図であり、（Ｂ）は口のアスペクト比の算出方法を説明するための模式図である。 この発明の実施形態に係る覚醒度推定装置の顔変位算出部による算出方法を説明するための模式図であり、（Ａ）は１フレーム前の顔領域の画像の模式図であり、（Ｂ）は現在処理中のフレームの顔領域の画像の模式図である。 この発明の実施形態に係る覚醒度推定装置の時系列データ化部のデータ構造を示す模式図である。 この発明の実施形態に係る覚醒度推定方法を説明するための工程図である。 この発明の実施形態に係る覚醒度推定装置の動作を説明するためのフローチャートである。
以下、図面を参照して、この発明の実施形態について詳しく説明する。
図１に示す運転士Ｍは、覚醒度推定装置４によって覚醒度が推定される推定対象者である。運転士Ｍは、例えば、動力発生装置を有する機関車、電動車又は内燃動車などの鉄道車両を操縦するために、この鉄道車両に常務する動力車乗務員である。
覚醒レベル低下防止支援システム１は、列車を運転中の運転士Ｍの覚醒レベルの低下防止を支援するシステムである。覚醒レベル低下防止支援システム１は、運転士Ｍの撮影画像に基づいて運転士Ｍの顔を検出して特徴点を抽出し、運転士Ｍの顔の特徴点に基づいて運転士Ｍの覚醒度を推定することによって、運転士Ｍの眠気発生を捉えて運転士Ｍに警報を提示する。覚醒レベル低下防止支援システム１は、撮影装置２と、顔検出装置３と、覚醒度推定装置４と、警報提示装置１０などを備えている。
撮影装置２は、運転士Ｍを撮影する装置である。撮影装置２は、列車の運転室（乗務員室）内に設置されており、この運転室内で運転士Ｍの頭部を撮影する。撮影装置２は、運転室内の多様な光環境に対応可能であり、運転士Ｍの頭部の動画を撮像する。撮影装置２は、赤外線照射器２ａと、近赤外線カメラ２ｂと、制御部２ｃなどを備えている。
赤外線照射器２ａは、運転士Ｍに赤外線を照射する装置である。赤外線照射器２ａは、例えば、夜間の運転室内の消灯時における最低照度の場合であっても、運転士Ｍの頭部画像を撮影可能なように、運転士Ｍに適切な光量で赤外線を照射する。近赤外線カメラ２ｂは、運転士Ｍを撮影する近赤外線装置である。近赤外線カメラ２ｂは、例えば、列車がトンネルやビルの合間を走行して、照度が急激に変化する場合であっても、運転士Ｍの頭部を撮影可能なように、フィルタ処理によって近赤外線のみを選択的に透過させて顔画像の白飛びを防ぐ。制御部２ｃは、赤外線照射器２ａ及び近赤外線カメラ２ｂを動作制御する手段である。制御部２ｃは、例えば、運転室内の照度に応じて赤外線照射器２ａの光量を制御したり、顔画像の明るさが一定範囲に収まるように画像照度に合わせてゲイン及びシャッタ時間（露光時間）を制御したりする。制御部２ｃは、運転士Ｍの頭部画像を頭部画像データとして顔検出装置３の顔検出部３ａに出力する。
顔検出装置３は、運転士Ｍの顔を検出する装置である。顔検出装置３は、図２に示すように、撮影装置２の近赤外線カメラ２ｂによって撮影された運転士Ｍの頭部画像に基づいて運転士Ｍの顔を検出し、運転士Ｍの特徴点を抽出するとともに、この特徴点から運転士Ｍの目画像及び口画像を切り出してマスクの有無を判定する。顔検出装置３は、図１に示すように、顔検出部３ａと、特徴点抽出部３ｂと、目・口画像切出部３ｃと、マスク判定部３ｄなどを備えている。
顔検出部３ａは、運転士Ｍの撮影画像から運転士Ｍの顔を検出する手段である。顔検出部３ａは、撮影装置２の制御部２ｃが出力する頭部画像データに基づいて、図２（Ａ）（Ｂ）に示すように、顔検出部３ａが検出する運転士Ｍの頭部全体の領域から、運転士Ｍの額よりも下の顔部分の領域を検出する。顔検出部３ａは、運転士Ｍの頭部画像から運転士Ｍの顔領域を機械学習によって抽出し、この顔領域を顔画像データとして特徴点抽出部３ｂ及び時系列データ化部７ｃに出力する。ここで、機械学習とは、人工知能の一種であり、経験からの学習により自動で改善するコンピュータアルゴリズムである。機械学習は、データを学習することによってデータの特徴をつかみ識別又は予測が可能である。顔検出部３ａは、頭部画像データから反復的に学習し、この頭部画像データに潜む顔領域のパターンを見つけ出し、学習したパターンを新たな頭部画像データに当てはまることで、このパターンに従って顔領域を予測する。顔検出部３ａは、学習用データ、訓練用データ又はトレーニングデータと呼ばれるデータを使用して学習し、学習結果（学習済みのモデル）を使用して運転士Ｍの顔領域を検出する。
顔検出部３ａは、ディープラーニング(Deep learning(DL))によって顔領域を検出する。ここで、ディープラーニングとは、高度なコンピューティング性能と多層のニューラル・ネットワークとを組み合わせて、多量の撮影画像データの中に潜む複雑なパターンを学習する機械学習手法である。顔検出部３ａは、交差検証によって解析の検証及び確認をする。ここで、交差検証とは、統計学において標準データを分割して一部を解析し、残りの部分でこの解析結果のテストを行って、解析の妥当性を検証及び確認し汎化性能を評価する手法である。交差検証には、例えば、事前にデータを学習データと評価データとに分割するホールドアウト検証と、学習データと評価データとの分割を複数回行い、それぞれのデータで学習及び評価を行うｋ－分割交差検証などがある。顔検出部３ａは、例えば、頭部画像データを学習用データ（訓練データ又はトレーニングデータ）と評価用データ（テストデータ）とに分割するとともに、学習用データから検証用データを分割して検証する。顔検出部３ａは、例えば、学習用データによって学習し、検証用データによって顔検出モデルの精度を評価し、顔検出モデルのパラメータを調整して学習済みの顔検出モデルを決定し、テストデータでこの学習済みの顔検出モデルの評価を行う。顔検出部３ａは、未知の頭部画像データに学習済みの顔検出モデルを適用して、運転士Ｍの顔を検出する。
特徴点抽出部３ｂは、運転士Ｍの顔領域から特徴点を抽出する手段である。特徴点抽出部３ｂは、顔検出部３ａが出力する顔画像データに基づいて、図２（Ｂ）（Ｃ）に示すように顔検出部３ａが検出する運転士Ｍの頭部全体の領域から、運転士Ｍの目部分及び口部分の領域を特徴点として抽出する。特徴点抽出部３ｂは、機械学習によって運転士Ｍの顔領域の画像から特徴点の領域を抽出し、抽出後の特徴点の画像を特徴点画像データとして、目・口画像切出部３ｃ、特徴量算出部５ａ及び目・口開度算出部７ａに出力する。特徴点抽出部３ｂは、例えば、顔検出部３ａと同様に、ディープラーニングによって運転士Ｍの特徴点を抽出する。特徴点抽出部３ｂは、学習済みの特徴点抽出モデルを使用して運転士Ｍの特徴点を抽出する。特徴点抽出部３ｂは、未知の顔画像データに学習済みの特徴点抽出モデルを適用して、運転士Ｍの特徴点を抽出する。
目・口画像切出部３ｃは、運転士Ｍの目及び口の輪郭を切り出す手段である。目・口画像切出部３ｃは、特徴点抽出部３ｂが抽出した特徴点画像データに基づいて、運転士Ｍの目部分及び口領部分の領域から目及び口の輪郭を切り出す。目・口画像切出部３ｃは、例えば、運転士Ｍの目及び口の輪郭に外接する長方形の長辺を辺の長さとする正方形を切り出し範囲として、運転士Ｍの目部分及び口部分の領域から目及び口の輪郭を切り出す。目・口画像切出部３ｃは、特徴点抽出部３ｂが抽出する特徴点画像データから運転士Ｍの目及び口の輪郭を切り出して、運転士Ｍの目及び口の輪郭の画像を目・口画像データとしてマスク判定部３ｄ及び目画像判定部６ａに出力する。
マスク判定部３ｄは、運転士Ｍの目及び口がマスクされているか否かを判定する手段である。マスク判定部３ｄは、目・口画像切出部３ｃが切り出した目・口画像データに基づいて、運転士Ｍの目及び口がマスクされているか（隠されているか）否かを判定する。マスク判定部３ｄは、例えば、運転士Ｍがマスクを着用しているか否かを判定したり、運転士Ｍが保護眼鏡を使用しているか否かを判定したりする。マスク判定部３ｄは、例えば、顔検出部３ａ及び特徴点抽出部３ｂと同様に、学習済みのマスク判定モデルを使用して運転士Ｍの特徴点を抽出する。特徴点抽出部３ｂは、未知の目・口画像データデータに学習済みのマスク判定モデルを適用して、運転士Ｍの特徴点を抽出する。
マスク判定部３ｄは、学習済みのサポートベクターマシン(Support vector machine(SVC))によりマスク判定モデルを構成し、このマスク判定モデルによって運転士Ｍのマスクの有無を判定する。ここで、サポートベクターマシンとは、教師あり学習を用いるパターン認識モデルの一種であり、訓練例のラベルがある特定の属性を持つか否か二種類にグループ分けする二値分類であり、訓練アルゴリズムによってモデルを構築し、新たな例がどちらに分類されるか予測する学習技法である。マスク判定部３ｄは、運転士Ｍがマスクを着用しているか否かを判定する場合には、切り出した口領域の画像中の画素の輝度値の分布を表す輝度値ヒストグラムに基づいて、学習済みサポートベクターマシンによってマスク着用の有無を判定する。マスク判定部３ｄは、マスクの有無をマスク判定データとして目画像判定部６ａ及び口画像判定部６ｂに出力する。
覚醒度推定装置４は、運転士Ｍの覚醒度を推定する装置である。覚醒度推定装置４は、多変量解析、フレーム毎の画像ディープラーニング及び時系列ディープラーニングによって画像を解析して覚醒度推定値（眠気評定値）を演算するとともに、これらの覚醒度推定値から総合推定値を演算する。覚醒度推定装置４は、覚醒度推定部５～７と、総合推定部８と、動作指令部９などを備えている。覚醒度推定装置４は、例えば、パーソナルコンピュータなどによって構成されており、運転士Ｍの覚醒度を推定するための覚醒度推定プログラムに従って所定の処理をコンピュータに実行させる。覚醒度推定装置４は、例えば、学習用データ、評価データ及び検証用データや、頭部画像データ、顔画像データ、特徴点画像データ、目・口画像データ、マスク判定データ、眠気特徴量データ、覚醒度推定値データ、目・口開度データ、顔変位データ、時系列データ及び総合推定値データなどの種々のデータや、学習済みの目画像判定モデル、口画像判定モデル、時系列データ解析モデルなどの種々の学習済みモデルを記憶する記憶装置を備えている。
覚醒度推定部５は、運転士Ｍの特徴点のフレーム毎の画像に基づいて、多変量解析によって運転士Ｍの覚醒度を推定する手段である。覚醒度推定部５は、主成分回帰分析を用いた覚醒度推定式によって、眠気と関係すると考えられる瞬きに関する眠気特徴量を算出し、運転士Ｍの覚醒度を推定する。覚醒度推定部５は、特徴量算出部５ａと多変量解析部５ｂなどを備えている。
特徴量算出部５ａは、眠気特徴量を算出する手段である。特徴量算出部５ａは、運転士Ｍの特徴点のフレーム毎の画像に基づいて、覚醒度の推定に用いる眠気特徴量を算出する。特徴量算出部５ａは、特徴点抽出部３ｂが抽出した運転士Ｍの目及び口の輪郭の画像である特徴点画像データに基づいて、開眼度、開眼度の標準偏差、開眼時間割合及び顔の向きなどの眠気特徴量を算出する。ここで、開眼度は、目の開き具合である。開眼時間割合は、単位時間当たりの開眼時間の割合である。特徴量算出部５ａは、算出後の眠気特徴量を眠気特徴量データとして多変量解析部５ｂに出力する。
多変量解析部５ｂは、運転士Ｍの覚醒度を多変量解析によって推定する手段である。多変量解析部５ｂは、特徴量算出部５ａが出力する眠気特徴量データに基づいて、運転士Ｍの覚醒度を推定する。多変量解析部５ｂは、例えば、以下の数１に示すような主成分回帰分析を用いた覚醒度推定式によって運転士Ｍの覚醒度を推定する。
Figure 0007443283000001
ここで、数１に示すｙ：覚醒度推定値、ｘn：眠気特徴量、ａn：眠気特徴量のパラメータ、ａ0：定数項である。多変量解析部５ｂは、推定後の覚醒度推定値ｙを覚醒度推定値データとして総合推定部８に出力する。
覚醒度推定部６は、運転士Ｍの特徴点のフレーム毎の画像に基づいて、機械学習によって運転士Ｍの覚醒度を推定する手段である。覚醒度推定部６は、運転士Ｍの目又は口がマスクされているときに、マスクされていない方の目画像又は口画像に基づいて、機械学習によって運転士Ｍの覚醒度を推定する。覚醒度推定部６は、近赤外線カメラ２ｂが撮像する動画のフレーム毎の画像（静止画）に対して、ディープラーニング（画像ディープラーニング）によって運転士Ｍの覚醒度を推定する。覚醒度推定部６は、目・口画像切出部３ｃが切り出した目・口画像データに基づいて、運転士Ｍの覚醒度を推定する。覚醒度推定部６は、目画像判定部６ａと、口画像判定部６ｂと、総合判定部６ｃなどを備えている。
目画像判定部６ａは、運転士Ｍの目画像に基づいて運転士Ｍの覚醒度を判定する手段である。目画像判定部６ａは、例えば、運転士Ｍがマスクを着用している場合には、運転士Ｍの口がマスクによって隠されているため、運転士Ｍの口画像を使用せずに運転士Ｍの目画像に基づいて運転士Ｍの覚醒度を推定する。目画像判定部６ａは、例えば、運転士Ｍが保護眼鏡を着用していない場合には、運転士Ｍの目が保護眼鏡によって隠されていないため、運転士Ｍの口画像を使用せずに運転士Ｍの目画像に基づいて運転士Ｍの覚醒度を推定する。目画像判定部６ａは、例えば、目・口画像データを学習用データと評価用データとに分割するとともに、学習用データから検証用データを分割して検証する。目画像判定部６ａは、例えば、学習用データによって学習し、検証用データによって目画像判定モデルの精度を評価し、目画像判定モデルのパラメータを調整して学習済みの目画像判定モデルを決定し、テストデータでこの学習済みの目画像判定モデルの評価を行う。目画像判定部６ａは、未知の目・口画像データに学習済みの目画像判定モデルを適用して、運転士Ｍの覚醒度を推定する。目画像判定部６ａは、例えば、運転士Ｍの左右の目を同一の目画像判定モデル（画像解析モデル）で扱うために、左目領域の目画像を左右反転して判定する。目画像判定部６ａは、判定後の運転士Ｍの覚醒度推定値を覚醒度推定値データとして総合判定部６ｃに出力する。
口画像判定部６ｂは、運転士Ｍの口画像に基づいて運転士Ｍの覚醒度を判定する手段である。口画像判定部６ｂは、例えば、運転士Ｍが保護眼鏡を着用している場合には、運転士Ｍの目が保護眼鏡によって隠されているため、運転士Ｍの目画像を使用せずに運転士Ｍの口画像に基づいて運転士Ｍの覚醒度を推定する。口画像判定部６ｂは、例えば、運転士Ｍがマスクを着用していない場合には、運転士Ｍの口がマスクによって隠されていないため、運転士Ｍの目画像を使用せずに運転士Ｍの口画像に基づいて運転士Ｍの覚醒度を推定する。口画像判定部６ｂは、例えば、学習用データによって学習し、検証用データによって口画像判定モデルの精度を評価し、口画像判定モデルのパラメータを調整して学習済みの口画像判定モデルを決定し、テストデータでこの学習済みの口画像判定モデルの評価を行う。口画像判定部６ｂは、未知の目・口画像データに学習済みの口画像判定モデルを適用して、運転士Ｍの覚醒度を推定する。口画像判定部６ｂは、判定後の運転士Ｍの覚醒度推定値を覚醒度推定値データとして総合判定部６ｃに出力する。
総合判定部６ｃは、運転士Ｍの目画像及び口画像に基づく運転士Ｍの覚醒度を総合的に判断する手段である。総合判定部６ｃは、目画像判定部６ａが判定した覚醒度推定値と、口画像判定部６ｂが判定した覚醒度推定値とを総合的に判定する。総合判定部６ｃは、例えば、目画像判定部６ａによる覚醒度推定値と、口画像判定部６ｂによる覚醒度推定値とを重み付けすることによって覚醒度推定値を総合的に判定する。総合判定部６ｃは、判定後の運転士Ｍの覚醒度推定値を覚醒度推定値データとして総合推定部８に出力する。
覚醒度推定部７は、運転士Ｍの特徴点の時系列画像に基づいて、機械学習によって運転士Ｍの覚醒度を推定する手段である。覚醒度推定部７は、顔検出部３ａが出力する顔画像データと、特徴点抽出部３ｂが出力する特徴点画像データとに基づいて、ディープラーニング（時系列ディープラーニング）によって運転士Ｍの覚醒度を推定する。覚醒度推定部７は、目・口開度算出部７ａと、顔変位算出部７ｂと、時系列データ化部７ｃと、時系列データ解析部７ｄなどを備えている。
目・口開度算出部７ａは、運転士Ｍの目の開き度合及び運転士Ｍの口の開き度合を算出する手段である。目・口開度算出部７ａは、特徴点抽出部３ｂが出力する特徴点画像データに基づいて、図３（Ａ）に示す運転士Ｍの目の目アスペクト比EARと、図３（Ｂ）に示す運転士Ｍの口の口アスペクト比MARとを、以下の数２によって算出する。
Figure 0007443283000002
目・口開度算出部７ａは、算出後の目アスペクト比EAR及び口アスペクト比MARを目・口開度データとして時系列データ化部７ｃに出力する。
顔変位算出部７ｂは、顔領域の画像の中心座標の変位を算出する手段である。顔変位算出部７ｂは、顔検出部３ａが検出した運転士Ｍの顔領域の画像の中心座標の２フレーム間の変位を算出する。顔変位算出部７ｂは、図４に示すように、絶対座標における変位を以下の数３によって0～1に正規化する。
Figure 0007443283000003
ここで、数３に示すｈ：高さ、Ｗ：幅、Δｘ：横方向の顔変位、Δｙ：縦方向の顔変位である。顔変位算出部７ｂは、正規化後の横方向の顔変位Δ及び縦方向の顔変位Δｙを顔変位データとして時系列データ化部７ｃに出力する。
時系列データ化部７ｃは、目・口開度及び顔変位を時系列データ化する手段である。時系列データ化部７ｃは、学習データ及び評価データの各フレームの目アスペクト比EAR、口アスペクト比MAR及び顔変位に基づいて、時系列解析モデルの入力サイズ（タイムステップ）数の連続フレームの値を結合した時系列データを生成する。時系列データ化部７ｃは、例えば、図５に示すように、１フレームずつスライドしながら時系列データを採取し、フレーム数Ｎの動画からステップタイムｍの時系列データをＮ-ｍ+１個採取する。なお、図５に示すように、目・口領域の検出に失敗した場合には-1を設定する。時系列データ化部７ｃは、データ化後の目・口開度及び顔変位の時系列データを時系列データ解析部７ｄに出力する。
時系列データ解析部７ｄは、目・口開度及び顔変位の時系列データを解析する手段である。時系列データ解析部７ｄは、例えば、図５に示すような時系列データを学習用データ、評価用データ及び検証用データに分けて、学習用データによって学習し、検証用データによって時系列解析モデル（時系列モデル）の精度を評価し、時系列解析モデルのパラメータを調整して学習済みの時系列解析モデルを決定し、テストデータでこの学習済みの時系列解析モデルの評価を行う。時系列データ解析部７ｄは、未知の時系列データに学習済みの時系列解析モデルを適用して、運転士Ｍの覚醒度を推定する。
時系列データ解析部７ｄは、回帰型ニューラル・ネットワーク(Recurrent Neural Network(RNN))の一種である長・短期記憶(Long Short-Term Memory(LSTM))）層と全結合層によって構成されたモデルを時系列解析モデルとして使用する。ここで、RNNとは、ノード間の結合が配列に沿った有向グラフを形成する人工ニューラル・ネットワークである。LSTMとは、ディープラーニングの分野で用いられるRNNアーキテクチャである。時系列データ解析部７ｄは、例えば、シーケンス入力層、LSTM 層、全結合層、ソフトマックス層及び分類出力層を含む層配列を生成し、正規化線形関数を利用した正規化線形ユニット(Rectified Linear Unit(ReLU))を使用する。時系列データ解析部７ｄは、解析後の運転士Ｍの覚醒度推定値を覚醒度推定値データとして総合推定部８に出力する。
総合推定部８は、覚醒度推定部５～７の推定結果に基づいて、運転士Ｍの覚醒度を総合的に推定する手段である。総合推定部８は、アンサンブル学習によって運転士Ｍの覚醒度を総合的に推定する。総合推定部８は、覚醒度推定部５～７の推定結果からアンサンブル学習によってより精度の高い覚醒度推定値を求める。総合推定部８は、例えば、覚醒度推定部５～７が学習済みの各モデル（１段目のモデル）によって推定した第一段階の覚醒度推定値をメタモデル（２段目のモデル）によって取りまとめて、この第一段階の覚醒度推定値を特徴量として学習し、精度の高い第２段階の覚醒度推定値を推定するスタッキング(stacking)によるアンサンブル学習を行う。総合推定部８は、例えば、メタモデルで用いるアルゴリズムとして線形回帰モデルのような回帰モデルを使用する。総合推定部８は、推定後の総合推定値を総合推定値データとして動作指令部９に出力する。
動作指令部９は、警報提示装置１０に動作を指令する手段である。動作指令部９は、総合推定部８が出力する総合推定値データに基づいて、警報提示装置１０に動作を指令する。動作指令部９は、例えば、総合推定部８が推定した総合推定値に応じた警報を警報提示装置１０が提示するように、警報提示装置１０に警報提示動作を指令する。
警報提示装置１０は、運転士Ｍに所定の警報を提示する装置である。警報提示装置１０は、視覚又は聴覚を通じて運転士Ｍに警報を提示する。警報提示装置１０は、総合推定値に基づいて運転士Ｍの覚醒度（眠気度）に応じた警報を提示する。警報提示装置１０は、例えば、運転士Ｍの眠気度に応じて警報の程度を変化させたり、運転士Ｍに弱い眠気度が何度も現れたときに警報を提示したりする。警報提示装置１０は、例えば、不安定な音や警報音を発生させたり、「眠そうです」のような音声で警報したり、運転台に警報を表示させたりする。
次に、この発明の実施形態に係る覚醒度推定方法について説明する。
図６に示す覚醒度推定方法＃１００は、運転士Ｍの覚醒度を推定する方法である。覚醒度推定方法＃１００では、多変量解析、フレーム毎の画像ディープラーニング及び時系列ディープラーニングによって画像を解析して覚醒度推定値（眠気評定値）を演算するとともに、これらの覚醒度推定値から総合推定値を演算する。覚醒度推定方法＃１００は、覚醒度推定工程＃１１０～＃１３０と、総合推定工程＃１４０と、動作指令工程＃１５０などを含む。
覚醒度推定工程＃１１０は、運転士Ｍの特徴点のフレーム毎の画像に基づいて、多変量解析によって運転士Ｍの覚醒度を推定する工程である。覚醒度推定工程＃１１０では、運転士Ｍの特徴点のフレーム毎の画像に基づいて、覚醒度の推定に用いる眠気特徴量を算出し、この眠気特徴量に基づいて運転士Ｍの覚醒度を数１によって推定する。
覚醒度推定工程＃１２０は、運転士Ｍの特徴点のフレーム毎の画像に基づいて、機械学習によって運転士Ｍの覚醒度を推定する工程である。覚醒度推定工程＃１２０では、運転士Ｍの目又は口がマスクされているときには、マスクされていない方の目画像又は口画像に基づいて、機械学習によって運転士Ｍの覚醒度を推定する。覚醒度推定工程＃１２０では、運転士Ｍのフレーム毎の目画像又は口画像に基づいて、画像ディープラーニングによって運転士Ｍの覚醒度を推定する。覚醒度推定工程＃１２０では、学習済みの目画像判定モデルによって、未知の目・口画像データに目画像判定モデルを適用して運転士Ｍの目画像を判定し、運転士Ｍの覚醒度を推定する。覚醒度推定工程＃１２０では、学習済みの口画像判定モデルによって、未知の目・口画像データに口画像判定モデルを適用して運転士Ｍの口画像を判定し、運転士Ｍの覚醒度を推定する。覚醒度推定工程＃１２０では、目画像判定部６ａが判定した覚醒度推定値と、口画像判定部６ｂが判定した覚醒度推定値とを総合的に判定する。
覚醒度推定工程＃１３０は、運転士Ｍの特徴点の時系列画像に基づいて、機械学習によって運転士Ｍの覚醒度を推定する工程である。覚醒度推定工程＃１３０は、運転士Ｍの時系列の目画像又は口画像に基づいて、時系列ディープラーニングによって運転士Ｍの覚醒度を推定する。覚醒度推定工程＃１３０では、図３に示すように、運転士Ｍの目の開き具合及び運転士Ｍの口の開き具合を数２によって算出するとともに、図４に示すように顔領域の画像の中心座標の変位を数３によって算出する。覚醒度推定工程＃１３０では、図５に示すように、目・口開度及び顔変位を時系列データ化し、学習済みの時系列解析モデルによって、未知の時系列データに時系列解析モデルを適用して運転士Ｍの覚醒度を推定する。
総合推定工程＃１４０は、覚醒度推定工程＃１１０～＃１３０における推定結果に基づいて、運転士Ｍの覚醒度を総合的に推定する工程である。総合推定工程＃１４０では、アンサンブル学習によって運転士Ｍの覚醒度を総合的に推定して、より精度の高い覚醒度推定値を求める。
動作指令工程＃１５０は、総合推定工程＃１４０における推定結果に基づいて、警報提示装置１０に動作を指令する工程である。動作指令工程＃１５０では、総合推定工程＃１４０において推定した総合推定値に基づいて、警報提示装置１０に動作を指令する。その結果、警報提示装置１０が所定の警報を運転士Ｍに提示する。
次に、この発明の実施形態に係る覚醒度推定装置の動作を説明する。
ステップ（以下、Ｓという）１００において、運転士Ｍの特徴点のフレーム毎の画像に基づいて、多変量解析によって運転士Ｍの覚醒度を覚醒度推定部５が推定する。図１に示す特徴点抽出部３ｂが出力する特徴点画像データに基づいて、特徴量算出部５ａが眠気特徴量を算出し、算出後の眠気特徴量を眠気特徴量データとして特徴量算出部５ａが多変量解析部５ｂに出力する。特徴量算出部５ａが算出する眠気特徴量に基づいて、運転士Ｍの覚醒度を数１によって多変量解析部５ｂが推定し、推定後の覚醒度推定値を覚醒度推定値データとして総合推定部８に多変量解析部５ｂが出力する。
Ｓ１１０において、運転士Ｍの特徴点のフレーム毎の画像に基づいて、機械学習によって運転士Ｍの覚醒度を覚醒度推定部６が推定する。運転士Ｍのマスクされていない方の目画像又は口画像に基づいて、図１に示す覚醒度推定部６が機械学習によって運転士Ｍの覚醒度を推定する。目・口画像切出部３ｃが切り出した運転士Ｍのフレーム毎の目画像又は口画像に基づいて、画像ディープラーニングによって運転士Ｍの覚醒度を覚醒度推定部６が推定する。例えば、運転士Ｍの口がマスクによって隠されている場合には、運転士Ｍの目画像に基づいて運転士Ｍの覚醒度推定値を目画像判定モデルによって目画像判定部６ａが推定し、この覚醒度推定値を覚醒度推定値データとして総合判定部６ｃに目画像判定部６ａが出力する。一方、運転士Ｍの目が保護眼鏡によって隠されている場合には、運転士Ｍの口画像に基づいて運転士Ｍの覚醒度推定値を口画像判定モデルによって口画像判定部６ｂが推定し、この覚醒度推定値を覚醒度推定値データとして総合判定部６ｃに口画像判定部６ｂが出力する。目画像判定部６ａが判定した覚醒度推定値と、口画像判定部６ｂが判定した覚醒度推定値とを総合判定部６ｃが総合的に判定して、判定後の運転士Ｍの覚醒度推定値を覚醒度推定値データとして総合推定部８に出力する。
Ｓ１２０において、運転士Ｍの特徴点の時系列画像に基づいて、機械学習によって運転士Ｍの覚醒度を覚醒度推定部７が推定する。覚醒度推定部７が時系列ディープラーニングによって運転士Ｍの覚醒度を推定する。図１に示す特徴点抽出部３ｂが抽出した運転士Ｍのフレーム毎の目画像又は口画像に基づいて、運転士Ｍの目の開き具合及び運転士Ｍの口の開き具合を目・口開度算出部７ａが数２によって算出する。その結果、運転士Ｍの目の開き具合及び運転士Ｍの口の開き具合を目・口開度データとして目・口開度算出部７ａが時系列データ化部７ｃに出力する。顔検出部３ａが検出した運転士Ｍのフレーム毎の顔画像に基づいて、運転士Ｍの顔領域の画像の中心座標の変位を顔変位算出部７ｂが数３によって算出し、運転士Ｍの顔変位Δｘ，Δｙを顔変位データとして顔変位算出部７ｂが時系列データ化部７ｃに出力する。
目・口開度算出部７ａが出力する目・口開度データと、顔変位算出部７ｂが出力する顔変位データとを時系列データ化部７ｃが時系列データ化し、時系列データを時系列データ化部７ｃが時系列データ解析部７ｄに出力する。その結果、学習済みの時系列解析モデルに未知の時系列データを適用して運転士Ｍの覚醒度を時系列データ解析部７ｄが推定し、解析後の運転士Ｍの覚醒度推定値を覚醒度推定値データとして総合推定部８に出力する。
Ｓ１３０において、覚醒度推定部５～７の推定結果に基づいて、総合推定部８が運転士Ｍの覚醒度を総合的に推定する。覚醒度推定部５～７の推定結果からアンサンブル学習によってより精度の高い覚醒度推定値を総合推定部８が総合的に推定する。覚醒度推定部５～７が推定した学習済みの各モデルによる覚醒度推定値を、総合推定部８がメタモデルによって取りまとめて、この覚醒度推定値を特徴量として総合推定部８が学習し、精度の高い覚醒度推定値を総合推定部８が推定する。推定後の総合推定値を総合推定値データとして動作指令部９に総合推定部８が出力する。
Ｓ１４０において、総合推定部８の推定結果に基づいて、動作指令部９が警報提示装置１０に動作を指令する。総合推定部８が出力する総合推定値データに基づいて、総合推定部８が推定した総合推定値に応じた警報を警報提示装置１０が提示するように、警報提示装置１０に警報提示動作を動作指令部９が指令する。
この発明の実施形態に係る覚醒度推定方法、覚醒度推定装置及び覚醒度推定プログラムには、以下に記載するような効果がある。
(1) この実施形態では、運転士Ｍの特徴点のフレーム毎の画像に基づいて、機械学習によって運転士Ｍの覚醒度を推定するとともに、運転士Ｍ者の特徴点の時系列画像に基づいて、機械学習によって運転士Ｍの覚醒度を推定し、これらの覚醒度の推定結果に基づいて、運転士Ｍの覚醒度を総合的に推定する。このため、運転士Ｍの特徴点のフレーム毎の画像に基づく覚醒度推定値と、運転士Ｍの特徴点の時系列画像に基づく覚醒度推定値とを互いに補完することによって、より一層高精度に覚醒度推定値を求めることができる。
(2) この実施形態では、ディープラーニングによって運転士Ｍの覚醒度を推定する。このため、運転士Ｍの特徴点の画像データから自動的に特徴点を抽出し、高精度に運転士Ｍの覚醒度を推定することができる。
(3) この実施形態では、運転士Ｍの特徴点の画像に基づいて、多変量解析によって運転士Ｍの覚醒度を推定する。このため、運転士Ｍの特徴点の画像を解析することによって、瞬目などの特徴量から眠気特徴量を抽出し、主成分回帰分析などによって覚醒度を推定することができる。
(4) この実施形態では、アンサンブル学習によって運転士Ｍの覚醒度を総合的に推定する。このため、精度の高いモデルを構築することができ、運転士Ｍの覚醒度をより一層高精度に推定することができる。その結果、例えば、多変量解析、画像ディープラーニング又は時系列ディープラーニングなどによる運転士Ｍの覚醒度の推定結果を互いに補完することによって、より精度の高い覚醒度推定値求めることができる。
(5) この実施形態では、運転士Ｍの覚醒度の総合的な推定結果に基づいて、運転士Ｍに所定の警報を提示する警報提示装置１０に動作を指令する。このため、運転室内の運転士Ｍの覚醒レベルの低下を検知して運転士Ｍに警報を提示することができる。
(6) この実施形態では、運転士Ｍの目又は口がマスクされているときに、マスクされていない方の目画像又は口画像に基づいて、機械学習によって運転士Ｍの覚醒度を推定する。このため、運転士Ｍの特徴点の画像を機械学習によって解析し、運転士Ｍの特徴点がマスクされているか否かを正確に判定し、マスクの有無に応じて運転士Ｍの覚醒度を機械学習によって正確に推定することができる。その結果、感染症予防や花粉症対策のためにマスクを運転士Ｍが着用している場合や、前方確認時の視認性向上及び疲労軽減のために保護眼鏡を運転士Ｍが使用している場合であっても、運転士Ｍの覚醒度を正確に推定することができる。
この発明は、以上説明した実施形態に限定するものではなく、以下に記載するように種々の変形又は変更が可能であり、これらもこの発明の範囲内である。
(1) この実施形態では、推定対象者が運転士Ｍである場合を例に挙げて説明したが、推定対象者が車掌である場合についても、この発明を適用することができる。また、この実施形態では、推定対象者が鉄道車両の乗務員である場合を例に挙げて説明したが、自動車、航空機又は船舶などの交通機関の乗務員が推定対象者である場合についても、この発明を適用することができる。さらに、この実施形態では、プラント、工場又は工事現場などで使用される機械、器具又は装置などを操作する作業者などが推定対象者である場合についても、この発明を適用することができる。
(2) この実施形態では、列車内の運転室内の運転士Ｍの頭部画像データに基づいて、顔検出装置３及び覚醒度推定装置４が学習済みのモデルを決定する場合を例に挙げて説明したが、顔検出装置３及び覚醒度推定装置４によって学習済みのモデルを決定する場合にこの発明を限定するものではない。例えば、運転シミュレーション装置や実験室内の被験者を推定対象者として、この被験者の頭部画像データに基づいて学習済みのモデルを決定し、この学習済みモデルを顔検出装置３及び覚醒度推定装置４が使用して、実際の列車の運転室内の運転士Ｍの覚醒度を推定する場合についても、この発明を適用することができる。また、この実施形態では、顔画像データを学習用データ、評価用データ及び検証用データに分割して学習済みモデルを決定する場合を例に挙げて説明したが、顔画像データを学習用データ及び評価用データに分割して学習済みモデルを決定する場合についても、この発明を適用することができる。さらに、この実施形態では、アンサンブル学習の手法としてスタッキングを使用する場合を例に挙げて説明したが、アンサンブル学習の手法をスタッキングに限定するものではない。例えば、独立に多数のモデル（弱学習器）を作成し、このモデルが予測した結果を多数決で決めるバギング（bagging）や、独立に多数のモデル（弱学習器）を作成し、ｋ個目のモデルをもとにｋ+1個のモデルを構成し、このモデルが予測した結果を多数決で決めるブースティング（boosting）などの手法を使用してアンサンブル学習を行う場合についても、この発明を適用することができる。
１ 覚醒レベル低下防止システム
２ 撮影装置
２ａ 赤外線照射器
２ｂ 近赤外線カメラ
３ 顔検出装置
３ａ 顔検出部
３ｂ 特徴点抽出部
３ｃ 目・口画像切出部
３ｄ マスク判定部
４ 覚醒度推定装置
５ 覚醒度推定部
５ａ 特徴量算出部
５ｂ 多変量解析部
６ 覚醒度推定部
６ａ 目画像判定部
６ｂ 口画像判定部
６ｃ 総合判定部
７ 覚醒度推定部
７ａ 目・口開度算出部
７ｂ 顔変位算出部
７ｃ 時系列データ化部
７ｄ 時系列データ解析部
８ 総合推定部
９ 動作指令部
１０ 警報掲示装置
Ｍ 運転士（推定対象者）
EAR 目アスペクト比
MAR 口アスペクト比
ｈ 高さ
Ｗ 幅
Δｘ 横方向の顔変位
Δｙ 縦方向の顔変位

Claims (7)

  1. 推定対象者の覚醒度を推定する覚醒度推定方法であって、
    前記推定対象者の目部分及び口部分の領域のフレーム毎の画像に基づいて、機械学習によってこの推定対象者の覚醒度をフレーム毎に推定するとともに、前記推定対象者の目部分、口部分及び顔部分の領域のフレーム毎の画像を時系列化した時系列画像に基づいて、機械学習によってこの推定対象者の覚醒度を時系列画像毎に推定する覚醒度推定工程と、
    前記覚醒度推定工程における推定結果に基づいて、前記推定対象者の覚醒度を総合的に推定する総合推定工程とを含み、
    前記覚醒度推定工程は、前記推定対象者の目又は口がマスクされているときに、マスクされていない方の目部分又は口部分の領域のフレーム毎の画像に基づいて、機械学習によってこの推定対象者の覚醒度をフレーム毎に推定する工程を含むこと、
    を特徴とする覚醒度推定方法。
  2. 請求項１に記載の覚醒度推定方法において、
    前記覚醒度推定工程は、ディープラーニングによって前記推定対象者の覚醒度をフレーム毎に推定する工程を含むこと、
    を特徴とする覚醒度推定方法。
  3. 請求項１又は請求項２に記載の覚醒度推定方法において、
    前記覚醒度推定工程は、前記推定対象者の目部分及び口部分の領域のフレーム毎の画像に基づいて、多変量解析によってこの推定対象者の覚醒度をフレーム毎に推定する工程を含むこと、
    を特徴とする覚醒度推定方法。
  4. 請求項１から請求項３までのいずれか１項に記載の覚醒度推定方法において、
    前記総合推定工程は、アンサンブル学習によって前記推定対象者の覚醒度を総合的に推定する工程を含むこと、
    を特徴とする覚醒度推定方法。
  5. 請求項１から請求項４までのいずれか１項に記載の覚醒度推定方法において、
    前記総合推定工程における推定結果に基づいて、前記推定対象者に所定の警報を提示する警報提示装置に動作を指令する動作指令工程を含むこと、
    を特徴とする覚醒度推定方法。
  6. 推定対象者の覚醒度を推定するための覚醒度推定装置であって、
    前記推定対象者の目部分及び口部分の領域のフレーム毎の画像に基づいて、機械学習によってこの推定対象者の覚醒度をフレーム毎に推定するとともに、前記推定対象者の目部分、口部分及び顔部分の領域のフレーム毎の画像を時系列化した時系列画像に基づいて、機械学習によってこの推定対象者の覚醒度を時系列画像毎に推定する覚醒度推定部と、
    前記覚醒度推定部の推定結果に基づいて、前記推定対象者の覚醒度を総合的に推定する総合推定部とを備え、
    前記覚醒度推定部は、前記推定対象者の目又は口がマスクされているときに、マスクされていない方の目部分又は口部分の領域のフレーム毎の画像に基づいて、機械学習によってこの推定対象者の覚醒度をフレーム毎に推定すること、
    を特徴とする覚醒度推定装置。
  7. 推定対象者の覚醒度を推定するための覚醒度推定プログラムであって、
    前記推定対象者の目部分及び口部分の領域のフレーム毎の画像に基づいて、機械学習によってこの推定対象者の覚醒度をフレーム毎に推定するとともに、前記推定対象者の目部分、口部分及び顔部分の領域のフレーム毎の画像を時系列化した時系列画像に基づいて、機械学習によってこの推定対象者の覚醒度を時系列画像毎に推定する覚醒度推定手順と、
    前記覚醒度推定手順における推定結果に基づいて、前記推定対象者の覚醒度を総合的に推定する総合推定手順とをコンピュータに実行させ、
    前記覚醒度推定手順は、前記推定対象者の目又は口がマスクされているときに、マスクされていない方の目部分又は口部分の領域のフレーム毎の画像に基づいて、機械学習によってこの推定対象者の覚醒度をフレーム毎に推定する手順を含むこと、
    を特徴とする覚醒度推定プログラム。
JP2021055295A 2021-03-29 2021-03-29 覚醒度推定方法、覚醒度推定装置及び覚醒度推定プログラム Active JP7443283B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021055295A JP7443283B2 (ja) 2021-03-29 2021-03-29 覚醒度推定方法、覚醒度推定装置及び覚醒度推定プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021055295A JP7443283B2 (ja) 2021-03-29 2021-03-29 覚醒度推定方法、覚醒度推定装置及び覚醒度推定プログラム

Publications (2)

Publication Number Publication Date
JP2022152500A JP2022152500A (ja) 2022-10-12
JP7443283B2 true JP7443283B2 (ja) 2024-03-05

Family

ID=83555813

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021055295A Active JP7443283B2 (ja) 2021-03-29 2021-03-29 覚醒度推定方法、覚醒度推定装置及び覚醒度推定プログラム

Country Status (1)

Country Link
JP (1) JP7443283B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024201969A1 (ja) * 2023-03-31 2024-10-03 三菱電機株式会社 情報取得装置、学習装置及び情報取得方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009157780A (ja) 2007-12-27 2009-07-16 Car Mate Mfg Co Ltd 監視システム
JP2010128649A (ja) 2008-11-26 2010-06-10 Nissan Motor Co Ltd 覚醒状態判断装置及び覚醒状態判断方法
JP2012164040A (ja) 2011-02-04 2012-08-30 Nissan Motor Co Ltd 覚醒低下検出装置
JP2019154613A (ja) 2018-03-09 2019-09-19 国立大学法人京都大学 眠気検出システム、眠気検出用データ生成システム、眠気検出方法、コンピュータプログラム、および検出用データ
JP2020514861A (ja) 2016-12-22 2020-05-21 エスアールアイ インターナショナルＳＲＩ Ｉｎｔｅｒｎａｔｉｏｎａｌ ドライバ監視及び応答システム
WO2020121425A1 (ja) 2018-12-12 2020-06-18 三菱電機株式会社 状態判定装置、状態判定方法、及び状態判定プログラム
WO2020157989A1 (ja) 2019-02-01 2020-08-06 日本電気株式会社 覚醒度推定装置、覚醒度推定方法、及びコンピュータ読み取り可能な記録媒体
JP2021033359A (ja) 2019-08-14 2021-03-01 沖電気工業株式会社 感情推定装置、感情推定方法、プログラム、情報提示装置、情報提示方法及び感情推定システム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100016696A (ko) * 2008-08-05 2010-02-16 주식회사 리얼맨토스 가상강의의 학습상태 분석시스템 및 이를 이용한 학습코스스케줄링방법

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009157780A (ja) 2007-12-27 2009-07-16 Car Mate Mfg Co Ltd 監視システム
JP2010128649A (ja) 2008-11-26 2010-06-10 Nissan Motor Co Ltd 覚醒状態判断装置及び覚醒状態判断方法
JP2012164040A (ja) 2011-02-04 2012-08-30 Nissan Motor Co Ltd 覚醒低下検出装置
JP2020514861A (ja) 2016-12-22 2020-05-21 エスアールアイ インターナショナルＳＲＩ Ｉｎｔｅｒｎａｔｉｏｎａｌ ドライバ監視及び応答システム
JP2019154613A (ja) 2018-03-09 2019-09-19 国立大学法人京都大学 眠気検出システム、眠気検出用データ生成システム、眠気検出方法、コンピュータプログラム、および検出用データ
WO2020121425A1 (ja) 2018-12-12 2020-06-18 三菱電機株式会社 状態判定装置、状態判定方法、及び状態判定プログラム
WO2020157989A1 (ja) 2019-02-01 2020-08-06 日本電気株式会社 覚醒度推定装置、覚醒度推定方法、及びコンピュータ読み取り可能な記録媒体
JP2021033359A (ja) 2019-08-14 2021-03-01 沖電気工業株式会社 感情推定装置、感情推定方法、プログラム、情報提示装置、情報提示方法及び感情推定システム

Also Published As

Publication number Publication date
JP2022152500A (ja) 2022-10-12

Similar Documents

Publication Publication Date Title
CN110276273B (zh) 融合面部特征与图像脉搏心率估计的驾驶员疲劳检测方法
CN104616438B (zh) 一种用于疲劳驾驶检测的打哈欠动作检测方法
US10655978B2 (en) Controlling an autonomous vehicle based on passenger behavior
Poursadeghiyan et al. Determination the levels of subjective and observer rating of drowsiness and their associations with facial dynamic changes
CN109740477A (zh) 驾驶员疲劳检测系统及其疲劳检测方法
KR20190083155A (ko) 운전자 상태 검출 장치 및 그 방법
Luo et al. The driver fatigue monitoring system based on face recognition technology
JP7443283B2 (ja) 覚醒度推定方法、覚醒度推定装置及び覚醒度推定プログラム
Chang et al. Driver fatigue surveillance via eye detection
Hasan et al. State-of-the-art analysis of modern drowsiness detection algorithms based on computer vision
Avizzano et al. Real-time embedded vision system for the watchfulness analysis of train drivers
Matsuo et al. Prediction of drowsy driving by monitoring driver's behavior
CN117542027A (zh) 基于非接触式传感器的机组失能状态监测方法
CN113420656A (zh) 一种疲劳驾驶检测方法、装置、电子设备及存储介质
Bin et al. A fatigue driving detection method based on multi facial features fusion
DE112019007484T5 (de) Informationsverarbeitungsvorrichtung, programm und informationsverarbeitungsverfahren
Shibli et al. Developing a vision-based driving assistance system
Tarba et al. The driver's attention level
Dikkers et al. Facial recognition system for driver vigilance monitoring
Joshi et al. Eye state and head position technique for driver drowsiness detection
Hu et al. Comprehensive driver state recognition based on deep learning and PERCLOS criterion
Dehkordi et al. An effective system to detect face drowsiness status using local features in a hierarchical decision-making structure
Zhang et al. EEG Signal Analysis for Early Detection of Critical Road Events and Emergency Response in Autonomous Driving
Bano et al. AN EFFICIENT DETECTION APPROACH OF DRIVER-DROWSINESS USING MULTIPLE CONVOLUTIONAL HAAR CASCADE KERNELIZED CNN (MCHC-KCNN) ALGORITHM
Abbas et al. Driver’s Fatigue Recognition Using Convolutional Neural Network Approach

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230316

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230913

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231027

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231212

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240220

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240221

R150 Certificate of patent or registration of utility model

Ref document number: 7443283

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150