JP7286022B2 - 乗員状態検出装置および乗員状態検出方法 - Google Patents

Description

本開示は、乗員状態検出装置および乗員状態検出方法に関する。

一般に、人が入眠する前、当該人の体において、深部体温を低下させるために、抹消部分の血流量は増加する。そして、人の体の抹消部分から熱が体外に発散される。これにより、結果的に人の体の抹消部分の温度は一時的に上昇する。
そこで、従来、人の体の抹消部分にあたる手の温度に基づいて、人の覚醒度の推定を行う技術が知られている。
例えば、特許文献１には、顔面皮膚温度と手指皮膚温度と脈拍数とに基づいて、車両などの運転者の覚醒度を判定する運転者覚醒度検査装置が開示されている。当該運転者覚醒度検査装置は、運転者の手指皮膚温度を、ハンドルの周縁部の、運転者がハンドルを握った状態で運転者の手指が接触する位置に配置されている手指温度センサから取得する。

特開２０１１－１２３６５３号公報

特許文献１に開示された方法で人の手の温度を取得する場合、当該人がハンドルを握る位置がずれると手の温度を取得できないという課題があった。

本開示は、上記のような課題を解決するためになされたもので、人がハンドルを握る位置に関係なく、当該人の手の温度に基づいて当該人の覚醒度の推定を行うことが可能な乗員状態検出装置を提供することを目的とする。

本開示に係る乗員状態検出装置は、乗員を撮像した撮像画像を取得する撮像画像取得部と、非接触にて測定された乗員の体の表面の温度をあらわす温度画像を取得する温度画像取得部と、撮像画像取得部が取得した撮像画像に基づいて、乗員の動きを検出する動き検出部と、温度画像取得部が取得した温度画像に基づいて、乗員の手の温度を検出する温度検出部と、動き検出部が検出した乗員の動きと、温度検出部が検出した乗員の手の温度とに基づいて、乗員の覚醒度を推定する覚醒度推定部を備え、動き検出部が検出する乗員の動きには乗員の手の動きが含まれ、覚醒度推定部は、動き検出部が乗員の手の動きを検出した場合、当該乗員の手の動きに基づいて乗員の覚醒度を推定し、動き検出部が乗員の手の動きを検出しなかった場合、動き検出部が検出した乗員の動きと、温度検出部が検出した乗員の手の温度とに基づいて乗員の覚醒度を推定することを特徴とするものである。

本開示によれば、人がハンドルを握る位置に関係なく、当該人の手の温度に基づいて当該人の覚醒度の推定を行うことができる。

実施の形態１に係る乗員状態検出装置の構成例を示す図である。 実施の形態１において、撮像画像上にて、乗員検出部が検出した乗員の目の位置、乗員の口の位置、乗員の体の位置、乗員の手の位置、または、乗員の顔の位置の一例を示したイメージを説明するための図である。 実施の形態１において、温度検出部が、位置付与後撮像画像との位置合わせを行った後の温度画像のイメージの一例を示す図である。 実施の形態１に係る乗員状態検出装置の動作を説明するためのフローチャートである。 実施の形態１において、乗員状態検出装置が、機械学習モデルに基づいて乗員の覚醒度を推定するようにした場合の、乗員状態検出装置の構成例を示す図である。 実施の形態１において、乗員の属性を考慮して当該乗員の覚醒度を推定するようにした場合の、乗員状態検出装置の構成例を示す図である。 実施の形態１において、温度検出部が位置付与後撮像画像を用いずに乗員の温度を検出するようにした場合の乗員状態検出装置の構成例を示す図である。 図８Ａ，図８Ｂは、実施の形態１に係る乗員状態検出装置のハードウェア構成の一例を示す図である。

以下、本開示の実施の形態について、図面を参照しながら詳細に説明する。
実施の形態１．
図１は、実施の形態１に係る乗員状態検出装置１の構成例を示す図である。
実施の形態１に係る乗員状態検出装置１は、車両に搭載され、乗員の覚醒度を推定する。実施の形態１において、乗員とは、車両の運転者であることを想定している。
乗員状態検出装置１は、撮像装置２および温度取得装置３と接続される。

撮像装置２は、車両内をモニタリングすることを目的に設置されたカメラ等である。撮像装置２は、少なくとも、乗員の上半身を撮像可能な位置に設置されている。撮像装置２は、例えば、いわゆる「ドライバモニタリングシステム（Ｄｒｉｖｅｒ Ｍｏｎｉｔｏｒｉｎｇ Ｓｙｓｔｅｍ，ＤＭＳ）」と共用のものであってもよい。
撮像装置２は、撮像した画像（以下「撮像画像」という。）を、乗員状態検出装置１に出力する。

温度取得装置３は、温度測定機能を備えた赤外線カメラ、または、赤外線アレイセンサ等である。温度取得装置３は、少なくとも乗員の手を含む当該乗員の上半身の温度を非接触で測定可能な位置に設置される。
温度取得装置３は、計測した温度をあらわす画像（以下「温度画像」という。）を、乗員状態検出装置１に出力する。温度画像は、画素毎に温度情報を含んでいる。なお、画素値が大きいほど温度が高いことを示す。また、一般に、温度取得装置３から出力される温度画像は、フレームレートが低い。

乗員状態検出装置１は、撮像装置２から取得した撮像画像に基づき乗員の動きを検出する。また、乗員状態検出装置１は、温度取得装置３から取得した温度画像に基づき乗員の温度を検出する。乗員状態検出装置１は、検出した、乗員の動きと乗員の温度とに基づき、乗員の覚醒度を推定する。乗員状態検出装置１が検出する乗員の動きおよび乗員の温度の詳細については、後述する。また、乗員状態検出装置１による乗員の覚醒度の推定方法の詳細については、後述する。

乗員状態検出装置１は、撮像画像取得部１１、温度画像取得部１２、乗員検出部１３、動き検出部１４、温度検出部１５、覚醒度推定部１６、および、出力部１７を備える。

撮像画像取得部１１は、撮像装置２から出力された撮像画像を取得する。
撮像画像取得部１１は、取得した撮像画像を、乗員検出部１３に出力する。

温度画像取得部１２は、温度取得装置３から出力された温度画像を取得する。
温度画像取得部１２は、取得した温度画像を、温度検出部１５に出力する。

乗員検出部１３は、撮像画像取得部１１が取得した撮像画像に基づいて、乗員に関する情報（以下「乗員情報」という。）を検出する。具体的には、乗員検出部１３は、乗員の目の位置、乗員の口の位置、乗員の体の位置、乗員の手の位置、または、乗員の顔の位置を検出する。乗員検出部１３は、既知の画像認識技術を用いて、乗員の目の位置、乗員の口の位置、乗員の体の位置、乗員の手の位置、または、乗員の顔の位置を検出すればよい。
実施の形態１において、乗員検出部１３が検出する、乗員の目の位置、乗員の口の位置、乗員の体の位置、乗員の手の位置、または、乗員の顔の位置は、撮像画像において、乗員の目、乗員の口、乗員の体、乗員の手、または、乗員の顔を示す領域内の１つ以上の点とする。乗員の目の位置、乗員の口の位置、乗員の体の位置、乗員の手の位置、または、乗員の顔の位置は、撮像画像上の座標であらわされる。

例えば、乗員検出部１３は、乗員の目の位置として、乗員の左右の目それぞれの、左右の両端の位置、上瞼上の１点、および、下瞼上の１点の位置を検出する。
また、例えば、乗員検出部１３は、乗員の口の位置として、乗員の左右の口角、上唇上の１点、および、下唇上の１点の位置を検出する。
また、例えば、乗員検出部１３は、乗員の体の位置として、乗員の左右の肩の先端の位置を検出する。
また、例えば、乗員検出部１３は、乗員の手の位置として、親指の付け根上の１点、および、小指の付け根上の１点の位置を検出する。
また、例えば、乗員検出部１３は、乗員の顔の位置として、乗員の顎の先端の位置を検出する。

ここで、図２は、実施の形態１において、撮像画像上にて、乗員検出部１３が検出した乗員の目の位置、乗員の口の位置、乗員の体の位置、乗員の手の位置、または、乗員の顔の位置の一例を示したイメージを説明するための図である。
図２において、２０１で示す８点は、乗員検出部１３が検出した乗員の目、ここでは目の左右の両端、上瞼上の１点、または、下瞼上の１点の位置を示している。また、図２において、２０２で示す４点は、乗員検出部１３が検出した乗員の口、ここでは口角の両端、上唇上の１点、または、下唇上の１点の位置を示している。また、図２において、２０３で示す１点は、乗員検出部１３が検出した乗員の顔、ここでは顎の先端の位置を示している。また、図２において、２０４で示す２点は、乗員検出部１３が検出した体、ここでは肩の両端の位置を示している。また、図２において、２０５で示す４点は、乗員検出部１３が検出した手、ここでは、親指の付け根上の１点、または、小指の付け根上の１点の位置を示している。

なお、上述した例は一例に過ぎず、撮像画像において、乗員の目、乗員の口、乗員の体、乗員の手、または、乗員の顔を示す領域内のどの点を、乗員の目の位置、乗員の口の位置、乗員の体の位置、乗員の手の位置、または、乗員の顔の位置とするかは、適宜設定可能である。
乗員検出部１３は、乗員の目の位置、乗員の口の位置、乗員の体の位置、乗員の手の位置、または、乗員の顔の位置を示す情報を、動き検出部１４および温度検出部１５に出力する。具体的には、乗員検出部１３は、乗員の目の位置、乗員の口の位置、乗員の体の位置、乗員の手の位置、または、乗員の顔の位置を示す座標に対して、それぞれ、乗員の目の位置、乗員の口の位置、乗員の体の位置、乗員の手の位置、または、乗員の顔の位置であることを特定可能な情報を付与した撮像画像（以下「位置付与後撮像画像」という。）を、動き検出部１４および温度検出部１５に出力する。

動き検出部１４は、撮像画像取得部１１が取得した撮像画像に基づいて、乗員の動きを検出する。具体的には、動き検出部１４は、乗員検出部１３から出力された位置付与後撮像画像に基づいて、乗員の動きを検出する。実施の形態１において、動き検出部１４は、乗員の動きとして、乗員の目の動き、乗員の口の動き、乗員の体の動き、乗員の手の動き、または、乗員の顔の動きを検出する。
動き検出部１４は、位置付与後撮像画像を取得すると、取得した位置付与後撮像画像を、当該位置付与後撮像画像の取得日時に関する情報と対応付けて、記憶部（図示省略）に蓄積しているものとする。なお、記憶部は、乗員状態検出装置１に備えられていてもよいし、乗員状態検出装置１の外部の、乗員状態検出装置１が参照可能な場所に備えられていてもよい。動き検出部１４は、乗員検出部１３から出力された位置付与後撮像画像と、記憶部に蓄積されている過去の位置付与後撮像画像とに基づいて、乗員の目の動き、乗員の口の動き、乗員の体の動き、乗員の手の動き、または、乗員の顔の動きを検出する。

なお、ここでは、上述のとおり、動き検出部１４が、位置付与後撮像画像を記憶部に記憶させるものとするが、これは一例に過ぎない。例えば、乗員検出部１３が位置付与後撮像画像を動き検出部１４に出力するとともに記憶部に蓄積するようにし、動き検出部１４は、記憶部を参照して、乗員検出部１３が蓄積させた位置付与後撮像画像を取得するようにしてもよい。

例えば、動き検出部１４は、位置付与後撮像画像における乗員の目の位置に基づき、乗員の目の動きとして、乗員が目を瞑っていることを検出する。具体的には、動き検出部１４は、例えば、上瞼上の１点と下瞼上の１点との距離が予め設定された閾値以内となった場合に乗員が目を瞑ったことを検出する。
また、例えば、動き検出部１４は、乗員の目の動きとして、乗員の瞬きを検出する。具体的には、動き検出部１４は、例えば、上瞼上の１点と下瞼上の１点との距離の変化に基づいて、乗員の瞬きを検出する。
なお、上述した例は一例に過ぎず、動き検出部１４は、画像に基づいて人の目の開閉または瞬きを検出する既知の技術を用いて、乗員が目を瞑っていること、または、乗員が瞬きをしたことを検出すればよい。

また、例えば、動き検出部１４は、位置付与後撮像画像における乗員の口の位置に基づき、乗員の口の動きとして、乗員があくびをしたことを検出する。具体的には、動き検出部１４は、例えば、乗員の上唇上の１点と乗員の下唇上の１点との距離が予め設定された閾値（以下「開口判定用閾値」という。）以上離れた状態となった場合、乗員があくびをしたことを検出する。動き検出部１４は、例えば、乗員の上唇上の１点と乗員の下唇上の１点との距離が開口判定用閾値以上離れた状態が、予め設定された時間（以下「開口判定時間」という。）以上継続した場合に、乗員があくびをしたことを検出するようにしてもよい。
なお、上述した例は一例に過ぎず、動き検出部１４は、画像に基づいて人のあくびを検出する既知の技術を用いて、乗員があくびをしたことを検出すればよい。

また、例えば、動き検出部１４は、位置付与後撮像画像における乗員の体の位置に基づき、乗員の体の動きとして、乗員の体がふらついたことを検出する。具体的には、動き検出部１４は、例えば、位置付与後撮像画像における乗員の体の位置が、予め設定された閾値（以下「体動き判定用閾値」という。）以上離れた位置まで変化した場合、乗員の体がふらついたことを検出する。動き検出部１４は、例えば、位置付与後撮像画像における乗員の体の位置が、単位時間当たりで、予め設定された閾値（以下「体動き判定用デルタ閾値」という。）以上変化した場合、乗員の体がふらついたことを検出するようにしてもよい。
このとき、動き検出部１４は、乗員の体のふらつき度合いをあわせて検出する。乗員の体のふらつき度合いは、例えば、位置付与後撮像画像上の原点、または、位置付与後撮像画像上で予め決められている基準点と、乗員の体の位置とを結ぶ線が変化した角度（以下「体ふらつき角度」という。）であらわされる。
なお、乗員の肩の両端の一方の点を第１の肩位置、他方の点を第２の肩位置とすると、動き検出部１４は、例えば、第１の肩位置または第２の肩位置のいずれかが体動き判定用閾値以上離れた位置まで変化した場合に、乗員の体がふらついたことを検出してもよいし、第１の肩位置または第２の肩位置の両方が体動き判定用閾値以上離れた位置まで変化した場合に、乗員がふらついたことを検出してもよい。
また、例えば、動き検出部１４は、第１の肩位置または第２の肩位置のいずれかが、単位時間当たりで、体動き判定用デルタ閾値以上変化した場合に、乗員の体がふらついたことを検出してもよいし、第１の肩位置または第２の肩位置の両方が、単位時間当たりで、体動き判定用デルタ閾値以上変化した場合に、乗員の体がふらついたことを検出してもよい。
また、上述した例は一例に過ぎず、動き検出部１４は、画像に基づいて人の体のふらつきを検出する既知の技術を用いて、乗員の体がふらついたこと、および、体ふらつき角度を検出すればよい。

また、例えば、動き検出部１４は、位置付与後撮像画像における乗員の手の位置に基づき、乗員の手の動きを検出する。具体的には、動き検出部１４は、例えば、乗員の親指の付け根上の１点の位置、または、乗員の小指の付け根上の１点の位置が、予め設定された閾値（以下「手動き判定用閾値」という。）以上離れた位置となるまで変化した場合、乗員の手に動きがあったことを検出する。動き検出部１４は、例えば、乗員の親指の付け根上の１点の位置、または、乗員の小指の付け根上の１点の位置の、単位時間当たりの変化量が、予め設定された閾値（以下「手動き判定用デルタ閾値」という。）を超えた場合、乗員の手に動きがあったことを検出するようにしてもよい。
なお、動き検出部１４は、乗員の親指の付け根上の１点（以下「親指点」という。）の位置、または、乗員の小指の付け根上の１点（以下「小指点」という。）のいずれか一方の位置が手動き判定用閾値以上離れた位置まで動いた場合に、乗員の手に動きがあったことを検出してもよいし、乗員の親指点の位置と乗員の小指点の位置の両方が手動き判定用閾値以上離れた位置まで動いた場合に、乗員の手に動きがあったことを検出してもよい。動き検出部１４は、乗員の親指点の位置または乗員の小指点の位置のいずれか一方の位置の単位時間当たりの変化量が手動き判定用デルタ閾値を超えた場合に、乗員の手に動きがあったことを検出してもよいし、乗員の親指点の位置および乗員の小指点の位置の両方の単位時間当たりの変化量が手動き判定用デルタ閾値を超えた場合に、乗員の手に動きがあったことを検出してもよい。
動き検出部１４は、例えば、上述したような位置の変化が、右手または左手のいずれか一方であった場合に、乗員の手に動きがあったことを検出すればよい。
なお、上述した例は一例に過ぎず、動き検出部１４は、画像に基づいて人の手の動きを検出する既知の技術を用いて、乗員の手の動きを検出すればよい。

また、例えば、動き検出部１４は、位置付与後撮像画像における乗員の顔の位置に基づき、乗員の顔の動きとして、乗員の頭がふらついたことを検出する。具体的には、動き検出部１４は、例えば、位置付与後撮像画像における乗員の顔の位置が、予め設定された閾値（以下「顔動き判定用閾値」という。）以上離れた位置まで変化した場合、乗員の頭がふらついたことを検出する。動き検出部１４は、例えば、位置付与後撮像画像における乗員の顔の位置が、単位時間当たりで、予め設定された閾値（以下「顔動き判定用デルタ閾値」という。）以上変化した場合、乗員の顔がふらついたことを検出するようにしてもよい。
このとき、動き検出部１４は、乗員の頭のふらつき度合いをあわせて検出する。乗員の頭のふらつき度合いは、例えば、位置付与後撮像画像の原点、または、位置付与後撮像画像上で予め決められている基準点と、乗員の顔の位置とを結ぶ線が変化した角度（以下「頭ふらつき角度」という。）であらわされる。
なお、上述した例は一例に過ぎず、動き検出部１４は、画像に基づいて人の顔の動きを検出する既知の技術を用いて、乗員の頭がふらついたこと、および、頭ふらつき角度を検出すればよい。

動き検出部１４は、撮像画像取得部１１が取得した撮像画像に基づいて乗員の動きを検出したか否かを示す情報（以下「動き検出通知情報」という。）を、覚醒度推定部１６に出力する。このとき、動き検出部１４は、撮像画像の取得日時に関する情報と対応付けて、動き検出通知情報を出力する。なお、動き検出部１４は、撮像画像の取得日時を、例えば、撮像画像に付与されている、当該撮像画像の撮像日時とすればよい。
動き検出通知情報には、乗員の目の動きを検出したか否か、乗員の口の動きを検出したか否か、乗員の体の動きを検出したか否か、乗員の手の動きを検出したか否か、および、乗員の顔の動きを検出したか否かの情報が含まれる。
乗員の目の動きを検出したか否かの情報とは、具体的には、例えば、乗員が目を瞑っていることを検出したか否か、および、乗員が瞬きをしたことを検出したか否かの情報である。
乗員の口の動きを検出したか否かの情報とは、具体的には、例えば、乗員があくびをしたことを検出したか否かの情報である。
乗員の体の動きを検出したか否かの情報とは、具体的には、例えば、乗員の体がふらついたことを検出したか否かの情報、および、乗員の体がふらついたことを検出した場合は体ふらつき角度の情報である。
乗員の手の動きを検出したか否かの情報には、例えば、乗員の手の動きを検出したか否かの情報に加えて、乗員の手の動きを検出した場合、右手なのか左手なのかを特定可能な情報が含まれるようにしてもよい。
乗員の顔の動きを検出したか否かの情報とは、例えば、乗員の頭がふらついたことを検出したか否かの情報、および、乗員の頭がふらついたことを検出した場合は頭ふらつき角度の情報である。

温度検出部１５は、乗員検出部１３から出力された位置付与後撮像画像と、温度画像取得部１２が取得した温度画像とに基づいて、乗員の温度を検出する。実施の形態１において、乗員の温度とは、乗員の手の温度および顔の温度をいう。すなわち、温度検出部１５は、乗員検出部１３から出力された位置付与後撮像画像と、温度画像取得部１２が取得した温度画像とに基づいて、乗員の手の温度および顔の温度を検出する。
具体的には、まず、温度検出部１５は、位置付与後撮像画像と温度画像の位置合わせを行う。実施の形態１において、温度検出部１５が行う、位置付与後撮像画像と温度画像の位置合わせとは、位置付与後撮像画像と温度画像について、同じ空間位置を示す互いの画素の対応付けを行うことをいう。
撮像装置２と温度取得装置３は、それぞれ、車内に固定されて設置されているので、温度検出部１５は、予め決められた撮像装置２の設置位置および温度取得装置３の設置位置に基づけば、位置付与後撮像画像と温度画像の位置合わせを行うことができる。そして、温度検出部１５は、位置付与後撮像画像と温度画像の位置合わせを行うと、温度画像において、どの画素が、乗員の手の温度、または、乗員の顔の温度を示す画素であるか、特定することができる。

ここで、図３は、実施の形態１において、温度検出部１５が、位置付与後撮像画像との位置合わせを行った後の温度画像のイメージの一例を示す図である。
図３では、便宜上、温度画像上に、位置付与後撮像画像から特定された乗員の目の位置（図３の２０１参照）、乗員の口の位置（図３の２０２参照）、乗員の顔の位置（図３の２０３参照）、乗員の体の位置（図３の２０４参照）、および、乗員の手の位置（図３の２０５参照）を反映して、当該温度画像を示している。なお、ここでは、位置付与後撮像画像は、乗員検出部１３が、図２で示したように乗員の顔の位置、乗員の口の位置、乗員の目の位置、乗員の手の位置、および、乗員の体の位置を検出した場合に当該乗員検出部１３から出力された位置付与後撮像画像であったものとしている。

温度検出部１５は、例えば、温度画像上で、乗員の顔の位置、言い換えれば、乗員の顎の位置を通り、かつ、乗員の目の位置、および、乗員の口の位置を含む最小の円で示される範囲を、乗員の顔の温度を検出するための範囲（以下「顔温度検出範囲」という。）とする。なお、実施の形態１において、「最小」とは、厳密に「最小」であることに限らず、略最小であればよい。また、上述の顔温度検出範囲の設定方法は一例に過ぎない。温度検出部１５が、どのような範囲を顔温度検出範囲とするかは、適宜設定可能である。
温度検出部１５は、例えば、少なくとも一部が顔温度検出範囲に含まれる画素の画素値の平均値を、乗員の顔の温度として検出する。
なお、上述したような、乗員の顔の温度の検出方法は一例に過ぎず、温度検出部１５は、その他の方法で乗員の顔の温度を検出してもよい。例えば、温度検出部１５は、少なくとも一部が顔温度検出範囲に含まれる複数の画素のうち、当該顔温度検出範囲内となる面積が一番大きい画素（以下「顔選択画素」という。）を選択し、当該顔選択画素の画素値を乗員の顔の温度として検出してもよい。温度検出部１５は、顔選択画素が複数ある場合、例えば、複数の顔選択画素のうちの任意の顔選択画素の画素値を乗員の顔の温度として検出する。

また、温度検出部１５は、例えば、温度画像上で、乗員の手の位置、言い換えれば、乗員の親指の付け根上の１点および小指の付け根の１点を通り、この２点を直径とする円で示される範囲を、乗員の手の温度を検出するための範囲（以下「手温度検出範囲」という。）とする。温度検出部１５は、右手および左手それぞれについて、手温度検出範囲を設定する。なお、上述の手温度検出範囲の設定方法は一例に過ぎない。温度検出部１５が、どのような範囲を手温度検出範囲とするかは、適宜設定可能である。
温度検出部１５は、例えば、少なくとも一部が手温度検出範囲に含まれる画素の画素値の平均値を、乗員の手の温度として検出する。
なお、上述したような、乗員の手の温度の検出方法は一例に過ぎず、温度検出部１５は、その他の方法で乗員の手の温度を検出してもよい。例えば、温度検出部１５は、少なくとも一部が手温度検出範囲に含まれる複数の画素のうち、当該手温度検出範囲内となる面積が一番大きい画素（以下「手選択画素」という。）を選択し、当該手選択画素の画素値を乗員の手の温度として検出してもよい。温度検出部１５は、手選択画素が複数ある場合、例えば、複数の手選択画素のうちの任意の手選択画素の画素値を乗員の手の温度として検出する。

温度検出部１５は、乗員の手の温度および顔の温度を検出すると、検出した、乗員の手の温度および顔の温度に関する情報（以下「温度検出情報」という。）を、温度画像の取得日時に関する情報と対応付けて、覚醒度推定部１６に出力する。温度検出部１５は、温度画像の取得日時を、例えば、温度画像に付与されている、当該温度画像の作成日時とすればよい。

覚醒度推定部１６は、動き検出部１４が検出した乗員の動きと、温度検出部１５が検出した乗員の手の温度および顔の温度とに基づいて、乗員の覚醒度を推定する。実施の形態１では、一例として、覚醒度推定部１６は、覚醒度を、「レベル１」～「レベル５」の５段階で示される度合いとする。なお、覚醒度が大きいほど、乗員が覚醒している状態である度合いが高いことを示す。覚醒度推定部１６が乗員の覚醒度を推定する方法について、以下、詳細に説明する。

覚醒度推定部１６は、まず、動き検出部１４が乗員の手の動きを検出したか否かを判定する。具体的には、覚醒度推定部１６は、動き検出部１４から、手の動きを検出した旨の情報を含む動き検出通知情報が出力されたか否かを判定する。
動き検出部１４が乗員の手の動きを検出した場合、覚醒度推定部１６は、当該乗員の手の動きに基づいて乗員の覚醒度を推定する。具体的には、覚醒度推定部１６は、乗員の手の動きがあったことから、当該乗員は覚醒状態であると推定し、乗員の覚醒度を「レベル５」とする。なお、乗員の手の動きがあるということは、乗員が覚醒している可能性が高いといえる。

一方、動き検出部１４が乗員の手の動きを検出しなかった場合、覚醒度推定部１６は、動き検出部１４が検出した乗員の動きと、温度検出部１５が検出した乗員の手の温度および顔の温度とに基づいて乗員の覚醒度を推定する。具体的には、覚醒度推定部１６は、予め設定された条件（以下「判定条件」という。）に基づいて構築されたルール（以下「覚醒度推定ルール」という。）に従って、乗員の覚醒度を推定する。覚醒度推定ルールは、判定条件の論理和または論理積の組み合わせによって、予め構築されている。
なお、乗員の手の動きがないということは、乗員の覚醒度が低下している可能性が高いといえる。

判定条件および覚醒度推定ルールについて、具体例を挙げて説明する。
判定条件には、例えば、以下の（Ａ）～（Ｅ）のような条件が定義されている。
（Ａ）過去１０秒間のうち、「乗員が瞬きをしている」回数が５回以上
（Ｂ）過去１０秒間のうち、「乗員が目を瞑っている」時間が５秒以上
（Ｃ）過去５分間のうち、「乗員があくびをしている」回数が１回以上
（Ｄ）過去５分間のうち、２０度以上の角度で「乗員の頭がふらついている」回数が２回以上
（Ｅ）乗員の顔の温度に対して乗員の手の温度が－５℃以内

（Ａ）～（Ｄ）は、乗員が眠気を感じている際に現れる乗員の動きを判定するための条件である。（Ａ）～（Ｄ）を満たす場合、乗員は眠気を感じている状態といえる。なお、（Ｄ）が上述したような内容である場合、２０度以上の角度で「乗員の頭がふらついている」ことは、上記頭ふらつき角度から判定可能である。
（Ｅ）は、人が眠気を感じている場合に、指先等の抹消部分の血流量が増加し、当該抹消部分の温度が上昇して顔または深部体温に近くなるという生理現象が起こっていることを判定するための条件である。（Ｅ）を満たす場合、乗員は眠気を感じている状態といえる。

判定条件が、上記（Ａ）～（Ｅ）であった場合、覚醒度推定ルールとして、例えば、以下の（１）～（６）のようなルールが構築されている。
（１）判定条件（Ｅ）が偽であれば、覚醒度「レベル５」
（２）判定条件（Ｅ）が真であり、その他の判定条件（判定条件（Ａ）～（Ｄ））が偽であれば、覚醒度「レベル５」
（３）判定条件（Ｅ）が真であり、その他の判定条件（判定条件（Ａ）～（Ｄ））のうち１つが真であれば、覚醒度「レベル４」
（４）判定条件（Ｅ）が真であり、その他の判定条件（判定条件（Ａ）～（Ｄ））のうち２つが真であれば、覚醒度「レベル３」
（５）判定条件（Ｅ）が真であり、その他の判定条件（判定条件（Ａ）～（Ｄ））のうち３つが真であれば、覚醒度「レベル２」
（６）判定条件（Ｅ）が真であり、その他の判定条件（判定条件（Ａ）～（Ｄ））全てが真であれば、覚醒度「レベル１」

例えば、覚醒度推定部１６は、動き検出部１４から動き検出通知情報を取得すると、当該動き検出通知情報を、記憶部に蓄積しているものとする。また、覚醒度推定部１６は、温度検出部１５から温度検出情報を取得すると、当該温度検出情報を、記憶部に蓄積しているものとする。覚醒度推定部１６は、記憶部に蓄積されている動き検出通知情報および温度検出情報に基づき、覚醒度推定ルールに従って、乗員の覚醒度を推定する。
なお、ここでは、上述のとおり、覚醒度推定部１６が、動き検出通知情報および温度検出情報を記憶させるものとするが、これは一例に過ぎない。例えば、動き検出部１４が動き検出通知情報を記憶部に蓄積するようにし、温度検出部１５が温度検出情報を記憶部に蓄積するようにして、覚醒度推定部１６は、記憶部を参照して、乗員の覚醒度を推定するようにしてもよい。

また、上記判定条件は、一例に過ぎない。例えば、上記判定条件について、「過去５分間のうち、２０度以上の角度で「乗員の体がふらついている」回数が２回以上」等、体の動きに関する判定条件を加えるようにしてもよい。
判定条件の内容は、予め実験的に決定される。そして、予め実験的に決定された判定条件を用いて、覚醒度推定ルールが予め構築されている。

以上のとおり、覚醒度推定部１６は、まず、乗員の手の動きが検出されたか否かを判定し、乗員の手の動きが検出された場合には、乗員は覚醒状態、言い換えれば、当該乗員の覚醒度は「レベル５」であると推定する。この場合、覚醒度推定部１６は、覚醒度推定ルールに従った乗員の覚醒度の推定、言い換えれば、手の温度および顔の温度を用いた乗員の覚醒度の推定は行わない。具体例を挙げると、例えば、乗員がハンドル操作を行っている場合には、動き検出部１４によって当該乗員の手の動きが検出されるため、覚醒度推定部１６は、乗員は覚醒状態であると推定し、当該乗員の手の温度および顔の温度を用いた乗員の覚醒度の推定は行わない。
覚醒度推定部１６は、乗員の手の動きが検出されなかった場合に、当該乗員の動きと、当該乗員の手の温度および顔の温度とを用いた乗員の覚醒度の推定を行う。
一般に、温度取得装置３から出力される温度画像は、フレームレートが低い。従って、乗員の手に動きがあると、温度画像にはボヤケが生じやすく、逆に、乗員の手に動きがない場合には、温度画像にはボヤケが生じにくい。従って、温度検出部１５は、乗員の手に動きがない場合、乗員の手の動きがある場合に比べて、温度画像から乗員の手の温度および顔の温度を精度よく検出できる。
覚醒度推定部１６は、上述したような順番で乗員の覚醒度の推定を行うことで、温度画像に基づいて検出された乗員の手の温度および顔の温度を用いた乗員の覚醒度の推定を、合理的に行うことができる。

覚醒度推定部１６は、推定した乗員の覚醒度に関する情報（以下「覚醒度情報」という。）を、出力部１７に出力する。覚醒度情報には、例えば、覚醒度推定部１６が判定した覚醒度のレベルの情報が含まれる。

出力部１７は、覚醒度推定部１６から出力された覚醒度情報を出力する。具体的には、出力部１７は、覚醒度情報を、例えば、警報出力制御装置（図示省略）、空調制御装置（図示省略）、または、自動運転制御装置（図示省略）に出力する。警報出力制御装置、空調制御装置、および、自動運転制御装置は、車両に搭載されている。
例えば、警報出力制御装置は、覚醒度推定部１６から覚醒度情報が出力されると、車内の乗員に対して、眠気への注意喚起を行うための警報を出力する。
例えば、空調制御装置は、覚醒度推定部１６から覚醒度情報が出力されると、眠気を抑制するよう、空調を制御する。
例えば、自動運転制御装置は、覚醒度推定部１６から覚醒度情報が出力されると、手動運転から自動運転へと車両の運転制御方法を切り替える。なお、この場合、車両は自動運転機能を有する。車両は、自動運転機能を有する場合であっても、運転者が自ら当該車両を手動運転することが可能である。

実施の形態１に係る乗員状態検出装置１の動作について説明する。
図４は、実施の形態１に係る乗員状態検出装置１の動作を説明するためのフローチャートである。

撮像画像取得部１１は、撮像装置２から出力された撮像画像を取得する（ステップＳＴ４０１）。
撮像画像取得部１１は、取得した撮像画像を、乗員検出部１３に出力する。

温度画像取得部１２は、温度取得装置３から出力された温度画像を取得する（ステップＳＴ４０２）。
温度画像取得部１２は、取得した温度画像を、温度検出部１５に出力する。

乗員検出部１３は、ステップＳＴ４０１にて撮像画像取得部１１が取得した撮像画像に基づいて乗員情報を検出する（ステップＳＴ４０３）。具体的には、乗員検出部１３は、乗員の目の位置、乗員の口の位置、乗員の体の位置、乗員の手の位置、または、乗員の顔の位置を検出する。
乗員検出部１３は、乗員の目の位置、乗員の口の位置、乗員の体の位置、乗員の手の位置、または、乗員の顔の位置を示す情報を、動き検出部１４および温度検出部１５に出力する。具体的には、乗員検出部１３は、位置付与後撮像画像を、動き検出部１４および温度検出部１５に出力する。

動き検出部１４は、ステップＳＴ４０１にて撮像画像取得部１１が取得した撮像画像に基づいて、乗員の動きを検出する（ステップＳＴ４０４）。具体的には、動き検出部１４は、ステップＳＴ４０３にて乗員検出部１３から出力された位置付与後撮像画像に基づいて、乗員の動きを検出する。
動き検出部１４は、動き検出通知情報を、撮像画像の取得日時に関する情報と対応付けて覚醒度推定部１６に出力する。

温度検出部１５は、ステップＳＴ４０３にて乗員検出部１３から出力された位置付与後撮像画像と、ステップＳＴ４０２にて温度画像取得部１２が取得した温度画像とに基づいて、乗員の温度を検出する（ステップＳＴ４０５）。具体的には、温度検出部１５は、乗員検出部１３から出力された位置付与後撮像画像と、温度画像取得部１２が取得した温度画像とに基づいて、乗員の手の温度および顔の温度を検出する。
温度検出部１５は、乗員の手の温度および顔の温度を検出すると、温度検出情報を、温度画像の取得日時に関する情報と対応付けて、覚醒度推定部１６に出力する。

覚醒度推定部１６は、まず、ステップＳＴ４０４にて動き検出部１４が乗員の手の動きを検出したか否かを判定する（ステップＳＴ４０６）。具体的には、覚醒度推定部１６は、動き検出部１４から、手の動きを検出した旨の情報を含む動き検出通知情報が出力されたか否かを判定する。
動き検出部１４が乗員の手の動きを検出した場合（ステップＳＴ４０６の”ＹＥＳ”の場合）、覚醒度推定部１６は、当該乗員の手の動きに基づいて乗員の覚醒度を推定する。具体的には、覚醒度推定部１６は、乗員の手の動きがあったことから、当該乗員は覚醒状態であると推定し、乗員の覚醒度を「レベル５」とする（ステップＳＴ４０７）。覚醒度推定部１６は、覚醒度情報を出力部１７に出力する。そして、乗員状態検出装置１の動作は、ステップＳＴ４０９へ進む。

一方、動き検出部１４が乗員の手の動きを検出しなかった場合（ステップＳＴ４０６の”ＮＯ”の場合）、覚醒度推定部１６は、ステップＳＴ４０４にて動き検出部１４が検出した乗員の動きと、ステップＳＴ４０５にて温度検出部１５が検出した乗員の手の温度および顔の温度とに基づいて、乗員の覚醒度を推定する（ステップＳＴ４０８）。具体的には、覚醒度推定部１６は、判定条件に基づいて構築された覚醒度推定ルールに従って、乗員の覚醒度を推定する。
覚醒度推定部１６は、覚醒度情報を出力部１７に出力する。そして、乗員状態検出装置１の動作は、ステップＳＴ４０９へ進む。

ステップＳＴ４０９において、出力部１７は、覚醒度推定部１６から出力された覚醒度情報を出力する（ステップＳＴ４０９）。

なお、図４のフローチャートでは、ステップＳＴ４０１、ステップＳＴ４０２の順番で乗員状態検出装置１の動作が行われるものとしたが、これは一例に過ぎない。ステップＳＴ４０１の動作とステップＳＴ４０２の動作の順番は、逆であってもよいし、並行して行われてもよい。また、ステップＳＴ４０２の動作は、ステップＳＴ４０５の動作が行われるまでに行われるようになっていればよい。
また、図４のフローチャートでは、ステップＳＴ４０４、ステップＳＴ４０５の順番で乗員状態検出装置１の動作が行われるものとしたが、これは一例に過ぎない。ステップＳＴ４０４の動作とステップＳＴ４０５の動作の順番は、逆であってもよいし、並行して行われてもよい。

上述したような従来技術では、車両の乗員の覚醒度を推定する際に用いる当該乗員の手の温度を、ハンドルの周縁部の、運転者がハンドルを握った状態で運転者の手指が接触する位置に配置されている手指温度センサから取得していた。当該従来技術で開示されているような方法で乗員の手の温度を取得する場合、当該乗員がハンドルを握る位置がずれると手の温度を取得できない。また、乗員は一定の姿勢をとることが必要とされるため、従来技術で開示されているような、乗員の手の温度を取得する方法は、乗員にとって負荷がかかる方法であった。

これに対し、乗員状態検出装置１は、乗員を撮像した撮像画像と、非接触で測定された乗員の体の表面の温度をあらわす温度画像とを取得し、撮像画像に基づいて検出した乗員の動きと、温度画像に基づいて検出した乗員の手の温度および顔の温度に基づいて、乗員の覚醒度を推定する。
これにより、乗員状態検出装置１は、乗員がハンドルを握る位置に関係なく、当該乗員の手の温度および顔の温度に基づいて当該乗員の覚醒度の推定を行うことができる。
また、乗員状態検出装置１は、乗員の覚醒度を推定する際、まず乗員の手の動きを検出したか否かを判定し、乗員の手の動きを検出した場合は、当該乗員の手の動きに基づいて乗員の覚醒度を推定し、乗員の手の動きを検出しなかった場合は、乗員の動きと、乗員の手の温度および乗員の顔の温度とに基づいて乗員の覚醒度を推定するようにした。
これにより、乗員状態検出装置１は、温度画像に基づいて検出された乗員の手の温度および顔の温度を用いた乗員の覚醒度の推定を、合理的に行うことができる。

以上の実施の形態１では、覚醒度推定部１６は、手の動きが検出されなかった場合、動き検出部１４が検出した乗員の動きと、温度検出部１５が検出した乗員の手の温度および顔の温度とに基づいて乗員の覚醒度を推定するものとした。具体的には、例えば、上述の例の判定条件（Ｅ）のように、覚醒度推定部１６は、乗員の手の温度と顔の温度とによって手の相対的な温度変化を検出し、当該手の相対的な温度変化を乗員の覚醒度の推定に用いるようにしていた。しかし、これは一例に過ぎない。
覚醒度推定部１６は、乗員の覚醒度を推定する際、乗員の顔の温度を用いないようにしてもよい。すなわち、覚醒度推定部１６は、手の動きが検出されなかった場合、動き検出部１４が検出した乗員の動きと、温度検出部１５が検出した乗員の手の温度とに基づいて、乗員の覚醒度を推定するようにしてもよい。例えば、上述の例において、判定条件（Ｅ）を、乗員の手の温度の変化に対する条件としてもよい。
覚醒度推定部１６が、乗員の覚醒度の推定を行う際に用いる際の乗員の温度は、少なくとも、乗員の手の温度であればよい。なお、この場合、温度検出部１５は、乗員の温度として、乗員の手の温度を検出するようになっていればよい。
ただし、例えば、温度取得装置３が、サーモパイル等の非接触の温度アレイセンサである場合、当該温度アレイセンサは、画素単位での温度の検出誤差は大きく、ある画素とその他の画素との差分での温度の検出誤差は小さいという特徴を有する。そのため、乗員の覚醒度を推定する際の乗員の手の温度変化は、当該乗員の手の温度のみから検出するのではなく、当該乗員の顔の温度を用いて、当該乗員の手の温度と乗員の顔の温度の差から検出するほうが、より正確に当該の乗員の手の温度変化を検出することができる。その結果、覚醒度推定部１６は、より精度よく、乗員の覚醒度を推定することができる。

また、以上の実施の形態１では、覚醒度推定部１６は、動き検出部１４が乗員の手の動きを検出しなかった場合、判定条件に基づいて構築された覚醒度推定ルールに従って、乗員の覚醒度を推定するようにしていた。これに限らず、覚醒度推定部１６は、動き検出部１４が乗員の手の動きを検出しなかった場合、機械学習における学習済みのモデル（以下「機械学習モデル」という。）に基づいて、乗員の覚醒度を推定するようにすることもできるので、以下、説明する。
図５は、実施の形態１において、乗員状態検出装置１ａが、機械学習モデル１８に基づいて乗員の覚醒度を推定するようにした場合の、乗員状態検出装置１ａの構成例を示す図である。
図５に示す乗員状態検出装置１ａにおいて、図１を用いて説明した乗員状態検出装置１の構成と同様の構成については、同じ符号を付して重複した説明を省略する。
乗員状態検出装置１ａは、図１を用いて説明した乗員状態検出装置１とは、機械学習モデル１８を備える点が異なる。
また、乗員状態検出装置１ａでは、覚醒度推定部１６ａの具体的な動作が、乗員状態検出装置１における覚醒度推定部１６の具体的な動作とは異なる。

機械学習モデル１８は、乗員の動きに関する情報と、乗員の手の温度および顔の温度に関する情報とを入力とし、乗員の覚醒度合いを示す情報を出力する機械学習モデルである。乗員の動きに関する情報には、乗員の目の動き、乗員の口の動き、乗員の体の動き、乗員の手の動き、または、乗員の顔の動きに関する情報が含まれる。
機械学習モデル１８は、予め、教師データと、覚醒度の正解ラベルとを用いた学習により生成されている。覚醒度の正解ラベルは、例えば、覚醒度を示すレベルである。正解ラベルは、例えば、ＮＥＤＯ（Ｎｅｗ Ｅｎｅｒｇｙ ａｎｄ Ｉｎｄｕｓｔｒｉａｌ Ｔｅｃｈｎｏｌｏｇｙ Ｄｅｖｅｌｏｐｍｅｎｔ Ｏｒｇａｎｉｚａｔｉｏｎ。国立研究開発法人新エネルギー・産業技術総合開発機構）による顔表情からの眠気評価指標であってもよいし、カロリンスカ眠気尺度（ＫＳＳ）で示される眠気の程度の段階であってもよい。また、正解ラベルは、例えば、乗員状態検出装置１ａの管理者によって独自に設定された、覚醒度を示すレベルであってもよい。
なお、ここでは、図５に示すように、機械学習モデル１８は、乗員状態検出装置１ａに備えられるものとするが、これは一例に過ぎない。機械学習モデル１８は、乗員状態検出装置１ａの外部の、乗員状態検出装置１ａが参照可能な場所に備えられるようにしてもよい。

覚醒度推定部１６ａは、動き検出部１４が検出した乗員の動きと、温度検出部１５が検出した乗員の手の温度および顔の温度と、機械学習モデル１８とに基づいて、乗員の覚醒度を推定する。
覚醒度推定部１６ａは、まず、動き検出部１４が乗員の手の動きを検出したか否かを判定する。具体的には、覚醒度推定部１６ａは、動き検出部１４から、手の動きを検出した旨の情報を含む動き検出通知情報が出力されたか否かを判定する。
動き検出部１４が乗員の手の動きを検出した場合、覚醒度推定部１６ａは、当該乗員の手の動きに基づいて乗員の覚醒度を推定する。具体的には、覚醒度推定部１６ａは、乗員の手の動きがあったことから、当該乗員は覚醒状態であると推定し、乗員の覚醒度を「レベル５」とする。なお、乗員の手の動きがあるということは、乗員が覚醒している可能性が高いといえる。

一方、動き検出部１４が乗員の手の動きを検出しなかった場合、覚醒度推定部１６ａは、動き検出部１４が検出した乗員の動きと、温度検出部１５が検出した乗員の手の温度および顔の温度と、機械学習モデル１８とに基づいて、乗員の覚醒度を推定する。具体的には、覚醒度推定部１６ａは、動き検出部１４から出力された動き検出通知情報と温度検出部１５から出力された温度検出情報とを機械学習モデル１８に入力し、乗員の覚醒度を示す情報を取得する。

図５に示したような構成とした乗員状態検出装置１ａの動作について説明する。
図５に示したような構成とした乗員状態検出装置１ａの動作は、図４のフローチャートを用いて説明した乗員状態検出装置１の動作とは、ステップＳＴ４０８の具体的な動作が異なる。その他の具体的な動作（ステップＳＴ４０１～ステップＳＴ４０７、ステップＳＴ４０９の具体的な動作）は、説明済みであるため、重複した説明を省略する。なお、乗員状態検出装置１ａにおいて、ステップＳＴ４０７の具体的な動作は、説明済みの、覚醒度推定部１６の動作を、覚醒度推定部１６ａの動作と読み替えた動作となる。

乗員状態検出装置１ａにおいて、動き検出部１４が乗員の手の動きを検出しなかった場合（ステップＳＴ４０６の”ＮＯ”の場合）、覚醒度推定部１６ａは、ステップＳＴ４０４にて動き検出部１４が検出した乗員の動きと、ステップＳＴ４０５にて温度検出部１５が検出した乗員の手の温度および顔の温度と、機械学習モデル１８とに基づいて、乗員の覚醒度を推定する（ステップＳＴ４０８）。具体的には、覚醒度推定部１６ａは、動き検出部１４から出力された動き検出通知情報と温度検出部１５から出力された温度検出情報とを機械学習モデル１８に入力し、乗員の覚醒度を示す情報を取得する。
覚醒度推定部１６ａは、覚醒度情報を、出力部１７に出力する。そして、乗員状態検出装置１の動作は、ステップＳＴ４０９へ進む。

このように、乗員状態検出装置１ａは、乗員を撮像した撮像画像と、非接触で測定された乗員の体の表面の温度をあらわす温度画像とを取得し、撮像画像に基づいて検出した乗員の動きと、温度画像に基づいて検出した乗員の手の温度および顔の温度と、機械学習モデル１８とに基づいて、乗員の覚醒度を推定する。
これにより、乗員状態検出装置１ａは、乗員がハンドルを握る位置に関係なく、当該乗員の手の温度に基づいて当該乗員の覚醒度の推定を行うことができる。
また、乗員状態検出装置１ａは、乗員の覚醒度を推定する際、まず乗員の手の動きを検出したか否かを判定し、乗員の手の動きを検出した場合は、当該乗員の手の動きに基づいて乗員の覚醒度を推定し、乗員の手の動きを検出しなかった場合は、乗員の動きと、乗員の手の温度および乗員の顔の温度と、機械学習モデル１８とに基づいて乗員の覚醒度を推定するようにした。
これにより、乗員状態検出装置１ａは、温度画像に基づいて検出された乗員の手および顔の温度を用いた乗員の覚醒度の推定を、合理的に行うことができる。
また、乗員状態検出装置１ａは、機械学習モデル１８を用いて乗員の覚醒度の推定を行うので、教師データを多数用意することができれば、覚醒度推定ルールに従って乗員の覚醒度の推定を行うことと比べて、乗員の覚醒度の推定精度を高めることができる。

なお、乗員状態検出装置１ａにおいても、覚醒度推定部１６ａは、乗員の覚醒度を推定する際、乗員の顔の温度を用いないようにしてもよい。すなわち、覚醒度推定部１６ａは、手の動きが検出されなかった場合、動き検出部１４が検出した乗員の動きと、温度検出部１５が検出した乗員の手の温度と、機械学習モデル１８とに基づいて、乗員の覚醒度を推定するようにしてもよい。このように、覚醒度推定部１６ａが、乗員の覚醒度の推定を行う際に用いる際の乗員の温度は、少なくとも、乗員の手の温度であればよい。なお、この場合、温度検出部１５は、乗員の温度として、乗員の手の温度を検出するようになっていればよい。
この場合、機械学習モデル１８は、乗員の動きに関する情報と、乗員の手の温度に関する情報とを入力とし、乗員の覚醒度合いを示す情報を出力する機械学習モデルである。

また、以上の実施の形態１において、乗員状態検出装置１を、乗員の属性を考慮して、当該乗員の覚醒度を推定する構成とすることもできる。
図６は、実施の形態１において、乗員の属性を考慮して当該乗員の覚醒度を推定するようにした場合の、乗員状態検出装置１ｂの構成例を示す図である。
図６に示す乗員状態検出装置１ｂにおいて、図１を用いて説明した乗員状態検出装置１の構成と同様の構成については、同じ符号を付して重複した説明を省略する。
乗員状態検出装置１ｂは、図１を用いて説明した乗員状態検出装置１とは、属性抽出部１９を備える点が異なる。
また、乗員状態検出装置１ｂでは、覚醒度推定部１６ｂの具体的な動作が、乗員状態検出装置１における覚醒度推定部１６の具体的な動作とは異なる。

属性抽出部１９は、撮像画像取得部１１が取得した撮像画像に基づき、乗員の属性を抽出する。実施の形態１において、乗員の属性とは、例えば、乗員の年齢、乗員の性別、または、乗員の体格である。なお、乗員状態検出装置１ｂでは、撮像画像取得部１１は、取得した撮像画像を、乗員検出部１３および属性抽出部１９に出力する。
属性抽出部１９は、既知の画像認識処理技術を用いて、撮像画像から乗員の属性を抽出すればよい。
属性抽出部１９は、抽出した乗員の属性に関する情報（以下「乗員属性情報」という。）を、覚醒度推定部１６ｂに出力する。

覚醒度推定部１６ｂは、動き検出部１４が検出した乗員の動きと、温度検出部１５が検出した乗員の手の温度および顔の温度と、属性抽出部１９が抽出した乗員の属性とに基づいて、乗員の覚醒度を推定する。
動き検出部１４が乗員の手の動きを検出した場合、覚醒度推定部１６ｂは、当該乗員の手の動きに基づいて乗員の覚醒度を推定する。具体的には、覚醒度推定部１６ｂは、乗員の手の動きがあったことから、当該乗員は覚醒状態であると推定し、乗員の覚醒度を「レベル５」とする。なお、乗員の手の動きがあるということは、乗員が覚醒している可能性が高いといえる。

一方、動き検出部１４が乗員の手の動きを検出しなかった場合、覚醒度推定部１６ｂは、動き検出部１４が検出した乗員の動きと、温度検出部１５が検出した乗員の手の温度および顔の温度とに基づいて乗員の覚醒度を推定する。具体的には、覚醒度推定部１６ｂは、判定条件に基づいて構築された覚醒度推定ルールに従って、乗員の覚醒度を推定する。このとき、覚醒度推定部１６ｂは、属性抽出部１９が抽出した乗員の属性に基づき、判定条件を補正する。そして、覚醒度推定部１６ｂは、補正後の判定条件を覚醒度推定ルールに適用させて、乗員の覚醒度を推定する。

覚醒度推定部１６ｂによる判定条件の補正について、具体例を挙げて説明する。以下の具体例では、判定条件は、上述の（Ａ）～（Ｅ）であったとする。
例えば、覚醒度推定部１６ｂは、乗員の性別に応じて、判定条件を補正する。具体的には、例えば、乗員が女性である場合、覚醒度推定部１６ｂは、判定条件（Ｅ）を、「顔の温度に対して手の温度が－３℃以内」と補正する。一般に、女性の方が男性より体温が高いとされている。そのため、覚醒度推定部１６ｂは、乗員が女性である場合に、覚醒度を示す度合いが高く判定される、手の温度と顔の温度との差分の幅を狭くするよう、判定条件（Ｅ）を補正する。

また、例えば、覚醒度推定部１６ｂは、乗員の年齢に応じて、判定条件を補正する。具体的には、例えば、乗員が高齢である場合、覚醒度推定部１６ｂは、判定条件（Ａ）を「過去１０秒間のうち、「乗員が瞬きをしている」回数が４回以上」、判定条件（Ｂ）を「過去１０秒間のうち、「乗員が目を瞑っている」時間が４秒以上」、判定条件（Ｃ）を、「過去３分間のうち、「乗員があくびをしている」回数が１回以上」、判定条件（Ｄ）を、「過去５分間のうち、２０度以上の角度で「乗員の頭がふらついている」回数が１回以上」とする等、覚醒度を示す度合いが高く判定される条件が厳しくなるよう、判定条件（Ａ）～（Ｄ）を補正する。

また、例えば、覚醒度推定部１６ｂは、乗員の体格に応じて、判定条件を補正する。具体的には、例えば、乗員が太っている場合、覚醒度推定部１６ｂは、判定条件（Ｅ）を、「顔の温度に対して手の温度が－３℃以内」と補正する。一般に、太っている人は痩せている人に比べて体温が高いとされている。そのため、覚醒度推定部１６ｂは、乗員が太っている場合に、覚醒度を示す度合いが高く判定される、手の温度と顔の温度との差分の幅を狭くするよう、判定条件（Ｅ）を補正する。

覚醒度推定部１６ｂは、補正後の判定条件を適用させた覚醒度推定ルールに従って乗員の覚醒度を推定すると、覚醒度情報を出力部１７に出力する。

図６に示したような構成とした乗員状態検出装置１ｂの動作について説明する。
図６に示したような構成とした乗員状態検出装置１ｂの動作は、図４のフローチャートを用いて説明した乗員状態検出装置１の動作とは、ステップＳＴ４０８の具体的な動作が異なる。その他の具体的な動作（ステップＳＴ４０１～ステップＳＴ４０７、ステップＳＴ４０９の具体的な動作）は、説明済みであるため、重複した説明を省略する。なお、乗員状態検出装置１ｂにおいて、ステップＳＴ４０７の具体的な動作は、説明済みの、覚醒度推定部１６の動作を、覚醒度推定部１６ｂの動作と読み替えた動作となる。
また、乗員状態検出装置１ｂでは、ステップＳＴ４０８の動作が行われるまでに、属性抽出部１９は、撮像画像取得部１１が取得した撮像画像に基づき、乗員の属性を抽出し、乗員属性情報を覚醒度推定部１６ｂに出力する。

乗員状態検出装置１ｂにおいて、動き検出部１４が乗員の手の動きを検出しなかった場合（ステップＳＴ４０６の”ＮＯ”の場合）、覚醒度推定部１６ｂは、ステップＳＴ４０４にて動き検出部１４が検出した乗員の動きと、ステップＳＴ４０５にて温度検出部１５が検出した乗員の手の温度および顔の温度と、属性抽出部１９が抽出した乗員の属性とに基づいて、乗員の覚醒度を推定する（ステップＳＴ４０８）。具体的には、覚醒度推定部１６ｂは、判定条件に基づいて構築された覚醒度推定ルールに従って、乗員の覚醒度を推定する。このとき、覚醒度推定部１６ｂは、属性抽出部１９が抽出した乗員の属性に基づき、判定条件を補正する。そして、覚醒度推定部１６ｂは、補正後の判定条件を覚醒度推定ルールに適用させて、乗員の覚醒度を推定する。
覚醒度推定部１６ｂは、覚醒度情報を、出力部１７に出力する。そして、乗員状態検出装置１の動作は、ステップＳＴ４０９へ進む。

このように、乗員状態検出装置１ｂは、乗員を撮像した撮像画像と、非接触で測定された乗員の体の表面の温度をあらわす温度画像とを取得し、撮像画像に基づいて検出した乗員の動きと、温度画像に基づいて検出した乗員の手の温度および顔の温度と、撮像画像に基づいて抽出した乗員の属性とに基づいて、乗員の覚醒度を推定する。
これにより、乗員状態検出装置１ｂは、乗員がハンドルを握る位置に関係なく、当該乗員の手の温度および顔の温度に基づいて当該乗員の覚醒度の推定を行うことができるとともに、乗員の属性を考慮した覚醒度の推定を行うことができる。
また、乗員状態検出装置１ｂは、乗員の覚醒度を推定する際、まず乗員の手の動きを検出したか否かを判定し、乗員の手の動きを検出した場合は、当該乗員の手の動きに基づいて乗員の覚醒度を推定し、乗員の手の動きを検出しなかった場合は、乗員の動きと、乗員の手の温度および乗員の顔の温度と、乗員の属性とに基づいて乗員の覚醒度を推定するようにした。
これにより、乗員状態検出装置１ｂは、温度画像に基づいて検出された乗員の手および顔の温度を用いた乗員の覚醒度の推定を、合理的に行うことができる。

なお、乗員状態検出装置１ｂにおいても、覚醒度推定部１６ｂは、乗員の覚醒度を推定する際、乗員の顔の温度を用いないようにしてもよい。すなわち、覚醒度推定部１６ｂは、手の動きが検出されなかった場合、動き検出部１４が検出した乗員の動きと、温度検出部１５が検出した乗員の手の温度と、属性抽出部１９が抽出した乗員の属性とに基づいて、乗員の覚醒度を推定するようにしてもよい。このように、覚醒度推定部１６ｂが、乗員の覚醒度の推定を行う際に用いる際の乗員の温度は、少なくとも、乗員の手の温度であればよい。なお、この場合、温度検出部１５は、乗員の温度として、乗員の手の温度を検出するようになっていればよい。

また、以上で説明したような乗員状態検出装置１ｂの構成を、図５を用いて説明した乗員状態検出装置１ａに適用してもよい。すなわち、図５にて示した乗員状態検出装置１ａが、属性抽出部１９を備える構成としてもよい。
この場合、機械学習モデル１８は、乗員の動きに関する情報と、乗員の手の温度および顔の温度に関する情報と、乗員の属性とを入力とし、乗員の覚醒度合いを示す情報を出力する機械学習モデルである。
覚醒度推定部１６ａは、動き検出部１４が検出した乗員の動きと、温度検出部１５が検出した乗員の手の温度および顔の温度と、属性抽出部１９が抽出した乗員の属性と、機械学習モデル１８とに基づいて、乗員の覚醒度を推定する。
覚醒度推定部１６ａは、動き検出部１４が乗員の手の動きを検出した場合、当該乗員の手の動きに基づいて乗員の覚醒度を推定する。
一方、覚醒度推定部１６ａは、動き検出部１４が乗員の手の動きを検出しなかった場合、動き検出部１４が検出した乗員の動きと、温度検出部１５が検出した乗員の手の温度および顔の温度と、属性抽出部１９が抽出した乗員の属性と、機械学習モデル１８とに基づいて、乗員の覚醒度を推定する。

また、以上の実施の形態１において、温度検出部１５は、乗員検出部１３から出力された位置付与後撮像画像を用いずに、温度画像取得部１２が取得した温度画像から、乗員の手の温度および顔の温度を検出するようにしてもよい。
図７は、実施の形態１において、温度検出部１５が位置付与後撮像画像を用いずに乗員の温度を検出するようにした場合の乗員状態検出装置１ｃの構成例を示す図である。
図７に示す乗員状態検出装置１ｃの構成例は、図１に示す乗員状態検出装置１の構成例とは、乗員検出部１３から温度検出部１５への情報の流れを示す矢印がない点が異なる。
また、また、乗員状態検出装置１ｃでは、温度検出部１５ａの具体的な動作が、乗員状態検出装置１における温度検出部の具体的な動作とは異なる。

温度検出部１５ａは、温度画像取得部１２が取得した温度画像に基づき、当該温度画像における温度分布から、乗員の手の温度および顔の温度を検出する。
このように、温度検出部１５ａが、位置付与後撮像画像を用いずに乗員の手の温度および顔の温度を検出する場合、乗員の手の位置および乗員の顔の位置に対する位置合わせができないことにより、温度検出部１５ａによる温度検出精度が低下する。しかし、温度検出部１５ａは、位置付与後撮像画像と温度画像との位置合わせを行う処理を省略することができる。
なお、図５を用いて説明した乗員状態検出装置１ａにおいて、温度検出部１５は、乗員検出部１３から出力された位置付与後撮像画像を用いずに、温度画像取得部１２が取得した温度画像から、乗員の手の温度および顔の温度を検出するようにしてもよい。

また、以上の実施の形態１において、温度取得装置３が比較的高解像度の温度画像を出力するものである場合には、温度検出部１５，１５ａは、温度画像に基づき、乗員の顔の温度について、さらに詳細な顔のパーツの温度を検出するようにしてもよい。具体的には、温度検出部１５，１５ａは、例えば、額の温度または頬の温度を乗員の顔の温度として検出するようにしてもよい。
一般に、額の温度または頬の温度は、人の深部体温に近いとされる。一方、鼻は抹消部分となるため、手と同様に、人が眠気を感じている場合に当該鼻の血流量が増加し、当該鼻の温度は上昇する。
温度検出部１５，１５ａが、顔の温度をパーツに応じて細分化し、抹消部分となる鼻等を除き、人の深部体温に近いとされる額の温度または頬の温度を乗員の顔の温度として検出することで、覚醒度推定部１６，１６ａ，１６ｂによって当該顔の温度を用いて推定される乗員の覚醒度合いの精度を向上させることができる。

また、以上の実施の形態１では、乗員検出部１３は、検出した、乗員の目の位置、乗員の口の位置、乗員の体の位置、乗員の手の位置、または、乗員の顔の位置を示す情報を、動き検出部１４および温度検出部１５，１５ａに出力するものとしたが、これは一例に過ぎない。
乗員検出部１３は、乗員の目の位置、乗員の口の位置、乗員の体の位置、乗員の手の位置、または、乗員の顔の位置を示す情報のうち、動き検出部１４または温度検出部１５にて必要な情報に絞った上で、動き検出部１４または温度検出部１５，１５ａに出力するようにしてもよい。
具体的には、乗員検出部１３は、乗員の目の位置、乗員の口の位置、乗員の顔の位置、および、乗員の体の位置に関する情報（以下「目口顔体位置情報」という。）を動き検出部１４に出力し、乗員の顔の位置、および、乗員の手の位置に関する情報（以下「顔手位置情報」という。）を温度検出部１５，１５ａに出力するようにしてもよい。
この場合、動き検出部１４は、乗員検出部１３から出力された目口顔体位置情報に基づき、乗員の目の動き、乗員の口の動き、乗員の顔の動き、または、乗員の体の動きを検出する。また、温度検出部１５，１５ａは、乗員検出部１３から出力された顔手位置情報に基づき、乗員の手の温度および顔の温度を検出する。

また、以上の実施の形態１において、動き検出部１４が乗員検出部１３の機能を有するようにしてもよい。すなわち、動き検出部１４が、乗員情報を検出する機能を有するようにしてもよい。なお、この場合、動き検出部１４が、位置付与後撮像画像を、温度検出部１５に出力するようにする。また、この場合、乗員状態検出装置１，１ａ，１ｂ，１ｃは、乗員検出部１３を備えない構成とできる。また、この場合、図４のフローチャートを用いて説明した乗員状態検出装置１，１ａ，１ｂ，１ｃの動作について、ステップＳＴ４０３の動作は、動き検出部１４が行う。

また、以上の実施の形態１では、乗員とは、車両の運転者としたが、これは一例に過ぎない。乗員とは、運転者以外の車両の乗員とし、乗員状態検出装置１，１ａ，１ｂは、運転者以外の乗員の覚醒度を推定することもできる。

また、以上の実施の形態１では、乗員状態検出装置１，１ａ，１ｂは、車両に搭載され、車両の乗員の覚醒度を推定するものとしたが、これは一例に過ぎない。乗員状態検出装置１，１ａ，１ｂは、種々の移動体において、当該移動体の乗員の覚醒度を推定することもできる。

図８Ａ，図８Ｂは、実施の形態１に係る乗員状態検出装置１，１ａ，１ｂ，１ｃのハードウェア構成の一例を示す図である。乗員状態検出装置１，１ａ，１ｂ，１ｃは、いずれも、図８Ａ，図８Ｂに示すようなハードウェア構成を有する。
実施の形態１において、撮像画像取得部１１と、温度画像取得部１２と、乗員検出部１３と、動き検出部１４と、温度検出部１５，１５ａと、覚醒度推定部１６，１６ａ，１６ｂと、出力部１７と、属性抽出部１９の機能は、処理回路８０１により実現される。すなわち、乗員状態検出装置１，１ａ，１ｂ，１ｃは、移動体の乗員の覚醒度合いを推定する制御を行うための処理回路８０１を備える。
処理回路８０１は、図８Ａに示すように専用のハードウェアであっても、図８Ｂに示すようにメモリ８０６に格納されるプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）８０５であってもよい。

処理回路８０１が専用のハードウェアである場合、処理回路８０１は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＳｏＣ（Ｓｙｓｔｅｍ－ｏｎ－ａ－ｃｈｉｐ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、またはこれらを組み合わせたものが該当する。

処理回路８０１がＣＰＵ８０５の場合、撮像画像取得部１１と、温度画像取得部１２と、乗員検出部１３と、動き検出部１４と、温度検出部１５，１５ａと、覚醒度推定部１６，１６ａ，１６ｂと、出力部１７と、属性抽出部１９の機能は、ソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせにより実現される。すなわち、撮像画像取得部１１と、温度画像取得部１２と、乗員検出部１３と、動き検出部１４と、温度検出部１５，１５ａと、覚醒度推定部１６，１６ａ，１６ｂと、出力部１７と、属性抽出部１９は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）８０２もしくはメモリ８０６等に記憶されたプログラムを実行するＣＰＵ８０５、または、システムＬＳＩ（Ｌａｒｇｅ－Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等の処理回路８０１により実現される。また、ＨＤＤ８０２またはメモリ８０６等に記憶されたプログラムは、撮像画像取得部１１と、温度画像取得部１２と、乗員検出部１３と、動き検出部１４と、温度検出部１５，１５ａと、覚醒度推定部１６，１６ａ，１６ｂと、出力部１７と、属性抽出部１９の手順または方法をコンピュータに実行させるものであるとも言える。ここで、メモリ８０６とは、例えば、ＲＡＭ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）等の、不揮発性もしくは揮発性の半導体メモリ、または、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ならびに、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等が該当する。

なお、撮像画像取得部１１と、温度画像取得部１２と、乗員検出部１３と、動き検出部１４と、温度検出部１５，１５ａと、覚醒度推定部１６，１６ａ，１６ｂと、出力部１７と、属性抽出部１９の機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。例えば、撮像画像取得部１１と温度画像取得部１２と出力部１７については専用のハードウェアとしての処理回路８０１でその機能を実現し、乗員検出部１３と、動き検出部１４と、温度検出部１５，１５ａと、覚醒度推定部１６，１６ａ，１６ｂと、属性抽出部１９については処理回路８０１がメモリ８０６に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
また、図示しない記憶部は、メモリ８０６を使用する。なお、これは一例であって、図示しない記憶部は、ＨＤＤ８０２、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、または、ＤＶＤ等によって構成されるものであってもよい。
また、乗員状態検出装置１，１ａ，１ｂ，１ｃは、撮像装置２または温度取得装置３等の装置と、有線通信または無線通信を行う入力インタフェース装置８０３および出力インタフェース装置８０４を備える。

以上のように、実施の形態１によれば、乗員状態検出装置１，１ｂ，１ｃは、乗員を撮像した撮像画像を取得する撮像画像取得部１１と、非接触で測定された乗員の体の表面の温度をあらわす温度画像を取得する温度画像取得部１２と、撮像画像取得部１１が取得した撮像画像に基づいて、乗員の動きを検出する動き検出部１４と、温度画像取得部１２が取得した温度画像に基づいて、乗員の手の温度を検出する温度検出部１５，１５ａと、動き検出部１４が検出した乗員の動きと、温度検出部１５，１５ａが検出した乗員の手の温度とに基づいて、乗員の覚醒度を推定する覚醒度推定部１６，１６ｂとを備えるように構成した。
そのため、乗員状態検出装置１，１ｂ，１ｃは、人（乗員）がハンドルを握る位置に関係なく、当該人の手の温度に基づいて当該人の覚醒度の推定を行うことができる。

また、実施の形態１によれば、乗員状態検出装置１，１ｂ，１ｃにおいて、動き検出部１４が検出する乗員の動きには乗員の手の動きが含まれ、覚醒度推定部１６，１６ｂは、動き検出部１４が乗員の手の動きを検出した場合、当該乗員の手の動きに基づいて乗員の覚醒度を推定し、動き検出部１４が乗員の手の動きを検出しなかった場合、動き検出部１４が検出した乗員の動きと、温度検出部１５，１５ａが検出した乗員の手の温度とに基づいて乗員の覚醒度を推定するように構成した。
そのため、乗員状態検出装置１，１ｂ，１ｃは、温度画像に基づいて検出された乗員の手および顔の温度を用いた乗員の覚醒度の推定を、合理的に行うことができる。

また、実施の形態１によれば、乗員状態検出装置１ａは、乗員を撮像した撮像画像を取得する撮像画像取得部１１と、非接触で測定された乗員の体の表面の温度をあらわす温度画像を取得する温度画像取得部１２と、撮像画像取得部１１が取得した撮像画像に基づいて、乗員の動きを検出する動き検出部１４と、温度画像取得部１２が取得した温度画像に基づいて、乗員の手の温度を検出する温度検出部１５と、動き検出部１４が検出した乗員の動きに関する情報と、温度検出部１５が検出した乗員の手の温度に関する情報と、機械学習モデル１８とに基づいて、乗員の覚醒度を推定する覚醒度推定部１６ａとを備えるように構成した。
そのため、乗員状態検出装置１ａは、人（乗員）がハンドルを握る位置に関係なく、当該人の手の温度に基づいて当該人の覚醒度の推定を行うことができる。

また、実施の形態１によれば、乗員状態検出装置１ａにおいて、動き検出部１４が検出する乗員の動きには乗員の手の動きが含まれ、覚醒度推定部１６ａは、動き検出部１４が乗員の手の動きを検出した場合、当該乗員の手の動きに基づいて乗員の覚醒度を推定し、動き検出部１４が乗員の手の動きを検出しなかった場合、機械学習モデル１８に基づいて乗員の覚醒度を推定するように構成した。
そのため、乗員状態検出装置１ａは、温度画像に基づいて検出された乗員の手および顔の温度を用いた乗員の覚醒度の推定を、合理的に行うことができる。

なお、以上の実施の形態１では、乗員状態検出装置１，１ａ，１ｂ，１ｃは、車両に搭載される車載装置とし、撮像画像取得部１１と、温度画像取得部１２と、乗員検出部１３と、動き検出部１４と、温度検出部１５，１５ａと、覚醒度推定部１６，１６ａ，１６ｂと、出力部１７と、属性抽出部１９は、乗員状態検出装置１，１ａ，１ｂ，１ｃに備えられているものとした。
これに限らず、撮像画像取得部１１と、温度画像取得部１２と、乗員検出部１３と、動き検出部１４と、温度検出部１５，１５ａと、覚醒度推定部１６，１６ａ，１６ｂと、出力部１７と、属性抽出部１９のうち、一部を車両の車載装置に搭載されるものとし、その他を当該車載装置とネットワークを介して接続されるサーバに備えられるものとして、車載装置とサーバとで乗員状態検出システムを構成するようにしてもよい。

また、本開示は、実施の形態の任意の構成要素の変形、もしくは実施の形態の任意の構成要素の省略が可能である。

本開示に係る乗員状態検出装置は、人がハンドルを握る位置に関係なく、当該人の手の温度に基づいて当該人の覚醒度の推定を行うことができるように構成したため、移動体において乗員の覚醒度を推定する乗員状態推定装置に適用することができる。

１，１ａ，１ｂ，１ｃ 乗員状態検出装置、２ 撮像装置、３ 温度取得装置、１１ 撮像画像取得部、１２ 温度画像取得部、１３ 乗員検出部、１４ 動き検出部、１５，１５ａ 温度検出部、１６，１６ａ，１６ｂ 覚醒度推定部、１７ 出力部、１８ 機械学習モデル、１９ 属性抽出部、８０１ 処理回路、８０２ ＨＤＤ、８０３ 入力インタフェース装置、８０４ 出力インタフェース装置、８０５ ＣＰＵ、８０６ メモリ。

Claims (5)

1. 乗員を撮像した撮像画像を取得する撮像画像取得部と、
   非接触で測定された前記乗員の体の表面の温度をあらわす温度画像を取得する温度画像取得部と、
   前記撮像画像取得部が取得した撮像画像に基づいて、前記乗員の動きを検出する動き検出部と、
   前記温度画像取得部が取得した温度画像に基づいて、前記乗員の手の温度を検出する温度検出部と、
   前記動き検出部が検出した前記乗員の動きと、前記温度検出部が検出した前記乗員の手の温度とに基づいて、前記乗員の覚醒度を推定する覚醒度推定部とを備え、
   前記動き検出部が検出する前記乗員の動きには前記乗員の手の動きが含まれ、
   前記覚醒度推定部は、前記動き検出部が前記乗員の手の動きを検出した場合、当該乗員の手の動きに基づいて前記乗員の覚醒度を推定し、前記動き検出部が前記乗員の手の動きを検出しなかった場合、前記動き検出部が検出した前記乗員の動きと、前記温度検出部が検出した前記乗員の手の温度とに基づいて前記乗員の覚醒度を推定する
   ことを特徴とする乗員状態検出装置。
2. 前記動き検出部は、前記乗員の動きとして、前記乗員の目の動き、前記乗員の口の動き、前記乗員の体の動き、前記乗員の手の動き、または、前記乗員の顔の動きを検出する
   ことを特徴とする請求項１記載の乗員状態検出装置。
3. 前記温度検出部は、前記乗員の手の温度を検出するとともに前記乗員の顔の温度を検出し、
   前記覚醒度推定部は、
   前記動き検出部が検出した前記乗員の動きと、前記温度検出部が検出した前記乗員の手の温度および顔の温度に基づいて、前記乗員の覚醒度を推定する
   ことを特徴とする請求項１記載の乗員状態検出装置。
4. 乗員を撮像した撮像画像を取得する撮像画像取得部と、
   非接触で測定された前記乗員の体の表面の温度をあらわす温度画像を取得する温度画像取得部と、
   前記撮像画像取得部が取得した撮像画像に基づいて、前記乗員の動きを検出する動き検出部と、
   前記温度画像取得部が取得した温度画像に基づいて、前記乗員の手の温度を検出する温度検出部と、
   前記動き検出部が検出した前記乗員の動きに関する情報と、前記温度検出部が検出した前記乗員の手の温度に関する情報と、機械学習モデルとに基づいて、前記乗員の覚醒度を推定する覚醒度推定部とを備え、
   前記動き検出部が検出する前記乗員の動きには前記乗員の手の動きが含まれ、
   前記覚醒度推定部は、前記動き検出部が前記乗員の手の動きを検出した場合、当該乗員の手の動きに基づいて前記乗員の覚醒度を推定し、前記動き検出部が前記乗員の手の動きを検出しなかった場合、前記機械学習モデルに基づいて前記乗員の覚醒度を推定する
   ことを特徴とする乗員状態検出装置。
5. 撮像画像取得部が、乗員を撮像した撮像画像を取得するステップと、
   温度画像取得部が、非接触で測定された前記乗員の体の表面の温度をあらわす温度画像を取得するステップと、
   動き検出部が、前記撮像画像取得部が取得した撮像画像に基づいて、前記乗員の動きを検出するステップと、
   温度検出部が、前記温度画像取得部が取得した温度画像に基づいて、前記乗員の手の温度を検出するステップと、
   覚醒度推定部が、前記動き検出部が検出した前記乗員の動きと、前記温度検出部が検出した前記乗員の手の温度とに基づいて、前記乗員の覚醒度を推定するステップとを備え、
   前記動き検出部が検出する前記乗員の動きには前記乗員の手の動きが含まれ、
   前記覚醒度推定部は、前記動き検出部が前記乗員の手の動きを検出した場合、当該乗員の手の動きに基づいて前記乗員の覚醒度を推定し、前記動き検出部が前記乗員の手の動きを検出しなかった場合、前記動き検出部が検出した前記乗員の動きと、前記温度検出部が検出した前記乗員の手の温度とに基づいて前記乗員の覚醒度を推定するステップを有する
   ことを特徴とする乗員状態検出方法。

Images