JPWO2021053780A1 - 認知機能推定装置、学習装置、および、認知機能推定方法 - Google Patents

Abstract

車外情報を取得する車外情報取得部（１４）と、顔情報を取得する顔情報取得部（１１）と、生体情報を取得する生体情報取得部（１２）と、車両情報を取得する車両情報取得部（１３）と、車外情報に基づき車外情報特徴量を抽出する車外情報特徴量抽出部（１５）と、車外情報特徴量に基づき顔情報特徴量を抽出する顔情報特徴量抽出部（１６）と、車外情報特徴量に基づき生体情報特徴量を抽出する生体情報特徴量抽出部（１７）と、車外情報特徴量に基づき車両情報特徴量を抽出する車両情報特徴量抽出部（１８）と、車外情報特徴量と、顔情報特徴量、生体情報特徴量、または、車両情報特徴量のうちの少なくとも１つと、機械学習モデル（２０３）とに基づき、運転者の認知機能が低いか否かを推定する認知機能推定部（１９）を備えた。

Description

この発明は、車両の運転者の認知機能を推定する認知機能推定装置、車両の運転者の認知機能を学習する学習装置、および、車両の運転者の認知機能を推定する認知機能推定方法に関する。

一般的に、人は高齢になるにつれて、認知機能が低下することが知られている。ここでいう認知機能とは、人が有する、車両を適切に運転するための機能のことである。例えば、車両の運転者が高齢である場合、認知機能が低下していることによって、運転者は、当該認知機能を果たすことができず、その結果、適切な運転ができない場合がある。したがって、例えば、運転支援の技術において、運転者が、一定水準の認知機能を有しているか否かを推定する技術が求められる。
一方、ある運転者の、運転に対する集中の度合いという意味での認知度に関する技術としては、例えば、特許文献１に、車両の運転者の視線の上下方向の動きに基づいて認知度を推定する認知度推定装置が開示されている。

特開２０１５−８０５４９号公報

上述のとおり、運転支援の技術において、運転者が、一定水準の認知機能を有しているか否かを推定する技術が求められる。しかしながら、従来の運転支援の技術では、運転者の認知機能を推定することができていないという課題があった。
特許文献１に開示されているような認知度推定装置では、認知度を推定しているが、当該認知度は、ある運転者における一時的な、運転に対する集中度であり、ある運転者が、一定水準の、車両を適切に運転するための機能を有しているか否かを推定するものではない。そのため、特許文献１に開示されているような認知度推定装置の技術では、上記課題を解決できない。

この発明は、上記のような課題を解決するためになされたもので、運転者が一定水準の認知機能を有するか否か推定することができる認知機能推定装置を提供することを目的とする。

この発明に係る認知機能推定装置は、車両周辺の状況に関する車外情報を取得する車外情報取得部と、車両の運転者の顔に関する顔情報を取得する顔情報取得部と、運転者の生体情報を取得する生体情報取得部と、車両に関する車両情報を取得する車両情報取得部と、車外情報取得部が取得した車外情報に基づき、運転者の認知機能を推定するための車外情報特徴量を抽出する車外情報特徴量抽出部と、車外情報特徴量抽出部が抽出した車外情報特徴量に応じて、顔情報取得部が取得した顔情報に基づき、運転者の認知機能を推定するための顔情報特徴量を抽出する顔情報特徴量抽出部と、車外情報特徴量抽出部が抽出した車外情報特徴量に応じて、生体情報取得部が取得した生体情報に基づき、運転者の認知機能を推定するための生体情報特徴量を抽出する生体情報特徴量抽出部と、車外情報特徴量抽出部が抽出した車外情報特徴量に応じて、車両情報取得部が取得した車両情報に基づき、運転者の認知機能を推定するための車両情報特徴量を抽出する車両情報特徴量抽出部と、車外情報特徴量抽出部が抽出した車外情報特徴量と、顔情報特徴量抽出部が抽出した顔情報特徴量、生体情報特徴量抽出部が抽出した生体情報特徴量、または、車両情報特徴量抽出部が抽出した車両情報特徴量のうちの少なくとも１つと、機械学習モデルとに基づき、運転者の認知機能が低いか否かを推定する認知機能推定部を備えたものである。

この発明によれば、運転者が一定水準の認知機能を有するか否か推定することができる。

実施の形態１に係る認知機能推定装置の構成例を示す図である。 実施の形態１において、車外情報特徴量抽出部が抽出する車外情報特徴量と、顔情報特徴量抽出部が抽出する顔情報特徴量、生体情報特徴量抽出部が抽出する生体情報特徴量、または、車両情報特徴量抽出部が抽出する車両情報特徴量との関係の一例のイメージを説明するための図である。 実施の形態１に係る認知機能推定装置の動作を説明するためのフローチャートである。 実施の形態１に係る学習装置の動作を説明するためのフローチャートである。 図５Ａ，図５Ｂは、実施の形態１に係る認知機能推定装置のハードウェア構成の一例を示す図である。

以下、この発明の実施の形態について、図面を参照しながら詳細に説明する。
実施の形態１．
図１は、実施の形態１に係る認知機能推定装置１の構成例を示す図である。
実施の形態１に係る認知機能推定装置１は、車両（図示省略）に搭載されることを想定している。
図１に示すように、認知機能推定装置１は、車内撮像装置２、生体センサ３、車両情報検知装置４、および、車外撮像装置５と接続される。車内撮像装置２、生体センサ３、車両情報検知装置４、および、車外撮像装置５は、車両に搭載されることを想定している。

車内撮像装置２は、車両内を撮像する。車内撮像装置２は、例えば、車両内をモニタリングすることを目的に車両に設置された車内カメラ等であり、少なくとも、運転席に着座している運転者の顔が存在すべき範囲を含む車両内の範囲を撮像可能に設置される。運転席に着座している運転者の顔が存在すべき範囲とは、例えば、運転席のヘッドレストの前方付近の空間に相当する範囲である。車内撮像装置２は、車両内の運転者の状態を監視するために車両に搭載される、いわゆる「ドライバモニタリングシステム」が有する撮像装置と共用のものであってもよい。

生体センサ３は、運転者の生体情報を計測する。運転者の生体情報とは、例えば、運転者の脈拍、体温、血圧、呼吸、心拍、または、脳波の情報である。

車両情報検知装置４は、車両に関する車両情報を検知する。車両情報検知装置４は、アクセル開度センサ、操舵角センサ、ブレーキセンサ、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）、ナビゲーション装置等、車両に関する情報を検知する様々な装置を含む。車両情報とは、例えば、アクセル開度に関する情報、ハンドル操舵角に関する情報、または、ブレーキ操作量に関する情報である。例えば、車両情報検知装置４がアクセル開度センサである場合、当該アクセル開度センサは、アクセルが操作されたこと、または、車両のアクセル開度等を検知する。また、例えば、車両情報検知装置４が操舵角センサである場合、当該操舵角センサは、車両のハンドル操舵角等を検知する。また、例えば、車両情報検知装置４がブレーキセンサである場合、当該ブレーキセンサは、車両のブレーキが操作されたこと、または、ブレーキ操作量等を検知する。また、例えば、車両情報検知装置４がＧＰＳである場合、当該ＧＰＳは、車両の現在位置を検知する。また、例えば、車両情報検知装置４がナビゲーション装置である場合、当該ナビゲーション装置は、当該ナビゲーション装置が操作されたこと、または、車両の経路情報等を検知する。

車外撮像装置５は、例えば、車両の周辺を撮像する車外カメラである。

認知機能推定装置１は、車外撮像装置５が撮像した画像（以下「車外撮像画像」という。）と、車内撮像装置２が撮像した画像（以下「車内撮像画像」という。）、生体センサ３が計測した生体情報、または、車両情報検知装置４が計測した車両情報と、機械学習モデル２０３とに基づき、車両の運転者の認知機能を推定する。ここで、「モデル」とは、機械学習における学習済みモデルのことである。機械学習モデル２０３は、学習装置２０が機械学習を用いて生成する。学習装置２０および機械学習モデル２０３の詳細については後述する。
実施の形態１において、「認知機能」とは、人が有する、車両を適切に運転するための機能をいう。運転者が一定水準の認知機能を有する場合、当該運転者は、車両を適切に運転することができる。一方、運転者の認知機能が低下すると、当該運転者は、車両を運転する上で一定の違反行為をしてしまう等、車両を適切に運転することができなくなる。一般的に、高齢になるにつれて、認知機能は低下すると言われている。

認知機能推定装置１は、顔情報取得部１１、生体情報取得部１２、車両情報取得部１３、車外情報取得部１４、車外情報特徴量抽出部１５、顔情報特徴量抽出部１６、生体情報特徴量抽出部１７、車両情報特徴量抽出部１８、認知機能推定部１９、および、学習装置２０を備える。
認知機能推定部１９は、判定部１９１を備える。
学習装置２０は、取得部２０１、学習部２０２、および、機械学習モデル２０３を備える。

顔情報取得部１１は、車内撮像装置２から、車内撮像画像を取得し、車内撮像画像に基づき、車両の運転者の顔に関する顔情報を取得する。実施の形態１において、運転者の顔情報とは、運転者の顔向きに関する情報、運転者の視線に関する情報、運転者の開眼度に関する情報、運転者の開口度に関する情報、運転者の表情に基づく感情情報、運転者の頭部の位置に関する情報等である。顔情報取得部１１は、例えば、既知の画像認識技術を用いて、車内撮像画像から、運転者の顔情報を取得すればよい。
顔情報取得部１１は、取得した顔情報を、顔情報特徴量抽出部１６に出力する。顔情報取得部１１は、取得した顔情報を、記憶部（図示省略）に蓄積させるようにしてもよい。

生体情報取得部１２は、生体センサ３から、車両の運転者の生体情報を取得する。
生体情報取得部１２は、車内撮像装置２から車内撮像画像を取得し、既存の画像認識技術を用いて、車内撮像画像から、生体情報を取得してもよい。具体的には、生体情報取得部１２は、例えば、既存の画像認識技術を用いて、車内撮像画像における運転者の顔の輝度変化を解析する。そして、生体情報取得部１２は、解析した、運転者の顔の輝度変化から、例えば、運転者の脈拍を推定する。
生体情報取得部１２は、取得した生体情報を、生体情報特徴量抽出部１７に出力する。生体情報取得部１２は、取得した生体情報を、記憶部に蓄積させるようにしてもよい。

車両情報取得部１３は、車両情報検知装置４から、車両に関する車両情報を取得する。
車両情報取得部１３は、取得した車両情報を、車両情報特徴量抽出部１８に出力する。車両情報取得部１３は、取得した車両情報を、記憶部に蓄積させるようにしてもよい。

車外情報取得部１４は、車外撮像装置５から、車外撮像画像を取得し、車外撮像画像に基づき、車両周辺の状況に関する車外情報を取得する。実施の形態１において、車外情報とは、信号に関する情報、歩行者の飛び出しがあるか否かの情報、車両が走行中の経路に関する情報、標識に関する情報等である。信号に関する情報には、例えば、信号の有無、および、信号の色に関する情報が含まれる。標識に関する情報には、例えば、標識の有無、および、標識の内容に関する情報が含まれる。車外情報取得部１４は、例えば、既知の画像認識技術を用いて、車外撮像画像から、車外情報を取得すればよい。また、車外情報取得部１４は、車外撮像装置５から取得した車外撮像画像そのものを車外情報としてもよい。
車外情報取得部１４は、取得した車外情報を、車外情報特徴量抽出部１５に出力する。車外情報取得部１４は、取得した車外情報を、記憶部に蓄積させるようにしてもよい。

車外情報特徴量抽出部１５は、車外情報取得部１４が取得した車外情報に基づき、運転者の認知機能を推定するための車外情報特徴量を抽出する。
具体例を挙げると、例えば、車外情報特徴量抽出部１５は、車外情報に信号の情報が含まれており、信号が赤信号である場合、当該赤信号である旨の情報を、運転者の認知機能を推定するための車外情報特徴量として抽出する。このとき、車外情報特徴量抽出部１５は、例えば、実空間上の信号の位置を示す情報も、車外情報特徴量に含めるようにすることができる。車外撮像画像の撮像範囲は予め決められているものとし、車外情報特徴量抽出部１５は、実空間上の信号の位置を、例えば、車外撮像画像、地図情報、および、車両の位置情報に基づいて算出すればよい。車外情報特徴量抽出部１５は、例えば、車両に搭載されているナビゲーション装置（図示省略）から地図情報を取得するようにすればよい。また、車外情報特徴量抽出部１５は、ＧＰＳから車両の位置情報を取得するようにすればよい。なお、実空間上の信号の位置は、車外情報取得部１４が算出し、車外情報として車外情報特徴量抽出部１５に出力するようにしてもよい。

また、例えば、車外情報特徴量抽出部１５は、車外情報に信号の情報が含まれており、信号が青信号である場合、当該青信号である旨の情報を、運転者の認知機能を検知するための車外情報特徴量として抽出する。このとき、車外情報特徴量抽出部１５は、例えば、実空間上の信号の位置を示す情報も、車外情報特徴量に含めるようにすることができる。

また、例えば、車外情報特徴量抽出部１５は、車外情報として車外撮像画像が取得された場合、当該車外撮像画像上で人の飛び出しが発生したことを検知すると、当該飛び出しがある旨の情報を、運転者の認知機能を推定するための車外情報特徴量として抽出する。なお、この場合、車外情報は例えば車外撮像画像であり、車外情報取得部１４は、記憶部に直近に蓄積された車外撮像画像と、車外情報取得部１４から出力された車外撮像画像とを比較し、人の飛び出しが発生したか否かを検知すればよい。

また、例えば、車外情報特徴量抽出部１５は、車外情報として車両侵入禁止の標識の情報が取得された場合、当該車両侵入禁止の標識の情報がある旨の情報を、運転者の認知機能を推定するための車外情報特徴量として抽出する。また、例えば、車外情報特徴量抽出部１５は、車外情報として一時停止の標識の情報が取得された場合、当該一時停止の標識の情報がある旨の情報を、運転者の認知機能を推定するための車外情報特徴量として抽出する。

また、例えば、車外情報特徴量抽出部１５は、予め設定された期間内に、類似の車外情報が繰り返し出力されている場合、車両が同じ道を繰り返し走行している旨の情報を、運転者の認知機能を推定するための車外情報特徴量として抽出する。なお、この場合、例えば、車外情報は、車外撮像装置５が撮像した車外撮像画像であり、車外情報取得部１４は、記憶部に蓄積されている車外撮像画像に基づき、期間内に類似の車外情報が繰り返し出力されていることを判断すればよい。

車外情報特徴量抽出部１５が、車外情報に基づいて、どのような車外情報特徴量を抽出するかは、予め決められている。車外情報特徴量は、車外で発生した何らかの事象であって、運転者が、認知機能が低下した運転者である場合に行いやすい一定の違反行為（例えば、警視庁ホームページ、認知機能が低下した場合に行われやすい一定の違反行為（１８基準行為）、URL：『https://www.keishicho.metro.tokyo.jp/smph/menkyo/koshu/koureisha_anzen.html』参照）、を行い得る事象、に関する情報とするよう、予め決められている。
車外情報特徴量抽出部１５は、抽出した車外情報特徴量を、顔情報特徴量抽出部１６、生体情報特徴量抽出部１７、車両情報特徴量抽出部１８、および、認知機能推定部１９に出力する。

顔情報特徴量抽出部１６は、車外情報特徴量抽出部１５が抽出した車外情報特徴量に応じて、顔情報取得部１１が取得した顔情報に基づき、運転者の認知機能を推定するための顔情報特徴量を抽出する。車外情報特徴量に基づく顔情報特徴量の詳細については、具体例を挙げて後述する。顔情報特徴量抽出部１６は、抽出した顔情報特徴量を、認知機能推定部１９に出力する。

生体情報特徴量抽出部１７は、車外情報特徴量抽出部１５が抽出した車外情報特徴量に応じて、生体情報取得部１２が取得した生体情報に基づき、運転者の認知機能を推定するための生体情報特徴量を抽出する。車外情報特徴量に基づく生体情報特徴量の詳細については、具体例を挙げて後述する。生体情報特徴量抽出部１７は、抽出した生体情報特徴量を、認知機能推定部１９に出力する。

車両情報特徴量抽出部１８は、車外情報特徴量抽出部１５が抽出した車外情報特徴量に応じて、車両情報取得部１３が取得した車両情報に基づき、運転者の認知機能を推定するための車両情報特徴量を抽出する。車外情報特徴量に基づく車両情報特徴量の詳細については、具体例を挙げて後述する。車両情報特徴量抽出部１８は、抽出した車両情報特徴量を、認知機能推定部１９に出力する。

ここで、車外情報特徴量抽出部１５が抽出した車外情報特徴量に基づいて顔情報特徴量抽出部１６が抽出する顔情報特徴量、生体情報特徴量抽出部１７が抽出する生体情報特徴量、または、車両情報特徴量抽出部１８が抽出する車両情報特徴量について、具体例を挙げて説明する。
図２は、実施の形態１において、車外情報特徴量抽出部１５が抽出する車外情報特徴量と、顔情報特徴量抽出部１６が抽出する顔情報特徴量、生体情報特徴量抽出部１７が抽出する生体情報特徴量、または、車両情報特徴量抽出部１８が抽出する車両情報特徴量との関係の一例のイメージを説明するための図である。
図２に示すように、顔情報特徴量抽出部１６がどのような顔情報特徴量を抽出するか、生体情報特徴量抽出部１７がどのような生体情報特徴量を抽出するか、または、車両情報特徴量抽出部１８がどのような車両情報特徴量を抽出するかは、車外情報特徴量抽出部１５が抽出した車外情報特徴量の内容に応じて、予め決められている。
なお、図２では、ある車外情報特徴量に応じて、抽出され得る、顔情報特徴量の一例、生体情報特徴量の一例、または、車両情報特徴量の一例を列挙して示している。図２で示す、ある車外情報特徴量に対して、図２に示す、当該ある車外情報特徴量に対応する、顔情報特徴量、生体情報特徴量、および、車両情報特徴量が全て抽出されることが必須なわけではない。具体的には、図２は、例えば、赤信号である旨の情報が車外情報特徴量として抽出された場合に、必ず、顔情報特徴量として、運転者の視線方向を示す情報、および、顔向きを示す情報が抽出されなければならないことを意味するものではない。また、図２は、例えば、赤信号である旨の情報が車外情報特徴量として抽出された場合に、必ず、ブレーキが操作されたか否かのブレーキ操作情報、ブレーキ操作までの反応時間、および、アクセルが操作されたか否かのアクセル操作情報が抽出されなければならないことを意味するものではない。

例えば、車外情報特徴量抽出部１５が、赤信号である旨の情報を車外情報特徴量として抽出した場合、顔情報特徴量抽出部１６は、顔情報取得部１１が取得した顔情報に基づき、運転者の視線方向を示す情報を、顔情報特徴量として抽出する。この場合、例えば、車両情報特徴量抽出部１８は、車両情報取得部１３が取得した車両情報に基づき、ブレーキが操作されたか否かのブレーキ操作情報を、車両情報特徴量として抽出する。車外情報特徴量抽出部１５は、このように、車外情報特徴量で示される事象に対する、運転者の行動パターンを示す情報を、車両情報特徴量として抽出することができる。上述の例では、車外情報特徴量抽出部１５は、車外情報特徴量で示される、赤信号になったという事象に対して、運転者がブレーキを操作したか否かの行動パターンを示す情報を、車両情報特徴量としている。
車両情報特徴量抽出部１８は、車両情報取得部１３が取得した車両情報に基づき、赤信号である旨の車外情報特徴量が抽出されてから、ブレーキが操作されるまでに要した時間を、車両情報特徴量として抽出してもよい。車両情報特徴量抽出部１８は、例えば、記憶部に蓄積されている車両情報に基づき、赤信号である旨の車外情報特徴量が抽出されてから、ブレーキが操作されるまでに要した時間を算出すればよい。車両情報特徴量抽出部１８は、は、このように、車外情報特徴量で示される事象に対する、運転者の反応時間を、車両情報特徴量とすることができる。上述の例では、車両情報特徴量抽出部１８は、車外情報特徴量で示される、赤信号になったという事象に対して、運転者がブレーキを操作するまでの反応時間を、車両情報特徴量としている。

また、例えば、車外情報特徴量抽出部１５が、青信号である旨の情報を車外情報特徴量として抽出した場合、顔情報特徴量抽出部１６は、顔情報取得部１１が取得した顔情報に基づき、運転者の視線方向を示す情報を、顔情報特徴量として抽出する。この場合、例えば、車両情報特徴量抽出部１８は、車両情報取得部１３が取得した車両情報に基づき、アクセルが操作されたか否かのアクセル操作情報を、車両情報特徴量として抽出する。車両情報特徴量抽出部１８は、例えば、青信号である旨の車外情報特徴量が抽出されてから、アクセルが操作されるまでの反応時間を、車両情報特徴量として抽出してもよい。

また、例えば、車外情報特徴量抽出部１５が、飛び出しがある旨の情報を車外情報特徴量として抽出した場合、顔情報特徴量抽出部１６は、顔情報取得部１１が取得した顔情報に基づき、運転者の開眼度を示す情報を、顔情報特徴量として抽出する。この場合、例えば、車両情報特徴量抽出部１８は、車両情報取得部１３が取得した車両情報に基づき、飛び出しがある旨の車外情報特徴量が抽出されてから、ブレーキが操作されるまでに要した時間を、車両情報特徴量として抽出する。

また、例えば、車外情報特徴量抽出部１５が、一時停止の標識がある旨の情報を車外情報特徴量として抽出した場合、車両情報特徴量抽出部１８は、車両情報取得部１３が取得した車両情報に基づき、ブレーキが操作されたか否かのブレーキ操作情報を、車両情報特徴量として抽出する。

また、例えば、車外情報特徴量抽出部１５が、車両が同じ道を繰り返し走行している旨の情報を車外情報特徴量として抽出した場合、顔情報特徴量抽出部１６は、顔情報取得部１１が取得した顔情報に基づき、運転者の感情情報を、顔情報特徴量として抽出する。この場合、例えば、生体情報特徴量抽出部１７は、生体情報取得部１２が取得した生体情報に基づき、運転者の脈拍および心拍に関する情報を、生体情報特徴量として抽出する。また、この場合、例えば、車両情報特徴量抽出部１８は、車両情報取得部１３が取得した車両情報に基づき、ナビゲーション装置が操作されたか否かを示す情報を、車両情報特徴量として抽出する。

図２では図示していないが、例えば、車外情報特徴量抽出部１５が、車両は交差点またはカーブを走行中である旨の情報を車外情報特徴量として抽出した場合、車両情報特徴量抽出部１８は、車両情報取得部１３が取得した車両情報に基づき、車両のハンドル操舵角を、車両情報特徴量として抽出するようにしてもよい。

以上の例では、認知機能推定装置１において、車両情報特徴量抽出部１８が、車外情報特徴量で示される事象に対する、運転者の行動パターンを示す情報を車両情報特徴量として抽出する例について説明した。これ以外に、認知機能推定装置１において、顔情報特徴量抽出部１６が、運転者の行動パターンを示す情報を、顔情報特徴量として抽出することもできる。例えば、車外情報特徴量抽出部１５が、飛び出しがある旨の情報を車外情報特徴量として抽出した場合、顔情報特徴量抽出部１６は、記憶部に蓄積されている顔情報に基づき、当該飛び出しがあるという事象に対して、運転者の感情情報に変化があったか否かの行動パターンを示す情報を、顔情報特徴量とすることもできる。例えば、運転者の感情情報に変化がない場合、運転者は、飛び出しがあるという事象に対して、当該飛び出しに気づかず、無表情を継続させるという行動をとったと言える。
また、例えば、車外情報特徴量抽出部１５が、一時停止の標識がある旨の情報を車外情報特徴量として抽出した場合、顔情報特徴量抽出部１６は、記憶部に蓄積されている顔情報に基づき、当該一時停止の標識があるという事象に対して、運転者が視線方向を変化させたという行動パターンを示す情報を、顔情報特徴量とすることもできる。例えば、運転者が一時停止の標識の方向に視線を向けなかった場合、運転者は、当該標識を見落とすという行動をとったと言える。
また、認知機能推定装置１において、生体情報特徴量抽出部１７が、運転者の行動パターンを示す情報を、生体情報特徴量として抽出することもできる。例えば、車外情報特徴量抽出部１５が、飛び出しがある旨の情報を車外情報特徴量として抽出した場合、生体情報特徴量抽出部１７は、記憶部に蓄積されている生体情報に基づき、当該飛び出しがあるという事象に対して、運転者の呼吸数に変化があったか否かの行動パターンを示す情報を、生体情報特徴量とすることもできる。例えば、運転者の呼吸数が多くなるという変化があった場合、運転者は、飛び出しがあるという事象に対して、落ち着かせるために意図的に呼吸を多く行うという行動をとったと言える。

また、以上の例では、認知機能推定装置１において、車両情報特徴量抽出部１８が、車外情報特徴量で示される事象が発生してから、運転者が行った車両操作までの反応時間を車両情報特徴量として抽出する例について説明した。これ以外に、認知機能推定装置１において、顔情報特徴量抽出部１６が、車外情報特徴量で示される事象が発生してから、運転者の顔情報に変化が起きるまでの反応時間を、顔情報特徴量として抽出することもできる。例えば、車外情報特徴量抽出部１５が、赤信号である旨の情報を車外情報特徴量として抽出した場合、顔情報特徴量抽出部１６は、記憶部に蓄積されている顔情報に基づき、運転者が赤信号に視線を向けるまでの反応時間を、顔情報特徴量とすることもできる。
また、認知機能推定装置１において、生体情報特徴量抽出部１７が、車外情報特徴量で示される事象が発生してから、運転者の生体情報に変化が起きるまでの反応時間を、生体情報特徴量として抽出することもできる。例えば、車外情報特徴量抽出部１５が、飛び出しがあった旨の情報を車外情報特徴量として抽出した場合、生体情報特徴量抽出部１７は、記憶部に蓄積されている生体情報に基づき、当該飛び出しがあったという事象に対して、運転者の呼吸数に変化があるまでの反応時間を、生体情報特徴量とすることもできる。

このように、顔情報特徴量抽出部１６、生体情報特徴量抽出部１７、または、車両情報特徴量抽出部１８は、車外情報特徴量抽出部１５が抽出した車外情報特徴量に基づいて、それぞれ、顔情報特徴量、生体情報特徴量、または、車両情報特徴量を抽出する。
顔情報特徴量、生体情報特徴量、または、車両情報特徴量には、車外情報特徴量に応じて、運転者が、認知機能が低下した運転者である場合に行いやすい一定の違反行為を判別するための情報が、設定される。

なお、上述したように、認知機能推定装置１において、車外情報特徴量抽出部１５が抽出した車外情報特徴量に対して、顔情報特徴量、生体情報特徴量、および、車両情報特徴量のすべてが抽出されることは必須ではない。認知機能推定装置１において、車外情報特徴量抽出部１５が抽出した車外情報特徴量に対して、顔情報特徴量、生体情報特徴量、または、車両情報特徴量のうちの少なくとも１つが抽出されるようになっていればよい。

図１を用いた認知機能推定装置１の説明に戻る。
認知機能推定部１９は、車外情報特徴量抽出部１５が抽出した車外情報特徴量と、車両情報特徴量抽出部１８が抽出した車両情報特徴量、顔情報特徴量抽出部１６が抽出した顔情報特徴量、または、生体情報特徴量抽出部１７が抽出した生体情報特徴量のうちの少なくとも１つと、機械学習モデル２０３とに基づき、運転者の認知機能が低いか否かを推定する。具体的には、認知機能推定部１９は、車外情報特徴量と、車両情報特徴量、顔情報特徴量、または、生体情報特徴量のうちの少なくとも１つを機械学習モデル２０３に入力し、運転者の認知機能が低いか否かを示す認知機能情報を得る。

実施の形態１では、認知機能推定部１９は、判定部１９１を備えるものとする。
認知機能推定部１９の判定部１９１は、車外情報特徴量抽出部１５が抽出した車外情報特徴量と、車両情報特徴量抽出部１８が抽出した車両情報特徴量、顔情報特徴量抽出部１６が抽出した顔情報特徴量、または、生体情報特徴量抽出部１７が抽出した生体情報特徴量のうちの少なくとも１つと、機械学習モデル２０３とに基づき、予め設定された期間（以下「判定用期間」という。）継続して、運転者の認知機能が低いと推定されたか否かを判定する。
認知機能推定部１９は、判定部１９１が、判定用期間継続して、運転者の認知機能が低いと推定されたと判定した場合に、運転者の認知機能が低いと推定する。これにより、運転者が、瞬間的に、認知機能が低いと推定されることを防ぎ、運転者の認知機能の推定精度を向上させることができる。

なお、ここでは、認知機能推定部１９は、判定部１９１を備えるものとするが、これは一例に過ぎない。認知機能推定部１９は、判定部１９１を備えない構成としてもよい。

学習装置２０は、車両の運転者の認知機能を推定するための車外情報特徴量と、車外情報特徴量に応じた、車両の運転者の認知機能を推定するための車両情報特徴量、車外情報特徴量に応じた、車両の運転者の認知機能を推定するための顔情報特徴量、または、車外情報特徴量に応じた、車両の運転者の認知機能を推定するための生体情報特徴量を入力とし、運転者の認知機能が低いか否かを示す認知機能情報を出力する機械学習モデル２０３を生成する。なお、機械学習モデル２０３は、認知機能推定部１９が運転者の認知機能を推定するよりも前に、学習装置２０によって生成されている。

学習装置２０は、取得部２０１、学習部２０２、および、機械学習モデル２０３を備える。
取得部２０１は、機械学習モデル２０３の入力とする、車外情報特徴量と、車両情報特徴量、顔情報特徴量、または、生体情報特徴量を取得する。取得部２０１が取得する、車外情報特徴量と、車両情報特徴量、顔情報特徴量、または、生体情報特徴量には、認知機能が低いか否かの正解情報が付与されている。
機械学習モデル２０３の入力とする、正解情報が付与された、車外情報特徴量と、車両情報特徴量、顔情報特徴量、または、生体情報特徴量とは、予め生成されている。取得部２０１は、これらの、予め生成されている、車外情報特徴量と、車両情報特徴量、顔情報特徴量、または、生体情報特徴量とを取得する。
なお、取得部２０１が取得する、車外情報特徴量、車両情報特徴量、顔情報特徴量、または、生体情報特徴量の具体的な内容は、車外情報特徴量抽出部１５が抽出する車外情報特徴量、顔情報特徴量抽出部１６が抽出する顔情報特徴量、生体情報特徴量抽出部１７が抽出する生体情報特徴量、または、車両情報特徴量抽出部１８が抽出する車両情報特徴量の具体的な内容と同様である。
例えば、管理者等は、被験者に対してペーパーテストを実施し、当該被験者の認知機能を計測することで、当該被験者のテスト走行データを収集する。例えば、管理者等は、被験者に対してテスト走行を行わせ、当該被験者の認知機能を計測することで、当該被験者のテスト走行データを収集してもよい。管理者等は、収集したテスト走行データから、機械学習モデル２０３の入力とする、正解情報が付与された、車外情報特徴量と、車両情報特徴量、顔情報特徴量、または、生体情報特徴量とを、生成する。なお、管理者等は、様々なレベルの認知機能を有する、一定数の車両の運転者を、被験者とすることが望ましい。

例えば、取得部２０１が取得する車外情報特徴量、車両情報特徴量、顔情報特徴量、または、生体情報特徴量として、正常者が車両を運転した場合の車外情報特徴量、車両情報特徴量、顔情報特徴量、または、生体情報特徴量と、認知機能が低い者が車両を運転した場合の車外情報特徴量、車両情報特徴量、顔情報特徴量、または、生体情報特徴量とが、予め生成されている。正常者が車両を運転した場合の車外情報特徴量、車両情報特徴量、顔情報特徴量、または、生体情報特徴量には、認知機能が低くない旨の正解情報が付与されている。一方、認知機能が低い者が車両を運転した場合の車外情報特徴量、車両情報特徴量、顔情報特徴量、または、生体情報特徴量には、認知機能が低い旨の正解情報が付与されている。
具体的には、例えば、車両をテスト走行させられた正常者、および、認知機能が低い高齢者が当該テスト走行した際に取得される、車外情報特徴量、車両情報特徴量、顔情報特徴量、または、生体情報特徴量が、予め生成されている。なお、実施の形態１において、正常者とは、車両を適切に運転するために必要な認知機能を有している者をいう。一方、認知機能が低い者とは、車両を適切に運転するために十分な認知機能を有していない者をいう。

正常者、および、高齢者等、認知機能が低い運転者がテスト走行した際に取得される車外情報特徴量、車両情報特徴量、顔情報特徴量、または、生体情報特徴量について、具体例を挙げて説明する。
例えば、正常者がテスト走行をしている際に、信号が赤に変わったとする。そうすると、正常者は、赤信号を視認し、瞬時にブレーキを操作して、車両を停止させる。この場合、赤信号である旨の情報が車外情報特徴量として生成される。また、赤信号になった際の正常者の視線方向が顔情報特徴量として生成される。また、赤信号になってから正常者がブレーキ操作をしたか否か、および、赤信号になってからブレーキ操作までの反応時間が、車両情報特徴量として生成される。そして、これらの車外情報特徴量、顔情報特徴量、および、車両情報特徴量には、認知機能が低くない旨の正解情報が付与される。

一方、例えば、認知機能が低い高齢者がテスト走行をしている際に、信号が赤に変わったとする。そうすると、当該高齢者は、例えば、赤信号を視認し、ブレーキを操作して、車両を停止させるが、ブレーキを操作するまでには、正常者がブレーキを操作するまでの時間よりも長い時間を要する。この場合、赤信号である旨の情報が車外情報特徴量として生成される。また、赤信号になった際の高齢者の視線方向が顔情報特徴量として生成される。また、赤信号になってから高齢者がブレーキ操作をしたか否か、および、赤信号になってからブレーキ操作までの反応時間が、車両情報特徴量として生成される。そして、これらの車外情報特徴量、顔情報特徴量、および、車両情報特徴量には、認知機能が低い旨の正解情報が付与される。

取得部２０１は、取得した、車外情報特徴量と、車両情報特徴量、顔情報特徴量、または、生体情報特徴量とを、学習部２０２に出力する。

学習部２０２は、取得部２０１が取得した、車外情報特徴量と、車両情報特徴量、顔情報特徴量、または、生体情報特徴量とを用いた学習によって機械学習モデル２０３を生成する。

なお、実施の形態１では、図１に示すように、学習装置２０は、認知機能推定装置１に備えられるものとするが、これは一例に過ぎない。学習装置２０は、認知機能推定装置１の外部の、認知機能推定装置１が参照可能な場所に備えられるものとしてもよいし、学習装置２０は、単体で用いられるものとしてもよい。

実施の形態１に係る認知機能推定装置１の動作について説明する。
図３は、実施の形態１に係る認知機能推定装置１の動作を説明するためのフローチャートである。
認知機能推定装置１は、情報取得処理を行い、各種情報を取得する（ステップＳＴ３０１）。具体的には、顔情報取得部１１は、車内撮像装置２から、車内撮像画像を取得し、車内撮像画像に基づき、車両の運転者の顔に関する顔情報を取得する。また、生体情報取得部１２は、生体センサ３から、車両の運転者の生体情報を取得する。また、車両情報取得部１３は、車両情報検知装置４から、車両に関する車両情報を取得する。また、車外情報取得部１４は、車外撮像装置５から、車外撮像画像を取得し、車外撮像画像に基づき、車両周辺の状況に関する車外情報を取得する。
顔情報取得部１１は、取得した顔情報を、顔情報特徴量抽出部１６に出力する。また、生体情報取得部１２は、取得した生体情報を、生体情報特徴量抽出部１７に出力する。また、車両情報取得部１３は、取得した車両情報を、車両情報特徴量抽出部１８に出力する。また、車外情報取得部１４は、取得した車外情報を、車外情報特徴量抽出部１５に出力する。

車外情報特徴量抽出部１５は、ステップＳＴ３０１にて車外情報取得部１４が取得した車外情報に基づき、運転者の認知機能を推定するための車外情報特徴量を抽出する（ステップＳＴ３０２）。
車外情報特徴量抽出部１５は、抽出した車外情報特徴量を、顔情報特徴量抽出部１６、生体情報特徴量抽出部１７、車両情報特徴量抽出部１８、および、認知機能推定部１９に出力する。

認知機能推定装置１は、ステップＳＴ３０２にて車外情報特徴量抽出部１５が抽出した車外情報特徴量に応じて、各種特徴量抽出処理を行う（ステップＳＴ３０３）。
具体的には、顔情報特徴量抽出部１６は、車外情報特徴量抽出部１５が抽出した車外情報特徴量に応じて、顔情報取得部１１が取得した顔情報に基づき、運転者の認知機能を推定するための顔情報特徴量を抽出する。また、生体情報特徴量抽出部１７は、車外情報特徴量抽出部１５が抽出した車外情報特徴量に応じて、生体情報取得部１２が取得した生体情報に基づき、運転者の認知機能を推定するための生体情報特徴量を抽出する。また、車両情報特徴量抽出部１８は、車外情報特徴量抽出部１５が抽出した車外情報特徴量に応じて、車両情報取得部１３が取得した車両情報に基づき、運転者の認知機能を推定するための車両情報特徴量を抽出する。
顔情報特徴量抽出部１６は、抽出した顔情報特徴量を、認知機能推定部１９に出力する。また、生体情報特徴量抽出部１７は、抽出した生体情報特徴量を、認知機能推定部１９に出力する。また、車両情報特徴量抽出部１８は、抽出した車両情報特徴量を、認知機能推定部１９に出力する。

認知機能推定装置１は、認知機能推定処理を行う（ステップＳＴ３０４）。具体的には、認知機能推定部１９は、ステップＳＴ３０２にて車外情報特徴量抽出部１５が抽出した車外情報特徴量と、ステップＳＴ３０３にて車両情報特徴量抽出部１８が抽出した車両情報特徴量、顔情報特徴量抽出部１６が抽出した顔情報特徴量、または、生体情報特徴量抽出部１７が抽出した生体情報特徴量のうちの少なくとも１つと、機械学習モデル２０３とに基づき、運転者の認知機能が低いか否かを推定する。

図４は、実施の形態１に係る学習装置２０の動作を説明するためのフローチャートである。
取得部２０１は、特徴量取得処理を行う（ステップＳＴ４０１）。具体的には、取得部２０１は、機械学習モデル２０３の入力とする、正解情報が付与された、車外情報特徴量と、車両情報特徴量、顔情報特徴量、または、生体情報特徴量とを取得する。
取得部２０１は、取得した、車外情報特徴量と、車両情報特徴量、顔情報特徴量、または、生体情報特徴量とを、学習部２０２に出力する。

学習部２０２は、ステップＳＴ４０１にて取得部２０１が取得した、車外情報特徴量と、車両情報特徴量、顔情報特徴量、または、生体情報特徴量を用いた学習によって機械学習モデル２０３を生成する（ステップＳＴ４０２）。

以上のように、実施の形態１に係る認知機能推定装置１は、運転者の認知機能が低下していることを推定するための車外情報特徴量を抽出し、抽出した車外情報特徴量に基づいて、運転者の認知機能が低下していることを推定するための顔情報特徴量、生体情報特徴量、または、車両情報特徴量を抽出する。そして、認知機能推定装置１は、抽出した車外情報特徴量と、顔情報特徴量、生体情報特徴量、または、車両情報特徴量とを、機械学習モデル２０３に入力し、運転者の認知機能が低いか否かを示す認知機能情報を得る。
このように、認知機能推定装置１は、運転者が、恒常的に車両を適切に運転可能か否かの認知機能を推定することができる。

実施の形態１に係る認知機能推定装置１において得られた認知機能情報は、様々な場面で活用可能である。
例えば、車両が、人が運転操作を行わなくても自動で走行することが可能な自動運転車両であって、認知機能推定装置１が当該自動運転車両に搭載されているとする。この場合、認知機能推定装置１において、運転者の認知機能が低いとの認知機能情報が得られると、当該認知機能情報に基づき、当該運転者が運転する車両のブレーキの効きをよくする、または、ハンドルの操作の効きをよくする等の運転支援を行うことができる。
また、例えば、医療機関が、運転者による運転可否を判断する際の判断材料として、認知機能情報を使用することができる。
また、例えば、認知機能が低下している人が、運転によって当該認知機能を回復させるリハビリテーションを行うことがある。このようなリハビリテーションにて使用される車両において、認知機能推定装置１を搭載するようにすれば、当該認知機能推定装置１において得られる認知機能情報は、リハビリテーションの成果を確認する一助とすることができる。
また、例えば、認知機能推定装置１において、運転者の認知機能が低いとの認知機能情報が得られた場合に、当該認知機能情報に基づき、車両から、周囲に、当該車両の運転者の認知機能が低い旨を通知するようにすることもできる。具体的には、例えば、認知機能推定装置１に備えられた制御部（図示省略）は、運転者の家族あてに、当該運転者が運転していることを知らせるメールを送信する。また、例えば、制御部は、ハザードランプを点灯させる、または、ホーンを鳴らす制御を行う。

図５Ａ，図５Ｂは、実施の形態１に係る認知機能推定装置１のハードウェア構成の一例を示す図である。
実施の形態１において、顔情報取得部１１と、生体情報取得部１２と、車両情報取得部１３と、車外情報取得部１４と、車外情報特徴量抽出部１５と、顔情報特徴量抽出部１６と、生体情報特徴量抽出部１７と、車両情報特徴量抽出部１８と、認知機能推定部１９と、取得部２０１と、学習部２０２の機能は、処理回路５０１により実現される。すなわち、認知機能推定装置１は、運転者の認知機能の推論を行うための処理回路５０１を備える。
処理回路５０１は、図５Ａに示すように専用のハードウェアであっても、図５Ｂに示すようにメモリ５０６に格納されるプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）５０５であってもよい。

処理回路５０１が専用のハードウェアである場合、処理回路５０１は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、またはこれらを組み合わせたものが該当する。

処理回路５０１がＣＰＵ５０５の場合、顔情報取得部１１と、生体情報取得部１２と、車両情報取得部１３と、車外情報取得部１４と、車外情報特徴量抽出部１５と、顔情報特徴量抽出部１６と、生体情報特徴量抽出部１７と、車両情報特徴量抽出部１８と、認知機能推定部１９と、取得部２０１と、学習部２０２の機能は、ソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせにより実現される。すなわち、顔情報取得部１１と、生体情報取得部１２と、車両情報取得部１３と、車外情報取得部１４と、車外情報特徴量抽出部１５と、顔情報特徴量抽出部１６と、生体情報特徴量抽出部１７と、車両情報特徴量抽出部１８と、認知機能推定部１９と、取得部２０１と、学習部２０２は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）５０２、メモリ５０６等に記憶されたプログラムを実行するＣＰＵ５０５、システムＬＳＩ（Ｌａｒｇｅ−Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等の処理回路５０１により実現される。また、ＨＤＤ５０２、メモリ５０６等に記憶されたプログラムは、顔情報取得部１１と、生体情報取得部１２と、車両情報取得部１３と、車外情報取得部１４と、車外情報特徴量抽出部１５と、顔情報特徴量抽出部１６と、生体情報特徴量抽出部１７と、車両情報特徴量抽出部１８と、認知機能推定部１９と、取得部２０１と、学習部２０２の手順または方法をコンピュータに実行させるものであるとも言える。ここで、メモリ５０６とは、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）等の、不揮発性もしくは揮発性の半導体メモリ、または、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等が該当する。

なお、顔情報取得部１１と、生体情報取得部１２と、車両情報取得部１３と、車外情報取得部１４と、車外情報特徴量抽出部１５と、顔情報特徴量抽出部１６と、生体情報特徴量抽出部１７と、車両情報特徴量抽出部１８と、認知機能推定部１９と、取得部２０１と、学習部２０２の機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。例えば、生体情報取得部１２と、車両情報取得部１３と、車外情報取得部１４については専用のハードウェアとしての処理回路５０１でその機能を実現し、車外情報特徴量抽出部１５と、顔情報特徴量抽出部１６と、生体情報特徴量抽出部１７と、車両情報特徴量抽出部１８と、認知機能推定部１９と、取得部２０１と、学習部２０２については処理回路５０１がメモリ５０６に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
また、機械学習モデル２０３は、メモリ５０６を使用する。なお、これは一例であって、機械学習モデル２０３は、ＨＤＤ５０２、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、または、ＤＶＤ等によって構成されるものであってもよい。
また、認知機能推定装置１は、車内撮像装置２、生体センサ３、車両情報検知装置４、または、車外撮像装置５等の装置と、有線通信または無線通信を行う入力インタフェース装置５０３および出力インタフェース装置５０４を備える。

以上のように、実施の形態１によれば、認知機能推定装置１は、車両周辺の状況に関する車外情報を取得する車外情報取得部１４と、車両の運転者の顔に関する顔情報を取得する顔情報取得部１１と、運転者の生体情報を取得する生体情報取得部１２と、車両に関する車両情報を取得する車両情報取得部１３と、車外情報取得部１４が取得した車外情報に基づき、運転者の認知機能を推定するための車外情報特徴量を抽出する車外情報特徴量抽出部１５と、車外情報特徴量抽出部１５が抽出した車外情報特徴量に応じて、顔情報取得部１１が取得した顔情報に基づき、運転者の認知機能を推定するための顔情報特徴量を抽出する顔情報特徴量抽出部１６と、車外情報特徴量抽出部１５が抽出した車外情報特徴量に応じて、生体情報取得部１２が取得した生体情報に基づき、運転者の認知機能を推定するための生体情報特徴量を抽出する生体情報特徴量抽出部１７と、車外情報特徴量抽出部１５が抽出した車外情報特徴量に応じて、車両情報取得部１３が取得した車両情報に基づき、運転者の認知機能を推定するための車両情報特徴量を抽出する車両情報特徴量抽出部１８と、車外情報特徴量抽出部１５が抽出した車外情報特徴量と、顔情報特徴量抽出部１６が抽出した顔情報特徴量、生体情報特徴量抽出部１７が抽出した生体情報特徴量、または、車両情報特徴量抽出部１８が抽出した車両情報特徴量のうちの少なくとも１つと、機械学習モデル２０３とに基づき、運転者の認知機能が低いか否かを推定する認知機能推定部１９を備えるように構成した。そのため、運転者が一定水準の認知機能を有するか否か推定することができる。

また、実施の形態１に係る認知機能推定装置１は、上記の構成に加え、車外情報特徴量と、顔情報特徴量、生体情報特徴量、または、車両情報特徴量のうちの少なくとも１つと、機械学習モデル２０３とに基づき、判定用期間継続して、運転者の認知機能が低いと推定されたか否かを判定する判定部１９１を備え、認知機能推定部１９は、判定部１９１が、判定用期間継続して、運転者の認知機能が低いと推定されたと判定した場合に、運転者の認知機能が低いと推定するように構成した。これにより、認知機能推定装置１は、運転者が、瞬間的に、認知機能が低いと推定されることを防ぎ、運転者の認知機能の推定精度を向上させることができる。

以上の実施の形態１では、認知機能推定装置１は、車両に搭載される車載装置とし、顔情報取得部１１、生体情報取得部１２、車両情報取得部１３、車外情報取得部１４、車外情報特徴量抽出部１５、顔情報特徴量抽出部１６、生体情報特徴量抽出部１７、車両情報特徴量抽出部１８、認知機能推定部１９、および、学習装置２０は、認知機能推定装置１に備えられているものとした。
これに限らず、顔情報取得部１１、生体情報取得部１２、車両情報取得部１３、車外情報取得部１４、車外情報特徴量抽出部１５、顔情報特徴量抽出部１６、生体情報特徴量抽出部１７、車両情報特徴量抽出部１８、認知機能推定部１９、または、学習装置２０のうち、一部を車両に搭載される車載装置に備えられるものとし、その他を当該車載装置とネットワークを介して接続されるサーバに備えられるものとして、車載装置とサーバとで認知機能推定システムを構成するようにしてもよい。

また、本願発明はその発明の範囲内において、実施の形態の任意の構成要素の変形、もしくは実施の形態の任意の構成要素の省略が可能である。

この発明に係る認知機能推定装置は、運転者が一定水準の認知機能を有するか否か推定することができるように構成したため、車両の運転者の認知機能を推定する認知機能推定装置に適用することができる。

１ 認知機能推定装置、２ 車内撮像装置、３ 生体センサ、４ 車両情報検知装置、５ 車外撮像装置、１１ 顔情報取得部、１２ 生体情報取得部、１３ 車両情報取得部、１４ 車外情報取得部、１５ 車外情報特徴量抽出部、１６ 顔情報特徴量抽出部、１７ 生体情報特徴量抽出部、１８ 車両情報特徴量抽出部、１９ 認知機能推定部、１９１ 判定部、２０ 学習装置、２０１ 取得部、２０２ 学習部、２０３ 機械学習モデル、５０１ 処理回路、５０２ ＨＤＤ、５０３ 入力インタフェース装置、５０４ 出力インタフェース装置、５０５ ＣＰＵ、５０６ メモリ。

Claims (10)

1. 車両周辺の状況に関する車外情報を取得する車外情報取得部と、
   前記車両の運転者の顔に関する顔情報を取得する顔情報取得部と、
   前記運転者の生体情報を取得する生体情報取得部と、
   前記車両に関する車両情報を取得する車両情報取得部と、
   前記車外情報取得部が取得した車外情報に基づき、前記運転者の認知機能を推定するための車外情報特徴量を抽出する車外情報特徴量抽出部と、
   前記車外情報特徴量抽出部が抽出した車外情報特徴量に応じて、前記顔情報取得部が取得した顔情報に基づき、前記運転者の認知機能を推定するための顔情報特徴量を抽出する顔情報特徴量抽出部と、
   前記車外情報特徴量抽出部が抽出した車外情報特徴量に応じて、前記生体情報取得部が取得した生体情報に基づき、前記運転者の認知機能を推定するための生体情報特徴量を抽出する生体情報特徴量抽出部と、
   前記車外情報特徴量抽出部が抽出した車外情報特徴量に応じて、前記車両情報取得部が取得した車両情報に基づき、前記運転者の認知機能を推定するための車両情報特徴量を抽出する車両情報特徴量抽出部と、
   前記車外情報特徴量抽出部が抽出した車外情報特徴量と、前記顔情報特徴量抽出部が抽出した顔情報特徴量、前記生体情報特徴量抽出部が抽出した生体情報特徴量、または、前記車両情報特徴量抽出部が抽出した車両情報特徴量のうちの少なくとも１つと、機械学習モデルとに基づき、前記運転者の認知機能が低いか否かを推定する認知機能推定部
   を備えた認知機能推定装置。
2. 前記車外情報特徴量と、前記顔情報特徴量、前記生体情報特徴量、または、前記車両情報特徴量のうちの少なくとも１つと、前記機械学習モデルとに基づき、判定用期間継続して、前記運転者の認知機能が低いと推定されたか否かを判定する判定部を備え、
   前記認知機能推定部は、前記判定部が、前記判定用期間継続して、前記運転者の認知機能が低いと推定されたと判定した場合に、前記運転者の認知機能が低いと推定する
   ことを特徴とする請求項１記載の認知機能推定装置。
3. 前記顔情報特徴量は、前記運転者の視線に関する情報、前記運転者の開眼度に関する情報、または、前記運転者の感情に関する情報を含む
   ことを特徴とする請求項１記載の認知機能推定装置。
4. 前記車両情報特徴量は、前記運転者のアクセル操作量に関する情報、前記運転者のブレーキ操作量に関する情報、または、前記運転者のハンドル操作量に関する情報を含む
   ことを特徴とする請求項１記載の認知機能推定装置。
5. 前記車両情報特徴量、前記顔情報特徴量、または、前記生体情報特徴量は、前記車外情報特徴量であらわされる事象に対する前記運転者の反応時間である
   ことを特徴とする請求項１記載の認知機能推定装置。
6. 前記車両情報特徴量、前記顔情報特徴量、または、前記生体情報特徴量は、前記車外情報特徴量であらわされる事象に対する前記運転者の行動パターンを示す情報である
   ことを特徴とする請求項１記載の認知機能推定装置。
7. 前記機械学習モデルは、前記運転者の認知機能を推定するための車外情報特徴量と、前記車外情報特徴量に応じた、前記運転者の認知機能を推定するための顔情報特徴量、前記車外情報特徴量に応じた、前記運転者の認知機能を推定するための生体情報特徴量、または、前記車外情報特徴量に応じた、前記運転者の認知機能を推定するための車両情報特徴量とを学習することによって生成された前記機械学習モデルである
   ことを特徴とする請求項１記載の認知機能推定装置。
8. 車両の運転者の認知機能を推定するための車外情報特徴量と、前記車外情報特徴量に応じた、前記車両の運転者の認知機能を推定するための顔情報特徴量、前記車外情報特徴量に応じた、前記車両の運転者の認知機能を推定するための生体情報特徴量、または、前記車外情報特徴量に応じた、前記車両の運転者の認知機能を推定するための車両情報特徴量とを取得する取得部と、
   前記取得部が取得した、前記車外情報特徴量と、前記顔情報特徴量、前記生体情報特徴量、または、前記車両情報特徴量とを入力とし、前記車両の運転者の認知機能が低いか否かを示す認知機能情報を出力する機械学習モデルを生成する学習部
   を備えた学習装置。
9. 前記取得部が取得する、前記車外情報特徴量、前記車両情報特徴量、前記顔情報特徴量、または、前記生体情報特徴量は、正常者が前記車両を運転した場合の前記車外情報特徴量、前記車両情報特徴量、前記顔情報特徴量、または、前記生体情報特徴量と、認知機能が低い者が前記車両を運転した場合の前記車外情報特徴量、前記車両情報特徴量、前記顔情報特徴量、または、前記生体情報特徴量とを含む
   ことを特徴とする請求項８記載の学習装置。
10. 車外情報取得部が、車両周辺の状況に関する車外情報を取得するステップと、
    顔情報取得部が、前記車両の運転者の顔に関する顔情報を取得するステップと、
    生体情報取得部が、前記運転者の生体情報を取得するステップと、
    車両情報取得部が、前記車両に関する車両情報を取得するステップと、
    車外情報特徴量抽出部が、前記車外情報取得部が取得した車外情報に基づき、前記運転者の認知機能を推定するための車外情報特徴量を抽出するステップと、
    顔情報特徴量抽出部が、前記車外情報特徴量抽出部が抽出した車外情報特徴量に応じて、前記顔情報取得部が取得した顔情報に基づき、前記運転者の認知機能を推定するための顔情報特徴量を抽出するステップと、
    生体情報特徴量抽出部が、前記車外情報特徴量抽出部が抽出した車外情報特徴量に応じて、前記生体情報取得部が取得した生体情報に基づき、前記運転者の認知機能を推定するための生体情報特徴量を抽出するステップと、
    車両情報特徴量抽出部が、前記車外情報特徴量抽出部が抽出した車外情報特徴量に応じて、前記車両情報取得部が取得した車両情報に基づき、前記運転者の認知機能を推定するための車両情報特徴量を抽出するステップと、
    認知機能推定部が、前記車外情報特徴量抽出部が抽出した車外情報特徴量と、前記顔情報特徴量抽出部が抽出した顔情報特徴量、前記生体情報特徴量抽出部が抽出した生体情報特徴量、または、前記車両情報特徴量抽出部が抽出した車両情報特徴量のうちの少なくとも１つと、機械学習モデルとに基づき、前記運転者の認知機能が低いか否かを推定するステップ
    を備えた認知機能推定方法。

Images