JP7504326B2 - 乗員状態推定装置及び乗員状態推定方法 - Google Patents

Description

本開示は、乗員状態推定装置及び乗員状態推定方法に関するものである。

撮影画像に映っている人物の顔を検出し、顔の表情を判定する表情判定装置がある（例えば、特許文献１を参照）。
当該表情判定装置は、抽出手段及び表情判定手段を備えている。当該抽出手段は、撮影画像に映っている人物の顔を検出し、顔の特徴量を抽出する。当該表情判定手段は、抽出手段により抽出された特徴量と予め記憶された基準特徴量との差分に基づいて、顔の表情が所定の表情であるか否かを判定する。所定の表情としては、例えば、笑顔の表情、又は、怒り顔の表情がある。
当該表情判定装置では、基準特徴量が、顔の表情が無表情である人物の顔の特徴量であることを前提としている。当該表情判定装置では、人物の顔の表情が無表情であるときの画像の撮影を可能にするために、制御回路が、無表情の顔を撮影する旨を示すガイダンスを表示部に表示させることで、表情判定対象の人物に対して、顔の表情が無表情になるように促している。

特開２０１０－１１７９４８号公報

特許文献１に開示されている表情判定装置では、制御回路が、無表情の顔を撮影する旨を示すガイダンスを表示部に表示させているものの、当該ガイダンスが表示されるだけでは、無表情の顔が撮影されるとは限らない。基準特徴量が、顔の表情が無表情ではない人物の顔の特徴量に基づいて算出された場合には、基準特徴量を用いた乗員の状態推定結果に誤りが生じ、乗員の状態推定の精度が低下することがあるという課題があった。

本開示は、上記のような課題を解決するためになされたもので、乗員の状態推定精度の低下を防ぐことが可能な基準特徴量を算出することができる乗員状態推定装置及び乗員状態推定方法を得ることを目的とする。

本開示に係る乗員状態推定装置は、車両の内部の映像である車内映像を取得する車内映像取得部と、基準特徴量として、車内映像取得部により取得された車内映像に映っている、車両に乗車している乗員の顔の特徴量を算出する第１の特徴量算出部と、第１の特徴量算出部により基準特徴量が算出された後に、車内映像取得部により取得された、撮影時刻が互いに異なる複数の車内映像のそれぞれに映っている乗員の顔の特徴量を算出する第２の特徴量算出部とを備えている。また、乗員状態推定装置は、第１の特徴量算出部により算出された基準特徴量と第２の特徴量算出部により算出されたそれぞれの特徴量との差分を算出する差分算出部と、差分算出部により算出された複数の差分のうち、第１の特徴量算出部により基準特徴量が算出された後の一定期間内に算出された複数の差分の中で、第１の閾値以上である差分の割合が第２の閾値以上であれば、基準特徴量の再算出を第１の特徴量算出部に指示する再算出指示部とを備えている。

本開示によれば、乗員の状態推定精度の低下を防ぐことが可能な基準特徴量を算出することができる。

実施の形態１に係る乗員状態推定装置２を示す構成図である。 実施の形態１に係る乗員状態推定装置２のハードウェアを示すハードウェア構成図である。 乗員状態推定装置２が、ソフトウェア又はファームウェア等によって実現される場合のコンピュータのハードウェア構成図である。 実施の形態１に係る乗員状態推定装置２の第１の特徴量算出部１２を示す構成図である。 実施の形態１に係る乗員状態推定装置２の第２の特徴量算出部１３を示す構成図である。 乗員状態推定装置２の処理手順である乗員状態推定方法を示すフローチャートである。 顔の基準点Ｃ_ｎからパーツ構成点Ｋ_ｎ，ｍまでの直線距離Ｌ_ｎ，ｍを示す説明図である。 カスタマイズ後の３次元モデルＭＤ_ｃｕｓの一例を示す説明図である。 実施の形態２に係る乗員状態推定装置２を示す構成図である。 実施の形態２に係る乗員状態推定装置２のハードウェアを示すハードウェア構成図である。

以下、本開示をより詳細に説明するために、本開示を実施するための形態について、添付の図面に従って説明する。

実施の形態１．
図１は、実施の形態１に係る乗員状態推定装置２を示す構成図である。
図２は、実施の形態１に係る乗員状態推定装置２のハードウェアを示すハードウェア構成図である。
図１において、カメラ１は、車両の内部を繰り返し撮影し、車両の内部の映像である車内映像を示す映像データを乗員状態推定装置２に繰り返し出力する。なお、車内映像は、静止画であってもよいし、動画であってもよい。
乗員状態推定装置２は、車内映像取得部１１、第１の特徴量算出部１２、第２の特徴量算出部１３、差分算出部１４、再算出指示部１５及び乗員状態検出部１６を備えている。
図１に示す乗員状態推定装置２は、車両に乗車している乗員の顔の表情の変化を検出する。車両に乗車している乗員は、車両の運転者であってもよいし、助手席に座っている乗員であってもよいし、後部座席に座っている乗員であってもよい。

車内映像取得部１１は、例えば、図２に示す車内映像取得回路２１によって実現される。
車内映像取得部１１は、カメラ１から、車内映像を示す映像データを取得する。
車内映像取得部１１は、車内映像を示す映像データを第１の特徴量算出部１２に出力する。
また、車内映像取得部１１は、第１の特徴量算出部１２により基準特徴量が算出された後に、カメラ１により撮影された車内映像を示す映像データを取得し、映像データを第２の特徴量算出部１３に出力する。

第１の特徴量算出部１２は、例えば、図２に示す第１の特徴量算出回路２２によって実現される。
第１の特徴量算出部１２は、車内映像取得部１１から、車内映像を示す映像データを取得する。
第１の特徴量算出部１２は、基準特徴量として、映像データが示す車内映像に映っている、車両に乗車している乗員の顔の特徴量を算出する。
第１の特徴量算出部１２は、基準特徴量を差分算出部１４に出力する。

第２の特徴量算出部１３は、例えば、図２に示す第２の特徴量算出回路２３によって実現される。
第２の特徴量算出部１３は、第１の特徴量算出部１２により基準特徴量が算出された後に、車内映像取得部１１により取得された、撮影時刻が互いに異なる複数の車内映像のそれぞれに映っている乗員の顔の特徴量を算出する。
第２の特徴量算出部１３は、特徴量を差分算出部１４に出力する。

差分算出部１４は、例えば、図２に示す差分算出回路２４によって実現される。
差分算出部１４は、第１の特徴量算出部１２により算出された基準特徴量と第２の特徴量算出部１３により算出されたそれぞれの特徴量との差分を算出する。
差分算出部１４は、それぞれの差分を再算出指示部１５及び乗員状態検出部１６のそれぞれに出力する。

再算出指示部１５は、例えば、図２に示す再算出指示回路２５によって実現される。
再算出指示部１５は、差分算出部１４により算出された複数の差分のうち、第１の特徴量算出部１２により基準特徴量が算出された後の一定期間ＦＣＰ内に算出された複数の差分を取得する。
図１に示す乗員状態推定装置２では、一定期間ＦＣＰは、第１の特徴量算出部１２により基準特徴量が算出されてから、一定の時間が経過した後の固定期間である。例えば、基準特徴量が算出された時刻がＴ_０であり、一定の時間がｔ_ｃｏｎであれば、一定期間ＦＣＰの開始時刻は、Ｔ_０＋ｔ_ｃｏｎである。また、一定期間ＦＣＰの時間長がｔ_ＦＣであれば、一定期間ＦＣＰの終了時刻は、Ｔ_０＋ｔ_ｃｏｎ＋ｔ_ＦＣである。しかしながら、一定期間ＦＣＰは、固定の期間であるものに限るものではなく、一定期間ＦＣＰの時間帯が変化するものであってもよい。一定期間ＦＣＰの時間帯が変化する場合、一定期間ＦＣＰの開始時刻は、Ｔ_０＋ｔ_ｃｏｎ＋Δｔであり、一定期間ＦＣＰの終了時刻は、Ｔ_０＋ｔ_ｃｏｎ＋ｔ_ＦＣ＋Δｔである。ｔ_ＦＣ＋Δｔは、一定期間ＦＣＰの時間長であり、Δｔは、一定期間ＦＣＰの変化時間である。
再算出指示部１５は、一定期間ＦＣＰ内に算出された複数の差分の中で、第１の閾値以上である差分の割合が第２の閾値以上であれば、基準特徴量の再算出を第１の特徴量算出部１２に指示する。第１の閾値及び第２の閾値のそれぞれは、再算出指示部１５の内部メモリに格納されていてもよいし、乗員状態推定装置の外部から与えられるものであってもよい。

乗員状態検出部１６は、例えば、図２に示す乗員状態検出回路２６によって実現される。
乗員状態検出部１６は、再算出指示部１５から第１の特徴量算出部１２への再算出の指示がなければ、差分算出部１４により算出されたそれぞれの差分に基づいて、乗員の状態を検出する。

図１では、乗員状態推定装置２の構成要素である車内映像取得部１１、第１の特徴量算出部１２、第２の特徴量算出部１３、差分算出部１４、再算出指示部１５及び乗員状態検出部１６のそれぞれが、図２に示すような専用のハードウェアによって実現されるものを想定している。即ち、乗員状態推定装置２が、車内映像取得回路２１、第１の特徴量算出回路２２、第２の特徴量算出回路２３、差分算出回路２４、再算出指示回路２５及び乗員状態検出回路２６によって実現されるものを想定している。
車内映像取得回路２１、第１の特徴量算出回路２２、第２の特徴量算出回路２３、差分算出回路２４、再算出指示回路２５及び乗員状態検出回路２６のそれぞれは、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、又は、これらを組み合わせたものが該当する。

乗員状態推定装置２の構成要素は、専用のハードウェアによって実現されるものに限るものではなく、乗員状態推定装置２が、ソフトウェア、ファームウェア、又は、ソフトウェアとファームウェアとの組み合わせによって実現されるものであってもよい。
ソフトウェア又はファームウェアは、プログラムとして、コンピュータのメモリに格納される。コンピュータは、プログラムを実行するハードウェアを意味し、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサ、あるいは、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）が該当する。

図３は、乗員状態推定装置２が、ソフトウェア又はファームウェア等によって実現される場合のコンピュータのハードウェア構成図である。
乗員状態推定装置２が、ソフトウェア又はファームウェア等によって実現される場合、車内映像取得部１１、第１の特徴量算出部１２、第２の特徴量算出部１３、差分算出部１４、再算出指示部１５及び乗員状態検出部１６におけるそれぞれの処理手順をコンピュータに実行させるためのプログラムがメモリ３１に格納される。そして、コンピュータのプロセッサ３２がメモリ３１に格納されているプログラムを実行する。

また、図２では、乗員状態推定装置２の構成要素のそれぞれが専用のハードウェアによって実現される例を示し、図３では、乗員状態推定装置２がソフトウェア又はファームウェア等によって実現される例を示している。しかし、これは一例に過ぎず、乗員状態推定装置２における一部の構成要素が専用のハードウェアによって実現され、残りの構成要素がソフトウェア又はファームウェア等によって実現されるものであってもよい。

図４は、実施の形態１に係る乗員状態推定装置２の第１の特徴量算出部１２を示す構成図である。
図４に示す第１の特徴量算出部１２は、直線距離算出部４１、モデル調整部４２及び特徴量算出処理部４３を備えている。
直線距離算出部４１は、車内映像取得部１１から、映像データを取得する。
直線距離算出部４１は、映像データが示す車内映像に映っている乗員の顔の基準点から、乗員の顔パーツに含まれている複数のパーツ構成点までの直線距離をそれぞれ算出する。
モデル調整部４２は、一般的な顔の３次元モデルＭＤを備えている。
モデル調整部４２は、直線距離算出部４１により算出されたそれぞれの直線距離を３次元モデルＭＤにフィッティングすることで、３次元モデルＭＤを乗員の顔を示す３次元モデルにカスタマイズする。
特徴量算出処理部４３は、モデル調整部４２によるカスタマイズ後の３次元モデルに基づいて、基準特徴量として、乗員の顔の特徴量を算出する。

図５は、実施の形態１に係る乗員状態推定装置２の第２の特徴量算出部１３を示す構成図である。
図５に示す第２の特徴量算出部１３は、直線距離算出部５１、モデル調整部５２及び特徴量算出処理部５３を備えている。
直線距離算出部５１は、第１の特徴量算出部１２により基準特徴量が算出された後に、車内映像取得部１１により映像データが取得される毎に、当該映像データを取得する。
直線距離算出部５１は、映像データが示す車内映像に映っている乗員の顔の基準点から、乗員の顔パーツに含まれている複数のパーツ構成点までの直線距離をそれぞれ算出する。
モデル調整部５２は、一般的な顔の３次元モデルＭＤを備えている。
モデル調整部５２は、直線距離算出部５１により算出されたそれぞれの直線距離を３次元モデルＭＤにフィッティングすることで、３次元モデルＭＤを乗員の顔を示す３次元モデルにカスタマイズする。
特徴量算出処理部５３は、モデル調整部５２によるカスタマイズ後の３次元モデルに基づいて、乗員の顔の特徴量を算出する。

乗員の状態を示すものとして、例えば、顔の表情がある。顔の表情としては、例えば、真顔の表情、笑顔の表情、泣顔の表情、又は、怒り顔の表情がある。真顔の表情は、無表情であるときの表情である。
一般的に、真顔の表情が現れる時間は、笑顔の表情、泣顔の表情、又は、怒り顔の表情が現れる時間よりも長いことが知られている。したがって、例えば、数分単位の一定期間では、真顔の表情が現れる割合は、笑顔の表情、泣顔の表情、又は、怒り顔の表情が現れる割合よりも大きくなることが想定される。乗員が、一定期間において、笑う機会が多い場合、真顔の表情が現れる割合が減少する。しかし、その場合でも、真顔の表情が現れる割合は、笑顔の表情が現れる割合よりも大きくなることが想定される。

次に、図１に示す乗員状態推定装置２の動作について説明する。
図６は、乗員状態推定装置２の処理手順である乗員状態推定方法を示すフローチャートである。
図１に示す乗員状態推定装置２では、乗員状態検出部１６が、車両に乗車している乗員のうち、運転者の状態を検出するものとする。しかし、これは一例に過ぎず、車両に乗車している乗員のうち、助手席に座っている乗員、又は、後部座席に座っている乗員の状態を検出するものであってもよい。

運転者は、車両に乗車して、車両の運転を開始する際に、イグニッションスイッチをオンにする。イグニッションスイッチがオンになることで、カメラ１及び乗員状態推定装置２のそれぞれが起動する。
カメラ１は、起動後に、車両の内部の撮影を繰り返し行う。
カメラ１は、車両の内部の映像である車内映像を示す映像データを乗員状態推定装置２に繰り返し出力する。
イグニッションスイッチがオンになった当初の期間中は、一般的に、運転者の顔の表情が、真顔の表情である確率が高い。ただし、当初の期間中の顔の表情は、真顔の表情であるとは限らず、笑顔の表情、泣顔の表情、又は、怒り顔の表情等であることもある。当初の期間は、例えば、イグニッションスイッチがオンになってから、車両の走行が開始されるまでの期間、あるいは、イグニッションスイッチがオンになってから、数秒の期間である。当初の期間は、例えば、一定期間ＦＣＰよりも短い期間である。
図１に示す乗員状態推定装置２では、イグニッションスイッチがオンになった当初の期間中、カメラ１が車両の内部をＮ回撮影し、Ｎ個の車内映像を示す映像データＰ_１～Ｐ_Ｎのそれぞれを乗員状態推定装置２に出力するものとする。Ｎは、１以上の整数である。

車内映像取得部１１は、カメラ１から、Ｎ個の車内映像を示す映像データＰ_１～Ｐ_Ｎを取得する（図６のステップＳＴ１）。
車内映像取得部１１は、Ｎ個の映像データＰ_１～Ｐ_Ｎを第１の特徴量算出部１２に出力する。

第１の特徴量算出部１２は、車内映像取得部１１から、Ｎ個の映像データＰ_１～Ｐ_Ｎを取得する。
第１の特徴量算出部１２は、基準特徴量Ｖ_ｊとして、映像データＰ_ｎ（ｎ＝１，・・・，Ｎ）が示す車内映像に映っている運転者の顔の特徴量を算出する（図６のステップＳＴ２）。ｊ＝１，・・・，Ｊであり、Ｊは、１以上の整数である。
第１の特徴量算出部１２は、基準特徴量Ｖ_ｊを差分算出部１４に出力する。
以下、第１の特徴量算出部１２による基準特徴量Ｖ_ｊの算出処理を具体的に説明する。

直線距離算出部４１は、映像データＰ_ｎ（ｎ＝１，・・・，Ｎ）が示す車内映像に映っている運転者の顔を検出する。運転者の顔を検出する処理自体は、公知の技術であるため詳細な説明を省略する。
直線距離算出部４１は、図７に示すように、映像データＰ_ｎが示す車内映像に映っている運転者の顔の基準点Ｃ_ｎから、運転者の顔パーツに含まれているＭ個のパーツ構成点Ｋ_ｎ，ｍまでの直線距離Ｌ_ｎ，ｍをそれぞれ算出する。Ｍは、２以上の整数である。直線距離Ｌ_ｎ，ｍは、例えば、ユークリッド距離である。直線距離を算出する処理自体は、公知の技術であるため詳細な説明を省略する。
図７は、顔の基準点Ｃ_ｎからパーツ構成点Ｋ_ｎ，ｍまでの直線距離Ｌ_ｎ，ｍを示す説明図である。
図７の例では、顔の基準点Ｃ_ｎは、左目の目頭と右目の目頭との中間点である。また、図７の例では、顔パーツのパーツ構成点Ｋ_ｎ，ｍの数は、３２点である。ただし、パーツ構成点Ｋ_ｎ，ｍの数は、３２点に限るものではない。顔パーツは、例えば、目、眉毛、鼻、口、又は、顎である。

モデル調整部４２は、直線距離算出部４１から、Ｎ×Ｍ個の直線距離Ｌ_ｎ，ｍ（ｎ＝１，・・・，Ｎ：ｍ＝１，２，・・・，３２）を取得する。
モデル調整部４２は、一般的な顔の３次元モデルＭＤに対して、Ｎ×Ｍ個の直線距離Ｌ_ｎ，ｍ（ｎ＝１，・・・，Ｎ：ｍ＝１，２，・・・，３２）をフィッティングすることで、図８に示すように、３次元モデルＭＤを運転者の顔を示す３次元モデルＭＤ_ｃｕｓにカスタマイズする。３次元モデルＭＤに対して直線距離Ｌ_ｎ，ｍをフィッティングすることで、３次元モデルＭＤを３次元モデルＭＤ_ｃｕｓにカスタマイズする処理自体は、公知の技術であるため詳細な説明を省略する。
図８は、カスタマイズ後の３次元モデルＭＤ_ｃｕｓの一例を示す説明図である。
図８において、左上の顔に描かれている黒○及び右下の顔に描かれている○のそれぞれは、パーツ構成点を示している。
左上の顔は、３次元モデルＭＤが示している一般的な顔であり、右下の顔は、カスタマイズ後の３次元モデルＭＤ_ｃｕｓが示している運転者の顔である。

特徴量算出処理部４３は、モデル調整部４２から、カスタマイズ後の３次元モデルＭＤ_ｃｕｓを取得する。
特徴量算出処理部４３は、カスタマイズ後の３次元モデルＭＤ_ｃｕｓに基づいて、基準特徴量Ｖ_ｊ（ｊ＝１，・・・，Ｊ）として、運転者の顔の特徴量を算出する。
基準特徴量Ｖ_ｊとしては、例えば、目の扁平率、又は、口角の角度がある。目の扁平率は、目頭と目尻との間の距離に対する、上瞼と下瞼との間の最大距離の比である。目頭と目尻との間の距離は、３次元モデルＭＤ_ｃｕｓにおける目頭と目尻との間の距離である。上瞼と下瞼との間の最大距離は、３次元モデルＭＤ_ｃｕｓにおける上瞼と下瞼との間の最大距離である。
基準特徴量Ｖ_ｊが、例えば、目の扁平率と口角の角度との２つであれば、Ｊ＝２である。また、基準特徴量Ｖ_ｊが、例えば、目の扁平率の１つであれば、Ｊ＝１である。

図１に示す乗員状態推定装置２では、基準特徴量Ｖ_ｊの算出精度を高めるために、第１の特徴量算出部１２が、撮影時刻が互いに異なるＮ個の車内映像に基づいて、基準特徴量Ｖ_ｊを算出している。しかし、これは一例に過ぎず、第１の特徴量算出部１２が、１つの車内映像に基づいて、基準特徴量Ｖ_ｊを算出するものであってもよい。

カメラ１は、第１の特徴量算出部１２により基準特徴量Ｖ_ｊが算出された後、車両の内部の撮影を繰り返し行う。
カメラ１は、車内映像を示す映像データを乗員状態推定装置２に繰り返し出力する。
図１に示す乗員状態推定装置２では、第１の特徴量算出部１２により基準特徴量Ｖ_ｊが算出された後の一定期間ＦＣＰ中に、カメラ１が車両の内部をＧ回撮影し、Ｇ個の車内映像を示す映像データＰ_１～Ｐ_Ｇのそれぞれを乗員状態推定装置２に出力するものとする。Ｇは、２以上の整数である。

車内映像取得部１１は、第１の特徴量算出部１２により基準特徴量Ｖ_ｊが算出された後、カメラ１が車内映像を撮影する毎に、カメラ１から、当該車内映像を示す映像データＰ_ｇ（ｇ＝１，・・・，Ｇ）を取得する（図６のステップＳＴ３）。
車内映像取得部１１は、映像データＰ_ｇを第２の特徴量算出部１３に出力する。

第２の特徴量算出部１３は、車内映像取得部１１から、映像データＰ_ｇ（ｇ＝１，・・・，Ｇ）を取得する。
第２の特徴量算出部１３は、映像データＰ_ｇ（ｇ＝１，・・・，Ｇ）が示す車内映像に映っている運転者の顔の特徴量Ｖ_ｇ，ｊ（ｇ＝１，・・・，Ｇ：ｊ＝１，・・・，Ｊ）を算出する（図６のステップＳＴ４）。
第２の特徴量算出部１３は、顔の特徴量Ｖ_ｇ，ｊを差分算出部１４に出力する。
以下、第２の特徴量算出部１３による特徴量Ｖ_ｇ，ｊの算出処理を具体的に説明する。

直線距離算出部５１は、映像データＰ_ｇ（ｇ＝１，・・・，Ｇ）が示す車内映像に映っている運転者の顔を検出する。
直線距離算出部５１は、映像データＰ_ｇが示す車内映像に映っている運転者の顔の基準点Ｃ_ｇから、運転者の顔パーツに含まれているＭ個のパーツ構成点Ｋ_ｇ，ｍまでの直線距離Ｌ_ｇ，ｍをそれぞれ算出する。顔の基準点Ｃ_ｇは、図７に示す基準点Ｃ_ｎに相当し、パーツ構成点Ｋ_ｇ，ｍは、図７に示すパーツ構成点Ｋ_ｎ，ｍに相当する。また、直線距離Ｌ_ｇ，ｍは、図７に示す直線距離Ｌ_ｎ，ｍに相当する。

モデル調整部５２は、直線距離算出部５１から、Ｇ×Ｍ個の直線距離Ｌ_ｇ，ｍ（ｇ＝１，・・・，Ｇ：ｍ＝１，２，・・・，３２）を取得する。
モデル調整部５２は、Ｇ×Ｍ個の直線距離Ｌ_ｇ，ｍ（ｇ＝１，・・・，Ｇ：ｍ＝１，２，・・・，３２）の中から、いずれか１つの映像データＰ_ｇに係るＭ個の直線距離Ｌ_ｇ，ｍ（ｍ＝１，２，・・・，３２）を選択する。いずれか１つの映像データＰ_ｇは、Ｇ個の映像データＰ_１～Ｐ_Ｇの中の１つの映像データである。
モデル調整部５２は、いずれか１つの映像データＰ_ｇ（ｇ＝１，・・・，Ｇ）に係るＭ個の直線距離Ｌ_ｇ，ｍを３次元モデルＭＤにフィッティングすることで、３次元モデルＭＤを運転者の顔を示す３次元モデルＭＤ_{ｃｕｓ，ｇ}にカスタマイズする。
モデル調整部５２は、Ｍ個の直線距離Ｌ_ｇ，ｍの選択と３次元モデルＭＤに対する直線距離Ｌ_ｇ，ｍのフィッティングとをＧ回繰り返すことで、３次元モデルＭＤから、Ｇ個の３次元モデルＭＤ_{ｃｕｓ，１}～ＭＤ_{ｃｕｓ，Ｇ}を生成する。

特徴量算出処理部５３は、モデル調整部５２から、カスタマイズ後のＧ個の３次元モデルＭＤ_{ｃｕｓ，１}～ＭＤ_{ｃｕｓ，Ｇ}を取得する。
特徴量算出処理部４３は、それぞれの３次元モデルＭＤ_{ｃｕｓ，ｇ}（ｇ＝１，・・・，Ｇ）に基づいて、運転者の顔の特徴量Ｖ_ｇ，ｊ（ｇ＝１，・・・，Ｇ：ｊ＝１，・・・，Ｊ）を算出する。
運転者の顔の特徴量Ｖ_ｇ，ｊとしては、例えば、目の扁平率、又は、口角の角度がある。

差分算出部１４は、第１の特徴量算出部１２から、Ｊ個の基準特徴量Ｖ_ｊ（ｊ＝１，・・・，Ｊ）を取得し、第２の特徴量算出部１３から、Ｇ×Ｊ個の特徴量Ｖ_ｇ，ｊ（ｇ＝１，・・・，Ｇ：ｊ＝１，・・・，Ｊ）を取得する。
差分算出部１４は、以下の式（１）に示すように、基準特徴量Ｖ_ｊと特徴量Ｖ_ｇ，ｊとの差分ΔＶ_ｇ，ｊを算出する（図６のステップＳＴ５）。
ΔＶ_１，ｊ＝｜Ｖ_ｊ－Ｖ_１，ｊ｜
ΔＶ_２，ｊ＝｜Ｖ_ｊ－Ｖ_２，ｊ｜
： （１）
ΔＶ_Ｇ，ｊ＝｜Ｖ_ｊ－Ｖ_Ｇ，ｊ｜
差分算出部１４は、Ｇ×Ｊ個の差分ΔＶ_１，１・・・ΔＶ_１，Ｊ、ΔＶ_２，１・・・ΔＶ_２，Ｊ、ΔＶ_Ｇ，１・・・ΔＶ_Ｇ，Ｊを再算出指示部１５及び乗員状態検出部１６のそれぞれに出力する。

再算出指示部１５は、差分算出部１４から、差分ΔＶ_ｇ，ｊ（ｇ＝１，・・・，Ｇ：ｊ＝１，・・・，Ｊ）を取得する。
再算出指示部１５は、Ｇ×Ｊ個の差分ΔＶ_１，１・・・ΔＶ_１，Ｊ、ΔＶ_２，１・・・ΔＶ_２，Ｊ、ΔＶ_Ｇ，１・・・ΔＶ_Ｇ，Ｊのうち、或るｊについてのＧ個の差分ΔＶ_１，ｊ～ΔＶ_Ｇ，ｊに着目する。
再算出指示部１５は、Ｇ個の差分ΔＶ_１，ｊ～ΔＶ_Ｇ，ｊのそれぞれと第１の閾値Ｖ_ｔｈ１とを比較し、Ｇ個の差分ΔＶ_１，ｊ～ΔＶ_Ｇ，ｊの中で、第１の閾値Ｖ_ｔｈ１以上である差分の個数Ｃ_ｊを計数する。
再算出指示部１５は、以下の式（２）に示すように、Ｇ個の差分ΔＶ_１，ｊ～ΔＶ_Ｇ，ｊの中で、第１の閾値Ｖ_ｔｈ１以上である差分の割合Ｒ_ｊを算出する。
Ｒ_ｊ＝（Ｃ_ｊ／Ｇ）×１００（２）
再算出指示部１５は、それぞれのｊについての割合Ｒ_ｊ（ｊ＝１，・・・，Ｊ）を算出する。

イグニッションスイッチがオンになった当初の期間中は、一般的に、運転者の顔の表情が、真顔の表情である確率が高い。したがって、第１の特徴量算出部１２により算出された基準特徴量Ｖ_ｊは、顔の表情が無表情であるときの運転者の顔の特徴量である可能性が高い。ただし、第１の特徴量算出部１２により算出された基準特徴量Ｖ_ｊは、顔の表情が無表情ではないときの運転者の顔の特徴量である可能性はある。
一方、第１の特徴量算出部１２により基準特徴量Ｖ_ｊが算出された後の一定期間ＦＣＰが、例えば、数分単位の一定期間であれば、一定期間ＦＣＰにおいて、真顔の表情が現れる割合Ｒ_０は、笑顔の表情、泣顔の表情、又は、怒り顔の表情が現れる割合よりも大きくなることが想定される。運転者が、一定期間ＦＣＰにおいて、笑う機会が多い場合、真顔の表情が現れる割合Ｒ_０が減少する。しかし、その場合でも、真顔の表情が現れる割合Ｒ_０は、笑顔の表情が現れる割合よりも大きくなることが想定される。
したがって、例えば、第２の閾値Ｖ_ｔｈ２が割合Ｒ_０よりも大きな値である場合、第１の特徴量算出部１２により算出された基準特徴量Ｖ_ｊが、顔の表情が無表情であるときの運転者の顔の特徴量であれば、再算出指示部１５により算出される割合Ｒ_ｊ（ｊ＝１，・・・，Ｊ）は、第２の閾値Ｖ_ｔｈ２未満になる。
一方、第１の特徴量算出部１２により算出された基準特徴量Ｖ_ｊが、顔の表情が無表情ではないときの運転者の顔の特徴量であれば、再算出指示部１５により算出される割合Ｒ_ｊ（ｊ＝１，・・・，Ｊ）は、第２の閾値以上になる。

再算出指示部１５は、Ｊ個の割合Ｒ_１～Ｒ_Ｊのうち、いずれかの割合Ｒ_ｊが第２の閾値Ｖ_ｔｈ２以上であれば（図６のステップＳＴ６：ＹＥＳの場合）、基準特徴量Ｖ_ｊが、顔の表情が無表情ではないときの運転者の顔の特徴量である可能性が高いと判断する。このため、再算出指示部１５は、基準特徴量Ｖ_ｊ（ｊ＝１，・・・，Ｊ）の再算出を第１の特徴量算出部１２に指示する（図６のステップＳＴ７）。
第１の特徴量算出部１２は、再算出指示部１５から、基準特徴量Ｖ_ｊの再算出の指示を受けると、車内映像取得部１１から、Ｎ個の映像データＰ_１～Ｐ_Ｎを新たに取得し、新たに取得した映像データＰ_ｎ（ｎ＝１，・・・，Ｎ）が示す車内映像に基づいて、基準特徴量Ｖ_ｊを再算出する（図６のステップＳＴ１，ＳＴ２）。第１の特徴量算出部１２は、基準特徴量Ｖ_ｊを差分算出部１４に出力する。

再算出指示部１５は、いずれの割合Ｒ_ｊも第２の閾値Ｖ_ｔｈ２未満であれば（図６のステップＳＴ６：ＮＯの場合）、基準特徴量Ｖ_ｊが、顔の表情が無表情であるときの運転者の顔の特徴量である可能性が高いと判断する。このため、再算出指示部１５は、基準特徴量Ｖ_ｊの再算出を第１の特徴量算出部１２に指示しない。以降、ステップＳＴ３～ＳＴ５の処理と同様の処理が繰り返される。

乗員状態検出部１６は、差分算出部１４から、差分ΔＶ_ｇ，ｊ（ｇ＝１，・・・，Ｇ：ｊ＝１，・・・，Ｊ）を取得する。
乗員状態検出部１６は、再算出指示部１５から第１の特徴量算出部１２への再算出の指示がなく、基準特徴量Ｖ_ｊが既に正しい値に設定されていれば、差分ΔＶ_ｇ，ｊに基づいて、乗員の状態を検出する。
即ち、乗員状態検出部１６は、差分ΔＶ_ｇ，ｊと状態検出用閾値とを比較する。状態検出用閾値は、乗員状態検出部１６の内部メモリに格納されていてもよいし、乗員状態推定装置２の外部から与えられるものであってもよい。
乗員状態検出部１６は、差分ΔＶ_ｇ，ｊが状態検出用閾値以上であれば、乗員の状態が変化しているものと判断する。
乗員状態検出部１６は、差分ΔＶ_ｇ，ｊが状態検出用閾値未満であれば、乗員の状態が変化していないものと判断する。
図１に示す乗員状態推定装置２では、差分ΔＶ_ｇ，ｊが状態検出用閾値以上であれば、乗員状態検出部１６が、乗員の状態が変化しているものと判断している。しかし、これは一例に過ぎず、或るｊについての差分ΔＶ_ｇ，ｊが状態検出用閾値以上である期間が所定時間以上であるとき、乗員状態検出部１６が、乗員の状態が変化しているものと判断するようにしてもよい。

第１の特徴量算出部１２により算出される基準特徴量Ｖ_ｊ及び第２の特徴量算出部１３により算出される特徴量Ｖ_ｇ，ｊのそれぞれが、例えば、目の扁平率である場合を想定する。基準特徴量Ｖ_ｊは、再算出指示部１５によって、いずれの割合Ｒ_ｊも第２の閾値Ｖ_ｔｈ２未満であると判断されることで確定した正しい基準特徴量である。
このような場合、乗員状態検出部１６は、乗員の状態として、運転者が眠気を生じているときの表情を検出することが可能である。即ち、運転者が眠気を生じていない状況では、通常、運転者は、目を大きく開いているので、基準特徴量Ｖ_ｊである目の扁平率は大きい。一方、運転者が眠気を生じている状況では、運転者は、目を閉じている、あるいは、目を細めているので、特徴量Ｖ_ｇ，ｊである目の扁平率は小さい。したがって、基準特徴量Ｖ_ｊ及び特徴量Ｖ_ｇ，ｊのそれぞれが、目の扁平率であれば、乗員の状態として、運転者が眠気を生じているときの表情を検出することが可能である。

また、基準特徴量Ｖ_ｊが、運転者が車両の前方を向いているときに撮影された車内映像に基づいて算出されたものであれば、乗員状態検出部１６は、乗員の状態として、運転者のわき見をしている状態、車両の環境が変化している状態、又は、運転者の体調が急変している状態等を検出することが可能である。
また、基準特徴量Ｖ_ｊが、運転者の姿勢が崩れていないときに撮影された車内映像に基づいて算出されたものであれば、乗員状態検出部１６は、乗員の状態として、運転者の姿勢が崩れている状態、車両の環境が変化している状態、又は、運転者の体調が急変している状態等を検出することが可能である。
また、乗員状態検出部１６は、乗員の状態として、乗員の表情の変化を検出することができるので、乗員の感情を推定することが可能である。
乗員状態検出部１６が、乗員の状態の検出結果を、例えば、車両制御装置に出力することで、居眠り運転の警告を提示するだけでなく、車両の緊急退避処理を実行させることができる。

以上の実施の形態１では、車両の内部の映像である車内映像を取得する車内映像取得部１１と、基準特徴量として、車内映像取得部１１により取得された車内映像に映っている、車両に乗車している運転者の顔の特徴量を算出する第１の特徴量算出部１２と、第１の特徴量算出部１２により基準特徴量が算出された後に、車内映像取得部１１により取得された、撮影時刻が互いに異なる複数の車内映像のそれぞれに映っている乗員の顔の特徴量を算出する第２の特徴量算出部１３とを備えるように、乗員状態推定装置２を構成した。また、乗員状態推定装置２は、第１の特徴量算出部１２により算出された基準特徴量と第２の特徴量算出部１３により算出されたそれぞれの特徴量との差分を算出する差分算出部１４と、差分算出部１４により算出された複数の差分のうち、第１の特徴量算出部１２により基準特徴量が算出された後の一定期間内に算出された複数の差分の中で、第１の閾値以上である差分の割合が第２の閾値以上であれば、基準特徴量の再算出を第１の特徴量算出部１２に指示する再算出指示部１５とを備えている。したがって、乗員状態推定装置２は、乗員の状態推定精度の低下を防ぐことが可能な基準特徴量を算出することができる。

図１に示す乗員状態推定装置２は、イグニッションスイッチがオンになることで起動し、図６に示す処理手順が実行されている。しかし、これは一例に過ぎず、イグニッションスイッチがオンのままでも、例えば、車両のドアがオープンされたことが検出、又は、運転者が交代されたことが検出されたときに、図６に示す処理手順が実行されるものであってもよい。

図１に示す乗員状態推定装置２では、第１の特徴量算出部１２が、運転者の顔の基準点Ｃ_ｎから、運転者の顔パーツに含まれているＭ個のパーツ構成点Ｋ_ｎ，ｍまでの直線距離Ｌ_ｎ，ｍをそれぞれ算出し、それぞれの直線距離Ｌ_ｎ，ｍを用いて、基準特徴量Ｖ_ｊを算出している。しかし、これは一例に過ぎず、例えば、第１の特徴量算出部１２が、基準特徴量として、それぞれの直線距離Ｌ_ｎ，ｍを算出するようにしてもよい。
また、図１に示す乗員状態推定装置２では、第２の特徴量算出部１３が、運転者の顔の基準点Ｃ_ｇから、運転者の顔パーツに含まれているＭ個のパーツ構成点Ｋ_ｇ，ｍまでの直線距離Ｌ_ｇ，ｍをそれぞれ算出し、それぞれの直線距離Ｌ_ｇ，ｍを用いて、特徴量Ｖ_ｇ，ｊを算出している。しかし、これは一例に過ぎず、例えば、第２の特徴量算出部１３が、特徴量として、それぞれの直線距離Ｌ_ｇ，ｍを算出するようにしてもよい。

図１に示す乗員状態推定装置２では、第１の特徴量算出部１２が、再算出指示部１５から、基準特徴量Ｖ_ｊの再算出の指示を受けると、車内映像取得部１１から、Ｎ個の映像データＰ_１～Ｐ_Ｎを新たに取得している。そして、第１の特徴量算出部１２が、新たに取得した映像データＰ_ｎ（ｎ＝１，・・・，Ｎ）が示す車内映像に基づいて、基準特徴量Ｖ_ｊを再算出している。しかし、これは一例に過ぎず、第１の特徴量算出部１２は、再算出指示部１５から、基準特徴量Ｖ_ｊの再算出の指示を受けると、一定期間ＦＣＰ内に算出された複数の差分ΔＶ_ｇ，ｊのうち、第１の閾値Ｖ_ｔｈ１以上である差分に係る車内映像に基づいて、基準特徴量Ｖ_ｊを再算出するようにしてもよい。第１の閾値Ｖ_ｔｈ１以上である差分に係る車内映像は、車内映像取得部１１によって、一定期間ＦＣＰ内に取得された車内映像である。
第１の特徴量算出部１２によって、先に算出された基準特徴量Ｖ_ｊが、顔の表情が無表情でないときに撮影された車内映像に基づいて算出されたものである場合、第１の閾値Ｖ_ｔｈ１以上である差分に係る車内映像は、顔の表情が無表情であるときに撮影された車内映像である可能性が高い。

実施の形態２．
実施の形態２では、車両の状態を示す車両情報を取得する車両情報取得部１７を備えている乗員状態推定装置２について説明する。

図９は、実施の形態２に係る乗員状態推定装置２を示す構成図である。図９において、図１と同一符号は同一又は相当部分を示すので説明を省略する。
図１０は、実施の形態２に係る乗員状態推定装置２のハードウェアを示すハードウェア構成図である。図１０において、図２と同一符号は同一又は相当部分を示すので説明を省略する。
乗員状態推定装置２は、車両情報取得部１７、車内映像取得部１１、第１の特徴量算出部１８、第２の特徴量算出部１３、差分算出部１４、再算出指示部１５及び乗員状態検出部１６を備えている。
実施の形態２では、乗員状態推定装置２は、車両に乗車している乗員のうち、運転者の表情の変化を検出する。しかし、これは一例に過ぎず、乗員状態推定装置２が、車両に乗車している乗員のうち、助手席に座っている乗員、又は、後部座席に座っている乗員の表情の変化を検出するものであってもよい。

車両情報取得部１７は、例えば、図１０に示す車両情報取得回路２７によって実現される。
車両情報取得部１７は、例えば、車両の制御回路から、車両の状態を示す車両情報を取得する。
車両情報取得部１７は、車両情報を第１の特徴量算出部１８に出力する。

第１の特徴量算出部１８は、例えば、図１０に示す第１の特徴量算出回路２８によって実現される。
第１の特徴量算出部１８は、車両情報取得部１７から、車両情報を取得する。
第１の特徴量算出部１８は、車両情報取得部１７により取得された車両情報が示す車両の状態が或る状態であるときに、車内映像取得部１１により取得された映像データを取得する。
第１の特徴量算出部１８は、基準特徴量として、取得した映像データが示す車内映像に映っている運転者の顔の特徴量を算出する。
第１の特徴量算出部１８は、基準特徴量を差分算出部１４に出力する。

図９では、乗員状態推定装置２の構成要素である車両情報取得部１７、車内映像取得部１１、第１の特徴量算出部１８、第２の特徴量算出部１３、差分算出部１４、再算出指示部１５及び乗員状態検出部１６のそれぞれが、図１０に示すような専用のハードウェアによって実現されるものを想定している。即ち、乗員状態推定装置２が、車両情報取得回路２７、車内映像取得回路２１、第１の特徴量算出回路２８、第２の特徴量算出回路２３、差分算出回路２４、再算出指示回路２５及び乗員状態検出回路２６によって実現されるものを想定している。
車両情報取得回路２７、車内映像取得回路２１、第１の特徴量算出回路２８、第２の特徴量算出回路２３、差分算出回路２４、再算出指示回路２５及び乗員状態検出回路２６のそれぞれは、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ、ＦＰＧＡ、又は、これらを組み合わせたものが該当する。

乗員状態推定装置２の構成要素は、専用のハードウェアによって実現されるものに限るものではなく、乗員状態推定装置２が、ソフトウェア、ファームウェア、又は、ソフトウェアとファームウェアとの組み合わせによって実現されるものであってもよい。
乗員状態推定装置２が、ソフトウェア又はファームウェア等によって実現される場合、車両情報取得部１７、車内映像取得部１１、第１の特徴量算出部１８、第２の特徴量算出部１３、差分算出部１４、再算出指示部１５及び乗員状態検出部１６におけるそれぞれの処理手順をコンピュータに実行させるためのプログラムが図３に示すメモリ３１に格納される。そして、図３に示すプロセッサ３２がメモリ３１に格納されているプログラムを実行する。

また、図１０では、乗員状態推定装置２の構成要素のそれぞれが専用のハードウェアによって実現される例を示し、図３では、乗員状態推定装置２がソフトウェア又はファームウェア等によって実現される例を示している。しかし、これは一例に過ぎず、乗員状態推定装置２における一部の構成要素が専用のハードウェアによって実現され、残りの構成要素がソフトウェア又はファームウェア等によって実現されるものであってもよい。

次に、図９に示す乗員状態推定装置２の動作について説明する。車両情報取得部１７及び第１の特徴量算出部１８以外は、図１に示す乗員状態推定装置２と同様である。このため、ここでは、車両情報取得部１７及び第１の特徴量算出部１８の動作のみを説明する。
車両情報取得部１７は、例えば、車両の制御回路から、車両の状態を示す車両情報を取得する。車両情報としては、例えば、車両のシフトを示す情報、車両の速度を示す情報、又は、車両の舵角を示す情報がある。
車両情報取得部１７は、車両情報を第１の特徴量算出部１８に出力する。

第１の特徴量算出部１８は、車両情報取得部１７から、車両情報を取得する。
第１の特徴量算出部１８は、例えば、車両情報が示す車両の状態が、或る状態であるときに、カメラ１により撮影された車内映像を示すＮ個の映像データＰ_１～Ｐ_Ｎを車内映像取得部１１から取得する。
即ち、第１の特徴量算出部１８は、例えば、車両情報が示す車両の状態が、車両のシフトがドライブシフトである状態、車両の速度が第３の閾値以上である状態、あるいは、車両の舵角が第４の閾値以内である状態であるときに、カメラ１により撮影された車内映像を示すＮ個の映像データＰ_１～Ｐ_Ｎを車内映像取得部１１から取得する。
第３の閾値及び第４の閾値のそれぞれは、第１の特徴量算出部１８の内部メモリに格納されていてもよいし、乗員状態推定装置２の外部から与えられるものであってもよい。
以降、第１の特徴量算出部１８は、図１に示す第１の特徴量算出部１２と同様に、映像データＰ_ｎ（ｎ＝１，・・・，Ｎ）が示す車内映像に基づいて、基準特徴量Ｖ_ｊを算出する。

車両情報が示す車両の状態が、車両のシフトがドライブシフトである状態、車両の速度が第３の閾値以上である状態、あるいは、車両の舵角が第４の閾値以内である状態のときは、通常、車両の運転に対する注意が必要な時間帯である。
したがって、車両情報が示す車両の状態が、車両のシフトがドライブシフトである状態、車両の速度が第３の閾値以上である状態、あるいは、車両の舵角が第４の閾値以内である状態のときは、運転者の顔の表情が真顔の表情である可能性が高い。

以上の実施の形態２では、車両の状態を示す車両情報を取得する車両情報取得部１７を備えるように、図９に示す乗員状態推定装置２を構成した。また、図９に示す乗員状態推定装置２の第１の特徴量算出部１８は、車両情報取得部１７により取得された車両情報が示す車両の状態が或る状態であるときに、車内映像取得部１１により取得された車内映像を取得し、基準特徴量として、当該車内映像に映っている乗員の顔の特徴量を算出するように構成した。したがって、図９に示す乗員状態推定装置２は、図１に示す乗員状態推定装置２よりも、運転者の顔の表情が真顔の表情であるときに撮影された車内映像に基づいて、基準特徴量を算出できる可能性を高めることができる。

なお、本開示は、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。

本開示は、乗員状態推定装置及び乗員状態推定方法に適している。

１ カメラ、２ 乗員状態推定装置、１１ 車内映像取得部、１２ 第１の特徴量算出部、１３ 第２の特徴量算出部、１４ 差分算出部、１５ 再算出指示部、１６ 乗員状態検出部、１７ 車両情報取得部、１８ 第１の特徴量算出部、２１ 車内映像取得回路、２２ 第１の特徴量算出回路、２３ 第２の特徴量算出回路、２４ 差分算出回路、２５ 再算出指示回路、２６ 乗員状態検出回路、２７ 車両情報取得回路、２８ 第１の特徴量算出回路、３１ メモリ、３２ プロセッサ、４１ 直線距離算出部、４２ モデル調整部、４３ 特徴量算出処理部、５１ 直線距離算出部、５２ モデル調整部、５３ 特徴量算出処理部。

Claims (8)

1. 車両の内部の映像である車内映像を取得する車内映像取得部と、
   基準特徴量として、前記車内映像取得部により取得された車内映像に映っている、前記車両に乗車している乗員の顔の特徴量を算出する第１の特徴量算出部と、
   前記第１の特徴量算出部により基準特徴量が算出された後に、前記車内映像取得部により取得された、撮影時刻が互いに異なる複数の車内映像のそれぞれに映っている前記乗員の顔の特徴量を算出する第２の特徴量算出部と、
   前記第１の特徴量算出部により算出された基準特徴量と前記第２の特徴量算出部により算出されたそれぞれの特徴量との差分を算出する差分算出部と、
   前記差分算出部により算出された複数の差分のうち、前記第１の特徴量算出部により基準特徴量が算出された後の一定期間内に算出された複数の差分の中で、第１の閾値以上である差分の割合が第２の閾値以上であれば、前記基準特徴量の再算出を前記第１の特徴量算出部に指示する再算出指示部と
   を備えた乗員状態推定装置。
2. 前記再算出指示部から前記第１の特徴量算出部への再算出の指示がなければ、前記差分算出部により算出されたそれぞれの差分に基づいて、前記乗員の状態を検出する乗員状態検出部を備えたことを特徴とする請求項１記載の乗員状態推定装置。
3. 前記車内映像取得部は、撮影時刻が互いに異なる複数の車内映像を取得し、
   前記第１の特徴量算出部は、
   前記車内映像取得部により取得されたそれぞれの車内映像に映っている前記乗員の顔の特徴量を算出し、算出した複数の特徴量から、前記基準特徴量を算出することを特徴とする請求項１記載の乗員状態推定装置。
4. 前記第１の特徴量算出部は、
   前記車内映像取得部により取得された車内映像に映っている乗員の顔の基準点から、前記乗員の顔パーツに含まれている複数のパーツ構成点までの直線距離をそれぞれ算出する直線距離算出部と、
   前記直線距離算出部により算出されたそれぞれの直線距離を顔の３次元モデルにフィッティングすることで、当該３次元モデルを前記乗員の顔を示す３次元モデルにカスタマイズするモデル調整部と、
   前記モデル調整部によるカスタマイズ後の３次元モデルに基づいて、前記基準特徴量として、前記乗員の顔の特徴量を算出する特徴量算出処理部とを備えていることを特徴とする請求項１記載の乗員状態推定装置。
5. 前記第２の特徴量算出部は、
   前記第１の特徴量算出部により基準特徴量が算出された後に、前記車内映像取得部により取得されたそれぞれの車内映像に映っている乗員の顔の基準点から、前記乗員の顔パーツに含まれている複数のパーツ構成点までの直線距離をそれぞれ算出する直線距離算出部と、
   前記直線距離算出部により算出されたそれぞれの直線距離を顔の３次元モデルにフィッティングすることで、当該３次元モデルを前記乗員の顔を示す３次元モデルにカスタマイズするモデル調整部と、
   前記モデル調整部によるカスタマイズ後の３次元モデルに基づいて、前記乗員の顔の特徴量を算出する特徴量算出処理部とを備えていることを特徴とする請求項１記載の乗員状態推定装置。
6. 前記車両の状態を示す車両情報を取得する車両情報取得部を備え、
   前記第１の特徴量算出部は、
   前記車両情報取得部により取得された車両情報が示す車両の状態が或る状態であるときに前記車内映像取得部により取得された車内映像を取得し、前記基準特徴量として、当該車内映像に映っている前記乗員の顔の特徴量を算出することを特徴とする請求項１記載の乗員状態推定装置。
7. 前記或る状態は、
   前記車両のシフトがドライブシフトである状態、前記車両の速度が第３の閾値以上である状態、あるいは、前記車両の舵角が第４の閾値以内である状態であり、
   前記第１の特徴量算出部は、
   前記車両情報取得部により取得された車両情報が示す車両の状態が前記或る状態であるときに前記車内映像取得部により取得された車内映像を取得し、前記基準特徴量として、当該車内映像に映っている前記乗員の顔の特徴量を算出することを特徴とする請求項６記載の乗員状態推定装置。
8. 車内映像取得部が、車両の内部の映像である車内映像を取得し、
   第１の特徴量算出部が、基準特徴量として、前記車内映像取得部により取得された車内映像に映っている、前記車両に乗車している乗員の顔の特徴量を算出し、
   第２の特徴量算出部が、前記第１の特徴量算出部により基準特徴量が算出された後に、前記車内映像取得部により取得された、撮影時刻が互いに異なる複数の車内映像のそれぞれに映っている前記乗員の顔の特徴量を算出し、
   差分算出部が、前記第１の特徴量算出部により算出された基準特徴量と前記第２の特徴量算出部により算出されたそれぞれの特徴量との差分を算出し、
   再算出指示部が、前記差分算出部により算出された複数の差分のうち、前記第１の特徴量算出部により基準特徴量が算出された後の一定期間内に算出された複数の差分の中で、第１の閾値以上である差分の割合が第２の閾値以上であれば、前記基準特徴量の再算出を前記第１の特徴量算出部に指示する
   乗員状態推定方法。

Images