WO2017208529A1

WO2017208529A1 - 運転者状態推定装置、運転者状態推定システム、運転者状態推定方法、運転者状態推定プログラム、対象者状態推定装置、対象者状態推定方法、対象者状態推定プログラム、および記録媒体

Info

Publication number: WO2017208529A1
Application number: PCT/JP2017/007142
Authority: WO
Inventors: 初美青位; 航一木下; 相澤　知禎; 秀人 ▲濱▼走; 匡史日向; 芽衣上谷
Original assignee: オムロン株式会社
Priority date: 2016-06-02
Filing date: 2017-02-24
Publication date: 2017-12-07
Also published as: JP6245398B2; CN109155106A; JP2017217472A; US20200334477A1; DE112017002765T5

Abstract

運転者状態推定装置（１０）は、画像取得部（１１）、推定部（１８）、重み算出部（１９）を備えている。画像取得部（１１）は、第１画像を取得する。推定部（１８）は、取得された第１画像に含まれる運転者の状態を推定する。重み算出部（１９）は、推定された運転者の状態から、推定に用いられる運転者の動作特徴量のそれぞれ対する重みを算出する。推定部（１８）は、算出された重みを用いて重み付けされた動作特徴量に基づいて、運転者の状態を推定する。重み算出部（１９）は、推定部（１８）において推定された運転者の状態から、推定に用いられる運転者の動作特徴量のそれぞれに対する重みを変化させる。

Description

運転者状態推定装置、運転者状態推定システム、運転者状態推定方法、運転者状態推定プログラム、対象者状態推定装置、対象者状態推定方法、対象者状態推定プログラム、および記録媒体

　本発明は、車両を運転する運転者の状態を推定する運転者状態推定装置、運転者状態推定システム、運転者状態推定方法、運転者状態推定プログラム、対象者状態推定装置、対象者状態推定方法、対象者状態推定プログラム、および記録媒体に関する。

　近年、車両を運転する運転者を撮影した画像を画像処理することで、居眠り運転、脇見運転、体調急変等の運転者の状態を推定することで、重大事故の発生を防止するための装置が用いられている。
　例えば、特許文献１には、車両の運転者の視線を検出して、停留時間が長い場合には、運転者の集中度が低下してものと推定する集中度判定装置について開示されている。

　また、特許文献２には、車両の運転者の免許証の顔画像と運転中の運転者の撮影画像とを比較して、運転者の眠気や脇見判定を行う画像解析装置について開示されている。
　さらに、特許文献３には、運転者のまぶたの動きを検出し、検出直後に運転者の顔の角度の変化の有無に応じて、運転者の眠気を判定することで、下方視を眠気と誤検出してしまうことを防止する眠気検出装置について開示されている。

　また、特許文献４には、運転者の口の周りの筋肉の動きに基づいて、運転者の眠気判定を行う眠気判定装置について開示されている。
　さらに、特許文献５には、撮影画像を縮小リサイズした画像中の運転者の顔を検出し、さらに顔の特定部位（目、鼻、口）を抽出して、各特定部位の動きから居眠り等の状態を判定する顔状況判定装置について開示されている。

　また、特許文献６には、運転者の顔の向きの判定、視線の推定等の複数の処理を周期的に順に処理する画像処理装置について開示されている。

特開２０１４－１９１４７４号公報特開２０１２－８４０６８号公報特開２０１１－４８５３１号公報特開２０１０－１２２８９７号公報特開２００８－１７１１０８号公報特開２００８－２８２１５３号公報

　しかしながら、上記従来の運転者の状態を推定する装置では、以下に示すような問題点を有している。
　すなわち、上記特許文献１～５に開示された各装置では、運転者の状態を、視線、顔の傾き等の単一の指標を用いて推定しているだけであるため、例えば、パニック状態や突然の病気発症等、多種多様な運転者の状態を、高速かつ正確に推定することは困難であった。

　また、上記特許文献６では、運転者の顔の向き、視線推定等、複数の処理を周期的に順次処理していくため、突然の病気発症等の突発的な事象に対応できないおそれがある。
　本発明の課題は、多種多様な運転者の状態を高精度に推定することが可能な運転者状態推定装置、運転者状態推定システム、運転者状態推定方法、運転者状態推定プログラム、対象者状態推定装置、対象者状態推定方法、対象者状態推定プログラム、および記録媒体を提供することにある。
（課題を解決するための手段）
　第１の発明に係る運転者状態推定装置は、運転中の車両の運転席を連続的に撮影した第１画像を用いて、運転者の状態を推定する運転者状態推定装置であって、画像取得部と、第１推定部と、第１重み算出部と、第２推定部と、第２重み算出部と、を備えている。画像取得部は、第１画像を取得する。第１推定部は、画像取得部において取得された第１画像に含まれる運転者の状態を推定する。第１重み算出部は、第１推定部において推定された運転者の状態から、推定に用いられる運転者の動作特徴量のそれぞれに対する重みを算出する。第２推定部は、第１重み算出部において算出された重みを用いて重み付けされた動作特徴量に基づいて、運転者の状態を推定する。第２重み算出部は、第２推定部において推定された運転者の状態から、推定に用いられる運転者の動作特徴量のそれぞれに対する重みを変化させる。

　ここでは、車両を運転中の運転席を連続的に撮影する撮像部から取得した第１画像を用いて、運転者の状態を推定する際に、直前に推定された運転者の状態に応じて次の推定を行うにあたり、状態の変化を的確に捉えられるように推定結果に基づいて重み付けを行い、再度、運転者の状態の推定を行う。そして、２回目の推定結果に基づいて、再度、動作特徴量に対する重みを変化させた上で、再度、運転者の状態の推定を行う。

　ここで、推定される運転者の状態には、例えば、運転者の前方注視、眠気、脇見、服の着脱、電話操作、窓側・肘掛けへの寄り掛かり、同乗者やペットによる運転妨害、病気の発症、後ろ向き、突っ伏し、飲食、喫煙、めまい、異常行動、カーナビゲーション・オーディオ操作、眼鏡・サングラスの着脱、写真撮影のうちの少なくとも１つが含まれる。
　また、推定結果に基づいて行われる重み付けとは、例えば、推定される運転者の状態が後ろ向きであった場合には、第１画像中から運転者の顔が検出されていない状態であるため、次の動作は、前方への振り返りと予想される。よって、第１画像中における運転者の顔の有無の検出を重要視するように重み付けされる。一方で、運転者が後方を振り返った状態では、例えば、運転者の顔の向き、視線、眼の開閉等の他の要素について検出の重要度が低いため、重み付けを軽くするように処理される。そして、重み付け処理は、推定結果に応じて、適宜、動作特徴量に対する重みを変化させる。

　なお、第１推定部および第２推定部は、それぞれ別々の推定部として設けられた構成であってもよいし、単一の推定部に、第１推定部および第２推定部の機能を持たせた構成であってもよい。同様に、第１重み算出部および第２重み算出部は、それぞれ別々の重み算出部として設けられた構成であってもよいし、単一の重み算出部に、第１重み算出部および第２重み算出部の機能を持たせた構成であってもよい。

　これにより、連続的に撮影された運転席を含む第１画像を用いて推定された運転者の状態に応じて、重み付けを変化させながら、次に取得された第１画像の推定を行うことで、運転者の状態の推定精度を従来よりも向上させることができる。
　この結果、従来よりも多種多様な運転中の運転者の状態を精度良く、推定することができる。

　第２の発明に係る運転者状態推定装置は、第１の発明に係る運転者状態推定装置であって、顔検出部と、顔器官点検出部と、顔器官状態検出部と、をさらに備えている。顔検出部は、第１画像に含まれる運転者の顔を検出する。顔器官点検出部は、顔検出部において検出された運転者の顔の器官の位置を検出する。顔器官状態検出部は、顔器官点検出部において検出された器官の状態を検出して動作特徴量として出力する。

　ここでは、上述した運転者の状態の推定を、顔検出部、顔器官点検出部、顔器官状態検出部における検出結果を用いて行う。
　ここで、顔器官状態検出部において検出される運転者の顔の器官の状態とは、顔検出部において検出された運転者の顔に含まれ、顔器官点検出部において検出された顔の器官の位置の変化であって、例えば、顔の向き、視線、眼の開閉等が含まれる。

　これにより、運転者の顔の器官の変化を検出して運転者の状態を推定するとともに、推定結果に基づいて重み付けを変化させながら、最終的な運転者の状態を推定することができる。
　この結果、従来よりも高精度に運転中の運転者の状態を推定することができる。
　第３の発明に係る運転者状態推定装置は、第２の発明に係る運転者状態推定装置であって、顔器官状態検出部は、器官の状態として、運転者の顔の向き、眼の開閉、視線の変化を検出する。

　これにより、例えば、運転者の顔の向きが正面から側方へ変化した場合には脇見状態であることが推定される。また、運転者の眼の開閉状態が閉状態に変化した場合には、運転者が居眠り運転をしていると推定される。さらに、運転者の視線が室内に向いている場合には、運転者がスマートフォンを操作している、あるいはカーナビゲーション・カーオーディ等を操作していることが推定される。

　第４の発明に係る運転者状態推定装置は、第２または第３の発明に係る運転者状態推定装置であって、顔器官状態検出部は、連続的に撮影された第１画像を、１フレーム単位で解析して、器官の状態を検出する。
　ここでは、顔器官状態検出部における運転者の顔の器官の状態変化を、連続的に取得された第１画像の１フレーム単位で検出する。

　これにより、動画等のように連続的に撮影された第１画像における１フレーム単位での運転者の顔の器官の状態変化を検出することで、顔の器官の細かな変化を検出して、運転者の状態を精度良く推定することができる。
　第５の発明に係る運転者状態推定装置は、第１から第４の発明のいずれか１つに係る運転者状態推定装置であって、運転者の体の状態を検出する運転者状態検出部を、さらに備えている。

　ここでは、上述した運転者の状態の推定を、運転者状態検出部を用いて行う。
　ここで、運転者状態検出部において検出される運転者の体の状態とは、例えば、運転者の姿勢、上腕部の位置等の体全般の変化が含まれ、特に、運転者の上半身の動作の状態を意味する。
　これにより、運転者の体の状態変化を検出して運転者の状態を推定するとともに、推定結果に基づいて重み付けを変化させながら、最終的な運転者の状態を推定することができる。

　この結果、従来よりも高精度に運転中の運転者の状態を推定することができる。
　第６の発明に係る運転者状態推定装置は、第５の発明に係る運転者状態推定装置であって、運転者状態検出部において検出される運転者の体の状態の検出に使用される画像として、第１画像を低解像度化した第２画像を生成する画像生成部を、さらに備えている。
　ここでは、運転者の状態の推定に使用される画像として、画像取得部において取得された第１画像をそのまま用いるのではなく、第１画像を低解像度化した第２画像を用いる。

　ここで、第２画像は、例えば、第１画像を縮小リサイズ処理することで低解像度化することができる。
　これにより、運転者の顔とは異なり、低解像度画像であっても検出が可能な運転者の体の動き等について、第２画像を用いて運転者の状態推定を行うことで、処理負担を軽減することができる。

　第７の発明に係る運転者状態推定装置は、第６の発明に係る運転者状態推定装置であって、運転者状態検出部は、第２画像の複数のフレームを解析して、運転者の体の状態を検出する。
　ここでは、運転者状態検出部が、第１画像を低解像度化した第２画像の複数のフレームを解析する。

　これにより、運転者の体の動き等については、第１画像よりも解像度が低い第２画像の複数のフレームを解析することで、運転者の状態推定時における処理負担を軽減することができる。
　第８の発明に係る運転者状態推定装置は、第６または第７の発明に係る運転者状態推定装置であって、運転者状態検出部は、第２画像のエッジ位置、エッジ勾配度合い、エッジ周波数のうちの少なくとも１つに関する特徴量を用いて、運転者の体の状態を検出する。

　ここでは、運転者状態検出部における運転者の体の状態変化の検出に際して、第２画像中におけるエッジ位置、エッジ勾配度合い、エッジ周波数等の特徴量を用いる。
　これにより、第２画像中におけるエッジ部分の変化を検出して、運転者の体の動き（運転者の状態）を推定することができる。
　第９の発明に係る運転者状態推定装置は、第１から第８の発明のいずれか１つに係る運転者状態推定装置であって、第２推定部は、連続的に取得された第１画像の解析において、前フレームの画像との比較において運転者の変化の度合いに応じて、運転者の状態を推定する。

　ここでは、連続的に取得された第１画像を用いた運転者の状態推定結果と、前フレームの第１画像を用いた推定結果と比較して、変化の度合いに応じて運転者の状態を推定する。
　これにより、例えば、運転者が急病を発症して大きな動きをした場合や、同乗者やペット等によって運転妨害にあった場合等、運転者の急な動きにも対応して高精度な推定を行うことができる。

　第１０の発明に係る運転者状態推定装置は、第１から第９の発明のいずれか１つに係る運転者状態推定装置であって、第１推定部および第２推定部は、運転者の前方注視、眠気、脇見、服の着脱、電話操作、寄り掛かり、同乗者やペットによる運転妨害、病気の発症、後ろ向き、突っ伏し、飲食、喫煙、めまい、異常行動、カーナビゲーション・オーディオ操作、眼鏡・サングラスの着脱、写真撮影のうちの少なくとも１つを推定する。

　ここでは、推定される運転者状態として、例えば、運転者の前方注視、眠気、脇見、服の着脱、電話操作、寄り掛かり、同乗者やペットによる運転妨害、病気の発症、後ろ向き、突っ伏し、飲食、喫煙、めまい、異常行動、カーナビゲーション・オーディオ操作、眼鏡・サングラスの着脱、写真撮影等が含まれる。
　これにより、多種多様な運転者の状態を、正確に推定することができる。

　第１１の発明に係る運転者状態推定装置は、第１から第１０の発明のいずれか１つに係る運転者状態推定装置であって、第１推定部および第２推定部は、機械学習またはディープランニングを活用して、運転者の状態推定を行う。
　ここでは、機械学習やディープラーニングを含むいわゆる人工知能（ＡＩ）を用いて、運転者の状態を推定する。

　これにより、過去の推定結果を用いて自動的に学習して推定を実施するため、より高精度な推定を実施することができる。
　第１２の発明に係る運転者状態推定システムは、第１から第１１の発明のいずれか１つに係る運転者状態推定装置と、運転席を連続的に撮影するとともに、撮影した第１画像を画像取得部へ送信する撮像部と、を備えている。

　ここでは、上述した運転者状態推定装置と、運転者状態推定装置に対して第１画像を供給する撮像部と、を備えた運転者状態推定システムを構成する。
　これにより、連続的に撮影された運転席を含む第１画像を用いて推定された運転者の状態に応じて、重み付けを変化させながら、次に取得された第１画像の推定を行うことで、運転者の状態の推定精度を従来よりも向上させることができる。

　この結果、従来よりも多種多様な運転中の運転者の状態を精度良く、推定することが可能なシステムを構築できる。
　第１３の発明に係る運転者状態推定方法は、運転中の車両の運転席を連続的に撮影した第１画像を用いて、運転者の状態を推定する運転者状態推定方法であって、画像取得ステップと、第１推定ステップと、第１重み算出ステップと、第２推定ステップと、第２重み算出ステップと、を備えている。画像取得ステップは、第１画像を取得する。第１推定ステップは、画像取得ステップにおいて取得された第１画像に含まれる運転者の状態を推定する。第１重み算出ステップは、第１推定ステップにおいて推定された運転者の状態から、推定に用いられる運転者の動作特徴量のそれぞれに対する重みを算出する。第２推定ステップは、第１重み算出ステップにおいて算出された重みを用いて重み付けされた動作特徴量に基づいて、運転者の状態を推定する。第２重み算出ステップは、第２推定ステップにおいて推定された運転者の状態から、推定に用いられる運転者の動作特徴量のそれぞれに対する重みを変化させる。

　第１４の発明に係る運転者状態推定プログラムは、運転中の車両の運転席を連続的に撮影した第１画像を用いて、運転者の状態を推定する運転者状態推定プログラムであって、画像取得ステップと、第１推定ステップと、第１重み算出ステップと、第２推定ステップと、第２重み算出ステップと、を備えた運転者状態推定方法をコンピュータに実行させる。画像取得ステップは、第１画像を取得する。第１推定ステップは、画像取得ステップにおいて取得された第１画像に含まれる運転者の状態を推定する。第１重み算出ステップは、推定に用いられる運転者の動作特徴量のそれぞれに対する重みを算出する。第２推定ステップは、第１重み算出ステップにおいて算出された重みを用いて重み付けされた動作特徴量に基づいて、運転者の状態を推定する。第２重み算出ステップは、第２推定ステップにおいて推定された運転者の状態から、推定に用いられる運転者の動作特徴量のそれぞれに対する重みを変化させる。

　ここでは、上記運転者状態推定方法をコンピュータに実行させる運転者状態推定プログラムであって、車両を運転中の運転席を連続的に撮影する撮像部から取得した第１画像を用いて、運転者の状態を推定する際に、直前に推定された運転者の状態に応じて次の推定を行うにあたり、状態の変化を的確に捉えられるように推定結果に基づいて重み付けを行い、再度、運転者の状態の推定を行う。そして、２回目の推定結果に基づいて、再度、動作特徴量に対する重みを変化させた上で、再度、運転者の状態の推定を行う。

　ここで、推定される運転者の状態には、例えば、運転者の前方注視、眠気、脇見、服の着脱、電話操作、窓側・肘掛けへの寄り掛かり、同乗者やペットによる運転妨害、病気の発症、後ろ向き、突っ伏し、飲食、喫煙、めまい、異常行動、カーナビゲーション・オーディオ操作、眼鏡・サングラスの着脱、写真撮影のうちの少なくとも１つが含まれる。
　また、推定結果に基づいて行われる重み付けとは、例えば、推定される運転者の状態が後ろ向きであった場合には、第１画像中から運転者の顔が検出されていない状態であるため、次の動作は、前方への振り返りと予想される。よって、第１画像中における運転者の顔の有無の検出を重要視するように重み付けされる。一方で、運転者が後方を振り返った状態では、例えば、運転者の顔の向き、視線、眼の開閉等の他の要素について検出の重要度が低いため、重み付けを軽くするように処理される。そして、重み算出は、推定結果に応じて、適宜、動作特徴量に対する重みを変化させる。

　第１５の発明に係る記録媒体は、第１４の発明に係る運転者状態推定プログラムを格納している。
　ここでは、上述した運転者状態推定プログラムを格納した記録媒体であって、上記運転者状態推定プログラムがコンピュータに実行されることにより、上述した運転者状態推定方法が実施される。

　第１６の発明に係る対象者状態推定装置は、対象者が居るべき場所を連続的に撮影した第１画像を用いて、対象者の状態を推定する対象者状態推定装置であって、画像取得部と、第１推定部と、第１重み算出部と、第２推定部と、第２重み算出部と、を備えている。画像取得部は、第１画像を取得する。第１推定部は、画像取得部において取得された第１画像に含まれる対象者の状態を推定する。第１重み算出部は、第１推定部において推定された対象者の状態から、推定に用いられる対象者の動作特徴量のそれぞれに対する重みを算出する。第２推定部は、第１重み算出部において算出された重みを用いて重み付けされた動作特徴量に基づいて、対象者の状態を推定する。第２重み算出部は、第２推定部において推定された対象者の状態から、推定に用いられる対象者の動作特徴量のそれぞれに対する重みを変化させる。

　ここでは、例えば、車両を運転中の運転席等の対象者が居るべき場所を連続的に撮影する撮像部から取得した第１画像を用いて、当該対象者の状態を推定する際に、直前に推定された運転者の状態に応じて次の推定を行うにあたり、状態の変化を的確に捉えられるように推定結果に基づいて重み付けを行い、再度、運転者の状態の推定を行う。そして、２回目の推定結果に基づいて、再度、動作特徴量に対する重みを変化させた上で、再度、運転者の状態の推定を行う。

　ここで、上記対象者には、例えば、車両を運転中の運転者、工場等の施設で作業中の作業者、介護施設等へ入居している要介護者等が含まれる。
　また、推定される対象者の状態には、例えば、対象者による各種操作、眼鏡・サングラスの着脱、写真撮影、飲食、喫煙、寄り掛かり等の動作や、病気の発症、後ろ向き、突っ伏し、めまい、異常行動を含む健康状態の変化等のうちの少なくとも１つが含まれる。

　また、推定結果に基づいて行われる重み付けとは、例えば、推定される運転者の状態が後ろ向きであった場合には、第１画像中から運転者の顔が検出されていない状態であるため、次の動作は、前方への振り返りと予想される。よって、第１画像中における運転者の顔の有無の検出を重要視するように重み付けされる。一方で、運転者が後方を振り返った状態では、例えば、運転者の顔の向き、視線、眼の開閉等の他の要素について検出の重要度が低いため、重み付けを軽くするように処理される。そして、重み算出は、推定結果に応じて、適宜、動作特徴量に対する重みを変化させる。

　これにより、連続的に撮影された対象者が居るべき場所を含む第１画像を用いて推定された対象者の状態に応じて、重みを変化させながら、次に取得された第１画像の推定を行うことで、対象者の状態の推定精度を従来よりも向上させることができる。
　この結果、従来よりも多種多様な対象者の動きや健康状態等を精度良く、推定することができる。

　第１７の発明に係る対象者状態推定方法は、対象者が居るべき場所を連続的に撮影した第１画像を用いて、対象者の状態を推定する対象者状態推定方法であって、画像取得ステップと、第１推定ステップと、第１重み算出ステップと、第２推定ステップと、第２重み算出ステップと、を備えている。画像取得ステップは、第１画像を取得する。第１推定ステップは、画像取得ステップにおいて取得された第１画像に含まれる対象者の状態を推定する。第１重み算出ステップは、第１推定ステップにおいて推定された対象者の状態から、推定に用いられる対象者の動作特徴量のそれぞれに対する重みを算出する。第２推定ステップは、第１重み算出ステップにおいて算出された重みを用いて重み付けされた動作特徴量に基づいて、対象者の状態を推定する。第２重み算出ステップは、第２推定ステップにおいて推定された対象者の状態から、推定に用いられる対象者の動作特徴量のそれぞれに対する重みを変化させる。

　第１８の発明に係る対象者状態推定プログラムは、対象者が居るべき場所を連続的に撮影した第１画像を用いて、対象者の状態を推定する対象者状態推定プログラムであって、画像取得ステップと、第１推定ステップと、第１重み算出ステップと、第２推定ステップと、第２重み算出ステップと、を備えた対象者状態推定方法をコンピュータに実行させる。画像取得ステップは、第１画像を取得する。第１推定ステップは、画像取得ステップにおいて取得された第１画像に含まれる対象者の状態を推定する。第１重み算出ステップは、第１推定ステップにおいて推定された対象者の状態から、推定に用いられる対象者の動作特徴量のそれぞれに対する重みを算出する。第２推定ステップは、第１重み算出ステップにおいて算出された重みを用いて重み付けされた動作特徴量に基づいて、対象者の状態を推定する。第２重み算出ステップは、第２推定ステップにおいて推定された対象者の状態から、推定に用いられる対象者の動作特徴量のそれぞれに対する重みを変化させる。

　第１９の発明に係る記録媒体は、第１８の発明に係る対象者状態推定プログラムを格納している。
　ここでは、上述した対象者状態推定プログラムを格納した記録媒体であって、上記対象者状態推定プログラムがコンピュータに実行されることにより、上述した対象者状態推定方法が実施される。

　これにより、連続的に撮影された対象者が居るべき場所を含む第１画像を用いて推定された対象者の状態に応じて、重みを変化させながら、次に取得された第１画像の推定を行うことで、対象者の状態の推定精度を従来よりも向上させることができる。
　この結果、運転者や作業者、要介護者等を含む対象者の状態を従来よりも精度良く、推定することができる。

　第２０の発明に係る運転者状態推定装置は、運転中の車両の運転席の様子を連続的に撮影した第１画像を用いて、車両の運転者の状態を推定する運転者状態推定装置であって、画像取得部と、顔検出部と、顔器官点検出部と、顔器官状態検出部と、画像生成部と、運転者状態検出部と、推定部と、を備えている。画像取得部は、第１画像を取得する。顔検出部は、画像取得部において取得された第１画像に含まれる運転者の顔を検出する。顔器官点検出部は、顔検出部において検出された運転者の顔の器官の位置を検出する。顔器官状態検出部は、顔器官点検出部において検出された器官の状態を検出する。画像生成部は、第１画像の解像度を低下させた第２画像を生成する。運転者状態検出部は、画像生成部において生成された第２画像を用いて、運転者の体の状態を検出する。推定部は、顔器官状態検出部と運転者状態検出部とにおける検出結果を組み合わせて運転者の状態を推定する。

　ここでは、車両を運転中の運転席を連続的に撮影する撮像部から取得した第１画像を用いて運転者の状態を推定する際に、第１画像をそのまま用いて顔の器官の状態を検出するとともに、第１画像よりも低解像度化された第２画像を用いて運転者の体の状態を検出する。そして、第１画像を用いて検出された顔の器官の状態の変化と、第２画像を用いて検出された体の状態の変化とを融合させて、運転者の状態の推定を行う。

　ここで、推定される運転者の状態には、例えば、運転者の前方注視、眠気、脇見、服の着脱、電話操作、窓側・肘掛けへの寄り掛かり、同乗者やペットによる運転妨害、病気の発症、後ろ向き、突っ伏し、飲食、喫煙、めまい、異常行動、カーナビゲーション・オーディオ操作、眼鏡・サングラスの着脱、写真撮影のうちの少なくとも１つが含まれる。
　これにより、運転者の顔の器官の状態の細かい変化の検出には、解像度の高い第１画像を用いるとともに、運転者の体の動きの変化の検出には、第１画像よりも解像度の低い第２画像を用いることで、運転者の状態推定に必要な処理時間を短縮するとともに、処理負担を軽減することができる。

　この結果、多種多様な運転者の状態の推定を、従来よりも高速、低負荷かつ高精度に実施することができる。
　第２１の発明に係る運転者状態推定装置は、第２０の発明に係る運転者状態推定装置であって、顔器官状態検出部は、運転者の顔の向き、眼の開閉、視線の変化を検出する。
　ここでは、顔器官状態検出部において検出される運転者の状態として、運転者の顔の向き、眼の開閉、視線の変化を検出する。

　第２２の発明に係る運転者状態推定装置は、第２０または第２１の発明に係る運転者状態推定装置であって、顔器官状態検出部は、連続的に撮影された第１画像を、１フレーム単位で解析して、器官の状態を検出する。
　ここでは、顔器官状態検出部における運転者の顔の器官の状態変化を、連続的に取得された第１画像の１フレーム単位で検出する。

　これにより、動画等のように連続的に撮影された第１画像における１フレーム単位での運転者の顔の器官の状態変化を検出することで、顔の器官の細かな変化を検出して、運転者の状態を精度良く推定することができる。
　第２３の発明に係る運転者状態推定装置は、第２０から第２２の発明のいずれか１つに係る運転者状態推定装置であって、運転者状態検出部は、第２画像の複数のフレームを解析して、運転者の体の状態を検出する。

　ここでは、運転者状態検出部が、第１画像を低解像度化した第２画像について、複数フレーム単位で解析を行う。
　これにより、運転者の体の動き等については、第１画像よりも解像度が低い第２画像を複数フレーム単位で解析することで、運転者の状態推定時における処理負担を軽減することができる。

　第２４の発明に係る運転者状態推定装置は、第２０から第２３の発明のいずれか１つに係る運転者状態推定装置であって、運転者状態検出部は、第２画像のエッジ位置、エッジ勾配度合い、エッジ周波数のうちの少なくとも１つに関する特徴量を用いて、運転者の体の状態を検出する。
　ここでは、運転者状態検出部における運転者の体の状態変化の検出に際して、第２画像中におけるエッジ位置、エッジ勾配度合い、エッジ周波数等の特徴量を用いる。

　これにより、第２画像中におけるエッジ部分の変化を検出して、運転者の体の動き（運転者の状態）を推定することができる。
　第２５の発明に係る運転者状態推定装置は、第２０から第２４の発明のいずれか１つに係る運転者状態推定装置であって、推定部は、連続的に取得された第１画像および第２画像の少なくとも１つを解析した結果、前フレームの画像との比較において運転者の顔の器官、および運転者の体の変化の度合いに応じて、運転者の状態を推定する。

　ここでは、連続的に取得された第１画像を用いた運転者の状態の推定結果と、前フレームの第１画像または第２画像を用いた推定結果と比較して、変化の度合いに応じて運転者の状態を推定する。
　これにより、例えば、運転者が急病を発症して大きな動きをした場合や、同乗者やペット等によって運転妨害にあった場合等、運転者の急な動きにも対応して高精度な推定を行うことができる。

　第２６の発明に係る運転者状態推定装置は、第２０から第２５の発明のいずれか１つに係る運転者状態推定装置であって、第１画像および第２画像、推定部における推定結果のうち少なくとも１つを保存する記憶部を、さらに備えている。
　ここでは、第１画像および第２画像、推定結果等の各種データを、記憶部に保存する。
　これにより、過去に取得した画像データや、過去の推定結果等を保存することで、例えば、機械学習やディープラーニング等で活用することができる。

　また、記憶部に保存される第２画像は、第１画像よりも低解像度化されているため、同じ解像度の２つの画像を保存する場合と比較して、容量負荷を軽減することができる。
　第２７の発明に係る運転者状態推定装置は、第２０から第２６の発明のいずれか１つに係る運転者状態推定装置であって、推定部は、運転者の前方注視、眠気、脇見、服の着脱、電話操作、寄り掛かり、同乗者やペットによる運転妨害、病気の発症、後ろ向き、突っ伏し、飲食、喫煙、めまい、異常行動、カーナビゲーション・オーディオ操作、眼鏡・サングラスの着脱、写真撮影のうちの少なくとも１つを推定する。

　ここでは、推定される運転者状態として、運転者の前方注視、眠気、脇見、服の着脱、電話操作、寄り掛かり、同乗者やペットによる運転妨害、病気の発症、後ろ向き、突っ伏し、飲食、喫煙、めまい、異常行動、カーナビゲーション・オーディオ操作、眼鏡・サングラスの着脱、写真撮影等が含まれる。
　これにより、多種多様な運転者の状態を、正確に推定することができる。

　第２８の発明に係る運転者状態推定装置は、第２０から第２７の発明のいずれか１つに係る運転者状態推定装置であって、推定部は、機械学習またはディープランニングを活用して、運転者の状態推定を行う。
　ここでは、機械学習やディープラーニングを含むいわゆる人工知能（ＡＩ）を用いて、運転者の状態を推定する。

　これにより、過去の推定結果を用いて自動的に学習して推定を実施するため、より高精度な推定を実施することができる。
　第２９の発明に係る運転者状態推定システムは、第２０から第２８の発明のいずれか１つに係る運転者状態推定装置と、運転席の様子を連続的に撮影するとともに、撮影した第１画像を画像取得部へ送信する撮像部と、を備えている。

　ここでは、上述した運転者状態推定装置と、運転者状態推定装置に対して第１画像を供給する撮像部と、を備えた運転者状態推定システムを構成する。
　これにより、運転者の顔の器官の状態の細かい変化の検出には、解像度の高い第１画像を用いるとともに、運転者の体の動きの変化の検出には、第１画像よりも解像度の低い第２画像を用いることで、運転者の状態推定に必要な処理時間を短縮するとともに、処理負担を軽減することができる。

　この結果、多種多様な運転者の状態の推定を、従来よりも高速、低負荷かつ高精度に実施することが可能なシステムを構築できる。
　第３０の発明に係る運転者状態推定方法は、運転中の車両の運転席の様子を連続的に撮影した第１画像を用いて、車両の運転者の状態を推定する運転者状態推定方法であって、画像取得ステップと、顔検出ステップと、顔器官点検出ステップと、顔器官状態検出ステップと、画像生成ステップと、運転者状態検出ステップと、推定ステップと、を備えている。画像取得ステップは、第１画像を取得する。顔検出ステップは、画像取得ステップにおいて取得された第１画像に含まれる運転者の顔を検出する。顔器官点検出ステップは、顔検出ステップにおいて検出された運転者の顔の器官の位置を検出する。顔器官状態検出ステップは、顔器官点検出ステップにおいて検出された器官の状態を検出する。画像生成ステップは、第１画像の解像度を低下させた第２画像を生成する。運転者状態検出ステップは、画像生成ステップにおいて生成された第２画像を用いて、運転者の体の状態を検出する。推定ステップは、顔器官状態検出ステップと運転者状態検出ステップとにおける検出結果を組み合わせて運転者の状態を推定する。

　この結果、多種多様な運転者の状態の推定を、従来よりも高速、低負荷かつ高精度に実施することができる。
　第３１の発明に係る運転者状態推定プログラムは、運転中の車両の運転席の様子を連続的に撮影した第１画像を用いて、車両の運転者の状態を推定する運転者状態推定プログラムであって、画像取得ステップと、顔検出ステップと、顔器官点検出ステップと、顔器官状態検出ステップと、画像生成ステップと、運転者状態検出ステップと、推定ステップと、を備えた運転者状態推定方法をコンピュータに実行させる。画像取得ステップは、第１画像を取得する。顔検出ステップは、画像取得ステップにおいて取得された第１画像に含まれる運転者の顔を検出する。顔器官点検出ステップは、顔検出ステップにおいて検出された運転者の顔の器官の位置を検出する。顔器官状態検出ステップは、顔器官点検出ステップにおいて検出された器官の状態を検出する。画像生成ステップは、第１画像の解像度を低下させた第２画像を生成する。運転者状態検出ステップは、画像生成ステップにおいて生成された第２画像を用いて、運転者の体の状態を検出する。推定ステップは、顔器官状態検出ステップと運転者状態検出ステップとにおける検出結果を組み合わせて運転者の状態を推定する。

　ここでは、上記運転者状態推定方法をコンピュータに実行させる運転者状態推定プログラムであって、車両を運転中の運転席を連続的に撮影する撮像部から取得した第１画像を用いて運転者の状態を推定する際に、第１画像をそのまま用いて顔の器官の状態を検出するとともに、第１画像よりも低解像度化された第２画像を用いて運転者の体の状態を検出する。そして、第１画像を用いて検出された顔の器官の状態の変化と、第２画像を用いて検出された体の状態の変化とを融合させて、運転者の状態の推定を行う。

　この結果、多種多様な運転者の状態の推定を、従来よりも高速、低負荷かつ高精度に実施することができる。
　第３２の発明に係る記録媒体は、第３１の発明に係る運転者状態推定プログラムを格納している。
　ここでは、上述した運転者状態推定プログラムを格納した記録媒体であって、上記運転者状態推定プログラムがコンピュータに実行されることにより、上述した運転者状態推定方法が実施される。

　これにより、運転者の顔の器官の状態の細かい変化の検出には、解像度の高い第１画像を用いるとともに、運転者の体の動きの変化の検出には、第１画像よりも解像度の低い第２画像を用いることで、運転者の状態推定に必要な処理時間を短縮するとともに、処理負担を軽減することができる。
　この結果、多種多様な運転者の状態の推定を、従来よりも高速、低負荷かつ高精度に実施することができる。
（発明の効果）
　本発明に係る運転者状態推定装置によれば、多種多様な運転中の運転者の状態を従来よりも精度良く推定することができる。

本発明の一実施形態に係る運転者状態推定装置を登載した乗用車の構成を示す概略図。図１の運転者状態推定装置の構成を示す制御ブロック図。図２の顔器官状態検出部内に構成される機能ブロックを示すブロック図。図２の運転者状態推定装置によって推定される運転者の状態の例と、それを推定するために必要な条件との関係を示す図。図２の運転者状態推定装置の顔器官状態検出部において、運転者の顔の向き、視線方向、眼の開閉度等を複数の段階に分けて検出する方法について示す図。図２の運転者状態推定装置の運転者状態検出部において画像特徴量を抽出する処理について説明する図。図４に示す運転者の状態の推定について、より具体的に推定条件を示した図。図２の運転者状態推定装置の推定部において、運転者の顔の向き、視線方向、眼の開閉度等を、複数フレームで実施される顔認識の統計情報（ヒストグラム）と、第２画像を用いて抽出された画像特徴量とを用いて、運転者の状態を推定する方法を示す図。図２の運転者状態推定装置の推定部において、前フレームの画像を用いて推定された結果に基づいて重み算出部において変化させた重み係数を用いて、次フレームの画像を用いた推定を実施する方法を示す図。図９の具体例として、運転者が後方を振り返った状態と推定後の重み付け処理について説明する図。運転者が突っ伏し状態に変化する際に検出される時系列情報を示す図。運転者が右方向に気が取られて集中度が低下していく際に検出される時系列情報を示す図。本発明の運転者状態推定方法の流れを示すフローチャート。図１３に示す運転者状態推定方法において、ＡＩ機能を用いた画像解析フローを示す図。本発明の他の実施形態に係る運転者状態推定装置およびこれを備えた運転者状態推定システムの構成を示すブロック図。本発明のさらに他の実施形態に係る運転者状態推定装置およびこれを備えた運転者状態推定システムの構成を示すブロック図。

　（実施形態１）
　本発明の一実施形態に係る運転者状態推定装置（対象者状態推定装置）１０およびこれを備えた運転者状態推定システム２０、運転者状態推定方法について、図１～図１４を用いて説明すれば以下の通りである。
　（運転者状態推定システム２０）
　本実施形態の運転者状態推定システム２０は、図１に示すように、運転者状態推定装置１０と、カメラ（撮像部）２１と、自動運転制御装置２２とを備えている。

　運転者状態推定装置１０は、運転中の乗用車（車両）Ｃ１の運転席の周囲に設置されたカメラ２１を用いて運転者（対象者）Ｄ１が居るべき場所（運転席）を連続的に撮影した第１画像（動画等）を用いて、乗用車Ｃ１の運転者Ｄ１の状態を推定する。
　なお、運転者状態推定装置１０の詳細な構成については、後段にて詳述する。
　カメラ２１は、乗用車Ｃ１の運転席の前方上部に設置されており、運転者Ｄ１が居るべき運転席を正面から撮影する。そして、カメラ２１は、運転者Ｄ１の上半身の略全体が含まれるように連続的に撮影した画像を、運転者状態推定装置１０の画像取得部１１（図２参照）へ送信する。

　自動運転制御装置２２は、乗用車Ｃ１の駆動系、制御系を制御して、運転者Ｄ１による手動運転操作によらずに運転操作を自動化するための装置である。本実施形態では、自動運転制御装置２２は、運転者状態推定装置１０における推定結果に基づいて、自動運転制御を行うことができる。
　乗用車Ｃ１は、１台のカメラ２１が設置されており、運転者Ｄ１によって運転操作される。また、乗用車Ｃ１は、自動運転制御装置２２を搭載している。これにより、乗用車Ｃ１は、運転者状態推定装置１０における推定結果やカーナビゲーションによる設定等に応じて、自動運転制御と運転者Ｄ１による手動運転とが切り替えられる。

　ここで、本実施形態において推定される運転者の状態とは、例えば、運転者の前方注視、眠気、脇見、服の着脱、電話操作、窓側・肘掛けへの寄り掛かり、同乗者やペットによる運転妨害、病気の発症、後ろ向き、突っ伏し、飲食、喫煙、めまい、異常行動、カーナビゲーション・オーディオ操作、眼鏡・サングラスの着脱、写真撮影のうちの少なくとも１つが含まれる（図４参照）。

　そして、本実施形態では、推定の結果、例えば、運転者Ｄ１が急病を発症している推定された場合には、自動運転制御と連携して、例えば、運転中の乗用車Ｃ１を安全な場所へ停止させる等の制御を実施することもできる。
　（運転者状態推定装置１０の構成）
　本実施形態の運転者状態推定装置１０は、カメラ２１から運転者Ｄ１が居るべき運転席を連続的に撮影した第１画像を取得して、運転者Ｄ１の状態を推定する。そして、運転者状態推定装置１０は、図２に示すように、画像取得部１１、顔検出部１２、顔器官点検出部１３、顔器官状態検出部１４、画像生成部１５、運転者状態検出部１６、記憶部１７、推定部（第１推定部および第２推定部）１８、および重み算出部（第１重み算出部および第２重み算出部）１９を備えている。

　画像取得部１１は、乗用車Ｃ１の運転席の前方上部に設置されたカメラ２１によって連続的に撮影された第１画像の画像データを取得する。そして、画像取得部１１は、取得した画像データを、顔検出部１２、画像生成部１５、および記憶部１７へ送信する。
　顔検出部１２は、画像取得部１１から送信された第１画像の画像データを用いて、第１画像中の運転者Ｄ１の顔の有無および顔の位置を検出する。そして、顔検出部１２は、第１画像の画像データと運転者Ｄ１の顔の検出結果とを、顔器官点検出部１３へと送信する。

　顔器官点検出部１３は、第１画像中において、顔検出部１２において検出された運転者Ｄ１の顔に含まれる各器官（眼、口、鼻、耳等）の位置を検出する。さらに、顔器官点検出部１３は、補助的に顔全体または顔の一部分の輪郭を顔の器官として検出してもよい。そして、顔器官点検出部１３は、第１画像と、第１画像中の運転者Ｄ１の顔の各器官の位置に関する検出結果とを、顔器官状態検出部１４へと送信する。

　顔器官状態検出部１４は、顔器官点検出部１３において位置が検出された第１画像中における運転者Ｄ１の顔の器官の状態を推定する。具体的には、顔器官状態検出部１４は、図３に示すように、眼開閉検出部１４ａ、視線検出部１４ｂ、および顔向き検出部１４ｃを有している。そして、眼開閉検出部１４ａ、視線検出部１４ｂ、および顔向き検出部１４ｃは、それぞれ、運転者Ｄ１の眼の開閉度、視線の方向、顔の向き等を検出する（図４の局所的な情報を参照）。

　これにより、顔器官状態検出部１４における検出結果を用いることで、後述する推定部１８において、第１画像中の運転者Ｄ１の状態（覚醒度、集中度、眠気、体調不良等）を推定するための情報を得ることができる。
　そして、顔器官状態検出部１４は、特徴ベクトル生成部１８ａに対して検出結果を送信する。

　ここで、顔器官状態検出部１４における顔器官状態の検出は、カメラ２１によって連続的に撮影され画像取得部１１において取得された第１画像の毎フレームごとに実施することが好ましい。これにより、運転者Ｄ１の顔の器官のうち、例えば、眼等のように、毎フレームごとに細かく動きがある器官について、正確に状態を検出することができる。
　ここで、顔器官状態検出部１４における運転者Ｄ１の顔の向き、視線方向、眼の開閉度に関する具体的な検出方法について、図５を用いて説明すれば以下の通りである。

　すなわち、本実施形態では、顔器官状態検出部１４が、図５に示すように、第１画像中における運転者Ｄ１の顔の向きを、縦・横方向の２軸方向において、縦３段階、横５段階の度数として検出する。また、顔器官状態検出部１４は、運転者Ｄ１の視線方向を、顔の向きと同じく、縦・横方向の２軸方向において、縦３段階、横５段階の度数として検出する。さらに、顔器官状態検出部１４は、第１画像中において検出された運転者Ｄ１の眼の開閉度を、１０段階に分けて検出する。

　画像生成部１５は、画像取得部１１から送信された第１画像のデータを受信して、低解像度化処理を実施し、第１画像よりも解像度が低い第２画像を生成する。画像生成部１５における低解像度化処理としては、例えば、ニアレストネイバー法、バイリニア補間法、バイキュービック法等の手法を用いることができる。そして、画像生成部１５は、第１画像を低解像度化処理して得られた第２画像のデータを、運転者状態検出部１６および記憶部１７へと送信する。

　運転者状態検出部１６は、第１画像を低解像化処理して得られた第２画像を用いて、運転者Ｄ１の動きや姿勢等の情報に基づいて、運転者Ｄ１の状態を検出する。
　ここで検出される運転者Ｄ１の状態としては、例えば、運転者の動きや姿勢等が含まれる（図４の大局的な情報を参照）。
　すなわち、運転者状態検出部１６では、主に、運転者Ｄ１の体の動きを検出するため、顔器官状態検出部１４における顔の器官の状態検出と比較して、高解像度の画像を用いて細かい動きを検出する必要性が低いと思われる。そこで、本実施形態では、運転者状態検出部１６における検出には、顔器官状態検出部１４で用いられる第１画像よりも解像度が低い第２画像を用いている。

　これにより、運転者状態検出部１６において運転者の状態を検出するために必要な画像として、低解像度化された第２画像を用いることができる。
　そして、運転者状態検出部１６は、特徴ベクトル生成部１８ａに対して検出結果を送信する。
　ここで、運転者状態検出部１６における第２画像を用いた運転者Ｄ１の状態検出の際に、第２画像のエッジ抽出によって画像特徴量を抽出する処理について、図６を用いて説明すれば以下の通りである。

　すなわち、運転者状態検出部１６は、画像特徴抽出部１６ａを有している。画像特徴抽出部１６ａは、カメラ２１によって撮影された第１画像を低解像度化した第２画像の輝度値が入力されると、事前の機械学習等によって求められた、あるいは予め設計済みの画像フィルタ（例えば、３×３のサイズ）を用いて、エッジを抽出する。そして、画像特徴抽出部１６ａは、輝度値および抽出されたエッジに関する情報を、前フレームの第２画像の輝度値および抽出されたエッジに関する情報とそれぞれ比較して、フレーム間の差分を求める。その結果、現在フレームの輝度値情報、現在フレームのエッジ情報、前フレームと比較した輝度値差分情報、前フレームと比較したエッジ差分情報という４種類の情報を画像特徴量として出力する。ここで、前フレームとは、現在処理中のフレームから見てひとつ前の時刻のフレーム、または所定の時間間隔を有するフレームである。

　なお、画像特徴抽出部１６ａにおける画像特徴量の抽出は、第２画像のエッジ以外に、エッジ勾配度合い、エッジ周波数等を用いて行われてもよい。
　これにより、例えば、男性と女性等のように運転者Ｄ１ごとの体格の違いや、運転席がスライド移動可能で運転者Ｄ１の位置の違いがあった場合でも、運転者Ｄ１の状態を精度良く推定することができる。

　顔器官状態検出部１４から出力された検出結果および運転者状態検出部１６から出力された検出結果をまとめて、運転者の動作特徴量と呼ぶこととする。つまり動作特徴量は顔の器官から得られる運転者の顔の器官の状態に関する情報と、画像特徴量として得られる運転者Ｄ１の体の動きや姿勢等の情報の両方を含む情報である。
　特徴ベクトル生成部１８ａは、顔器官状態検出部１４および運転者状態検出部１６の検出結果を受け取り、特徴ベクトルを生成する。さらに、特徴ベクトル生成部１８ａは、該特徴ベクトルの要素ごとに、重み算出部１９で算出された重みに基づいて重み付けを行い、特徴ベクトルを推定部１８に送信する。

　記憶部１７は．顔器官状態検出部１４から受信した顔の器官の状態、画像生成部１５から受信した第２画像の画像データ、重み算出部１９において設定された重み付けのデータ等を含む各種データを保存する。
　なお、第２画像の画像データについては、大まかな体の動きが検出できればよく、数フレーム前の第２画像の画像データのみを保存してもよい。

　これにより、不要なフレームの画像データを保存する必要はなくなり、メモリ容量を減少させることができる。
　推定部１８は、特徴ベクトル生成部１８ａの出力を受信して運転者Ｄ１の状態を推定する。具体的には、推定部１８は、顔器官状態検出部１４において検出された運転者Ｄ１の顔の器官のうち、眼の開閉度、視線方向、顔の向き等に関する情報と、運転者状態検出部１６において検出された運転者Ｄ１の動きや姿勢等に関する情報とを用いて、運転者Ｄ１の状態を推定する。

　ここで、推定部１８において推定される運転者Ｄ１の状態としては、図４および図７に示すように、例えば、運転者の前方注視、眠気、脇見、服の着脱、電話操作、窓側・肘掛けへの寄り掛かり、同乗者やペットによる運転妨害、病気の発症、後ろ向き、突っ伏し、飲食、喫煙、めまい、異常行動、カーナビゲーション・オーディオ操作、眼鏡・サングラスの着脱、写真撮影のうちの少なくとも１つが含まれる。

　これにより、図４に示すように、顔器官状態検出部１４において検出された局所的な情報（運転者Ｄ１の顔の器官情報）と、運転者状態検出部１６において検出された大局的な情報（運転者Ｄ１の動き、姿勢等の情報）と、を組み合わせることで、多種多様な運転者Ｄ１の状態を従来よりも高精度に推定することができる。
　なお、図４において、○は、左欄に示す運転者（ドライバ）の状態例を推定するために必須の条件を意味している。また、△は、左欄に示す運転者の状態例を推定するために好ましい条件を意味している。

　例えば、運転者Ｄ１が眠気を覚えている状態の推定には、図７に示すように、局所的な情報として、顔器官状態検出部１４が運転者Ｄ１の眼の開閉度を検出し、大局的な情報として、運転者状態検出部１６が運転者Ｄ１の動きがないことを検出すればよい。
　また、運転者Ｄ１が脇見運転をしている状態の推定には、図７に示すように、局所的な情報として、顔器官状態検出部１４が運転者Ｄ１の顔の向き、視線方向を検出し、大局的な情報として、運転者状態検出部１６が運転者Ｄ１の姿勢を検出すればよい。

　また、運転者Ｄ１が携帯端末を操作中（電話中）である状態の推定には、図７に示すように、局所的な情報として、顔器官状態検出部１４が運転者Ｄ１の顔の向きを検出し、大局的な情報として、運転者状態検出部１６が運転者Ｄ１の姿勢を検出すればよい。
　また、運転者Ｄ１が窓（ドア）側に肘を突いて寄り掛かっている状態の推定には、図７に示すように、局所的な情報として、顔器官状態検出部１４が運転者Ｄ１の顔の位置が所定の位置にないことを検出し、大局的な情報として、運転者状態検出部１６が運転者Ｄ１の動き・姿勢を検出すればよい。

　さらに、運転者Ｄ１が同乗者やペットによって運転妨害を受けている状態の推定には、図７に示すように、局所的な情報として、顔器官状態検出部１４が運転者Ｄ１の顔の向き・視線の方向を検出し、大局的な情報として、運転者状態検出部１６が運転者Ｄ１の姿勢を検出すればよい。
　また、運転者Ｄ１が突然の病気（呼吸困難、心臓発作等）を発症した状態の推定には、図７に示すように、局所的な情報として、顔器官状態検出部１４が運転者Ｄ１の顔の向き・視線方向・眼の開閉を検出し、大局的な情報として、運転者状態検出部１６が運転者Ｄ１の姿勢を検出すればよい。

　ここで、顔器官状態検出部１４および運転者状態検出部１６から特徴ベクトル生成部１８ａを経由して推定部１８に至る機能を用いて運転者Ｄ１の状態を推定する方法について、図８を用いて具体的に説明すれば以下の通りである。
　すなわち、図８に示すように、時刻ｔ＝０，１，・・・，Ｔの間にカメラ２１において連続して撮影された複数の第１画像について、顔器官状態検出部１４は１フレーム単位に顔器官状態を検出し、特徴ベクトル生成部１８ａに出力する。特徴ベクトル生成部１８ａは、それぞれの顔の器官の状態ごとにヒストグラムを生成して出力する。これらは、それぞれ特徴量ベクトルの要素となる。

　さらに、特徴ベクトル生成部１８ａには、図８に示すように、画像生成部１５において生成され第１画像よりも解像度が低い第２画像を用いて抽出された画像特徴量が入力される。なお、この画像特徴量の抽出は、上述した運転者状態検出部１６（画像特徴抽出部１６ａ）において、低解像度処理された第２画像を用いて複数のフレームを用いて行われる。このとき用いられる複数のフレームは、時刻が隣接する２つのフレームでもよいが、一般的に、運転者の体は顔の器官と比べて変化がゆっくりであるので、所定の時間間隔を持つ２つのフレームであることが好ましい。

　本実施形態の運転者状態推定装置１０では、上述したように、運転者状態検出部１６における検出に用いられる第２画像を、顔器官状態検出部１４における検出に用いられる第１画像よりも低解像度化処理しているため、推定部１８による運転者Ｄ１の状態推定処理の負担を軽減することができる。
　この結果、多種多様な運転者Ｄ１の状態を、高速かつ高精度に実施することができる。

　ここで、推定部１８における推定は、機械学習やディープラーニング等を含む人工知能（ＡＩ）機能を用いて行われてもよい。この場合には、例えば、過去の推定結果と実際の運転者Ｄ１の状態とを比較してその差を埋めるような処理を加えて運転者Ｄ１の状態推定を実施することで、さらに高精度に運転者Ｄ１の状態推定を行うことができる。
　そして、推定部１８は、重み算出部１９および自動運転制御装置２２に対して、推定結果を送信する。

　なお、本実施形態では、推定部１８における推定は、後述する重み算出部１９において設定された重み付けの値を変化させながら、運転者Ｄ１の状態の推定が所定の確度を超えるまで繰り返し実施される。推定の確度としては、予め数値化された閾値として記憶部１７に保存されていればよい。
　重み算出部１９は、推定部１８において推定された運転者Ｄ１の状態に基づいて、次に取得された画像を用いて運転者Ｄ１の状態を推定する際に重要視される項目（顔の器官、運転者Ｄ１の動き・姿勢等）が優先されるように重み付けを行う。

　具体的には、重み算出部１９は、推定部１８における推定結果に応じて、顔器官状態検出部１４および運転者状態検出部１６において次の画像を用いて検出すべき顔の器官、運転者の動きや姿勢等の項目について、重み付けを行う。
　例えば、推定部１８における推定結果が運転者Ｄ１の後方への振り返りであった場合には、第１画像中には運転者Ｄ１の顔の全てが検出されていない、あるいは一部しか検出されていないと思われる。そこで、重み算出部１９は、運転者Ｄ１の次の画像で検出される動きは、前方への振り返りであると推測し、顔の有無の重みが大きくなるように重み付けを行う。一方で、重み算出部１９は、後方を振り返っている状態の運転者Ｄ１の顔の器官の検出は優先されないと判断し、視線および目の開閉の重みが小さくなるように、重み付けを行う。

　ここで、重み算出部１９における重み付け処理について、図９および図１０を用いて具体的に説明すれば以下の通りである。
　すなわち、重み算出部１９は、図９に示すように、前フレームの画像を用いた推定部１８からの出力（推定結果）に基づいて、次フレームの画像を用いた推定を行う際の入力変数の重み付けを変化させる。

　ここで、運転者状態ベクトルｙは、特徴ベクトルｘとすると、＝Ｄｘという式によって表される（Ｄは、機械学習によって得られる識別行列（重み係数））。
　特徴ベクトルｘは、ヒストグラム算出部１４ｄに入力される運転者Ｄ１の顔に関する情報（顔の有無、向き、視線、眼の開閉等）のそれぞれの項目と、画像特徴抽出部１６ａに入力される運転者Ｄ１の体に関する情報（画像輝度値等）とを用いて求められる。その際、特徴ベクトルｘの各要素は重み付けされる。

　そして、特徴ベクトルｘを用いて算出された運転者状態ベクトルｙにおいて最も大きい要素のインデックスを推定結果として出力する。図９では、これをＡｒｇＭａｘ（ｙ（ｉ））と記載しており、ｙ＝（ｙ（１）、ｙ（２）、ｙ（３））と表現した時に、ｙ（ｉ）（ｉ＝１，２，３）のうちで最もｙ（ｉ）が大きくなるｉのことである。例えば、運転者状態ベクトルｙ＝（０．３，０．５，０．１）であったとすると、ＡｒｇＭａｘ（ｙ（ｉ））＝２となる。運転者状態ベクトルｙの各要素は、運転者の状態と関連付けられており、１番目の要素を「前方注視」、２番目の要素を「眠気」、３番目の要素を「脇見」のように関連付けられているとすれば、出力が２であるということは推定結果が「眠気」であることを意味する。

　より具体的な例として、例えば、図１０に示すように、運転者Ｄ１の顔に関する検出結果と、運転者Ｄ１の体に関する検出結果とを参照した結果、画像中に運転者Ｄ１の顔が検出されなくなった場合について、以下で説明する。
　このとき、推定部１８は、この状態を示す最適な運転者Ｄ１の状態として、後方へ振り返った状態を推定結果として出力する。

　この場合には、推定部１８は、次の運転者Ｄ１の変化として、前方へ振り返る動作を予測できる。このため、画像中に運転者Ｄ１の顔が検出されるまでは、顔の器官を検出する処理は不要と考えられる。
　そこで、本実施形態の運転者状態推定装置１０では、次フレームの画像に対しては、顔の向きや視線方向、眼の開閉等の顔に関する情報から得られる特徴について重み付けを徐々に軽くしていく。

　一方、顔の有無に関する情報について、重みを大きくしてもよい。
　これにより、次のフレーム以降の画像において、運転者Ｄ１の顔が検出されるまでは、他の顔に関する項目の検出を行わないように処理を進めることができる。
　なお、次フレーム以降の画像において、運転者Ｄ１の顔が検出された場合には、その出力結果を踏まえて、顔の向き、視線方向、眼の開閉度等の項目について、重みを大きくするように変化させればよい。

　次に、例えば、運転者Ｄ１が突っ伏していると推定される状態における運転者Ｄ１の時系列における検出結果について、図１１を用いて説明する。
　すなわち、運転者Ｄ１が突っ伏した状態では、顔が検出されていた状態から検出されなくなるとともに、大きな動きの後で動きが停止し、かつ姿勢も通常の運転姿勢から前傾状態へ移行する。

　このため、推定部１８では、第１画像を用いて顔の有無を検出するとともに、第２画像を用いて運転者Ｄ１の動きの変化、姿勢の変化等を検出して、突っ伏し状態であると推定する。
　なお、図１１に示す例では、フレームＮｏ．４からＮｏ．５にかけて、運転者Ｄ１の顔が見えなく（検出されなく）なり、フレームＮｏ．３からＮｏ．５にかけて、運転者Ｄ１の動きが大きくなりフレームＮｏ．６で動きが止まっている。さらに、フレームＮｏ．２からＮｏ．３にかけて、運転者Ｄ１の姿勢が通常の運転姿勢から前傾へ移行している。

　この結果、図１１に示す例では、フレームＮｏ．３からＮｏ．６にかけて、突っ伏し状態へ移行したものと推定される。
　次に、例えば、運転者Ｄ１の集中度が散漫になっていく状態変化について、図１２を用いて説明する。
　すなわち、運転者Ｄ１が運転に集中している状態では顔の向きが前向きと検出されるが、集中度が散漫になるにつれて顔の向きや視線が前方以外の方向に向くとともに、動きも大きくなる状態へ移行する。

　このため、推定部１８では、第１画像を用いて顔の向き、視線方向を検出するとともに、第２画像を用いて運転者Ｄ１の動きの変化等を検出して、運転者Ｄ１の集中度を推定する。
　なお、図１２に示す例では、フレームＮｏ．３からＮｏ．４にかけて、運転者Ｄ１の顔の向きが、前方から右へ変化しており、視線方向も、フレームＮｏ．２からＮｏ．４にかけて右方向へ移動した後、フレームＮｏ．６で一旦、前に戻っているが、フレームＮｏ．７以降で再び右へ変化している。さらに、運転者Ｄ１の動きも、フレームＮｏ．４からＮｏ．５にかけて大きくなっている。

　この結果、図１２に示す例では、フレームＮｏ．２から、徐々に右方向の物に気を取られて、徐々に姿勢が右向きになり、集中度が低下しているものと推定される。
　＜運転者状態推定方法の流れ＞
　本実施形態の運転者状態推定装置１０では、図１３に示すフローチャートに従って、運転者状態推定方法を実施する。

　すなわち、まず、ステップＳ１１では、画像取得部１１が、カメラ２１において連続的に取得された第１画像のデータを取得する。
　次に、ステップＳ１２では、顔検出部１２が、第１画像中に含まれる運転者Ｄ１の顔を検出する。
　次に、ステップＳ１３では、第１画像中に顔が検出されたか否かを判定する。ここで、顔が検出された場合には、ステップＳ１４へ進み、顔が検出されなかった場合には、ステップＳ１４の処理をスキップして、ステップＳ１７へ進む。この場合、顔向き検出、眼開閉度検出および視線検出の結果は０とする。

　次に、ステップＳ１４では、顔検出部１２において検出された顔について、顔器官点検出部１３が各器官の位置を検出し、顔器官状態検出部１４が各器官の状態を検出する。
　ここで、具体的に検出される運転者Ｄ１の状態としては、顔の向き、眼の開閉度、視線方向等である。
　なお、ステップＳ１２からステップＳ１４までの処理（第１フローＦ１）は、カメラ２１によって連続的に撮影され解像度の高い第１画像をそのまま用いて実施される。

　次に、ステップＳ１５では、画像生成部１５が、第１画像の解像度を低下させる処理を実施して、低解像度画像（第２画像）を生成する。
　次に、ステップＳ１６では、画像生成部１５においてフレーム単位で生成された第２画像を用いて、運転者状態検出部１６が、運転者Ｄ１の体の状態を検出する。
　ここで、画像特徴量によって検出される具体的な運転者Ｄ１の体の状態としては、運転者Ｄ１の姿勢、上半身の動き、運転者の有無等がある。具体的には、本実施形態では、画像特徴抽出部１６ａにおいて、第２画像に基づいて算出された画像特徴量を、運転者Ｄ１の体の状態として出力している。

　次に、ステップＳ１７では、顔器官状態検出部１４および運転者状態検出部１６の検出結果に基づいて、動作特徴量を算出する。
　次に、ステップＳ１８ａでは、動作特徴量に対して、それぞれ重み付け処理を行い、特徴ベクトルを生成する。
　なお、ステップＳ１７およびステップ１８ａは特徴ベクトル生成部１８ａにて処理される。

　次に、ステップＳ１９では、推定部１８が、特徴ベクトル生成部１８ａで生成された特徴ベクトルに基づいて、運転者Ｄ１の状態を推定する。
　ここで、推定される運転者Ｄ１の状態としては、上述したように、例えば、運転者の前方注視、眠気、脇見、服の着脱、電話操作、窓側・肘掛けへの寄り掛かり、同乗者やペットによる運転妨害、病気の発症、後ろ向き、突っ伏し、飲食、喫煙、めまい、異常行動、カーナビゲーション・オーディオ操作、眼鏡・サングラスの着脱、写真撮影等がある（図４参照）。

　次に、ステップＳ１８ｂでは、重み算出部１９が、推定部１８における推定結果に基づいて、次フレーム以降の画像を用いた運転者Ｄ１の状態推定において重要視されるべき項目が優先されるように重みを算出する。
　具体的には、上述したように、例えば、運転者Ｄ１が後方を振り返った状態と推定された場合には、次フレーム以降の画像を用いた推定では、運転者Ｄ１が再び前方に振り返る動作をして顔が検出されることが重要視される。そこで、重み算出部１９は、顔の器官の状態（眼の開閉度、視線方向等）の検出を一旦停止させ、画像中に顔が検出されるまで顔の検出処理だけを実施する。

　なお、ステップＳ１５からステップＳ１８ｂまでの処理（第２フローＦ２）は、カメラ２１によって連続的に撮影され解像度の高い第１画像を低解像度化処理した第２画像を用いて実施される。
　次に、ステップＳ２０では、運転者状態推定システム２０からの指令（図示せず）に応じて、推定を終了するか否かを判定する。ここで、推定終了となる場合には、処理を終了し、さらに運転者Ｄ１の状態の推定が必要と判定された場合には、ステップＳ１１へ戻って上記処理を繰り返し実施する。

　本実施形態の運転者状態推定方法では、以上のように、推定部１８における推定結果に基づいて、重み算出部１９が重み付けを変化させて、繰り返し、運転者Ｄ１の状態を推定することができる。
　この結果、運転者Ｄ１の状態に応じて重み付けを変化させながら推定を繰り返し実施することで、多種多様な運転者Ｄ１の状態を、高精度に推定することができる。

　また、本実施形態の運転者状態推定方法では、以上のように、運転者Ｄ１が居るべき運転席を連続的に撮影するカメラ２１から取得した第１画像を用いて顔の器官の状態を検出するとともに、第１画像よりも低解像度化された第２画像を用いて運転者Ｄ１の体の状態を検出する。そして、第１画像を用いて検出された顔の器官の状態の変化と、第２画像を用いて検出された体の状態の変化とを融合させて、運転者Ｄ１の状態の推定を行う。

　つまり、本実施形態では、運転者Ｄ１の顔の器官の状態の細かい変化の検出には、解像度の高い第１画像を用いるとともに、運転者Ｄ１の体の動きの変化の検出には、第１画像よりも解像度の低い第２画像を用いる。
　これにより、運転者Ｄ１の状態推定に必要な処理時間を短縮するとともに、処理負担を軽減することができる。この結果、多種多様な運転者Ｄ１の状態の推定を、従来よりも高速、低負荷かつ高精度に実施することができる。

　＜ＡＩ機能を用いた運転者の状態推定＞
　次に、本実施形態の運転者状態推定装置１０において、ディープラーニング等の人工知能（ＡＩ機能）を用いて、運転者Ｄ１の状態推定を実施する例について、図１４を用いて説明すれば以下の通りである。
　すなわち、本実施形態では、画像生成部１５において第１画像を縮小リサイズして生成された低解像度の第２画像を用いて、運転者状態検出部１６が運転者Ｄ１の状態を検出する際に、図１４に示すディープラーニングを活用しながら、時系列で運転者の状態を推定する。

　具体的には、図１４に示すように、時刻ｔ＝０，１，・・・，Ｔ－１，Ｔまでの間において、複数フレーム分の第２画像の入力があったとすると、入力層と出力層との間に設けられた中間層の出力を次回の入力として利用することで、ＡＩ機能を活用する。そして、第２画像を前フレームの画像と比較してその変化量に応じて、記憶部１７へ検出情報等を保存するか否かを決定する。

　これにより、運転者状態検出部１６では、過去の検出結果を将来の検出等へ活用することで、運転者Ｄ１の状態推定の精度を向上させることができる。
　そして、推定部１８では、運転者状態検出部１６においてＡＩ機能を活用して得られた検出結果を用いて、運転者Ｄ１の状態を推定することができる。よって、この場合でも、推定部１８は、間接的にＡＩ機能を活用して、運転者Ｄ１の状態を推定することができる。

　［他の実施形態］
　以上、本発明の一実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、発明の要旨を逸脱しない範囲で種々の変更が可能である。
　（Ａ）
　上記実施形態では、上述した運転者状態推定装置１０および運転者状態推定方法として、本発明を実現する例を挙げて説明した。しかし、本発明はこれに限定されるものではない。

　例えば、上述したように、運転者状態推定方法をコンピュータに実行させる運転者状態推定プログラムとして、本発明を実現してもよい。
　この場合には、ＲＡＭ等の記憶手段に格納された運転者状態推定プログラムをＣＰＵが読み込んで、図２に示す機能ブロックが生成されることで、上述した運転者状態推定方法を実行することができる。
　さらに、この運転者状態推定プログラムを格納した記録媒体として、本発明を実現してもよい。

　（Ｂ）
　上記実施形態では、状態推定の対象者として、図１に示すように、乗用車Ｃ１の運転者Ｄ１を例として挙げて説明した。しかし、本発明はこれに限定されるものではない。
　例えば、状態推定の対象者として、工場等の施設において作業する作業者、介護施設に入居する要介護者等を設定してもよい。
　この場合には、各対象者を撮影した画像を用いて、対象者の状態推定を行うことで、対象者の健康状態、異常行動等を推定することができる。

　（Ｃ）
　上記実施形態では、本発明の第１推定部および第２推定部としての機能を、単一の推定部１８によって実現した例を挙げて説明した。しかし、本発明はこれに限定されるものではない。
　例えば、第１推定部、第２推定部としての機能を、それぞれ実現する３つの推定部を備えた構成であってもよい。

　（Ｄ）
　上記実施形態では、本発明の第１重み算出部および第２重み算出部としての機能を、単一の重み算出部１９によって実現させた例を挙げて説明した。しかし、本発明はこれに限定されるものではない。
　例えば、第１重み算出部および第２重み算出部としての機能を、それぞれ実現する２つの重み算出部を備えた構成であってもよい。

　（Ｅ）
　上記実施形態では、推定される運転者の状態として、運転者の前方注視、眠気、脇見、服の着脱、電話操作、窓側・肘掛けへの寄り掛かり、同乗者やペットによる運転妨害、病気の発症、後ろ向き、突っ伏し、飲食、喫煙、めまい、異常行動、カーナビゲーション・オーディオ操作、眼鏡・サングラスの着脱、写真撮影等を例として挙げて説明した。しかし、本発明はこれに限定されるものではない。
　例えば、居眠り、モニタ画面注視等の他の状態を、運転者の状態推定の候補として用いてもよい。

　（Ｆ）
　上記実施形態では、運転者の状態を推定する手段として、運転者の顔およびその器官（眼、口等）を検出して、運転者の顔の向き、視線の変化、眼の開閉等を検出する例を挙げて説明した。しかし、本発明はこれに限定されるものではない。
　例えば、運転者の瞬きの回数、呼吸の速さ、脈拍等の上記以外の要素を含む生体反応をモニタリングして、運転者の状態を推定してもよい。

　（Ｇ）
　上記実施形態では、図１および図２に示すように、乗用車Ｃ１の自動運転制御を行う自動運転制御装置２２を含む運転者状態推定システム２０として、本発明を実現した例を挙げて説明した。しかし、本発明はこれに限定されるものではない。

　例えば、図１５に示すように、自動運転制御装置を持たない運転者状態推定システム１２０として、本発明を実現してもよい。
　この場合には、運転者の状態の推定結果に基づいて、例えば、自動的に居眠りや危険運転に対する警報を発したり、急病発症の場合には救急車の要請を行う連絡を行ったりする等の措置を実施すればよい。
　これにより、自動運転制御装置を持たない運転者状態推定システムであっても、推定結果を有効に活用することができる。

　（Ｈ）
　上記実施形態では、図２に示すように、運転者Ｄ１の状態推定結果に基づいて重み付けを変化させる重み算出部１９を含む運転者状態推定システム２０として、本発明を実現した例を挙げて説明した。しかし、本発明はこれに限定されるものではない。

　例えば、図１６に示すように、重み算出部を持たない運転者状態推定装置２１０および運転者状態推定システム２２０として、本発明を実現してもよい。
　この場合には、第１画像を用いて運転者の顔の器官およびその位置を検出し、各器官の状態を検出するとともに、第１画像よりも低解像度化された第２画像を用いて運転者の体の状態を検出し、これらの検出結果を融合することで、運転者の状態を推定する。

　これにより、運転者の顔の器官の状態の細かい変化の検出には、解像度の高い第１画像を用いるとともに、運転者の体の動きの変化の検出には、第１画像よりも解像度の低い第２画像を用いているため、運転者の状態推定に必要な処理時間を短縮し、かつ処理負担を軽減することができる。
　この結果、多種多様な運転者の状態の推定を、従来よりも高速、低負荷かつ高精度に実施することができる。

　（Ｉ）
　上記実施形態では、ディープラーニング等のＡＩ機能を活用して、運転者状態の推定を実施する例を挙げて説明した。しかし、本発明はこれに限定されるものではない。
　例えば、ＡＩ機能の活用は必須ではなく、ＡＩ機能を活用せずに、運転者の状態推定を実施してもよい。

　（Ｊ）
　上記実施形態では、図１に示すように、乗用車Ｃ１に設置された１台のカメラ２１によって連続的に撮影された運転者Ｄ１が居るべき運転席の画像を用いて、運転者Ｄ１の状態の推定を行う例を挙げて説明した。しかし、本発明はこれに限定されるものではない。
　例えば、乗用車に設置された複数のカメラによって連続的に撮影された画像を用いて運転者の状態を推定してもよい。
　この場合には、複数のカメラを異なる角度から運転者を撮影できるように設置することで、１台のカメラによって撮影された画像では認識できなかった運転者の変化を検出することで、運転者の状態をさらに精度良く推定することができる。

　（Ｋ）
　上記実施形態では、状態推定される対象者として、乗用車を運転している運転者を例として挙げて説明した。しかし、本発明はこれに限定されるものではない。

　例えば、状態推定される対象者は、乗用車の運転者に限らず、トラック、バス、船舶、各種作業車両、新幹線、電車等の運転者であってもよい。

　本発明の運転者状態推定装置は、多種多様な運転中の運転者の状態を従来よりも精度良く推定することができるという効果を奏することから、運転者以外の対象者の状態を推定する装置として広く適用可能である。

１０　　　運転者状態推定装置（対象者状態推定装置）
１１　　　画像取得部
１２　　　顔検出部
１３　　　顔器官点検出部
１４　　　顔器官状態検出部
１４ａ　　眼開閉検出部
１４ｂ　　視線検出部
１４ｃ　　顔向き検出部
１４ｄ　　ヒストグラム算出部
１５　　　画像生成部
１６　　　運転者状態検出部
１６ａ　　画像特徴抽出部
１７　　　記憶部
１８　　　推定部（第１推定部および第２推定部）
１８ａ　　特徴ベクトル生成部
１９　　　重み算出部（第１重み算出部および第２重み算出部）
２０　　　運転者状態推定システム
２１　　　カメラ（撮像部）
２２　　　自動運転制御装置
１２０　　運転者状態推定システム
２１０　　運転者状態推定装置
２２０　　運転者状態推定システム
　Ｃ１　　乗用車（車両）
　Ｄ１　　運転者（対象者）
　Ｆ１　　第１フロー
　Ｆ２　　第２フロー

Claims

　運転中の車両の運転席を連続的に撮影した第１画像を用いて、前記運転者の状態を推定する運転者状態推定装置であって、
　前記第１画像を取得する画像取得部と、
　前記画像取得部において取得された前記第１画像に含まれる前記運転者の状態を推定する第１推定部と、
　前記第１推定部において推定された前記運転者の状態から、推定に用いられる前記運転者の動作特徴量のそれぞれに対する重みを算出する第１重み算出部と、
　前記第１重み算出部において算出された前記重みを用いて重み付けされた前記動作特徴量に基づいて、前記運転者の状態を推定する第２推定部と、
　前記第２推定部において推定された前記運転者の状態から、推定に用いられる前記運転者の動作特徴量のそれぞれに対する前記重みを変化させる第２重み算出部と、
を備えている運転者状態推定装置。
　前記第１画像に含まれる前記運転者の顔を検出する顔検出部と、前記顔検出部において検出された前記運転者の顔の器官の位置を検出する顔器官点検出部と、前記顔器官点検出部において検出された前記器官の状態を検出する顔器官状態検出部と、をさらに備え、
　前記器官の状態を前記動作特徴量とする、
請求項１に記載の運転者状態推定装置。
　前記顔器官状態検出部は、前記器官の状態として、前記運転者の顔の向き、眼の開閉、視線の変化を検出する、
請求項２に記載の運転者状態推定装置。
　前記顔器官状態検出部は、連続的に撮影された前記第１画像を、１フレーム単位で解析して、前記器官の状態を検出する、
請求項２または３に記載の運転者状態推定装置。
　前記運転者の体の状態を検出する運転者状態検出部を、さらに備えている、
請求項１から４のいずれか１項に記載の運転者状態推定装置。
　前記運転者状態検出部において検出される前記運転者の体の状態の検出に使用される画像として、前記第１画像を低解像度化した第２画像を生成する画像生成部を、さらに備えている、
請求項５に記載の運転者状態推定装置。
　前記運転者状態検出部は、前記第２画像の複数のフレームを解析して、前記運転者の体の状態を検出する、
請求項６に記載の運転者状態推定装置。
　前記運転者状態検出部は、前記第２画像のエッジ位置、エッジ勾配度合い、エッジ周波数のうちの少なくとも１つに関する特徴量を用いて、前記運転者の体の状態を検出する、
請求項６または７に記載の運転者状態推定装置。
　前記第２推定部は、連続的に取得された前記第１画像の解析において、前フレームの画像との比較において前記運転者の変化の度合いに応じて、前記運転者の状態を推定する、
請求項１から８のいずれか１項に記載の運転者状態推定装置。
　前記第１推定部および前記第２推定部は、前記運転者の前方注視、眠気、脇見、服の着脱、電話操作、寄り掛かり、同乗者やペットによる運転妨害、病気の発症、後ろ向き、突っ伏し、飲食、喫煙、めまい、異常行動、カーナビゲーション・オーディオ操作、眼鏡・サングラスの着脱、写真撮影のうちの少なくとも１つを推定する、
請求項１から９のいずれか１項に記載の運転者状態推定装置。
　前記第１推定部および前記第２推定部は、機械学習またはディープランニングを活用して、前記運転者の状態推定を行う、
請求項１から１０のいずれか１項に記載の運転者状態推定装置。
　請求項１から１１のいずれか１項に記載の運転者状態推定装置と、
　前記運転席を連続的に撮影するとともに、撮影した前記第１画像を前記画像取得部へ送信する撮像部と、
を備えた運転者状態推定システム。
　運転中の車両の運転席を連続的に撮影した第１画像を用いて、前記運転者の状態を推定する運転者状態推定方法であって、
　前記第１画像を取得する画像取得ステップと、
　前記画像取得ステップにおいて取得された前記第１画像に含まれる前記運転者の状態を推定する第１推定ステップと、
　前記第１推定ステップにおいて推定された前記運転者の状態から、推定に用いられる前記運転者の動作特徴量のそれぞれに対する重みを算出する第１重み算出ステップと、
　前記第１重み算出ステップにおいて算出された前記重みを用いて重み付けされた前記動作特徴量に基づいて、前記運転者の状態を推定する第２推定ステップと、
　前記第２推定ステップにおいて推定された前記運転者の状態から、推定に用いられる前記運転者の動作特徴量のそれぞれに対する前記重みを変化させる第２重み算出ステップと、
を備えている運転者状態推定方法。
　運転中の車両の運転席を連続的に撮影した第１画像を用いて、前記運転者の状態を推定する運転者状態推定プログラムであって、
　前記第１画像を取得する画像取得ステップと、
　前記画像取得ステップにおいて取得された前記第１画像に含まれる前記運転者の状態を推定する第１推定ステップと、
　前記第１推定ステップにおいて推定された前記運転者の状態から、推定に用いられる前記運転者の動作特徴量のそれぞれに対する重みを算出する第１重み算出ステップと、
　前記第１重み算出ステップにおいて算出された前記重みを用いて重み付けされた前記動作特徴量に基づいて、前記運転者の状態を推定する第２推定ステップと、
　前記第２推定ステップにおいて推定された前記運転者の状態から、推定に用いられる前記運転者の動作特徴量のそれぞれに対する前記重みを変化させる第２重み算出ステップと、
を備えている運転者状態推定方法をコンピュータに実行させる運転者状態推定プログラム。
　請求項１４に記載の運転者状態推定プログラムを格納した記録媒体。
　対象者が居るべき場所を連続的に撮影した第１画像を用いて、前記対象者の状態を推定する対象者状態推定装置であって、
　前記第１画像を取得する画像取得部と、
　前記画像取得部において取得された前記第１画像に含まれる前記対象者の状態を推定する第１推定部と、
　前記第１推定部において推定された前記対象者の状態から、推定に用いられる前記対象者の動作特徴量のそれぞれに対する重みを算出する第１重み算出部と、
　前記第１重み算出部において算出された前記重みを用いて重み付けされた前記動作特徴量に基づいて、前記対象者の状態を推定する第２推定部と、
　前記第２推定部において推定された前記対象者の状態から、推定に用いられる前記対象者の動作特徴量のそれぞれに対する前記重みを変化させる第２重み算出部と、
を備えた対象者状態推定装置。
　対象者が居るべき場所を連続的に撮影した第１画像を用いて、前記対象者の状態を推定する対象者状態推定方法であって、
　前記第１画像を取得する画像取得ステップと、
　前記画像取得ステップにおいて取得された前記第１画像に含まれる前記対象者の状態を推定する第１推定ステップと、
　前記第１推定ステップにおいて推定された前記対象者の状態から、推定に用いられる前記対象者の動作特徴量のそれぞれに対する重みを算出する第１重み算出ステップと、
　前記第１重み算出ステップにおいて算出された前記重みを用いて重み付けされた前記動作特徴量に基づいて、前記対象者の状態を推定する第２推定ステップと、
　前記第２推定ステップにおいて推定された前記対象者の状態から、推定に用いられる前記対象者の動作特徴量のそれぞれに対する前記重みを変化させる第２重み算出ステップと、
を備えている対象者状態推定方法。
　対象者が居るべき場所を連続的に撮影した第１画像を用いて、前記対象者の状態を推定する対象者状態推定プログラムであって、
　前記第１画像を取得する画像取得ステップと、
　前記画像取得ステップにおいて取得された前記第１画像に含まれる前記対象者の状態を推定する第１推定ステップと、
　前記第１推定ステップにおいて推定された前記対象者の状態から、推定に用いられる前記対象者の動作特徴量のそれぞれに対する重みを算出する第１重み算出ステップと、
　前記第１重み算出ステップにおいて算出された前記重みを用いて重み付けされた前記動作特徴量に基づいて、前記対象者の状態を推定する第２推定ステップと、
　前記第２推定ステップにおいて推定された前記対象者の状態から、推定に用いられる前記対象者の動作特徴量のそれぞれに対する前記重みを変化させる第２重み算出ステップと、
を備えている対象者状態推定方法をコンピュータに実行させる対象者状態推定プログラム。
　請求項１８に記載の対象者状態推定プログラムを格納した記録媒体。
　運転中の車両の運転席の様子を連続的に撮影した第１画像を用いて、前記車両の運転者の状態を推定する運転者状態推定装置であって、
　前記第１画像を取得する画像取得部と、
　前記画像取得部において取得された前記第１画像に含まれる前記運転者の顔を検出する顔検出部と、
　前記顔検出部において検出された前記運転者の顔の器官の位置を検出する顔器官点検出部と、
　前記顔器官点検出部において検出された前記器官の状態を検出する顔器官状態検出部と、
　前記第１画像の解像度を低下させた第２画像を生成する画像生成部と、
　前記画像生成部において生成された前記第２画像を用いて、前記運転者の体の状態を検出する運転者状態検出部と、
　前記顔器官状態検出部と前記運転者状態検出部とにおける検出結果を組み合わせて前記運転者の状態を推定する推定部と、
を備えている運転者状態推定装置。
　前記顔器官状態検出部は、前記運転者の顔の向き、眼の開閉、視線の変化を検出する、
請求項２０に記載の運転者状態推定装置。
　前記顔器官状態検出部は、連続的に撮影された前記第１画像を、１フレーム単位で解析して、前記器官の状態を検出する、
請求項２０または２１に記載の運転者状態推定装置。
　前記運転者状態検出部は、前記第２画像の複数のフレームを解析して、前記運転者の体の状態を検出する、
請求項２０から２２のいずれか１項に記載の運転者状態推定装置。
　前記運転者状態検出部は、前記第２画像のエッジ位置、エッジ勾配度合い、エッジ周波数のうちの少なくとも１つに関する特徴量を用いて、前記運転者の体の状態を検出する、
請求項２０から２３のいずれか１項に記載の運転者状態推定装置。
　前記推定部は、連続的に取得された前記第１画像および前記第２画像の少なくとも１つを解析した結果、前フレームの画像との比較において前記運転者の顔の器官、および前記運転者の体の変化の度合いに応じて、前記運転者の状態を推定する、
請求項２０から２４のいずれか１項に記載の運転者状態推定装置。
　前記第１画像および前記第２画像、前記推定部における推定結果のうち少なくとも１つを保存する記憶部を、さらに備えている、
請求項２０から２５のいずれか１項に記載の運転者状態推定装置。
　前記推定部は、前記運転者の前方注視、眠気、脇見、服の着脱、電話操作、寄り掛かり、同乗者やペットによる運転妨害、病気の発症、後ろ向き、突っ伏し、飲食、喫煙、めまい、異常行動、カーナビゲーション・オーディオ操作、眼鏡・サングラスの着脱、写真撮影のうちの少なくとも１つを推定する、
請求項２０から２６のいずれか１項に記載の運転者状態推定装置。
　前記推定部は、機械学習またはディープランニングを活用して、前記運転者の状態推定を行う、
請求項２０から２７のいずれか１項に記載の運転者状態推定装置。
　請求項２０から２８のいずれか１項に記載の運転者状態推定装置と、
　前記運転席の様子を連続的に撮影するとともに、撮影した前記第１画像を前記画像取得部へ送信する撮像部と、
を備えた運転者状態推定システム。
　運転中の車両の運転席の様子を連続的に撮影した第１画像を用いて、前記車両の運転者の状態を推定する運転者状態推定方法であって、
　前記第１画像を取得する画像取得ステップと、
　前記画像取得ステップにおいて取得された前記第１画像に含まれる前記運転者の顔を検出する顔検出ステップと、
　前記顔検出ステップにおいて検出された前記運転者の顔の器官の位置を検出する顔器官点検出ステップと、
　前記顔器官点検出ステップにおいて検出された前記器官の状態を検出する顔器官状態検出ステップと、
　前記第１画像の解像度を低下させた第２画像を生成する画像生成ステップと、
　前記画像生成ステップにおいて生成された前記第２画像を用いて、前記運転者の体の状態を検出する運転者状態検出ステップと、
　前記顔器官状態検出ステップと前記運転者状態検出ステップとにおける検出結果を組み合わせて前記運転者の状態を推定する推定ステップと、
を備えている運転者状態推定方法。
　運転中の車両の運転席の様子を連続的に撮影した第１画像を用いて、前記車両の運転者の状態を推定する運転者状態推定プログラムであって、
　前記第１画像を取得する画像取得ステップと、
　前記画像取得ステップにおいて取得された前記第１画像に含まれる前記運転者の顔を検出する顔検出ステップと、
　前記顔検出ステップにおいて検出された前記運転者の顔の器官の位置を検出する顔器官点検出ステップと、
　前記顔器官点検出ステップにおいて検出された前記器官の状態を検出する顔器官状態検出ステップと、
　前記第１画像の解像度を低下させた第２画像を生成する画像生成ステップと、
　前記画像生成ステップにおいて生成された前記第２画像を用いて、前記運転者の体の状態を検出する運転者状態検出ステップと、
　前記顔器官状態検出ステップと前記運転者状態検出ステップとにおける検出結果を組み合わせて前記運転者の状態を推定する推定ステップと、
を備えている運転者状態推定方法をコンピュータに実行させる運転者状態推定プログラム。
　請求項３１に記載の運転者状態推定プログラムを格納した記録媒体。