JP6264492B1 - 運転者監視装置、運転者監視方法、学習装置及び学習方法 - Google Patents

Abstract

【課題】運転者の取り得る多様な状態を反映して、運転者の運転に対する集中の程度を推定可能にする技術を提供する。【解決手段】本発明の一側面に係る運転者監視装置は、車両の運転席に着いた運転者を撮影するように配置された撮影装置から撮影画像を取得する画像取得部と、前記運転者の顔の挙動に関する顔挙動情報を含む当該運転者の観測情報を取得する観測情報取得部と、前記運転者の運転に対する集中の程度を推定するための学習を行った学習済みの学習器に、前記撮影画像及び前記観測情報を入力することで、前記運転者の運転に対する集中の程度に関する運転集中度情報を当該学習器から取得する運転者状態推定部と、を備える。【選択図】図４

Description

本発明は、運転者監視装置、運転者監視方法、学習装置及び学習方法に関する。

近年、居眠り、体調の急変等に起因する自動車の交通事故を防止するため、運転者の状態を監視する技術の開発が進んでいる。また、自動車の自動運転の実現に向けた動きが加速している。自動運転は、システムにより自動車の操舵を制御するものであるが、システムに代わって運転者が運転しなければならない場面もあり得ることから、自動運転中であっても、運転者が運転操作を行える状態にあるか否かを監視する必要性があるとされている。この自動運転中に運転者の状態を監視する必要性があることは、国連欧州経済委員会（ＵＮ−ＥＣＥ）の政府間会合（ＷＰ２９）においても確認されている。この点からも、運転者の状態を監視する技術の開発が進められている。

運転者の状態を推定する技術として、例えば、特許文献１では、まぶたの開閉、視線の動き、又はハンドル角のふらつきから運転者の実集中度を検出する方法が提案されている。特許文献１の方法では、検出した実集中度と車両の周辺環境情報から算出した要求集中度とを比較することで、要求集中度に対して実集中度が十分であるか否かを判定する。そして、要求集中度に対して実集中度が不十分であると判定した場合には、自動運転の走行速度を低速にする。これにより、特許文献１の方法によれば、クルーズ制御を行っている際の安全性を高めることができる。

また、例えば、特許文献２では、開口行動及び口の周りの筋肉の状態に基づいて、運転者の眠気を判定する方法が提案されている。特許文献２の方法では、運転者が開口行動を実施していない場合に、弛緩状態である筋肉の数に応じて運転者に生じている眠気のレベルを判定する。すなわち、特許文献２の方法によれば、眠気により無意識に生じる現象に基づいて、運転者の眠気のレベルを判定しているため、眠気が生じていることを検出する検出精度を高めることができる。

また、例えば、特許文献３では、運転者のまぶたの動きが生じた後に、顔向き角度の変化が生じたか否かに基づいて、当該運転者の眠気を判定する方法が提案されている。特許文献３の方法によれば、下方視の状態を眠気の高い状態と誤検出する可能性を低減することで、眠気検出の精度を高めることができる。

また、例えば、特許文献４では、運転者の所持する免許証内の顔写真と運転者を撮影した撮影画像とを比較することで、運転者の眠気度及び脇見度を判定する方法が提案されている。特許文献４の方法によれば、免許証内の顔写真を運転者の覚醒時の正面画像として取り扱って、当該顔写真と撮影画像との特徴量を比較することで、運転者の眠気度及び脇見度を判定することができる。

また、例えば、特許文献５では、運転者の視線の状態に基づいて、当該運転者の集中度を判定する方法が提案されている。具体的には、特許文献５の方法では、運転者の視線を検出し、検出した視線が注視領域に停留する停留時間を測定する。そして、停留時間が閾値を超えた場合に、運転者の集中度が低下したと判定する。特許文献５の方法によれば、視線に関連する少ない画素値の変化により運転者の集中度を判定することができる。そのため、運転者の集中度の判定を少ない計算量で行うことができる。

特開２００８−２１３８２３号公報 特開２０１０−１２２８９７号公報 特開２０１１−０４８５３１号公報 特開２０１２−０８４０６８号公報 特開２０１４−１９１４７４号公報

本件発明者らは、上記のような運転者の状態を監視する従来の方法には、次のような問題点があることを見出した。すなわち、従来の方法では、顔の向き、目の開閉、視線の変化等の運転者の顔に生じる部分的な変化にのみ着目して、運転者の状態を推定している。そのため、例えば、右左折時に周辺を確認するために顔を振る、目視確認のために後ろを振り返る、ミラー、メータ及び車載装置の表示を確認するために視線を変化させる等の運転に必要な動作を脇見行為又は集中度の低下した状態と誤ってしまう可能性がある。また、例えば、前方を注視しながら飲食又は喫煙を行う、前方を注視しながら携帯電話で通話を行う等の運転に集中できていない状態を正常な状態と誤ってしまう可能性がある。このように、従来の方法では、顔に生じる部分的な変化を捉えた情報のみを利用しているため、運転者の取り得る多様な状態を反映して、運転者の運転に対する集中度を的確に推定することができないという問題点があることを本件発明者らは見出した。

本発明は、一側面では、このような実情を鑑みてなされたものであり、その目的は、運転者の取り得る多様な状態を反映して、運転者の運転に対する集中度を推定可能にする技術を提供することである。

本発明は、上述した課題を解決するために、以下の構成を採用する。

すなわち、本発明の一側面に係る運転者監視装置は、車両の運転席に着いた運転者を撮影するように配置された撮影装置から撮影画像を取得する画像取得部と、前記運転者の顔の挙動に関する顔挙動情報を含む前記運転者の観測情報を取得する観測情報取得部と、前記運転者の運転に対する集中の程度を推定するための学習を行った学習済みの学習器に、前記撮影画像及び前記観測情報を入力することで、前記運転者の運転に対する集中の程度に関する運転集中度情報を当該学習器から取得する運転者状態推定部と、を備える。

当該構成では、運転者の状態を推定するために、運転者の運転に対する集中の程度を推定するための学習を行った学習済みの学習器が利用される。そして、この学習器の入力には、運転者の顔の挙動に関する顔挙動情報を含む、運転者を観測することで得られる観測情報の他、車両の運転席に着いた運転者を撮影するように配置された撮影装置から得られる撮影画像が用いられる。そのため、運転者の顔の挙動だけではなく、撮影画像から、運転者の身体の状態を解析することができる。したがって、当該構成によれば、運転者の取り得る多様な状態を反映して、当該運転者の運転に対する集中度を推定することができる。なお、観測情報は、運転者の顔の挙動に関する顔挙動情報の他、運転者から観測可能なあらゆる情報が含まれてもよく、例えば、脳波、心拍数等の生体情報を含んでもよい。

上記一側面に係る運転者監視装置において、前記運転者状態推定部は、前記運転集中度情報として、前記運転者の注視の状態を示す注視状態情報、及び前記運転者の運転に対する即応性の程度を示す即応性情報を取得してもよい。当該構成によれば、運転者の注視の状態及び運転に対する即応性の程度の２種類の観点で、運転者の状態を監視することができる。

上記一側面に係る運転者監視装置において、前記注視状態情報は、前記運転者の注視の状態を複数のレベルで段階的に示してよく、前記即応性情報は、前記運転者の運転に対する即応性の程度を複数のレベルで段階的に示してもよい。当該構成によれば、運転者の運転に対する集中度を段階的に表現することができる。

上記一側面に係る運転者監視装置は、前記注視状態情報の示す前記運転者の注視のレベル及び前記即応性情報の示す前記運転者の即応性のレベルに応じて、車両の運転に適した状態をとるように前記運転者に促す警告を段階的に行う警告部を更に備えてよい。当該構成によれば、運転者の状態を段階的に評価し、その状態に適した警告を実施することができる。

上記一側面に係る運転者監視装置において、前記運転者状態推定部は、前記運転集中度情報として、前記運転者の運転に対する集中の程度にそれぞれ対応して設定された複数の所定の行動状態のうちから前記運転者の取っている行動状態を示す行動状態情報を取得してもよい。当該構成によれば、運転者の取っている行動状態に基づいて、当該運転者の運転に対する集中度を監視することができる。

上記一側面に係る運転者監視装置において、前記観測情報取得部は、取得した前記撮影画像に対して所定の画像解析を行うことで、前記運転者の顔の検出可否、顔の位置、顔の向き、顔の動き、視線の方向、顔の器官の位置、及び目の開閉の少なくともいずれか１つに関する情報を前記顔挙動情報として取得してもよい。当該構成によれば、運転者の顔の検出可否、顔の位置、顔の向き、顔の動き、視線の方向、顔の器官の位置、及び目の開閉の少なくともいずれか１つに関する情報を利用して、運転者の状態の推定を行うことができる。

上記一側面に係る運転者監視装置は、取得した前記撮影画像の解像度を低下させる解像度変換部を更に備えてよく、前記運転者状態推定部は、解像度を低下させた前記撮影画像を前記学習器に入力してもよい。上記構成では、学習器の入力として、撮影画像の他に、運転者の顔の挙動に関する顔挙動情報を含む観測情報を利用している。そのため、撮影画像からは詳細な情報が得られなくてもよい場合がある。そこで、当該構成では、学習器の入力として、解像度を低下させた撮影画像を利用する。これにより、学習器の演算処理の計算量を低減することができ、運転者の監視にかかるプロセッサの負荷を抑えることができる。なお、解像度を低下させても、当該撮影画像から、運転者の姿勢に関する特徴を抽出することは可能である。そのため、このような解像度を低下させた撮影画像を、上記観測情報と共に利用することで、運転者の多様な状態を反映して、運転者の運転に対する集中度を推定することができる。

上記一側面に係る運転者監視装置において、前記学習器は、前記前記観測情報を入力する全結合ニューラルネットワークと、前記撮影画像を入力する畳み込みニューラルネットワークと、当該全結合ニューラルネットワークの出力及び当該畳み込みニューラルネットワークの出力を結合する結合層と、を備えてよい。全結合ニューラルネットワークは、１又は複数のニューロン（ノード）をそれぞれ含む複数の層を有し、各層に含まれる１又は複数のニューロンが隣接する層に含まれる全てのニューロンと結合しているニューラルネットワークである。また、畳み込みニューラルネットワークは、１つ以上の畳み込み層と、１つ以上のプーリング層とを備え、畳み込み層とプーリング層とが交互に接続した構造を有するニューラルネットワークである。当該構成に係る学習器は、全結合ニューラルネットワーク及び畳み込みニューラルネットワークの２種類のニューラルネットワークを入力側に備える。これにより、各入力に適した解析を行うことができ、運転者の状態推定の精度を高めることができる。

上記一側面に係る運転者監視装置において、前記学習器は、前記結合層からの出力を入力する再帰型ニューラルネットワークを更に備えてもよい。再帰型ニューラルネットワークは、例えば、中間層から入力層への経路のように、内部にループを有するニューラルネットワークのことである。そのため、当該構成によれば、観測情報及び撮影画像それぞれに時系列データを利用することで、過去の状態を考慮して、運転者の状態を推定することができる。これにより、運転者の状態推定の精度を高めることができる。

上記一側面に係る運転者監視装置において、前記再帰型ニューラルネットワークは、長期短期記憶（ＬＳＴＭ：Long short-term memory）ブロックを含んでよい。長期短期記憶ブロックは、入力ゲート及び出力ゲートを備え、情報の記憶及び出力のタイミングを学習可能に構成されたブロックである。長期短期記憶ブロックには、忘却ゲートを備え、情報の忘却のタイミングを学習可能に構成されたタイプも存在する。以下、長期短期記憶ブロックを「ＬＳＴＭブロック」とも記載する。当該構成によれば、短期的な依存関係だけでなく、長期的な依存関係を考慮して、運転者の状態を推定することができる。これにより、運転者の状態推定の精度を高めることができる。

上記一側面に係る運転者監視装置において、前記運転者状態推定部は、前記運転者の運転に対する集中度に影響を与える因子に関する影響因子情報を前記学習器に更に入力してもよい。当該構成によれば、運転者の状態の推定に、影響因子情報を更に利用することにより、運転者の状態推定の精度を高めることができる。なお、影響因子情報には、運転者の集中度に影響を与え得るあらゆる因子の情報が含まれてよく、例えば、車両の走行速度を示す速度情報、車両の周辺環境の状態を示す周辺環境情報（例えば、レーダの測定結果、車載カメラの撮影画像）、天候を示す天候情報等が含まれてもよい。

また、本発明の一側面に係る運転監視方法は、コンピュータが、車両の運転席に着いた運転者を撮影するように配置された撮影装置から撮影画像を取得する画像取得ステップと、前記運転者の顔の挙動に関する顔挙動情報を含む当該運転者の観測情報を取得する観測情報取得ステップと、前記運転者の運転に対する集中の程度を推定するための学習を行った学習済みの学習器に、前記撮影画像及び前記観測情報を入力することで、前記運転者の運転に対する集中の程度に関する運転集中度情報を当該学習器から取得する推定ステップと、を実行する。当該構成によれば、運転者の取り得る多様な状態を反映して、運転者の運転に対する集中度を推定することができる。

上記一側面に係る運転監視方法において、前記推定ステップでは、前記コンピュータは、前記運転集中度情報として、前記運転者の注視の状態を示す注視状態情報、及び前記運転者の運転に対する即応性の程度を示す即応性情報を取得してもよい。当該構成によれば、運転者の注視の状態及び運転に対する即応性の程度の２種類の観点で、運転者の状態を監視することができる。

上記一側面に係る運転監視方法において、前記注視状態情報は、前記運転者の注視の状態を複数のレベルで段階的に示してもよく、前記即応性情報は、前記運転者の運転に対する即応性の程度を複数のレベルで段階的に示してもよい。当該構成によれば、運転者の運転に対する集中度を段階的に表現することができる。

上記一側面に係る運転監視方法において、前記コンピュータは、前記注視状態情報の示す前記運転者の注視のレベル及び前記即応性情報の示す前記運転者の即応性のレベルに応じて、車両の運転に適した状態をとるように前記運転者に促す警告を段階的に行う警告ステップを更に実行してもよい。当該構成によれば、運転者の状態を段階的に評価し、その状態に適した警告を実施することができる。

上記一側面に係る運転監視方法において、前記推定ステップでは、前記コンピュータは、前記運転集中度情報として、前記運転者の運転に対する集中の程度にそれぞれ対応して設定された複数の所定の行動状態のうちから前記運転者の取っている行動状態を示す行動状態情報を取得してもよい。当該構成によれば、運転者の取っている行動状態に基づいて、当該運転者の運転に対する集中度を監視することができる。

上記一側面に係る運転監視方法において、前記観測情報取得ステップでは、前記コンピュータは、前記画像取得ステップで取得した前記撮影画像に対して所定の画像解析を行うことで、前記運転者の顔の検出可否、顔の位置、顔の向き、顔の動き、視線の方向、顔の器官の位置、及び目の開閉の少なくともいずれか１つに関する情報を前記顔挙動情報として取得してもよい。当該構成によれば、運転者の顔の検出可否、顔の位置、顔の向き、顔の動き、視線の方向、顔の器官の位置、及び目の開閉の少なくともいずれか１つに関する情報を利用して、運転者の状態の推定を行うことができる。

上記一側面に係る運転監視方法において、前記コンピュータは、取得した前記撮影画像の解像度を低下させる解像度変換ステップを更に実行してもよく、前記推定ステップでは、前記コンピュータは、解像度を低下させた前記撮影画像を前記学習器に入力してもよい。当該構成によれば、学習器の演算処理の計算量を低減することができ、運転者の監視にかかるプロセッサの負荷を抑えることができる。

上記一側面に係る運転監視方法において、前記学習器は、前記前記観測情報を入力する全結合ニューラルネットワークと、前記撮影画像を入力する畳み込みニューラルネットワークと、当該全結合ニューラルネットワークの出力及び当該畳み込みニューラルネットワークの出力を結合する結合層と、を備えてもよい。当該構成によれば、各入力に適した解析を行うことができ、運転者の状態推定の精度を高めることができる。

上記一側面に係る運転監視方法において、前記学習器は、前記結合層からの出力を入力する再帰型ニューラルネットワークを更に備えてもよい。当該構成によれば、運転者の状態推定の精度を高めることができる。

上記一側面に係る運転監視方法において、前記再帰型ニューラルネットワークは、長期短期記憶ブロックを含んでもよい。当該構成によれば、運転者の状態推定の精度を高めることができる。

上記一側面に係る運転監視方法において、前記推定ステップでは、前記コンピュータは、前記運転者の運転に対する集中度に影響を与える因子に関する影響因子情報を前記学習器に更に入力してもよい。当該構成によれば、運転者の状態推定の精度を高めることができる。

また、本発明の一側面に係る学習装置は、車両の運転席に着いた運転者を撮影するように配置された撮影装置から取得される撮影画像、当該運転者の顔の挙動に関する顔挙動情報を含む当該運転者の観測情報、及び当該運転者の運転に対する集中の程度に関する運転集中度情報の組を学習データとして取得する学習データ取得部と、前記撮影画像及び前記観測情報を入力すると前記運転集中度情報に対応する出力値を出力するように学習器を学習させる学習処理部と、を備える。当該構成によれば、上記運転者の運転に対する集中の程度を推定するのに利用する学習済みの学習器を構築することができる。

また、本発明の一側面に係る学習方法は、コンピュータが、車両の運転席に着いた運転者を撮影するように配置された撮影装置から取得される撮影画像、当該運転者の顔の挙動に関する顔挙動情報を含む当該運転者の観測情報、及び当該運転者の運転に対する集中の程度に関する運転集中度情報の組を学習データとして取得する学習データ取得ステップと、前記撮影画像及び前記観測情報を入力すると前記運転集中度情報に対応する出力値を出力するように学習器を学習させる学習処理ステップと、を実行する。当該構成によれば、上記運転者の運転に対する集中の程度を推定するのに利用する学習済みの学習器を構築することができる。

本発明によれば、運転者の取り得る多様な状態を反映して、運転者の運転に対する集中の程度を推定可能にする技術を提供することができる。

図１は、本発明が適用される場面の一例を模式的に例示する。 図２は、実施の形態に係る自動運転支援装置のハードウェア構成の一例を模式的に例示する。 図３は、実施の形態に係る学習装置のハードウェア構成の一例を模式的に例示する。 図４は、実施の形態に係る自動運転支援装置の機能構成の一例を模式的に例示する。 図５Ａは、実施の形態に係る注視状態情報の一例を模式的に例示する。 図５Ｂは、実施の形態に係る即応性情報の一例を模式的に例示する。 図６は、実施の形態に係る学習装置の機能構成の一例を模式的に例示する。 図７は、実施の形態に係る自動運転支援装置の処理手順の一例を例示する。 図８は、実施の形態に係る学習装置の処理手順の一例を例示する。 図９Ａは、変形例に係る注視状態情報の一例を模式的に例示する。 図９Ｂは、変形例に係る即応性情報の一例を模式的に例示する。 図１０は、変形例に係る自動運転支援装置の処理手順の一例を例示する。 図１１は、変形例に係る自動運転支援装置の処理手順の一例を例示する。 図１２は、変形例に係る自動運転支援装置の機能構成の一例を模式的に例示する。 図１３は、変形例に係る自動運転支援装置の機能構成の一例を模式的に例示する。

以下、本発明の一側面に係る実施の形態（以下、「本実施形態」とも表記する）を、図面に基づいて説明する。ただし、以下で説明する本実施形態は、あらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。つまり、本発明の実施にあたって、実施形態に応じた具体的構成が適宜採用されてもよい。例えば、以下では、本実施形態として、自動車の自動運転を支援する自動運転支援装置に本発明を適用した例を示す。しかしながら、本発明の適用対象は、自動運転を実施可能な車両に限定されなくてもよく、自動運転を実施しない一般の車両に本発明が適用されてもよい。なお、本実施形態において登場するデータを自然言語により説明しているが、より具体的には、コンピュータが認識可能な疑似言語、コマンド、パラメータ、マシン語等で指定される。

§１ 適用例
まず、図１を用いて、本発明が適用される場面の一例について説明する。図１は、本実施形態に係る自動運転支援装置１及び学習装置２の適用場面の一例を模式的に例示する。

図１に示されるとおり、本実施形態に係る自動運転支援装置１は、カメラ３１を利用して運転者Ｄを監視しながら、車両の自動運転を支援するコンピュータである。本実施形態に係る自動運転支援装置１は、本発明の「運転者監視装置」に相当する。具体的には、自動運転支援装置１は、車両の運転席に着いた運転者Ｄを撮影するように配置されたカメラ３１から撮影画像を取得する。カメラ３１は、本発明の「撮影装置」に相当する。また、自動運転支援装置１は、運転者Ｄの顔の挙動に関する顔挙動情報を含む運転者の観測情報を取得する。そして、自動運転支援装置１は、運転者の運転に対する集中の程度を推定するための学習を行った学習済みの学習器（後述するニューラルネットワーク５）に、取得した撮影画像及び観測情報を入力することで、運転者Ｄの運転に対する集中の程度に関する運転集中度情報を当該学習器から取得する。これにより、自動運転支援装置１は、運転者Ｄの状態、すなわち、運転者Ｄの運転に対する集中の程度（以下、「運転集中度」とも記載する）を推定する。

一方、本実施形態に係る学習装置２は、自動運転支援装置１で利用する学習器を構築する、すなわち、撮影画像及び観測情報の入力に応じて、運転者Ｄの運転に対する集中の程度に関する運転者集中情報を出力するように学習器の機械学習を行うコンピュータである。具体的には、学習装置２は、上記の撮影画像、観測情報、及び運転集中度情報の組を学習データとして取得する。これらのうち、撮影画像及び観測情報は入力データとして利用され、運転集中度情報は教師データとして利用される。すなわち、学習装置２は、撮影画像及び観測情報を入力すると運転集中度情報に対応する出力値を出力するように学習器（後述するニューラルネットワーク６）を学習させる。これにより、自動運転支援装置１で利用する学習済みの学習器が作成される。自動運転支援装置１は、例えば、ネットワークを介して、学習装置２により作成された学習済みの学習器を取得することができる。なお、ネットワークの種類は、例えば、インターネット、無線通信網、移動通信網、電話網、専用網等から適宜選択されてよい。

以上のとおり、本実施形態では、運転者Ｄの状態を推定するために、運転者の運転に対する集中の程度を推定するための学習を行った学習済みの学習器を利用する。そして、この学習器の入力として、運転者の顔の挙動に関する顔挙動情報を含む、運転者を観測することで得られる観測情報の他に、車両の運転席に着いた運転者を撮影するように配置されたカメラ３１から得られる撮影画像を用いる。そのため、運転者Ｄの顔の挙動だけではなく、運転者Ｄの身体の状態（例えば、身体の向き、姿勢等）を撮影画像から解析することができる。したがって、本実施形態によれば、運転者Ｄの取り得る多様な状態を反映して、当該運転者Ｄの運転に対する集中度を推定することができる。

§２ 構成例
［ハードウェア構成］
＜自動運転支援装置＞
次に、図２を用いて、本実施形態に係る自動運転支援装置１のハードウェア構成の一例について説明する。図２は、本実施形態に係る自動運転支援装置１のハードウェア構成の一例を模式的に例示する。

図２に示されるとおり、本実施形態に係る自動運転支援装置１は、制御部１１、記憶部１２、及び外部インタフェース１３が電気的に接続されたコンピュータである。なお、図２では、外部インタフェースを「外部Ｉ／Ｆ」と記載している。

制御部１１は、ハードウェアプロセッサであるＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等を含み、情報処理に応じて各構成要素の制御を行う。記憶部１２は、例えば、ＲＡＭ、ＲＯＭ等で構成され、プログラム１２１、学習結果データ１２２等を記憶する。記憶部１２は、「メモリ」に相当する。

プログラム１２１は、自動運転支援装置１に後述する運転者Ｄの状態を推定する情報処理（図７）を実行させるためのプログラムである。学習結果データ１２２は、学習済みの学習器の設定を行うためのデータである。詳細は後述する。

外部インタフェース１３は、外部装置と接続するためのインタフェースであり、接続する外部装置に応じて適宜構成される。本実施形態では、外部インタフェース１３は、例えば、ＣＡＮ（Controller Area Network）を介して、ナビゲーション装置３０、カメラ３１、生体センサ３２、及びスピーカ３３に接続される。

ナビゲーション装置３０は、車両の走行時に経路案内を行うコンピュータである。ナビゲーション装置３０には、公知のカーナビゲーション装置が用いられてよい。ナビゲーション装置３０は、ＧＰＳ（Global Positioning System）信号に基づいて自車位置を測定し、地図情報及び周辺の建物等に関する周辺情報を利用して、経路案内を行うように構成される。なお、以下では、ＧＰＳ信号に基づいて測定される自車位置を示す情報を「ＧＰＳ情報」と称する。

カメラ３１は、車両の運転席に着いた運転者Ｄを撮影するように配置される。例えば、図１の例では、カメラ３１は、運転席の前方上方に配置されている。しかしながら、カメラ３１の配置場所は、このような例に限定されなくてもよく、運転席に着いた運転者Ｄを撮影可能であれば、実施の形態に応じて適宜選択されてよい。なお、カメラ３１には、一般のデジタルカメラ、ビデオカメラ等が用いられてよい。

生体センサ３２は、運転者Ｄの生体情報を測定するように構成される。測定対象となる生体情報は、特に限定されなくてもよく、例えば、脳波、心拍数等であってよい。生体センサ３２は、測定対象となる生体情報を測定可能であれば特に限定されなくてもよく、例えば、公知の脳波センサ、脈拍センサ等が用いられてよい。生体センサ３２は、測定対象となる生体情報に応じた運転者Ｄの身体部位に装着される。

スピーカ３３は、音声を出力するように構成される。スピーカ３３は、車両の走行中に運転者Ｄが当該車両の運転に適した状態ではない場合に、当該車両の運転に適した状態をとるように当該運転者Ｄに対して警告するのに利用される。詳細は後述する。

なお、外部インタフェース１３には、上記以外の外部装置が接続されてよい。例えば、外部インタフェース１３には、ネットワークを介してデータ通信を行うための通信モジュールが接続されてもよい。外部インタフェース１３に接続する外部装置は、上記の各装置に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。

また、図２の例では、自動運転支援装置１は、１つの外部インタフェース１３を備えている。しかしながら、外部インタフェース１３は、接続する外部装置毎に設けられてもよい。外部インタフェース１３の数は、実施の形態に応じて適宜選択可能である。

なお、自動運転支援装置１の具体的なハードウェア構成に関して、実施形態に応じて、適宜、構成要素の省略、置換及び追加が可能である。例えば、制御部１１は、複数のハードウェアプロセッサを含んでもよい。ハードウェアプロセッサは、マイクロプロセッサ、ＦＰＧＡ（field-programmable gate array）等で構成されてよい。記憶部１２は、制御部１１に含まれるＲＡＭ及びＲＯＭにより構成されてもよい。記憶部１２は、ハードディスクドライブ、ソリッドステートドライブ等の補助記憶装置で構成されてもよい。また、自動運転支援装置１には、提供されるサービス専用に設計された情報処理装置の他、汎用のコンピュータが用いられてもよい。

＜学習装置＞
次に、図３を用いて、本実施形態に係る学習装置２のハードウェア構成の一例を説明する。図３は、本実施形態に係る学習装置２のハードウェア構成の一例を模式的に例示する。

図３に示されるとおり、本実施形態に係る学習装置２は、制御部２１、記憶部２２、通信インタフェース２３、入力装置２４、出力装置２５、及びドライブ２６が電気的に接続されたコンピュータである。なお、図３では、通信インタフェースを「通信Ｉ／Ｆ」と記載している。

制御部２１は、上記制御部１１と同様に、ハードウェアプロセッサであるＣＰＵ、ＲＡＭ、ＲＯＭ等を含み、プログラム及びデータに基づいて各種情報処理を実行するように構成される。記憶部２２は、例えば、ハードディスクドライブ、ソリッドステートドライブ等で構成される。記憶部２２は、制御部２１で実行される学習プログラム２２１、学習器の学習に利用する学習データ２２２、学習プログラム２２１を実行して作成した学習結果データ１２２等を記憶する。

学習プログラム２２１は、学習装置２に後述する機械学習の処理（図８）を実行させるためのプログラムである。学習データ２２２は、運転者の運転集中度を推定する機能を獲得するように学習器の学習を行うためのデータである。詳細は後述する。

通信インタフェース２３は、例えば、有線ＬＡＮ（Local Area Network）モジュール、無線ＬＡＮモジュール等であり、ネットワークを介した有線又は無線通信を行うためのインタフェースである。学習装置２は、当該通信インタフェース２３を介して、作成した学習データ２２２を外部の装置に配信してもよい。

入力装置２４は、例えば、マウス、キーボード等の入力を行うための装置である。また、出力装置２５は、例えば、ディスプレイ、スピーカ等の出力を行うための装置である。オペレータは、入力装置２４及び出力装置２５を介して、学習装置２を操作することができる。

ドライブ２６は、例えば、ＣＤドライブ、ＤＶＤドライブ等であり、記憶媒体９２に記憶されたプログラムを読み込むためのドライブ装置である。ドライブ２６の種類は、記憶媒体９２の種類に応じて適宜選択されてよい。上記学習プログラム２２１及び学習データ２２２は、この記憶媒体９２に記憶されていてもよい。

記憶媒体９２は、コンピュータその他装置、機械等が記録されたプログラム等の情報を読み取り可能なように、当該プログラム等の情報を、電気的、磁気的、光学的、機械的又は化学的作用によって蓄積する媒体である。学習装置２は、この記憶媒体９２から、上記学習プログラム２２１及び学習データ２２２を取得してもよい。

ここで、図３では、記憶媒体９２の一例として、ＣＤ、ＤＶＤ等のディスク型の記憶媒体を例示している。しかしながら、記憶媒体９２の種類は、ディスク型に限定される訳ではなく、ディスク型以外であってもよい。ディスク型以外の記憶媒体として、例えば、フラッシュメモリ等の半導体メモリを挙げることができる。

なお、学習装置２の具体的なハードウェア構成に関して、実施形態に応じて、適宜、構成要素の省略、置換及び追加が可能である。例えば、制御部２１は、複数のハードウェアプロセッサを含んでもよい。ハードウェアプロセッサは、マイクロプロセッサ、ＦＰＧＡ（field-programmable gate array）等で構成されてよい。学習装置２は、複数台の情報処理装置で構成されてもよい。また、学習装置２は、提供されるサービス専用に設計された情報処理装置の他、汎用のサーバ装置、ＰＣ（Personal Computer）等であってもよい。

［機能構成］
＜自動運転支援装置＞
次に、図４を用いて、本実施形態に係る自動運転支援装置１の機能構成の一例を説明する。図４は、本実施形態に係る自動運転支援装置１の機能構成の一例を模式的に例示する。

自動運転支援装置１の制御部１１は、記憶部１２に記憶されたプログラム１２１をＲＡＭに展開する。そして、制御部１１は、ＲＡＭに展開されたプログラム１２１をＣＰＵにより解釈及び実行して、各構成要素を制御する。これによって、図４に示されるとおり、本実施形態に係る自動運転支援装置１は、画像取得部１１１、観測情報取得部１１２、解像度変換部１１３、運転状態推定部１１４、及び警告部１１５を備えるコンピュータとして機能する。

画像取得部１１１は、車両の運転席に着いた運転者Ｄを撮影するように配置されたカメラ３１から撮影画像１２３を取得する。観測情報取得部１１２は、運転者Ｄの顔の挙動に関する顔挙動情報１２４１及び生体センサ３２により測定された生体情報１２４２を含む観測情報１２４を取得する。本実施形態では、顔挙動情報１２４１は、撮影画像１２３を画像解析することで得られる。なお、観測情報１２４は、このような例に限定されなくてもよく、生体情報１２４２は、省略されてもよい。この場合、生体センサ３２は省略されてもよい。

解像度変換部１１３は、画像取得部１１１により取得した撮影画像１２３の解像度を低下させる。これにより、解像度変換部１１３は、低解像度撮影画像１２３１を形成する。

運転状態推定部１１４は、運転者の運転集中度を推定するための学習を行った学習済みの学習器（ニューラルネットワーク５）に、撮影画像１２３を低解像度化することで得られた低解像度撮影画像１２３１及び観測情報１２４を入力する。これにより、運転状態推定部１１４は、運転者Ｄの運転集中度に関する運転集中度情報１２５を当該学習器から取得する。本実施形態では、運転状態推定部１１４は、運転集中度情報１２５として、運転者Ｄの注視の状態を示す注視状態情報１２５１、及び運転者Ｄの運転に対する即応性の程度を示す即応性情報１２５２を取得する。なお、低解像度化の処理は省略されてもよい。この場合、運転状態推定部１１４は、撮影画像１２３を学習器に入力してもよい。

ここで、図５Ａ及び図５Ｂを用いて、注視状態情報１２５１及び即応性情報１２５２を説明する。図５Ａ及び図５Ｂは、注視状態情報１２５１及び即応性情報１２５２の一例を示す。図５Ａに示されるとおり、本実施形態に係る注視状態情報１２５１は、運転者Ｄが運転に必要な注視を行っているか否かを２つのレベルで段階的に示す。また、図５Ｂに示されるとおり、本実施形態に係る即応性情報１２５２は、運転に対する即応性が高い状態であるか低い状態であるかを２つのレベルで段階的に示す。

運転者Ｄの行動状態と注視状態及び即応性との関係は適宜設定可能である。例えば、運転者Ｄが、「前方注視」、「計器確認」及び「ナビゲーション確認」の行動状態にある場合には、当該運転者Ｄは、運転に必要な注視を行っており、かつ運転に対する即応性が高い状態にあると推定可能である。そこで、本実施形態では、運転者Ｄが、「前方注視」、「計器確認」及び「ナビゲーション確認」の行動状態にあるのに対応して、注視状態情報１２５１は、運転者Ｄが運転に必要な注視を行っていることを示すように設定され、即応性情報１２５２は、運転者Ｄが運転に対する即応性の高い状態にあることを示すように設定される。「即応性」とは、運転に対する準備状態の程度を示し、例えば、自動運転装置１に異常等が発生して自動運転を継続できなくなったときに、運転者Ｄが手動で車両を運転する状態に復帰可能な度合を表すことができる。なお、「前方注視」は、運転者Ｄが車両の走行方向を注視している状態を指す。「計器確認」は、車両のスピードメータ等の計器を運転者Ｄが確認している状態を指す。「ナビゲーション確認」は、ナビゲーション装置３０の経路案内を運転者Ｄが確認している状態を指す。

また、例えば、運転者Ｄが、「喫煙」、「飲食」及び「通話」の行動状態にある場合には、当該運転者Ｄは、運転に必要な注視は行っているが、運転に対する即応性は低い状態にあると推定可能である。そこで、本実施形態では、運転者Ｄが、「喫煙」、「飲食」及び「通話」の行動状態にあるのに対応して、注視状態情報１２５１は、運転者Ｄが運転に必要な注視を行っていることを示すように設定され、即応性情報１２５２は、運転者Ｄが運転に対する即応性の低い状態にあることを示すように設定される。なお、「喫煙」は、運転者Ｄが喫煙している状態を指す。「飲食」は、運転者Ｄが飲食物を飲食している状態を指す。「通話」は、運転者Ｄが携帯電話等の電話機で通話を行っている状態を指す。

また、例えば、運転者Ｄが、「脇見」、「後方振り返り」及び「眠気」の行動状態にある場合には、当該運転者Ｄは、運転に必要な注視は行っていないが、運転に対する即応性は比較的に高い状態にあると推定可能である。そこで、本実施形態では、運転者Ｄが、「脇見」、「後方振り返り」及び「眠気」の行動状態にあることに対応して、注視状態情報１２５１は、運転者Ｄが運転に必要な注視を行っていないことを示すように設定され、即応性情報１２５２が、運転者Ｄが運転に対する即応性の高い状態にあることを示すように設定される。なお、「脇見」は、運転者Ｄが前方から視線を外している状態を指す。「後方振り返り」は、運転者Ｄが後部座席の方に振り返っている状態を指す。「眠気」は、運転者Ｄが眠気に襲われた状態を指す。

また、例えば、運転者Ｄが、「居眠り」、「携帯電話操作」及び「パニック」の行動状態にある場合には、当該運転者Ｄは、運転に必要な注視を行っておらず、運転に対する即応性は低い状態にあると推定可能である。そこで、本実施形態では、運転者Ｄが、「居眠り」、「携帯電話操作」及び「パニック」の行動状態にあることに対応して、注視状態情報１２５１は、運転者Ｄが運転に必要な注視を行っていないことを示すように設定され、即応性情報１２５２は、運転者Ｄが運転に対する即応性の低い状態にあることを示すように設定される。なお、「居眠り」は、運転者Ｄが眠っている状態を指す。「携帯電話操作」は、運転者Ｄが携帯電話を操作している状態を指す。「パニック」は、運転者Ｄが体調の急変等によりパニックに陥っている状態を指す。

警告部１１５は、運転集中度情報１２５に基づいて、運転者Ｄが車両の運転に適した状態にあるか否か、換言すると、運転者Ｄの運転集中度が高い状態にあるか否かを判定する。そして、運転者Ｄが車両の運転に適した状態にないと判定される場合に、スピーカ３３を介して、車両の運転に適した状態をとるように運転者Ｄに促す警告を行う。

（学習器）
次に、学習器について説明する。図４に示されるとおり、本実施形態に係る自動運転支援装置１は、運転者の運転集中度を推定するための学習を行った学習済みの学習器として、ニューラルネットワーク５を利用する。本実施形態に係るニューラルネットワーク５は、複数種類のニューラルネットワークを組み合わせることで構成されている。

具体的には、ニューラルネットワーク５は、全結合ニューラルネットワーク５１、畳み込みニューラルネットワーク５２、結合層５３、及びＬＳＴＭネットワーク５４の４つの部分に分かれている。全結合ニューラルネットワーク５１及び畳み込みニューラルネットワーク５２は入力側に並列に配置されており、全結合ニューラルネットワーク５１には観測情報１２４が入力され、畳み込みニューラルネットワーク５２には低解像度撮影画像１２３１が入力される。結合層５３は、全結合ニューラルネットワーク５１及び畳み込みニューラルネットワーク５２の出力を結合する。ＬＳＴＭネットワーク５４は、結合層５３からの出力を受けて、注視状態情報１２５１及び即応性情報１２５２を出力する。

（ａ）全結合ニューラルネットワーク
全結合ニューラルネットワーク５１は、いわゆる多層構造のニューラルネットワークであり、入力側から順に、入力層５１１、中間層（隠れ層）５１２、及び出力層５１３を備えている。ただし、全結合ニューラルネットワーク５１の層の数は、このような例に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。

各層５１１〜５１３は、１又は複数のニューロン（ノード）を備えている。各層５１１〜５１３に含まれるニューロンの個数は、実施の形態に応じて適宜設定されてよい。各層５１１〜５１３に含まれる各ニューロンが、隣接する層に含まれる全てのニューロンに結合されていることで、全結合ニューラルネットワーク５１は構成される。各結合には、重み（結合荷重）が適宜設定されている。

（ｂ）畳み込みニューラルネットワーク
畳み込みニューラルネットワーク５２は、畳み込み層５２１及びプーリング層５２２を交互に接続した構造を有する順伝播型ニューラルネットワークである。本実施形態に係る畳み込みニューラルネットワーク５２では、複数の畳み込み層５２１及びプーリング層５２２が入力側に交互に配置されている。そして、最も出力側に配置されたプーリング層５２２の出力が全結合層５２３に入力され、全結合層５２３の出力が出力層５２４に入力される。

畳み込み層５２１は、画像の畳み込みの演算を行う層である。画像の畳み込みとは、画像と所定のフィルタとの相関を算出する処理に相当する。そのため、画像の畳み込みを行うことで、例えば、フィルタの濃淡パターンと類似する濃淡パターンを入力される画像から検出することができる。

プーリング層５２２は、プーリング処理を行う層である。プーリング処理は、画像のフィルタに対する応答の強かった位置の情報を一部捨て、画像内に現れる特徴の微小な位置変化に対する応答の不変性を実現する。

全結合層５２３は、隣接する層の間のニューロン全てを結合した層である。すなわち、全結合層５２３に含まれる各ニューロンは、隣接する層に含まれる全てのニューロンに結合される。畳み込みニューラルネットワーク５２は、２層以上の全結合層５２３を備えてもよい。また、全結合層４２３に含まれるニューロンの個数は、実施の形態に応じて適宜設定されてよい。

出力層５２４は、畳み込みニューラルネットワーク５２の最も出力側に配置される層である。出力層５２４に含まれるニューロンの個数は、実施の形態に応じて適宜設定されてよい。なお、畳み込みニューラルネットワーク５２の構成は、このような例に限定されなくてもよく、実施の形態に応じて適宜設定されてよい。

（ｃ）結合層
結合層５３は、全結合ニューラルネットワーク５１及び畳み込みニューラルネットワーク５２とＬＳＴＭネットワーク５４との間に配置される。結合層５３は、全結合ニューラルネットワーク５１の出力層５１３からの出力及び畳み込みニューラルネットワーク５２の出力層５２４からの出力を結合する。結合層５３に含まれるニューロンの個数は、全結合ニューラルネットワーク５１及び畳み込みニューラルネットワーク５２の出力の数に応じて適宜設定されてよい。

（ｄ）ＬＳＴＭネットワーク
ＬＳＴＭネットワーク５４は、ＬＳＴＭブロック５４２を備える再起型ニューラルネットワークである。再帰型ニューラルネットワークは、例えば、中間層から入力層への経路のように、内部にループを有するニューラルネットワークのことである。ＬＳＴＭネットワーク５４は、一般的な再起型ニューラルネットワークの中間層をＬＳＴＭブロック５４２に置き換えた構造を有する。

本実施形態では、ＬＳＴＭネットワーク５４は、入力側から順に、入力層５４１、ＬＳＴＭブロック５４２、及び出力層５４３を備えており、順伝播の経路の他、ＬＳＴＭブロック５４２から入力層５４１に戻る経路を有している。入力層５４１及び出力層５４３に含まれるニューロンの個数は、実施の形態に応じて適宜設定されてよい。

ＬＳＴＭブロック５４２は、入力ゲート及び出力ゲートを備え、情報の記憶及び出力のタイミングを学習可能に構成されたブロックである（S.Hochreiter and J.Schmidhuber, "Long short-term memory" Neural Computation, 9(8):1735-1780, November 15, 1997）。また、ＬＳＴＭブロック５４２は、情報の忘却のタイミングを調節する忘却ゲートを備えてもよい（Felix A. Gers, Jurgen Schmidhuber and Fred Cummins, "Learning to Forget: Continual Prediction with LSTM" Neural Computation, pages 2451-2471, October 2000）。ＬＳＴＭネットワーク５４の構成は、実施の形態に応じて適宜設定可能である。

（ｅ）小括
各ニューロンには閾値が設定されており、基本的には、各入力と各重みとの積の和が閾値を超えているか否かによって各ニューロンの出力が決定される。自動運転支援装置１は、全結合ニューラルネットワーク５１に観測情報１２４を入力し、畳み込みニューラルネットワーク５２に低解像度撮影画像１２３１を入力する。そして、自動運転支援装置１は、入力側から順に、各層に含まれる各ニューロンの発火判定を行う。これにより、自動運転支援装置１は、注視状態情報１２５１及び即応性情報１２５２に対応する出力値をニューラルネットワーク５の出力層５４３から取得する。

なお、このようなニューラルネットワーク５の構成（例えば、各ネットワークの層数、各層におけるニューロンの個数、ニューロン同士の結合関係、各ニューロンの伝達関数）、各ニューロン間の結合の重み、及び各ニューロンの閾値を示す情報は、学習結果データ１２２に含まれている。自動運転支援装置１は、学習結果データ１２２を参照して、運転者Ｄの運転集中度を推定する処理に用いる学習済みニューラルネットワーク５の設定を行う。

＜学習装置＞
次に、図６を用いて、本実施形態に係る学習装置２の機能構成の一例を説明する。図６は、本実施形態に係る学習装置２の機能構成の一例を模式的に例示する。

学習装置２の制御部２１は、記憶部２２に記憶された学習プログラム２２１をＲＡＭに展開する。そして、制御部２１は、ＲＡＭに展開された学習プログラム２２１をＣＰＵにより解釈及び実行して、各構成要素を制御する。これによって、図６に示されるとおり、本実施形態に係る学習装置２は、学習データ取得部２１１、及び学習処理部２１２を備えるコンピュータとして機能する。

学習データ取得部２１１は、車両の運転席に着いた運転者を撮影するように配置された撮影装置から取得される撮影画像、当該運転者の顔の挙動に関する顔挙動情報を含む当該運転者の観測情報、及び当該運転者の運転に対する集中の程度に関する運転集中度情報の組を学習データとして取得する。撮影画像及び観測情報は入力データとして利用される。また、運転集中度情報は教師データとして利用される。本実施形態では、学習データ取得部２１１は、低解像度撮影画像２２３、観測情報２２４、注視状態情報２２５１、及び即応性情報２２５２の組を学習データ２２２として取得する。低解像度撮影画像２２３及び観測情報２２４はそれぞれ、上記低解像度撮影画像１２３１及び観測情報１２４に対応する。注視状態情報２２５１及び即応性情報２２５２は、上記運転集中度情報１２５の注視状態情報１２５１及び即応性情報１２５２に対応する。学習処理部２１２は、低解像度撮影画像２２３及び観測情報２２４を入力すると注視状態情報２２５１及び即応性情報２２５２に対応する出力値を出力するように学習器を学習させる。

図６に示されるとおり、本実施形態において、学習対象となる学習器は、ニューラルネットワーク６である。当該ニューラルネットワーク６は、全結合ニューラルネットワーク６１、畳み込みニューラルネットワーク６２、結合層６３、及びＬＳＴＭネットワーク６４を備え、上記ニューラルネットワーク５と同様に構成される。全結合ニューラルネットワーク６１、畳み込みニューラルネットワーク６２、結合層６３、及びＬＳＴＭネットワーク６４はそれぞれ、上記全結合ニューラルネットワーク５１、畳み込みニューラルネットワーク５２、結合層５３、及びＬＳＴＭネットワーク５４と同様である。学習処理部２１２は、ニューラルネットワークの学習処理により、全結合ニューラルネットワーク６１に観測情報２２４を入力し、畳み込みニューラルネットワーク６２に低解像度撮影画像２２３を入力すると、注視状態情報２２５１及び即応性情報２２５２に対応する出力値をＬＳＴＭネットワーク６４から出力するニューラルネットワーク６を構築する。そして、学習処理部２１２は、構築したニューラルネットワーク６の構成、各ニューロン間の結合の重み、及び各ニューロンの閾値を示す情報を学習結果データ１２２として記憶部２２に格納する。

＜その他＞
自動運転支援装置１及び学習装置２の各機能に関しては後述する動作例で詳細に説明する。なお、本実施形態では、自動運転支援装置１及び学習装置２の各機能がいずれも汎用のＣＰＵによって実現される例について説明している。しかしながら、以上の機能の一部又は全部が、１又は複数の専用のプロセッサにより実現されてもよい。また、自動運転支援装置１及び学習装置２それぞれの機能構成に関して、実施形態に応じて、適宜、機能の省略、置換及び追加が行われてもよい。

§３ 動作例
［自動運転支援装置］
次に、図７を用いて、自動運転支援装置１の動作例を説明する。図７は、自動運転支援装置１の処理手順の一例を例示するフローチャートである。以下で説明する運転者Ｄの状態を推定する処理手順は、本発明の「運転者監視方法」に相当する。ただし、以下で説明する処理手順は一例に過ぎず、各処理は可能な限り変更されてよい。また、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。

（起動）
まず、運転者Ｄは、車両のイグニッション電源をオンにすることで、自動運転支援装置１を起動し、起動した自動運転支援装置１にプログラム１２１を実行させる。自動運転支援装置１の制御部１１は、ナビゲーション装置３０から地図情報、周辺情報、及びＧＰＳ情報を取得して、取得した地図情報、周辺情報、及びＧＰＳ情報に基づいて車両の自動運転を開始する。自動運転の制御方法には、公知の制御方法が利用可能である。そして、車両の自動運転を開始した後、制御部１１は、以下の処理手順に従って、運転者Ｄの状態を監視する。なお、以下のプログラム実行のトリガは、このような車両のイグニッション電源をオンにすることに限定されなくてもよく、実施の形態に応じて適宜選択されてよい。例えば、以下のプログラムの実行は、例えば、手動運転モードと自動運転モードとを備える車両において、自動運転モードに移行したことをトリガとしてよい。なお、自動運転モードへの移行は、運転者の指示により行われてもよい。

（ステップＳ１０１）
ステップＳ１０１では、制御部１１は、画像取得部１１１として機能し、車両の運転席についた運転者Ｄを撮影するように配置されたカメラ３１から撮影画像１２３を取得する。取得する撮影画像１２３は、動画像であってもよいし、静止画像であってもよい。撮影画像１２３を取得すると、制御部１１は、次のステップＳ１０２に処理を進める。

（ステップＳ１０２）
ステップＳ１０２では、制御部１１は、観測情報取得部１１２として機能し、運転者Ｄの顔に挙動する顔挙動情報１２４１及び生体情報１２４２を含む観測情報１２４を取得する。観測情報１２４を取得すると、制御部１１は、次のステップＳ１０３に処理を進める。

顔挙動情報１２４１は適宜取得されてよい。例えば、制御部１１は、ステップＳ１０１で取得した撮影画像１２３に対して所定の画像解析を行うことで、運転者Ｄの顔の検出可否、顔の位置、顔の向き、顔の動き、視線の方向、顔の器官の位置、及び目の開閉の少なくともいずれか１つに関する情報を顔挙動情報１２４１として取得することができる。

顔挙動情報１２４１の取得方法の一例として、まず、制御部１１は、撮影画像１２３から運転者Ｄの顔を検出し、検出した顔の位置を特定する。これにより、制御部１１は、顔の検出可否及び位置に関する情報を取得することができる。また、継続的に顔の検出を行うことで、制御部１１は、顔の動きに関する情報を取得することができる。次に、制御部１１は、検出した顔の画像内において、運転者Ｄの顔に含まれる各器官（眼、口、鼻、耳等）を検出する。これにより、制御部１１は、顔の器官の位置に関する情報を取得することができる。そして、制御部１１は、検出した各器官（眼、口、鼻、耳等）の状態を解析することで、顔の向き、視線の方向、及び目の開閉に関する情報を取得することができる。顔の検出、器官の検出、及び器官の状態の解析には、公知の画像解析方法が用いられてよい。

取得される撮影画像１２３が、動画像又は時系列に並んだ複数の静止画像である場合、制御部１１は、これらの画像解析を撮影画像１２３の各フレームに実行することで、時系列に沿って各種情報を取得することができる。これにより、制御部１１は、ヒストグラム又は統計量（平均値、分散値等）で表された各種情報を時系列データで取得することができる。

また、制御部１１は、生体センサ３２から生体情報（例えば、脳波、心拍数等）１２４２を取得してもよい。例えば、生体情報１２４２は、ヒストグラム又は統計量（平均値、分散値等）で表されてよい。顔挙動情報１２４１と同様に、制御部１１は、生体センサ３２に継続的にアクセスすることで、生体情報１２４２を時系列データで取得することができる。

（ステップＳ１０３）
ステップＳ１０３では、制御部１１は、解像度変換部１１３として機能し、ステップＳ１０１で取得した撮影画像１２３の解像度を低下させる。これにより、制御部１１は、低解像度撮影画像１２３１を形成する。低解像度化の処理方法は、特に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。例えば、制御部１１は、ニアレストネイバー法、バイリニア補間法、バイキュービック法等により、低解像度撮影画像１２３１を形成することができる。低解像度撮影画像１２３１を形成すると、制御部１１は、次のステップＳ１０４に処理を進める。なお、本ステップＳ１０３は省略されてもよい。

（ステップＳ１０４及びＳ１０５）
ステップＳ１０４では、制御部１１は、運転状態推定部１１４として機能し、取得した観測情報１２４及び低解像度撮影画像１２３１をニューラルネットワーク５の入力として用いて、当該ニューラルネットワーク５の演算処理を実行する。これにより、ステップＳ１０５では、制御部１１は、運転集中度情報１２５の注視状態情報１２５１及び即応性情報１２５２それぞれに対応する出力値を当該ニューラルネットワーク５から得る。

具体的には、制御部１１は、ステップＳ１０２で取得した観測情報１２４を全結合ニューラルネットワーク５１の入力層５１１に入力し、ステップＳ１０３で取得した低解像度撮影画像１２３１を、畳み込みニューラルネットワーク５２の最も入力側に配置された畳み込み層５２１に入力する。そして、制御部１１は、入力側から順に、各層に含まれる各ニューロンの発火判定を行う。これにより、制御部１１は、注視状態情報１２５１及び即応性情報１２５２に対応する出力値をＬＳＴＭネットワーク５４の出力層５４３から取得する。

（ステップＳ１０６及びＳ１０７）
ステップＳ１０６では、制御部１１は、警告部１１５として機能し、ステップＳ１０５で取得した注視状態情報１２５１及び即応性情報１２５２に基づいて、運転者Ｄが車両の運転に適した状態にあるか否かを判定する。運転者Ｄが車両の運転に適した状態にあると判定した場合には、制御部１１は、次のステップＳ１０７を省略して、本動作例に係る処理を終了する。一方、運転者Ｄが車両の運転に適した状態にないと判定した場合には、制御部１１は、次のステップＳ１０７の処理を実行する。すなわち、制御部１１は、スピーカ３３を介して、車両の運転に適した状態をとるように運転者Ｄに促す警告を行い、本動作例に係る処理を終了する。

運転者Ｄが車両の運転に適した状態にないと判定する基準は、実施の形態に応じて適宜設定されてよい。例えば、制御部１１は、運転者Ｄが運転に必要な注視を行っていないと注視状態情報１２５１が示す、又は運転者Ｄの運転に対する即応性が低い状態であると即応性情報１２５２が示す場合に、運転者Ｄが車両の運転に適した状態にないと判定し、ステップＳ１０７による警告を行ってもよい。また、例えば、制御部１１は、運転者Ｄが運転に必要な注視を行っていないと注視状態情報１２５１が示す、及び運転者Ｄの運転に対する即応性が低い状態であると即応性情報１２５２が示す場合に、運転者Ｄが車両の運転に適した状態にないと判定し、ステップＳ１０７による警告を行ってもよい。

更に、本実施形態では、注視状態情報１２５１は、運転者Ｄが運転に必要な注視を行っているか否かを２つのレベルで段階的に示し、即応性情報１２５２は、運転に対する即応性が高い状態であるか低い状態であるかを２つのレベルで段階的に示す。そのため、制御部１１は、注視状態情報１２５１の示す運転者Ｄの注視のレベル及び即応性情報１２５２の示す運転者Ｄの即応性のレベルに応じて、段階的に警告を行ってもよい。

例えば、運転者Ｄが運転に必要な注視を行っていないと注視状態情報１２５１が示す場合に、制御部１１は、運転に必要な注視を行うように運転者Ｄに促す音声を警告としてスピーカ３３から出力してもよい。また、運転者Ｄの運転に対する即応性が低い状態であると即応性情報１２５２が示す場合に、制御部１１は、運転に対する即応性を高めるように運転者Ｄに促す音声を警告としてスピーカ３３から出力してもよい。更に、運転者Ｄが運転に必要な注視を行っていないと注視状態情報１２５１が示す、及び運転者Ｄの運転に対する即応性が低い状態であると即応性情報１２５２が示す場合に、制御部１１は、上記２つのケースよりも強い警告（例えば、音量を上げる、ビープ音を鳴らす、等）を実施してもよい。

以上により、自動運転支援装置１は、車両の自動運転を実施している間に、運転者Ｄの運転集中度を監視することができる。なお、自動運転支援装置１は、上記ステップＳ１０１〜Ｓ１０７の処理を繰り返し実行することで、運転者Ｄの運転集中度を継続的に監視してもよい。また、自動運転支援装置１は、上記ステップＳ１０１〜Ｓ１０７の処理を繰り返し実行する間に、上記ステップＳ１０６において、運転者Ｄが車両の運転に適した状態にないと複数回連続して判定した場合に、自動運転を停止してもよい。この場合、例えば、制御部１１は、運転者Ｄが車両の運転に適した状態にないと複数回連続して判定した後に、地図情報、周辺情報及びＧＰＳ情報を参照して、車両を安全に停止可能な場所に停車区間を設定してもよい。そして、制御部１１は、車両を停止する旨を運転者Ｄに伝えるための警告を実施し、設定した停車区間に車両を自動停車させてもよい。これにより、運転者Ｄの運転集中度が継続的に低い状態にあるときに、車両の走行を停止することができる。

［学習装置］
次に、図８を用いて、学習装置２の動作例を説明する。図８は、学習装置２の処理手順の一例を例示するフローチャートである。なお、以下で説明する学習器の学習に関する処理手順は、本発明の「学習方法」に相当する。ただし、以下で説明する処理手順は一例に過ぎず、各処理は可能な限り変更されてよい。また、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。

（ステップＳ２０１）
ステップＳ２０１では、学習装置２の制御部２１は、学習データ取得部２１１として機能し、低解像度撮影画像２２３、観測情報２２４、注視状態情報２２５１、及び即応性情報２２５２の組を学習データ２２２として取得する。

学習データ２２２は、ニューラルネットワーク６に対して、運転者の運転集中度を推定可能にするための機械学習に利用するデータである。このような学習データ２２２は、例えば、カメラ３１を備える車両を用意し、運転席に着いた運転者を様々な条件で撮影し、得られる撮影画像に撮影条件（注視の状態及び即応性の程度）を紐付けることで作成することができる。このとき、低解像度撮影画像２２３は、上記ステップＳ１０３と同じ処理を当該取得した撮影画像に適用することで得ることができる。また、観測情報２２４は、上記ステップＳ１０２と同じ処理を当該取得した撮影画像に適用することで得ることができる。更に、注視状態情報２２５１及び即応性情報２２５２は、撮影画像に表れる運転者の状態の入力を適宜受け付けることで得ることができる。

なお、この学習データ２２２の作成は、オペレータ等が入力装置２４を用いて手動で行ってもよいし、プログラムの処理により自動的に行われてもよい。この学習データ２２２は、運用されている車両から随時収集されてもよい。また、学習データ２２２の作成は、学習装置２以外の他の情報処理装置により行われてもよい。学習装置２が学習データ２２２を作成する場合には、制御部２１は、本ステップＳ２０１において、学習データ２２２の作成処理を実行することで、学習データ２２２を取得することができる。一方、学習装置２以外の他の情報処理装置が学習データ２２２を作成する場合には、学習装置２は、ネットワーク、記憶媒体９２等を介して、他の情報処理装置により作成された学習データ２２２を取得することができる。更に、本ステップＳ２０１で取得する学習データ２２２の件数は、ニューラルネットワーク６の学習を行うことができるように、実施の形態に応じて適宜決定されてよい。

（ステップＳ２０２）
次のステップＳ２０２では、制御部２１は、学習処理部２１２として機能して、ステップＳ２０１で取得した学習データ２２２を用いて、低解像度撮影画像２２３及び観測情報２２４を入力すると注視状態情報２２５１及び即応性情報２２５２に対応する出力値を出力するようにニューラルネットワーク６の機械学習を実施する。

具体的には、まず、制御部２１は、学習処理を行う対象となるニューラルネットワーク６を用意する。用意するニューラルネットワーク６の構成、各ニューロン間の結合の重みの初期値、及び各ニューロンの閾値の初期値は、テンプレートにより与えられてもよいし、オペレータの入力により与えられてもよい。また、再学習を行う場合には、制御部２１は、再学習を行う対象となる学習結果データ１２２に基づいて、ニューラルネットワーク６を用意してもよい。

次に、制御部２１は、ステップＳ２０１で取得した学習データ２２２に含まれる低解像度撮影画像２２３及び観測情報２２４を入力データとして用い、注視状態情報２２５１及び即応性情報２２５２を教師データとして用いて、ニューラルネットワーク６の学習処理を行う。このニューラルネットワーク６の学習処理には、確率的勾配降下法等が用いられてよい。

例えば、制御部２１は、全結合ニューラルネットワーク６１の入力層に観測情報２２４を入力し、畳み込みニューラルネットワーク６２の最も入力側に配置された畳み込み層に低解像度撮影画像２２３を入力する。そして、制御部２１は、入力側から順に、各層に含まれる各ニューロンの発火判定を行う。これにより、制御部２１は、ＬＳＴＭネットワーク６４の出力層から出力値を得る。次に、制御部２１は、ＬＳＴＭネットワーク６４の出力層から取得した出力値それぞれと注視状態情報２２５１及び即応性情報２２５２にそれぞれ対応する値との誤差を算出する。続いて、制御部２１は、通時的誤差逆伝搬（Back propagation through time）法により、算出した出力値の誤差を用いて、各ニューロン間の結合の重み及び各ニューロンの閾値それぞれの誤差を算出する。そして、制御部２１は、算出した各誤差に基づいて、各ニューロン間の結合の重み及び各ニューロンの閾値それぞれの値の更新を行う。

制御部２１は、各件の学習データ２２２について、ニューラルネットワーク６から出力される出力値それぞれが注視状態情報２２５１及び即応性情報２２５２それぞれに対応する値と一致するまでこの一連の処理を繰り返す。これにより、制御部２１は、低解像度撮影画像２２３及び観測情報２２４を入力すると注視状態情報２２５１及び即応性情報２２５２に対応する出力値を出力するニューラルネットワーク６を構築することができる。

（ステップＳ２０３）
次のステップＳ２０３では、制御部２１は、学習処理部２１２として機能して、構築したニューラルネットワーク６の構成、各ニューロン間の結合の重み、及び各ニューロンの閾値を示す情報を学習結果データ１２２として記憶部２２に格納する。これにより、制御部２１は、本動作例に係るニューラルネットワーク６の学習処理を終了する。

なお、制御部２１は、上記ステップＳ２０３の処理が完了した後に、作成した学習結果データ１２２を自動運転支援装置１に転送してもよい。また、制御部２１は、上記ステップＳ２０１〜Ｓ２０３の学習処理を定期的に実行することで、学習結果データ１２２を定期的に更新してもよい。そして、制御部２１は、作成した学習結果データ１２２を当該学習処理の実行毎に自動運転支援装置１に転送することで、自動運転支援装置１の保持する学習結果データ１２２を定期的に更新してもよい。また、例えば、制御部２１は、作成した学習結果データ１２２をＮＡＳ（Network Attached Storage）等のデータサーバに保管してもよい。この場合、自動運転支援装置１は、このデータサーバから学習結果データ１２２を取得してもよい。

［作用・効果］
以上のように、本実施形態に係る自動運転支援装置１は、上記ステップＳ１０１からステップＳ１０３までの処理により、運転者Ｄの顔挙動情報１２４１を含む観測情報１２４と車両の運転席に着いた運転者を撮影するように配置されたカメラ３１から得られる撮影画像（低解像度撮影画像１２３１）とを取得する。そして、自動運転支援装置１は、上記ステップＳ１０４及びＳ１０５により、取得した観測情報１２４及び低解像度撮影画像１２３１を学習済みのニューラルネットワーク（ニューラルネットワーク５）の入力として用いることで、運転者Ｄの運転集中度を推定する。この学習済みのニューラルネットワークは、上記学習装置２により、低解像度撮影画像２２３、観測情報２２４、注視状態情報２２５１、及び即応性情報２２５２を含む学習データを用いて作成される。したがって、本実施形態では、運転者の運転集中度を推定する過程に、運転者Ｄの顔の挙動だけではなく、低解像度撮影画像から判別され得る運転者Ｄの身体の状態（例えば、身体の向き、姿勢等）を反映することができる。よって、本実施形態によれば、運転者Ｄの取り得る多様な状態を反映して、当該運転者Ｄの運転集中度を推定することができる。

また、本実施形態では、上記ステップＳ１０５において、注視状態情報１２５１及び即応性情報１２５２を運転集中度情報として取得する。そのため、本実施形態によれば、運転者Ｄの注視の状態及び運転に対する即応性の程度の２種類の観点で、当該運転者Ｄの運転集中度を監視することができる。加えて、本実施形態によれば、上記ステップＳ１０７において、この２種類の観点に基づいて、警告を実施することができる。

また、本実施形態では、ニューラルネットワーク（５、６）の入力として、運転者の顔挙動情報を含む観測情報（１２４、２２４）を利用している。そのため、ニューラルネットワーク（５、６）に入力するための撮影画像は、運転者の顔の挙動を判別できるほど高解像度のものでなくてもよい。そこで、本実施形態では、ニューラルネットワーク（５、６）の入力として、カメラ３１により得られる撮影画像を低解像度化した低解像度撮影画像（１２３１、２２３）を用いてもよい。これにより、ニューラルネットワーク（５、６）の演算処理の計算量を低減することができ、プロセッサの負荷を低減することができる。なお、低解像度撮影画像（１２３１、２２３）の解像度は、運転者の顔の挙動は判別できないが、運転者の姿勢に関する特徴を抽出可能な程度であるのが好ましい。

また、本実施形態に係るニューラルネットワーク５は、全結合ニューラルネットワーク５１及び畳み込みニューラルネットワーク５２を入力側に備えている。そして、上記ステップＳ１０４では、全結合ニューラルネットワーク５１に観測情報１２４を入力し、畳み込みニューラルネットワーク５２に低解像度撮影画像１２３１を入力している。これにより、各入力に適した解析を行うことができる。また、本実施形態に係るニューラルネットワーク５は、ＬＳＴＭネットワーク５４を備えている。これにより、観測情報１２４及び低解像度撮影画像１２３１に時系列データを利用し、短期的な依存関係だけでなく、長期的な依存関係を考慮して、運転者Ｄの運転集中度を推定することができる。したがって、本実施形態によれば、運転者Ｄの運転集中度の推定精度を高めることができる。

§４ 変形例
以上、本発明の実施の形態を詳細に説明してきたが、前述までの説明はあらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。例えば、以下のような変更が可能である。なお、以下では、上記実施形態と同様の構成要素に関しては同様の符号を用い、上記実施形態と同様の点については、適宜説明を省略した。以下の変形例は適宜組み合わせ可能である。

＜４．１＞
上記実施形態では、自動運転を実施可能な車両に本発明を適用した例を示した。しかしながら、本発明を適用可能な車両は、このような例に限定されなくてもよく、自動運転を実施しない車両に本発明が適用されてもよい。

＜４．２＞
上記実施形態では、注視状態情報１２５１は、運転者Ｄが運転に必要な注視を行っているか否かを２つのレベルで示し、即応性情報１２５２は、運転に対する即応性が高い状態であるか低い状態であるかを２つのレベルで示す。しかしながら、注視状態情報１２５１及び即応性情報１２５２の表現形式は、このような例に限定されなくてもよく、注視状態情報１２５１は、運転者Ｄが運転に必要な注視を行っているか否かを３つ以上のレベルで示してよく、即応性情報１２５２は、運転に対する即応性が高い状態であるか低い状態であるかを３つ以上のレベルで示してよい。

図９Ａ及び図９Ｂは、本変形例に係る注視状態情報及び即応性情報の一例を示す。図９Ａに示されるとおり、本変形例に係る注視状態情報は、各行動状態に対する注視の程度を０から１までのスコア値で定めている。例えば、図９Ａの例では、「居眠り」及び「パニック」にはスコア値「０」が割り当てられており、「前方注視」にはスコア値「１」が割り当てられており、その他の行動状態には０から１までの間のスコア値が割り当てられている。

同様に、本変形例に係る即応性情報は、各行動状態に対する即応性の程度を０から１までのスコア値で定めている。例えば、図９Ｂの例では、「居眠り」及び「パニック」にはスコア値「０」が割り当てられており、「前方注視」にはスコア値「１」が割り当てられており、その他の行動状態には０から１までの間のスコア値が割り当てられている。

このように、各行動状態に対して３種類以上のスコア値を割り当てることで、注視状態情報１２５１は、運転者Ｄが運転に必要な注視を行っているか否かを３つ以上のレベルで示してよく、即応性情報１２５２は、運転に対する即応性が高い状態であるか低い状態であるかを３つ以上のレベルで示してよい。

この場合、上記ステップＳ１０６では、制御部１１は、注視状態情報及び即応性情報のスコア値に基づいて、運転者Ｄが車両の運転に適した状態にあるか否かを判定してもよい。例えば、制御部１１は、注視状態情報のスコア値が所定の閾値よりも高いか否かに基づいて、運転者Ｄが車両の運転に適した状態にあるか否かを判定してもよい。また、例えば、制御部１１は、即応性情報のスコア値が所定の閾値よりも高いか否かに基づいて、運転者Ｄが車両の運転に適した状態にあるか否かを判定してもよい。また、例えば、制御部１１は、注視状態情報のスコア値及び即応性情報のスコア値の合計値が所定の閾値よりも高いか否かに基づいて、運転者Ｄが車両の運転に適した状態にあるか否かを判定してもよい。このとき、閾値は、適宜設定されてよい。また、制御部１１は、スコア値に応じて、警告する内容を変更してもよい。これにより、制御部１１は、段階的に警告を行うようにしてもよい。なお、このように注視状態情報及び即応性情報をスコア値で表現する場合、当該スコア値の上限値及び下限値は、実施の形態に応じて適宜設定されてよい。スコア値の上限値は「１」に限られなくてもよく、下限値は「０」に限られなくてもよい。

＜４．３＞
上記実施形態では、上記ステップＳ１０６において、注視状態情報１２５１及び即応性情報１２５２を並列に利用して、運転者Ｄの運転集中度を判定している。しかしながら、運転者Ｄが車両の運転に適した状態にあるか否かの判定において、注視状態情報１２５１及び即応性情報１２５２のいずれか一方を優先してもよい。

図１０及び図１１は、上記処理手順の変形例を示す。自動運転支援装置１は、本変形例に係る処理手順を実施することにより、車両の自動運転を制御する際に、運転者Ｄによる運転に必要な注視を少なくとも確保する。具体的には、自動運転支援装置１は、以下のとおり、車両の自動運転を制御する。

（ステップＳ３０１）
ステップＳ３０１では、制御部１１は、車両の自動運転を開始する。例えば、制御部１１は、上記実施形態と同様に、ナビゲーション装置３０から地図情報、周辺情報、及びＧＰＳ情報を取得して、取得した地図情報、周辺情報、及びＧＰＳ情報に基づいて車両の自動運転を実施する。車両の自動運転を開始すると、制御部１１は、次のステップＳ３０２に処理を進める。

（ステップＳ３０２〜Ｓ３０６）
ステップＳ３０２〜Ｓ３０６は、上記ステップＳ１０１〜Ｓ１０５と同様である。すなわち、ステップＳ３０２〜Ｓ３０６の処理の結果、制御部１１は、ニューラルネットワーク５から注視状態情報１２５１及び即応性情報１２５２を取得する。注視状態情報１２５１及び即応性情報１２５２を取得すると、制御部１１は、次のステップＳ３０７に処理を進める。

（ステップＳ３０７）
ステップＳ３０７では、制御部１１は、ステップＳ３０６で取得した即応性情報１２５２に基づいて、運転者Ｄの運転に対する即応性が低い状態にあるか否かを判定する。即応性情報１２５２が、運転者Ｄは運転に対する即応性の低い状態にあることを示す場合、制御部１１は、次のステップＳ３１０に処理を進める。他方、即応性情報１２５２が、運転者Ｄは運転に対する即応性の高い状態にあることを示す場合、制御部１１は、次のステップＳ３０８に処理を進める。

（ステップＳ３０８）
ステップＳ３０８では、制御部１１は、ステップＳ３０６で取得した注視状態情報１２５１に基づいて、運転者Ｄが運転に必要な注視を行っているか否かを判定する。注視状態情報１２５１が、運転者Ｄは運転に必要な注視を行っていないことを示す場合、運転者Ｄは、運転に対する即応性の高い状態にあるが、運転に必要な注視は行っていない状態にあることになる。この場合、制御部１１は、次のステップＳ３０９に処理を進める。

他方、注視状態情報１２５１が、運転者Ｄは運転に必要な注視を行っていることを示す場合、運転者Ｄは、運転に対する即応性の高い状態にあり、かつ運転に必要な注視を行っている状態にあることになる。この場合、制御部１１は、ステップＳ３０２に処理を戻して、車両の自動運転を実施したまま、運転者Ｄの監視を継続する。

（ステップＳ３０９）
ステップＳ３０９では、制御部１１は、警告部１１５として機能し、運転に対する即応性の高い状態にあるが、運転に必要な注視は行っていない状態にあると判定された運転者Ｄに対して、「進行方向を見て下さい」との音声を警告としてスピーカ３３から出力する。これにより、制御部１１は、運転に必要な注視を行うように運転者Ｄに促す。当該警告が完了すると、制御部１１は、ステップＳ３０２に処理を戻す。これにより、制御部１１は、車両の自動運転を実施したまま、運転者Ｄの監視を継続する。

（ステップＳ３１０）
ステップＳ３１０では、制御部１１は、ステップＳ３０６で取得した注視状態情報１２５１に基づいて、運転者Ｄが運転に必要な注視を行っているか否かを判定する。注視状態情報１２５１が、運転者Ｄは運転に必要な注視を行っていないことを示す場合、運転者Ｄは、運転に対する即応性の低い状態にあり、かつ運転に必要な注視を行っていない状態にあることになる。この場合、制御部１１は、次のステップＳ３１１に処理を進める。

他方、注視状態情報１２５１が、運転者Ｄは運転に必要な注視を行っていることを示す場合、運転者Ｄは、運転に対する即応性の低い状態にあるが、運転に必要な注視は行っている状態にあることになる。この場合、制御部１１は、次のステップＳ３１３に処理を進める。

（ステップＳ３１１及びＳ３１２）
ステップＳ３１１では、制御部１１は、警告部１１５として機能し、運転に対する即応性の低い状態にあり、かつ運転に必要な注視を行っていない状態にあると判定された運転者Ｄに対して、「今すぐ、進行方向を見て下さい」との音声を警告としてスピーカ３３から出力する。これにより、制御部１１は、少なくとも運転に必要な注視を行うように運転者Ｄに促す。当該警告を実施した後、制御部１１は、ステップＳ３１２により、第１時間分だけ待機する。そして、第１時間分の待機が完了した後、制御部１１は、次のステップＳ３１５に処理を進める。なお、第１時間の具体的な値は、実施の形態に応じて適宜設定されてよい。

（ステップＳ３１３及びＳ３１４）
ステップＳ３１３では、制御部１１は、警告部１１５として機能し、運転に対する即応性の低い状態にあるが、運転に必要な注視は行っている状態にあると判定された運転者Ｄに対して、「運転可能な態勢に戻って下さい」との音声を警告としてスピーカ３３から出力する。これにより、制御部１１は、運転に対する即応性の高い状態をとるように運転者Ｄに促す。当該警告を実施した後、制御部１１は、ステップＳ３１４により、上記第１時間よりも長い第２時間分だけ待機する。運転者Ｄが、運転に対する即応性の低い状態にあり、かつ運転に必要な注視を行っていない状態にあると判定されたことで上記ステップＳ３１２を実施する場面とは異なり、本ステップＳ３１４を実施する場面では、運転者Ｄは、運転に必要な注視は行っている状態にあると判定されている。そのため、制御部１１は、本ステップＳ３１４では、上記ステップＳ３１２よりも長い時間待機する。そして、第２時間分の待機が完了した後、制御部１１は、次のステップＳ３１５に処理を進める。なお、第２時間の具体的な値は、第１時間よりも長ければ、実施の形態に応じて適宜設定されてよい。

（ステップＳ３１５〜Ｓ３１９）
ステップＳ３１５〜Ｓ３１９は、上記ステップＳ３０２〜Ｓ３０６と同様である。すなわち、ステップＳ３１５〜Ｓ３１９の処理の結果、制御部１１は、ニューラルネットワーク５から注視状態情報１２５１及び即応性情報１２５２を取得する。注視状態情報１２５１及び即応性情報１２５２を取得すると、制御部１１は、次のステップＳ３２０に処理を進める。

（ステップＳ３２０）
ステップＳ３２０では、ステップＳ３１９で取得した注視状態情報１２５１に基づいて、運転者Ｄが運転に必要な注視を行っているか否かを判定する。注視状態情報１２５１が、運転者Ｄは運転に必要な注視を行っていないことを示す場合、運転者Ｄによる運転に必要な注視が確保できなかったことになる。この場合、制御部１１は、自動運転の停止に向けて、次のステップＳ３２１に処理を進める。

他方、注視状態情報１２５１が、運転者Ｄは運転に必要な注視を行っていることを示す場合、運転者Ｄによる運転に必要な注視は確保できていることになる。この場合、制御部１１は、ステップＳ３０２に処理を戻して、車両の自動運転を実施したまま、運転者Ｄの監視を継続する。

（ステップＳ３２１〜Ｓ３２３）
ステップＳ３２１では、制御部１１は、地図情報、周辺情報及びＧＰＳ情報を参照して、車両を安全に停止可能な場所に停車区間を設定する。次のステップＳ３２２では、制御部１１は、車両を停止する旨を運転者Ｄに伝えるための警告を実施する。そして、次のステップＳ３２３では、制御部１１は、設定した停車区間に車両を自動停車させる。これにより、制御部１１は、本変形例に係る自動運転の処理手順を終了する。

以上のように、自動運転支援装置１は、車両の自動運転を制御する際に、運転者Ｄによる運転に必要な注視を少なくとも確保するようにしてもよい。すなわち、運転者Ｄが車両の運転に適した状態にあるか否かの判定において（本変形例では、自動運転を継続するか否かの要因として）、即応性情報１２５２よりも、注視状態情報１２５１を優先してもよい。これにより、運転者Ｄの状態を多段階に分けて推定し、これに応じて、自動運転を制御することができる。なお、優先する情報は、注視状態情報１２５１ではなくて、即応性情報１２５２であってもよい。

＜４．４＞
上記実施形態では、自動運転支援装置１は、上記ステップＳ１０５において、注視状態情報１２５１及び即応性情報１２５２を運転集中度情報１２５として取得する。しかしながら、運転集中度情報１２５は、このような例に限定されなくてもよく、実施の形態に応じて適宜設定されてよい。

例えば、注視状態情報１２５１及び即応性情報１２５２のうちいずれか一方は省略されてもよい。この場合、上記ステップＳ１０６では、制御部１１は、注視状態情報１２５１又は即応性情報１２５２に基づいて、運転者Ｄが車両の運転に適した状態にあるか否かを判定してもよい。

また、例えば、運転集中度情報１２５は、注視状態情報１２５１及び即応性情報１２５２以外の情報を含んでもよい。例えば、運転集中度情報１２５は、運転者Ｄが運転席にいるか否かを示す情報、運転者Ｄの手がハンドルに置かれているか否かを示す情報、運転者Ｄの足がペダルに置かれているか否かを示す情報等を含んでもよい。

また、例えば、運転集中度情報１２５は、運転者Ｄの運転集中度そのものを数値で表してもよい。この場合、上記ステップＳ１０６では、制御部１１は、運転集中度情報１２５の示す数値が所定の閾値よりも高いか否かによって、運転者Ｄが車両の運転に適した状態にあるか否かを判定してもよい。

また、例えば、図１２に示されるとおり、上記自動運転支援装置１は、上記ステップＳ１０５において、運転者Ｄの運転集中度にそれぞれ対応して設定された複数の所定の行動状態のうちから運転者Ｄの取っている行動状態を示す行動状態情報を運転集中度情報１２５として取得してもよい。

図１２は、本変形例に係る自動運転支援装置１Ａの機能構成の一例を模式的に例示する。自動運転支援装置１Ａは、ニューラルネットワーク５の出力として行動状態情報１２５３を取得する点を除き、上記自動運転支援装置１と同様に構成される。運転者Ｄの推定対象となる複数の所定の行動状態は、実施の形態に応じて適宜決定されてよい。例えば、上記実施形態と同様に、「前方注視」、「計器確認」、「ナビゲーション確認」、「喫煙」、「飲食」、「通話」、「脇見」、「後方振り返り」、「眠気」、「居眠り」、「携帯電話操作」及び「パニック」が、推定対象となる複数の所定の行動状態に設定されてよい。これにより、本変形例に係る自動運転支援装置１Ａは、上記ステップＳ１０１〜Ｓ１０５の処理によって、運転者Ｄの行動状態を推定することができる。

なお、行動状態情報１２５３を運転者集中度情報として取得する場合、自動運転支援装置１Ａは、行動状態情報１２５３に基づいて、運転者Ｄの注視の状態及び運転に対する即応性の程度を特定することで、注視状態情報１２５１及び即応性情報１２５２を取得してもよい。運転者Ｄの注視の状態及び運転に対する即応性の程度の特定には、上記図５Ａ及び図５Ｂ又は図９Ａ及び図９Ｂの基準を利用することができる。すなわち、自動運転支援装置１Ａの制御部１１は、上記ステップＳ１０５において、行動状態情報１２５３を取得した後、上記図５Ａ及び図５Ｂ又は図９Ａ及び図９Ｂの基準に従って、運転者Ｄの注視の状態及び運転に対する即応性の程度を特定してもよい。この場合、例えば、行動状態情報１２５３が「喫煙」を示すときに、制御部１１は、運転者が、運転に必要な注視を行っており、かつ運転に対する即応性の低い状態にあると特定することができる。

＜４．５＞
上記実施形態では、上記ステップＳ１０４において、低解像度撮影画像１２３１をニューラルネットワーク５に入力している。しかしながら、ニューラルネットワーク５に入力する撮影画像は、このような例に限定されなくてもよい。制御部１１は、ステップＳ１０１で取得した撮影画像１２３をそのままニューラルネットワーク５に入力してもよい。なお、この場合、上記処理手順において、ステップＳ１０３は省略されてよい。また、上記自動運転支援装置１の機能構成において、解像度変換部１１３は省略されてよい。

また、上記実施形態では、制御部１１は、ステップＳ１０２による観測情報１２４を取得した後、ステップＳ１０３による撮影画像１２３の低解像度化の処理を実行している。しかしながら、ステップＳ１０２及びＳ１０３の処理順序は、このような例に限定されなくてもよく、ステップＳ１０３の処理を実行した後に、制御部１１は、ステップＳ１０２の処理を実行してもよい。

＜４．６＞
上記実施形態では、図４及び図６に示されるとおり、運転者Ｄの運転集中度の推定に利用するニューラルネットワークは、全結合ニューラルネットワーク、畳み込みニューラルネットワーク、結合層、及びＬＳＴＭネットワークを備えている。しかしながら、運転者Ｄの運転集中度の推定に利用するニューラルネットワークの構成は、このような例に限定されなくてもよく、実施の形態に応じて適宜決定されてよい。例えば、ＬＳＴＭネットワークは省略されてもよい。

＜４．７＞
上記実施形態では、運転者Ｄの運転集中度の推定に利用する学習器として、ニューラルネットワークを用いている。しかしながら、学習器の種類は、観測情報１２４及び低解像度撮影画像１２３１を入力として利用可能であれば、ニューラルネットワークに限られなくてもよく、実施の形態に応じて適宜選択されてよい。利用可能な学習器として、例えば、サポートベクターマシン、自己組織化マップ、強化学習により学習を行う学習器等を挙げることができる。

＜４．８＞
上記実施形態では、制御部１１は、ステップＳ１０４において、観測情報１２４及び低解像度撮影画像１２３１をニューラルネットワーク５に入力している。しかしながら、ニューラルネットワーク５の入力は、このような例に限定されなくてもよく、観測情報１２４及び低解像度撮影画像１２３１以外の情報が、ニューラルネットワーク５に入力されてもよい。

図１３は、本変形例に係る自動運転支援装置１Ｂの機能構成の一例を模式的に例示する。自動運転支援装置１Ｂは、運転者Ｄの運転に対する集中度に影響を与える因子に関する影響因子情報１２６をニューラルネットワーク５に更に入力する点を除き、上記自動運転支援装置１と同様に構成される。影響因子情報１２６は、例えば、車両の走行速度を示す速度情報、車両の周辺環境の状態を示す周辺環境情報（レーダの測定結果、カメラの撮影画像）、天候を示す天候情報等である。

影響因子情報１２６が数値データで示される場合、自動運転支援装置１Ｂの制御部１１は、上記ステップＳ１０４において、ニューラルネットワーク５の全結合ニューラルネットワーク５１に影響因子情報１２６を入力してもよい。また、影響因子情報１２６が画像データで示される場合、制御部１１は、上記ステップＳ１０４において、ニューラルネットワーク５の畳み込みニューラルネットワーク５２に影響因子情報１２６を入力してもよい。

当該変形例では、観測情報１２４及び低解像度撮影画像１２３１の他に、影響因子情報１２６を更に利用することにより、運転者Ｄの運転集中度に影響を与える因子を上記推定処理に反映することができる。これによって、当該変形例によれば、運転者Ｄの運転集中度の推定精度を高めることができる。

なお、制御部１１は、この影響因子情報１２６に基づいて、上記ステップＳ１０６における判定基準を変更してもよい。例えば、上記変形例＜４．２＞のとおり、注視状態情報１２５１及び即応性情報１２５２がスコア値で示される場合に、制御部１１は、影響因子情報１２６に基づいて、上記ステップＳ１０６の判定に利用する閾値を変更してもよい。一例として、制御部１１は、速度情報の示す車両の走行速度が大きくなるほど、運転者Ｄが車両の運転に適した状態にあると判定するための閾値の値を大きくしてもよい。

また、上記実施形態では、観測情報１２４は、顔挙動情報１２４１の他に、生体情報１２４２を含んでいる。しかしながら、観測情報１２４の構成は、このような例に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。例えば、生体情報１２４２は省略されてもよい。また、例えば、観測情報１２４は、生体情報１２４２以外の情報を含んでいてもよい。

（付記１）
ハードウェアプロセッサと、
前記ハードウェアプロセッサで実行するプログラムを保持するメモリと、
を備える運転者監視装置であって、
前記ハードウェアプロセッサは、前記プログラムを実行することにより、
車両の運転席に着いた運転者を撮影するように配置された撮影装置から撮影画像を取得する画像取得ステップと、
前記運転者の顔の挙動に関する顔挙動情報を含む前記運転者の観測情報を取得する観測情報取得ステップと、
前記運転者の運転に対する集中の程度を推定するための学習を行った学習済みの学習器に、前記撮影画像及び前記観測情報を入力することで、前記運転者の運転に対する集中の程度に関する運転集中度情報を当該学習器から取得する推定ステップと、
を実行するように構成される、
運転者監視装置。

（付記２）
ハードウェアプロセッサにより、車両の運転席に着いた運転者を撮影するように配置された撮影装置から撮影画像を取得する画像取得ステップと、
ハードウェアプロセッサにより、前記運転者の顔の挙動に関する顔挙動情報を含む当該運転者の観測情報を取得する観測情報取得ステップと、
ハードウェアプロセッサにより、前記運転者の運転に対する集中の程度を推定するための学習を行った学習済みの学習器に、前記撮影画像及び前記観測情報を入力することで、前記運転者の運転に対する集中の程度に関する運転集中度情報を当該学習器から取得する推定ステップと、
を備える、
運転者監視方法。

（付記３）
ハードウェアプロセッサと、
前記ハードウェアプロセッサで実行するプログラムを保持するメモリと、
を備える学習装置であって、
前記ハードウェアプロセッサは、前記プログラムを実行することにより、
車両の運転席に着いた運転者を撮影するように配置された撮影装置から取得される撮影画像、当該運転者の顔の挙動に関する顔挙動情報を含む当該運転者の観測情報、及び当該運転者の運転に対する集中の程度に関する運転集中度情報の組を学習データとして取得する学習データ取得ステップと、
前記撮影画像及び前記観測情報を入力すると前記運転集中度情報に対応する出力値を出力するように学習器を学習させる学習処理ステップと、
を実施するように構成される、
学習装置。

（付記４）
ハードウェアプロセッサにより、車両の運転席に着いた運転者を撮影するように配置された撮影装置から取得される撮影画像、当該運転者の顔の挙動に関する顔挙動情報を含む当該運転者の観測情報、及び当該運転者の運転に対する集中の程度に関する運転集中度情報の組を学習データとして取得する学習データ取得ステップと、
ハードウェアプロセッサにより、前記撮影画像及び前記観測情報を入力すると前記運転集中度情報に対応する出力値を出力するように学習器を学習させる学習処理ステップと、
を備える、
学習方法。

１…自動運転支援装置、
１１…制御部、１２…記憶部、１３…外部インタフェース、
１１１…画像取得部、１１２…観測情報取得部、
１１３…解像度変換部、１１４…運転状態推定部、
１１５…警告部、
１２１…プログラム、１２２…学習結果データ、
１２３…撮影画像、１２３１…低解像度撮影画像、
１２４…観測情報、１２４１…顔挙動情報、１２４２…生体情報、
１２５…運転集中度情報、
１２５１…注視状態情報、１２５２…即応性情報、
２…学習装置、
２１…制御部、２２…記憶部、２３…通信インタフェース、
２４…入力装置、２５…出力装置、２６…ドライブ、
２１１…学習データ取得部、２１２…学習処理部、
２２１…学習プログラム、２２２…学習データ、
２２３…低解像度撮影画像、２２４…観測情報、
２２５１…注視状態情報、２２５２…即応性情報、
３０…ナビゲーション装置、３１…カメラ、３２…生体センサ、
３３…スピーカ、
５…ニューラルネットワーク、
５１…全結合ニューラルネットワーク、
５１１…入力層、５１２…中間層（隠れ層）、５１３…出力層、
５２…畳み込みニューラルネットワーク、
５２１…畳み込み層、５２２…プーリング層、
５２３…全結合層、５２４…出力層、
５３…結合層、
５４…ＬＳＴＭネットワーク（再帰型ニューラルネットワーク）、
５４１…入力層、５４２…ＬＳＴＭブロック、５４３…出力層、
６…ニューラルネットワーク、
６１…全結合ニューラルネットワーク、
６２…畳み込みニューラルネットワーク、６３…結合層、
６４…ＬＳＴＭネットワーク、
９２…記憶媒体

Claims (24)

1. 車両の運転席に着いた運転者の身体を撮影可能に配置された撮影装置から撮影画像を取得する画像取得部と、
   前記運転者の顔の挙動に関する顔挙動情報を含む前記運転者の観測情報を取得する観測情報取得部と、
   前記運転者の運転に対する集中の程度を推定するための機械学習であって、前記撮影画像及び前記観測情報を入力すると、運転に対する集中の程度に関する運転集中度情報に対応する出力値を出力するように機械学習を行った学習済みの学習器に、前記画像取得部及び前記観測情報取得部により取得した前記撮影画像及び前記観測情報を入力し、前記学習済みの学習器の演算処理を実行することで、前記運転者の運転集中度情報を当該学習器から取得する運転者状態推定部と、
   を備える、
   運転者監視装置。
2. 前記運転者状態推定部は、前記運転集中度情報として、前記運転者の注視の状態を示す注視状態情報、及び前記運転者の運転に対する即応性の程度を示す即応性情報を取得する、
   請求項１に記載の運転者監視装置。
3. 前記注視状態情報は、前記運転者の注視の状態を複数のレベルで段階的に示し、
   前記即応性情報は、前記運転者の運転に対する即応性の程度を複数のレベルで段階的に示す、
   請求項２に記載の運転者監視装置。
4. 前記注視状態情報の示す前記運転者の注視のレベル及び前記即応性情報の示す前記運転者の即応性のレベルに応じて、車両の運転に適した状態をとるように前記運転者に促す警告を段階的に行う警告部を更に備える、
   請求項３に記載の運転者監視装置。
5. 前記運転者状態推定部は、前記運転集中度情報として、前記運転者の運転に対する集中の程度にそれぞれ対応して設定された複数の所定の行動状態のうちから前記運転者の取っている行動状態を示す行動状態情報を取得する、
   請求項１から４のいずれか１項に記載の運転者監視装置。
6. 前記観測情報取得部は、取得した前記撮影画像に対して所定の画像解析を行うことで、前記運転者の顔の検出可否、顔の位置、顔の向き、顔の動き、視線の方向、顔の器官の位置、及び目の開閉の少なくともいずれか１つに関する情報を前記顔挙動情報として取得する、
   請求項１から５のいずれか１項に記載の運転者監視装置。
7. 取得した前記撮影画像の解像度を低下させる解像度変換部を更に備え、
   前記運転者状態推定部は、解像度を低下させた前記撮影画像を前記学習器に入力する、
   請求項１から６のいずれか１項に記載の運転者監視装置。
8. 前記学習器は、前記前記観測情報を入力する全結合ニューラルネットワークと、前記撮影画像を入力する畳み込みニューラルネットワークと、当該全結合ニューラルネットワークの出力及び当該畳み込みニューラルネットワークの出力を結合する結合層と、を備える、
   請求項１から７のいずれか１項に記載の運転者監視装置。
9. 前記学習器は、前記結合層からの出力を入力する再帰型ニューラルネットワークを更に備える、
   請求項８に記載の運転者監視装置。
10. 前記再帰型ニューラルネットワークは、長期短期記憶ブロックを含む、
    請求項９に記載の運転者監視装置。
11. 前記運転者状態推定部は、前記運転者の運転に対する集中度に影響を与える因子に関する影響因子情報を前記学習器に更に入力する、
    請求項１から１０のいずれか１項に記載の運転者監視装置。
12. コンピュータが、
    車両の運転席に着いた運転者の身体を撮影可能に配置された撮影装置から撮影画像を取得する画像取得ステップと、
    前記運転者の顔の挙動に関する顔挙動情報を含む当該運転者の観測情報を取得する観測情報取得ステップと、
    前記運転者の運転に対する集中の程度を推定するための機械学習であって、前記撮影画像及び前記観測情報を入力すると、運転に対する集中の程度に関する運転集中度情報に対応する出力値を出力するように機械学習を行った学習済みの学習器に、前記画像取得ステップ及び前記観測情報取得ステップにより取得した前記撮影画像及び前記観測情報を入力し、前記学習済みの学習器の演算処理を実行することで、前記運転者の運転集中度情報を当該学習器から取得する推定ステップと、
    を実行する、
    運転者監視方法。
13. 前記推定ステップでは、前記コンピュータは、前記運転集中度情報として、前記運転者の注視の状態を示す注視状態情報、及び前記運転者の運転に対する即応性の程度を示す即応性情報を取得する、
    請求項１２に記載の運転者監視方法。
14. 前記注視状態情報は、前記運転者の注視の状態を複数のレベルで段階的に示し、
    前記即応性情報は、前記運転者の運転に対する即応性の程度を複数のレベルで段階的に示す、
    請求項１３に記載の運転者監視方法。
15. 前記コンピュータは、前記注視状態情報の示す前記運転者の注視のレベル及び前記即応性情報の示す前記運転者の即応性のレベルに応じて、車両の運転に適した状態をとるように前記運転者に促す警告を段階的に行う警告ステップを更に実行する、
    請求項１４に記載の運転者監視方法。
16. 前記推定ステップでは、前記コンピュータは、前記運転集中度情報として、前記運転者の運転に対する集中の程度にそれぞれ対応して設定された複数の所定の行動状態のうちから前記運転者の取っている行動状態を示す行動状態情報を取得する、
    請求項１２から１５のいずれか１項に記載の運転者監視方法。
17. 前記観測情報取得ステップでは、前記コンピュータは、前記画像取得ステップで取得した前記撮影画像に対して所定の画像解析を行うことで、前記運転者の顔の検出可否、顔の位置、顔の向き、顔の動き、視線の方向、顔の器官の位置、及び目の開閉の少なくともいずれか１つに関する情報を前記顔挙動情報として取得する、
    請求項１２から１６のいずれか１項に記載の運転者監視方法。
18. 前記コンピュータは、取得した前記撮影画像の解像度を低下させる解像度変換ステップを更に実行し、
    前記推定ステップでは、前記コンピュータは、解像度を低下させた前記撮影画像を前記学習器に入力する、
    請求項１２から１７のいずれか１項に記載の運転者監視方法。
19. 前記学習器は、前記前記観測情報を入力する全結合ニューラルネットワークと、前記撮影画像を入力する畳み込みニューラルネットワークと、当該全結合ニューラルネットワークの出力及び当該畳み込みニューラルネットワークの出力を結合する結合層と、を備える、
    請求項１２から１８のいずれか１項に記載の運転者監視方法。
20. 前記学習器は、前記結合層からの出力を入力する再帰型ニューラルネットワークを更に備える、
    請求項１９に記載の運転者監視方法。
21. 前記再帰型ニューラルネットワークは、長期短期記憶ブロックを含む、
    請求項２０に記載の運転者監視方法。
22. 前記推定ステップでは、前記コンピュータは、前記運転者の運転に対する集中度に影響を与える因子に関する影響因子情報を前記学習器に更に入力する、
    請求項１２から２１のいずれか１項に記載の運転者監視方法。
23. 車両の運転席に着いた運転者の身体を撮影可能に配置された撮影装置から取得される撮影画像、当該運転者の顔の挙動に関する顔挙動情報を含む当該運転者の観測情報、及び当該運転者の運転に対する集中の程度に関する運転集中度情報の組を学習データとして取得する学習データ取得部と、
    前記撮影画像及び前記観測情報を入力すると前記運転集中度情報に対応する出力値を出力するように学習器を機械学習させる学習処理部と、
    を備える、
    学習装置。
24. コンピュータが、
    車両の運転席に着いた運転者の身体を撮影可能に配置された撮影装置から取得される撮影画像、当該運転者の顔の挙動に関する顔挙動情報を含む当該運転者の観測情報、及び当該運転者の運転に対する集中の程度に関する運転集中度情報の組を学習データとして取得する学習データ取得ステップと、
    前記撮影画像及び前記観測情報を入力すると前記運転集中度情報に対応する出力値を出力するように学習器を機械学習させる学習処理ステップと、
    を実行する、
    学習方法。