JP6264494B1 - 運転者監視装置、運転者監視方法、学習装置及び学習方法 - Google Patents

Abstract

【課題】運転者の脚部が運転操作を行える状態にあるか否かに関する指標を得るための技術を提供する。【解決手段】本発明の一側面に係る運転者監視装置は、車両の運転席に着いた運転者の脚部を撮影可能に配置された撮影装置から撮影画像を取得する画像取得部と、前記運転者の脚部の運転に対する即応性の程度を推定するための機械学習を行った学習済みの学習器に前記撮影画像を入力することで、前記運転者の脚部の運転に対する即応性の程度を示す脚部即応性情報を当該学習器から取得する即応性推定部と、を備える。【選択図】図４

Description

本発明は、運転者監視装置、運転者監視方法、学習装置及び学習方法に関する。

近年、運転の安全性を高めるために、居眠り、体調の急変等の運転者の状態を監視する技術の開発が進んでいる。また、自動車の自動運転の実現に向けた動きが加速している。自動運転は、システムにより自動車の走行を制御するものであるが、システムに代わって運転者が運転しなければならない場面もあり得ることから、自動運転中であっても、運転者が運転操作を行える状態にあるか否かを監視する必要性があるとされている。この自動運転中に運転者の状態を監視する必要性があることは、国連欧州経済委員会（ＵＮ−ＥＣＥ）の政府間会合（ＷＰ２９）においても確認されている。この点からも、運転者の状態を監視する技術の開発が進められている。

運転者の状態を推定する技術として、例えば、特許文献１では、まぶたの開閉、視線の動き、又はハンドル角のふらつきから運転者の実集中度を検出する方法が提案されている。この方法では、検出した実集中度と車両の周辺環境情報から算出した要求集中度とを比較することで、要求集中度に対して実集中度が十分であるか否かを判定する。そして、要求集中度に対して実集中度が不十分であると判定した場合には、自動運転の走行速度を低速にする。これにより、特許文献１の方法によれば、クルーズ制御を行っている際の安全性を高めることができる。

また、例えば、特許文献２では、開口行動及び口の周りの筋肉の状態に基づいて、運転者の眠気を判定する方法が提案されている。この方法では、運転者が開口行動を実施していない場合に、弛緩状態である筋肉の数に応じて運転者に生じている眠気のレベルを判定する。したがって、特許文献２の方法によれば、眠気により無意識に生じる現象に基づいて、運転者の眠気のレベルを判定しているため、眠気が生じていることを検出する検出精度を高めることができる。

また、例えば、特許文献３では、運転者のまぶたの動きが生じた後に、顔向き角度の変化が生じたか否かに基づいて、当該運転者の眠気を判定する方法が提案されている。特許文献３の方法によれば、下方視の状態を眠気の高い状態と誤検出する可能性を低減することで、眠気検出の精度を高めることができる。

また、例えば、特許文献４では、運転者の所持する免許証内の顔写真と運転者を撮影した撮影画像とを比較することで、運転者の眠気度及び脇見度を判定する方法が提案されている。特許文献４の方法によれば、免許証内の顔写真を運転者の覚醒時の正面画像として取り扱って、当該顔写真と撮影画像との特徴量を比較することで、運転者の眠気度及び脇見度を判定することができる。

また、例えば、特許文献５では、運転者の視線の状態に基づいて、当該運転者の集中度を判定する方法が提案されている。具体的には、運転者の視線を検出し、検出した視線が注視領域に停留する停留時間を測定する。そして、停留時間が閾値を超えた場合に、運転者の集中度が低下したと判定する。特許文献５の方法によれば、視線に関連する少ない画素値の変化により運転者の集中度を判定することができる。そのため、運転者の集中度の判定を少ない計算量で行うことができる。

また、例えば、特許文献６では、運転者のハンドル把持情報及び視線方向情報に基づいて、運転者が携帯端末を操作しているか否かを判定する方法が提案されている。特許文献６の方法によれば、車両の運転中に運転者が携帯端末を操作していると判定される場合に、当該携帯端末の機能を制限することで、当該運転者が車両を運転する際の安全性を確保することができる。

特開２００８−２１３８２３号公報 特開２０１０−１２２８９７号公報 特開２０１１−０４８５３１号公報 特開２０１２−０８４０６８号公報 特開２０１４−１９１４７４号公報 特開２０１４−１０６５７３号公報

従来の方法では、運転者の集中度、眠気度、脇見度、又は携帯端末の操作の有無という観点で、解析時点において運転者が運転に適した状態にあるか否かという運転者の状態を推定している。しかしながら、自動運転機能を搭載した車両では、運転者は、自動運転中に様々な行動を取る可能性がある。このような車両では、自動運転から手動運転に切り替える際に、運転者が運転操作を行える準備状態にあるか否か、換言すると、運転者が車両の運転を手動で行える状態にあるか否かを検知することが重要になると想定される。例えば、視線等の情報に基づいて解析時点において運転者が運転に適している状態と従来の方法で判定可能な場合であっても、脚を組んでいる等の脚部の状態によっては、運転者が運転操作を行える状態にないケースがあり得る。従来の方法では、このようなケースにおいて、運転者が運転操作を行える状態にあるか否かに関する指標を得ることが困難である。

本発明は、一側面では、このような実情を鑑みてなされたものであり、その目的は、運転者の脚部が運転操作を行える状態にあるか否かに関する指標を得るための技術を提供することである。

本発明は、上述した課題を解決するために、以下の構成を採用する。

すなわち、本発明の一側面に係る運転者監視装置は、車両の運転席に着いた運転者の脚部を撮影可能に配置された撮影装置から撮影画像を取得する画像取得部と、前記運転者の脚部の運転に対する即応性の程度を推定するための機械学習を行った学習済みの学習器に前記撮影画像を入力することで、前記運転者の脚部の運転に対する即応性の程度を示す脚部即応性情報を当該学習器から取得する即応性推定部と、を備える。

当該構成では、機械学習により得られる学習済みの学習器を利用して、運転者の脚部の運転に対する即応性を推定する。具体的には、車両の運転席に着いた運転者の脚部を撮影可能に配置された撮影装置から撮影画像を取得する。そして、運転者の脚部の運転に対する即応性の程度を推定するための機械学習を行った学習済みの学習器に当該撮影画像を入力することで、運転者の脚部の運転に対する即応性の程度を示す脚部即応性情報を取得する。

ここで、「即応性」の程度とは、運転に対する準備状態の程度、換言すると、運転者が車両の運転を手動で行える状態にあるか否かの度合いを示す。より詳細には、「即応性」の程度は、運転者が車両の手動運転に直ちに対応可能か否かの度合いを示す。したがって、当該構成によれば、運転者の脚部が運転操作を行える状態にあるか否かに関する指標を脚部即応性情報として得ることができる。これにより、自動運転モードで車両が走行している際に、運転者の脚部が運転操作に直ちに対応可能かどうかを推定する精度を向上させることができる。

なお、「機械学習」とは、データ（学習データ）に潜むパターンをコンピュータにより見つけ出すことであり、「学習器」は、そのような機械学習により所定のパターンを識別する能力を獲得可能な学習モデルにより構築される。この学習器の種類は、撮影画像に基づいて運転者の脚部の運転に対する即応性の程度を推定する能力を学習可能であれば、特に限定されなくてもよい。「学習済み学習器」は、「識別器」又は「分類器」と称されてもよい。

また、撮影装置が「車両の運転席に着いた運転者の脚部を撮影可能に配置される」とは、例えば、少なくとも運転席下方を撮影範囲とするように配置される等、運転操作時に運転者の脚部の少なくとも一部が位置すべき範囲を撮影範囲としてカバーするように撮影装置が配置されることである。そのため、運転者が、離席している、座席上で座禅を組んでいる等の状況では、運転者の脚部を撮影装置により捕捉できない可能性があり、このようなケースでは、撮影装置から得られる撮影画像には必ずしも運転者の脚部が写っている必要はない。

上記一側面に係る運転者監視装置は、自動的に運転操作を行う自動運転モードと運転者の手動により運転操作を行う手動運転モードとを選択的に実施可能に構成された前記車両に対して、前記自動運転モードが実施されている際に、前記脚部即応性情報により示される前記運転者の脚部の運転に対する即応性が所定の条件を満たす場合に、前記自動運転モードから前記手動運転モードに切り替える指示を出力する切替指示部を更に備えてもよい。当該構成によれば、運転者の脚部の即応性に応じて自動運転から手動運転に動作を切り替え可能な車両を提供することができる。

上記一側面に係る運転者監視装置において、前記切替指示部は、前記自動運転モードが実施されている際に、前記脚部即応性情報により示される前記運転者の右脚の運転に対する即応性が所定の条件を満たす場合に、前記自動運転モードから前記手動運転モードに切り替える指示を出力してもよい。車両のペダル操作は一般的に右脚で行われる。当該構成によれば、運転者の右脚の即応性に応じて自動運転から手動運転に動作を切り替え可能な車両を提供することができる。

上記一側面に係る運転者監視装置において、前記脚部即応性情報は、前記運転者の脚部の運転に対する即応性の程度を３つ以上のレベルで段階的に示すように構成されてよい。当該構成によれば、運転者の脚部の即応性を段階的に表現することができ、これによって、運転者状態の推定結果の利用性が向上する。

上記一側面に係る運転者監視装置において、前記脚部即応性情報は、前記運転者の脚部の屈曲状態に応じて、前記運転者の脚部の運転に対する即応性の程度を３つ以上のレベルで段階的に示してもよい。「屈曲状態」は、脚部の関節の屈曲度、屈曲方向等で定まる。運転者の脚部が伸びている場合には、当該運転者はペダル操作をすぐにでも行うことができるため、運転に対する即応性が高い状態にあると想定される。一方、座禅を組む等により運転者の膝が０度に近い状態まで折れ曲がっている場合には、当該運転者はペダル操作をすぐには行えないため、運転に対する即応性が低い状態にあると想定される。当該構成によれば、このような運転者の脚部の屈曲状態を適切に反映して、運転者の脚部の運転に対する即応性を評価することができる。

上記一側面に係る運転者監視装置は、前記脚部即応性情報の示す前記運転者の脚部の運転に対する即応性のレベルに応じて、脚部の即応性を高めるように前記運転者に促す警告を段階的に行う警告部を更に備えてもよい。当該構成によれば、運転者の脚部の即応性を段階的に評価し、その状態に適した警告を実施することができる。

また、本発明の一側面に係る運転監視方法は、コンピュータが、車両の運転席に着いた運転者の脚部を撮影可能に配置された撮影装置から撮影画像を取得する画像取得ステップと、前記運転者の脚部の運転に対する即応性の程度を推定するための機械学習を行った学習済みの学習器に前記撮影画像を入力することで、前記運転者の脚部の運転に対する即応性の程度を示す脚部即応性情報を当該学習器から取得する推定ステップと、を実行する。当該構成によれば、運転者の脚部が運転操作を行える状態にあるか否かに関する指標を脚部即応性情報として得ることができる。

上記一側面に係る運転監視方法において、前記コンピュータは、自動的に運転操作を行う自動運転モードと運転者の手動により運転操作を行う手動運転モードとを選択的に実施するように前記車両の動作を制御し、前記自動運転モードを実施している際に、前記脚部即応性情報により示される前記運転者の脚部の運転に対する即応性が所定の条件を満たす場合に、前記自動運転モードから前記手動運転モードに切り替えるように構成されてもよい。当該構成によれば、運転者の脚部の即応性に応じて自動運転から手動運転に動作を切り替え可能な車両を提供することができる。

上記一側面に係る運転監視方法において、前記コンピュータは、前記自動運転モードを実施している際に、前記脚部即応性情報により示される前記運転者の右脚の運転に対する即応性が所定の条件を満たす場合に、前記自動運転モードから前記手動運転モードに切り替えるように構成されてもよい。当該構成によれば、運転者の右脚の即応性に応じて自動運転から手動運転に動作を切り替え可能な車両を提供することができる。

上記一側面に係る運転監視方法において、前記脚部即応性情報は、前記運転者の脚部の運転に対する即応性の程度を３つ以上のレベルで段階的に示すように構成されてもよい。当該構成によれば、運転者の脚部の即応性を段階的に表現することができ、これによって、運転者状態の推定結果の利用性が向上する。

上記一側面に係る運転監視方法において、前記脚部即応性情報は、前記運転者の脚部の屈曲状態に応じて、前記運転者の脚部の運転に対する即応性の程度を３つ以上のレベルで段階的に示すように構成されてもよい。当該構成によれば、運転者の脚部の屈曲状態を適切に反映して、運転者の脚部の運転に対する即応性を評価することができる。

上記一側面に係る運転監視方法において、前記コンピュータは、前記脚部即応性情報の示す前記運転者の脚部の運転に対する即応性のレベルに応じて、脚部の即応性を高めるように前記運転者に促す警告を段階的に行う警告ステップを更に実行してもよい。当該構成によれば、運転者の脚部の即応性を段階的に評価し、その状態に適した警告を実施することができる。

また、本発明の一側面に係る学習装置は、車両の運転席に着いた運転者の脚部を撮影可能に配置された撮影装置から取得される撮影画像、及び当該運転者の脚部の運転に対する即応性の程度を示す脚部即応性情報の組を学習データとして取得する学習データ取得部と、前記撮影画像を入力すると前記脚部即応性情報に対応する出力値を出力するように学習器の機械学習を行う学習処理部と、を備える。当該構成によれば、上記運転者の脚部の運転に対する即応性の程度を推定するのに利用する学習済みの学習器を構築することができる。

また、本発明の一側面に係る学習方法は、コンピュータが、車両の運転席に着いた運転者の脚部を撮影可能に配置された撮影装置から取得される撮影画像、及び当該運転者の脚部の運転に対する即応性の程度を示す脚部即応性情報の組を学習データとして取得するステップと、前記撮影画像を入力すると前記脚部即応性情報に対応する出力値を出力するように学習器の機械学習を行うステップと、を実行する。当該構成によれば、上記運転者の脚部の運転に対する即応性の程度を推定するのに利用する学習済みの学習器を構築することができる。

本発明によれば、運転者の脚部が運転操作を行える状態にあるか否かに関する指標を得るための技術を提供することができる。

図１は、本発明が適用される場面の一例を模式的に例示する。 図２は、実施の形態に係る自動運転支援装置のハードウェア構成の一例を模式的に例示する。 図３は、実施の形態に係る学習装置のハードウェア構成の一例を模式的に例示する。 図４は、実施の形態に係る自動運転支援装置のソフトウェア構成の一例を模式的に例示する。 図５は、実施の形態に係る脚部即応性情報の一例を模式的に例示する。 図６は、実施の形態に係る学習装置のソフトウェア構成の一例を模式的に例示する。 図７は、実施の形態に係る自動運転支援装置の処理手順の一例を例示する。 図８は、実施の形態に係る学習装置の処理手順の一例を例示する。 図９は、変形例に係る脚部即応性情報の一例を模式的に例示する。 図１０は、変形例に係る自動運転支援装置のソフトウェア構成の一例を模式的に例示する。

以下、本発明の一側面に係る実施の形態（以下、「本実施形態」とも表記する）を、図面に基づいて説明する。ただし、以下で説明する本実施形態は、あらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。つまり、本発明の実施にあたって、実施形態に応じた具体的構成が適宜採用されてもよい。なお、本実施形態において登場するデータを自然言語により説明しているが、より具体的には、コンピュータが認識可能な疑似言語、コマンド、パラメータ、マシン語等で指定される。

§１ 適用例
まず、図１を用いて、本発明が適用される場面の一例について説明する。図１は、本実施形態に係る自動運転支援装置１及び学習装置２の適用場面の一例を模式的に例示する。

図１に示されるとおり、本実施形態に係る自動運転支援装置１は、カメラ３１を利用して運転者Ｄを監視しながら、車両１００の自動運転を支援するコンピュータである。本実施形態に係る自動運転支援装置１は、本発明の「運転者監視装置」の一例である。なお、車両１００の種類は、実施の形態に応じて適宜選択されてよい。車両１００は、例えば、乗用車である。本実施形態に係る車両１００は、自動運転を実施可能に構成される。

具体的には、自動運転支援装置１は、車両１００の運転席に着いた運転者Ｄの脚部を撮影可能に配置されたカメラ３１から撮影画像を取得する。カメラ３１は、本発明の「撮影装置」の一例である。そして、自動運転支援装置１は、運転者の脚部の運転に対する即応性の程度を推定するための機械学習を行った学習器（後述するニューラルネットワーク５）に取得した撮影画像を入力することで、運転者Ｄの脚部の運転に対する即応性の程度を示す脚部即応性情報を当該学習器から取得する。これにより、自動運転支援装置１は、運転者Ｄの状態、すなわち、運転者Ｄの脚部の運転に対する即応性の程度を推定する。なお、「即応性」の程度とは、運転に対する準備状態の程度、換言すると、運転者が車両の運転を手動で行える状態にあるか否かの度合いを示す。より詳細には、「即応性」の程度は、運転者が車両の手動運転に直ちに対応可能か否かの度合いを示す。

一方、本実施形態に係る学習装置２は、自動運転支援装置１で利用する学習器を構築する、すなわち、撮影画像の入力に応じて、運転者Ｄの脚部の運転に対する即応性の程度を示す脚部即応性情報を出力するように学習器の機械学習を行うコンピュータである。具体的には、学習装置２は、上記撮影画像及び脚部即応性情報の組を学習データとして取得する。これらのうち、撮影画像は入力データとして利用され、脚部即応性情報は教師データとして利用される。すなわち、学習装置２は、撮影画像を入力すると脚部即応性情報に対応する出力値を出力するように学習器（後述するニューラルネットワーク６）を学習させる。これにより、自動運転支援装置１で利用する学習済みの学習器を作成することができる。自動運転支援装置１は、例えば、ネットワークを介して、学習装置２により作成された学習済みの学習器を取得することができる。なお、ネットワークの種類は、例えば、インターネット、無線通信網、移動通信網、電話網、専用網等から適宜選択されてよい。

以上のとおり、本実施形態によれば、学習済みの学習器を利用することで、運転者の脚部が運転操作を行える状態にあるか否かに関する指標を脚部即応性情報として得ることができる。そのため、この脚部即応性情報に基づいて、運転者Ｄの脚部の状態が運転操作を行える状態にあるか否かという観点で、例えば、車両１００の自動運転の動作を制御することができる。なお、運転者Ｄが、離席している、座席上で座禅を組んでいる等の状況では、当該運転者Ｄの脚部をカメラ３１により捕捉できない可能性がある。そのため、カメラ３１から得られる撮影画像には必ずしも運転者Ｄの脚部が写っている必要はない。

§２ 構成例
［ハードウェア構成］
＜自動運転支援装置＞
次に、図２を用いて、本実施形態に係る自動運転支援装置１のハードウェア構成の一例について説明する。図２は、本実施形態に係る自動運転支援装置１のハードウェア構成の一例を模式的に例示する。

図２に示されるとおり、本実施形態に係る自動運転支援装置１は、制御部１１、記憶部１２、及び外部インタフェース１３が電気的に接続されたコンピュータである。なお、図２では、外部インタフェースを「外部Ｉ／Ｆ」と記載している。

制御部１１は、ハードウェアプロセッサであるＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等を含み、情報処理に応じて各構成要素の制御を行う。制御部１１は、例えば、ＥＣＵ（Electronic Control Unit）により構成される。記憶部１２は、例えば、ＲＡＭ、ＲＯＭ等で構成され、プログラム１２１、学習結果データ１２２等を記憶する。記憶部１２は、「メモリ」の一例である。

プログラム１２１は、自動運転支援装置１に後述する運転者Ｄの脚部の運転に対する即応性の程度を推定する情報処理（図７）を実行させるための命令を含むプログラムである。学習結果データ１２２は、学習済みの学習器の設定を行うためのデータである。詳細は後述する。

外部インタフェース１３は、外部装置と接続するためのインタフェースであり、接続する外部装置に応じて適宜構成される。本実施形態では、外部インタフェース１３は、例えば、ＣＡＮ（Controller Area Network）を介して、ナビゲーション装置３０、カメラ３１、及びスピーカ３２に接続される。

ナビゲーション装置３０は、車両１００の走行時に経路案内を行うコンピュータである。ナビゲーション装置３０には、公知のカーナビゲーション装置が用いられてよい。ナビゲーション装置３０は、ＧＰＳ（Global Positioning System）信号に基づいて自車位置を測定し、地図情報及び周辺の建物等に関する周辺情報を利用して、経路案内を行うように構成される。なお、以下では、ＧＰＳ信号に基づいて測定される自車位置を示す情報を「ＧＰＳ情報」と称する。

カメラ３１は、車両１００の運転席に着いた運転者Ｄの脚部を撮影可能に配置される。すなわち、カメラ３１は、例えば、少なくとも運転席下方を撮影範囲とするように配置される等、運転操作時に運転者Ｄの脚部の少なくとも一部が位置すべき範囲を撮影範囲としてカバーするように撮影装置が配置される。図１の例では、カメラ３１は、運転席の前方下方に配置されている。しかしながら、カメラ３１の配置場所は、このような例に限定されなくてもよく、運転席に着いた運転者Ｄの脚部を撮影可能であれば、実施の形態に応じて適宜選択されてよい。なお、カメラ３１には、一般のデジタルカメラ、ビデオカメラ等が用いられてよい。

スピーカ３２は、音声を出力するように構成される。スピーカ３２は、車両１００の走行中に運転者Ｄの脚部の運転に対する即応性が低いと推定される場合に、当該脚部の即応性を高めるように運転者Ｄに対して警告するのに利用される。詳細は後述する。

なお、外部インタフェース１３には、上記以外の外部装置が接続されてよい。例えば、外部インタフェース１３には、ネットワークを介してデータ通信を行うための通信モジュールが接続されてもよい。外部インタフェース１３に接続する外部装置は、上記の各装置に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。

また、図２の例では、自動運転支援装置１は、１つの外部インタフェース１３を備えている。しかしながら、外部インタフェース１３は、接続する外部装置毎に設けられてもよい。外部インタフェース１３の数は、実施の形態に応じて適宜選択可能である。

なお、自動運転支援装置１の具体的なハードウェア構成に関して、実施形態に応じて、適宜、構成要素の省略、置換及び追加が可能である。例えば、制御部１１は、複数のハードウェアプロセッサを含んでもよい。ハードウェアプロセッサは、マイクロプロセッサ、ＦＰＧＡ（field-programmable gate array）等で構成されてよい。記憶部１２は、制御部１１に含まれるＲＡＭ及びＲＯＭにより構成されてもよい。記憶部１２は、ハードディスクドライブ、ソリッドステートドライブ等の補助記憶装置で構成されてもよい。また、自動運転支援装置１には、提供されるサービス専用に設計された情報処理装置の他、汎用のコンピュータが用いられてもよい。

＜学習装置＞
次に、図３を用いて、本実施形態に係る学習装置２のハードウェア構成の一例を説明する。図３は、本実施形態に係る学習装置２のハードウェア構成の一例を模式的に例示する。

図３に示されるとおり、本実施形態に係る学習装置２は、制御部２１、記憶部２２、通信インタフェース２３、入力装置２４、出力装置２５、及びドライブ２６が電気的に接続されたコンピュータである。なお、図３では、通信インタフェースを「通信Ｉ／Ｆ」と記載している。

制御部２１は、上記制御部１１と同様に、ハードウェアプロセッサであるＣＰＵ、ＲＡＭ、ＲＯＭ等を含み、プログラム及びデータに基づいて各種情報処理を実行するように構成される。記憶部２２は、例えば、ハードディスクドライブ、ソリッドステートドライブ等で構成される。記憶部２２は、制御部２１で実行される学習プログラム２２１、学習器の機械学習に利用する学習データ２２２、学習プログラム２２１を実行して作成した学習結果データ１２２等を記憶する。

学習プログラム２２１は、後述する機械学習の処理（図８）を学習装置２に実行させ、当該機械学習の結果として学習結果データ１２２を生成させるための命令を含むプログラムである。学習データ２２２は、運転者の脚部の運転に対する即応性の程度を推定する能力を獲得するように学習器の機械学習を行うためのデータである。詳細は後述する。

通信インタフェース２３は、例えば、有線ＬＡＮ（Local Area Network）モジュール、無線ＬＡＮモジュール等であり、ネットワークを介した有線又は無線通信を行うためのインタフェースである。学習装置２は、当該通信インタフェース２３を介して、作成した学習結果データ１２２を外部の装置に配信してもよい。

入力装置２４は、例えば、マウス、キーボード等の入力を行うための装置である。また、出力装置２５は、例えば、ディスプレイ、スピーカ等の出力を行うための装置である。オペレータは、入力装置２４及び出力装置２５を介して、学習装置２を操作することができる。

ドライブ２６は、例えば、ＣＤドライブ、ＤＶＤドライブ等であり、記憶媒体９２に記憶されたプログラムを読み込むためのドライブ装置である。ドライブ２６の種類は、記憶媒体９２の種類に応じて適宜選択されてよい。上記学習プログラム２２１及び学習データ２２２は、この記憶媒体９２に記憶されていてもよい。

記憶媒体９２は、コンピュータその他装置、機械等が記録されたプログラム等の情報を読み取り可能なように、当該プログラム等の情報を、電気的、磁気的、光学的、機械的又は化学的作用によって蓄積する媒体である。学習装置２は、この記憶媒体９２から、上記学習プログラム２２１及び学習データ２２２を取得してもよい。

ここで、図３では、記憶媒体９２の一例として、ＣＤ、ＤＶＤ等のディスク型の記憶媒体を例示している。しかしながら、記憶媒体９２の種類は、ディスク型に限定される訳ではなく、ディスク型以外であってもよい。ディスク型以外の記憶媒体として、例えば、フラッシュメモリ等の半導体メモリを挙げることができる。

なお、学習装置２の具体的なハードウェア構成に関して、実施形態に応じて、適宜、構成要素の省略、置換及び追加が可能である。例えば、制御部２１は、複数のハードウェアプロセッサを含んでもよい。ハードウェアプロセッサは、マイクロプロセッサ、ＦＰＧＡ（field-programmable gate array）等で構成されてよい。学習装置２は、複数台の情報処理装置で構成されてもよい。また、学習装置２は、提供されるサービス専用に設計された情報処理装置の他、汎用のサーバ装置、ＰＣ（Personal Computer）等であってもよい。

［ソフトウェア構成］
＜自動運転支援装置＞
次に、図４を用いて、本実施形態に係る自動運転支援装置１のソフトウェア構成の一例を説明する。図４は、本実施形態に係る自動運転支援装置１のソフトウェア構成の一例を模式的に例示する。

自動運転支援装置１の制御部１１は、記憶部１２に記憶されたプログラム１２１をＲＡＭに展開する。そして、制御部１１は、ＲＡＭに展開されたプログラム１２１をＣＰＵにより解釈及び実行して、各構成要素を制御する。これによって、図４に示されるとおり、本実施形態に係る自動運転支援装置１は、ソフトウェアモジュールとして、画像取得部１１１、解像度変換部１１２、即応性推定部１１３、警告部１１４、及び運転制御部１１５を備えるコンピュータとして構成される。

画像取得部１１１は、車両１００の運転席に着いた運転者Ｄの脚部を撮影可能に配置されたカメラ３１から撮影画像１２３を取得する。解像度変換部１１２は、画像取得部１１１により取得した撮影画像１２３の解像度を低下させる。これにより、解像度変換部１１２は、低解像度撮影画像１２３１を生成する。

即応性推定部１１３は、運転者の脚部の運転に対する即応性の程度を推定するための機械学習を行った学習済みの学習器（ニューラルネットワーク５）に、撮影画像１２３を低解像度化することで得られた低解像度撮影画像１２３１を入力する。これにより、即応性推定部１１３は、運転者Ｄの脚部の運転に対する即応性の程度を示す脚部即応性情報１２４を当該学習器から取得する。なお、低解像度化の処理は省略されてもよい。この場合、即応性推定部１１３は、撮影画像１２３を学習器に入力してもよい。

ここで、図５を用いて、脚部即応性情報１２４を説明する。図５は、脚部即応性情報１２４の一例を示す。図５に示されるとおり、本実施形態に係る脚部即応性情報１２４は、運転者の脚部の運転に対する即応性が高い状態であるか低い状態であるかを２つのレベルで段階的に示す。本実施形態では、脚部の即応性の程度は、運転者の行動状態に応じて設定されている。

運転者の行動状態と即応性の程度との対応関係は適宜設定可能である。例えば、運転者Ｄが、「右足が右側、左脚が左側に位置している」、「両脚が伸びている」及び「脚の上に物が載っていない」の行動状態にある場合には、当該運転者Ｄの脚部は、車両１００の運転操作に直ちに取り掛かれる状態にあると推定可能である。そこで、本実施形態では、「右足が右側、左脚が左側に位置している」、「両脚が伸びている」及び「脚の上に物が載っていない」の行動状態に運転者があるのに対応して、脚部即応性情報１２４は、運転者の脚部の運転に対する即応性が高い状態にあることを示すように設定されている。

一方、運転者Ｄが、「脚を組んでいる」、「あぐらをかいている」、「膝が９０度以下に屈曲している」、及び「脚の上に物が載っている」の行動状態にある場合には、当該運転者Ｄの脚部は、車両１００の運転操作に直ちには取り掛かれない状態にあると推定可能である。そこで、本実施形態では、「脚を組んでいる」、「あぐらをかいている」、「膝が９０度以下に屈曲している」、及び「脚の上に物が載っている」の行動状態に運転者があるのに対応して、脚部即応性情報１２４は、運転者の脚部の運転に対する即応性が低い状態にあることを示すように設定されている。

なお、「即応性」の程度とは、上記のとおり、運転に対する準備状態の程度を示し、例えば、異常等の発生により車両１００の自動運転を継続できなくなったときに、運転者Ｄが手動で車両１００を運転する状態に復帰可能な度合いを表わすことができる。そのため、脚部即応性情報１２４は、運転者の脚部が運転操作に復帰するのに適した状態であるか否かを判定するための指標として利用することができる。

警告部１１４は、脚部即応性情報１２４に基づいて、運転者Ｄの脚部が車両１００の運転に復帰するのに適した状態であるか否か、換言すると、運転者Ｄの脚部の運転に対する即応性が高い状態にあるか否かを判定する。そして、運転者Ｄの脚部の運転に対する即応性が低い状態にあると判定した場合に、警告部１１４は、スピーカ３２を介して、脚部の即応性を高めるように運転者Ｄに促す警告を行う。

運転制御部１１５は、車両１００の駆動系及び制御系にアクセスすることで、運転者Ｄによらず自動的に運転操作を行う自動運転モードと運転者Ｄの手動により運転操作を行う手動運転モードとを選択的に実施するように車両１００の動作を制御する。本実施形態では、運転制御部１１５は、脚部即応性情報１２４、ナビゲーション装置３０の設定等に応じて、自動運転モードと手動運転モードとを切り替えるように構成される。

その一例として、運転制御部１１５は、自動運転モードが実施されている際に、脚部即応性情報１２４により示される運転者Ｄの脚部の運転に対する即応性が所定の条件を満たし、高い状態にあると判定される場合に、自動運転モードから手動運転モードへの切り替えを許可し、当該切り替えの指示を車両１００に対して出力する。一方で、脚部即応性情報１２４により示される運転者Ｄの脚部の運転に対する即応性が所定の条件を満たさず、低い状態にあると判定される場合には、運転制御部１１５は、自動運転モードから手動運転モードへの切り替えを許可しない。この場合、運転制御部１１５は、自動運転モードを継続する、所定の停車区間に車両１００を停車する、等のように手動運転モード以外のモードで車両１００の動作を制御する。

すなわち、本実施形態では、この運転制御部１１５により、車両１００は、自動運転モードと手動運転モードとを選択的に実施可能に構成される。また、本発明の「切替指示部」は、運転制御部１１５の一動作として実現される。

（学習器）
次に、学習器について説明する。図４に示されるとおり、本実施形態に係る自動運転支援装置１は、運転者の脚部の運転に対する即応性の程度を推定するための機械学習を行った学習済みの学習器として、ニューラルネットワーク５を利用する。本実施形態に係るニューラルネットワーク５は、複数種類のニューラルネットワークを組み合わせることで構成されている。

具体的には、ニューラルネットワーク５は、畳み込みニューラルネットワーク５１及びＬＳＴＭネットワーク５２の２つの部分に分かれている。畳み込みニューラルネットワーク５１には低解像度撮影画像１２３１が入力される。ＬＳＴＭネットワーク５２は、畳み込みニューラルネットワーク５１の出力を受けて、脚部即応性情報１２４を出力する。以下、各部分について説明する。

（ａ）畳み込みニューラルネットワーク
畳み込みニューラルネットワーク５１は、畳み込み層５１１及びプーリング層５１２を交互に接続した構造を有する順伝播型ニューラルネットワークである。本実施形態に係る畳み込みニューラルネットワーク５１では、複数の畳み込み層５１１及びプーリング層５１２が入力側に交互に配置されている。そして、最も出力側に配置されたプーリング層５１２の出力が全結合層５１３に入力され、全結合層５１３の出力が出力層５１４に入力される。

畳み込み層５１１は、画像の畳み込みの演算を行う層である。画像の畳み込みとは、画像と所定のフィルタとの相関を算出する処理に相当する。そのため、画像の畳み込みを行うことで、例えば、フィルタの濃淡パターンと類似する濃淡パターンを入力される画像から検出することができる。

プーリング層５１２は、プーリング処理を行う層である。プーリング処理は、画像のフィルタに対する応答の強かった位置の情報を一部捨て、画像内に現れる特徴の微小な位置変化に対する応答の不変性を実現する。

全結合層５１３は、隣接する層の間のニューロン全てを結合した層である。すなわち、全結合層５１３に含まれる各ニューロンは、隣接する層に含まれる全てのニューロンに結合される。全結合層５１３は、２層以上で構成されてもよい。また、全結合層５１３に含まれるニューロンの個数は、実施の形態に応じて適宜設定されてよい。

出力層５１４は、畳み込みニューラルネットワーク５１の最も出力側に配置される層である。出力層５１４に含まれるニューロンの個数は、実施の形態に応じて適宜設定されてよい。出力層５１４からの出力が次のＬＳＴＭネットワーク５２に入力される。なお、畳み込みニューラルネットワーク５１の構成は、このような例に限定されなくてもよく、実施の形態に応じて適宜設定されてよい。

（ｂ）ＬＳＴＭネットワーク
ＬＳＴＭネットワーク５２は、ＬＳＴＭブロック５２２を備える再起型ニューラルネットワークである。再帰型ニューラルネットワークは、例えば、中間層から入力層への経路のように、内部にループを有するニューラルネットワークのことである。ＬＳＴＭネットワーク５２は、一般的な再起型ニューラルネットワークの中間層をＬＳＴＭブロック５２２に置き換えた構造を有する。

本実施形態では、ＬＳＴＭネットワーク５２は、入力側から順に、入力層５２１、ＬＳＴＭブロック５２２、及び出力層５２３を備えており、順伝播の経路の他、ＬＳＴＭブロック５２２から入力層５２１に戻る経路を有している。入力層５２１及び出力層５２３に含まれるニューロンの個数は、実施の形態に応じて適宜設定されてよい。

ＬＳＴＭブロック５２２は、入力ゲート及び出力ゲートを備え、情報の記憶及び出力のタイミングを学習可能に構成されたブロックである（S.Hochreiter and J.Schmidhuber, "Long short-term memory" Neural Computation, 9(8):1735-1780, November 15, 1997）。また、ＬＳＴＭブロック５２２は、情報の忘却のタイミングを調節する忘却ゲートを備えてもよい（Felix A. Gers, Jurgen Schmidhuber and Fred Cummins, "Learning to Forget: Continual Prediction with LSTM" Neural Computation, pages 2451-2471, October 2000）。ＬＳＴＭネットワーク５２の構成は、実施の形態に応じて適宜設定可能である。

（ｃ）小括
各ニューロンには閾値が設定されており、基本的には、各入力と各重みとの積の和が閾値を超えているか否かによって各ニューロンの出力が決定される。制御部１１は、畳み込みニューラルネットワーク５１に低解像度撮影画像１２３１を入力し、入力側から順に、各層に含まれる各ニューロンの発火判定を行う。これにより、制御部１１は、脚部即応性情報１２４に対応する出力値をニューラルネットワーク５の出力層５２３から取得する。

なお、このようなニューラルネットワーク５の構成（例えば、各ネットワークの層数、各層におけるニューロンの個数、ニューロン同士の結合関係、各ニューロンの伝達関数）、各ニューロン間の結合の重み、及び各ニューロンの閾値を示す情報は、学習結果データ１２２に含まれている。制御部１１は、学習結果データ１２２を参照して、運転者Ｄの脚部の運転に対する即応性の程度を推定する処理に用いる学習済みニューラルネットワーク５の設定を行う。

＜学習装置＞
次に、図６を用いて、本実施形態に係る学習装置２のソフトウェア構成の一例を説明する。図６は、本実施形態に係る学習装置２のソフトウェア構成の一例を模式的に例示する。

学習装置２の制御部２１は、記憶部２２に記憶された学習プログラム２２１をＲＡＭに展開する。そして、制御部２１は、ＲＡＭに展開された学習プログラム２２１をＣＰＵにより解釈及び実行して、各構成要素を制御する。これによって、図６に示されるとおり、本実施形態に係る学習装置２は、ソフトウェアモジュールとして、学習データ取得部２１１、及び学習処理部２１２を備えるコンピュータとして構成される。

学習データ取得部２１１は、車両の運転席に着いた運転者の脚部を撮影可能に配置された撮影装置から取得される撮影画像、及び当該運転者の脚部の運転に対する即応性の程度を示す脚部即応性情報の組を学習データとして取得する。撮影画像は入力データとして利用される。また、脚部即応性情報は教師データ（正解データ）として利用される。本実施形態では、学習データ取得部２１１は、低解像度撮影画像２２３及び脚部即応性情報２２４の組を学習データ２２２として取得する。低解像度撮影画像２２３は、上記低解像度撮影画像１２３１に対応する。脚部即応性情報２２４は、上記脚部即応性情報１２４に対応する。学習処理部２１２は、低解像度撮影画像２２３を入力すると脚部即応性情報２２４に対応する出力値を出力するように学習器の機械学習を行う。

図６に示されるとおり、本実施形態において、機械学習の対象となる学習器は、ニューラルネットワーク６である。当該ニューラルネットワーク６は、畳み込みニューラルネットワーク６１及びＬＳＴＭネットワーク６２を備え、上記ニューラルネットワーク５と同様に構成される。畳み込みニューラルネットワーク６１及びＬＳＴＭネットワーク６２はそれぞれ、上記畳み込みニューラルネットワーク５１及びＬＳＴＭネットワーク５２と同様である。

学習処理部２１２は、ニューラルネットワークの学習処理により、畳み込みニューラルネットワーク６１に低解像度撮影画像２２３を入力すると、脚部即応性情報２２４に対応する出力値をＬＳＴＭネットワーク６２から出力するニューラルネットワーク６を構築する。そして、学習処理部２１２は、構築したニューラルネットワーク６の構成、各ニューロン間の結合の重み、及び各ニューロンの閾値を示す情報を学習結果データ１２２として記憶部２２に格納する。

＜その他＞
自動運転支援装置１及び学習装置２の各ソフトウェアモジュールに関しては後述する動作例で詳細に説明する。なお、本実施形態では、自動運転支援装置１及び学習装置２の各ソフトウェアモジュールがいずれも汎用のＣＰＵによって実現される例について説明している。しかしながら、以上のソフトウェアモジュールの一部又は全部が、１又は複数の専用のプロセッサにより実現されてもよい。また、自動運転支援装置１及び学習装置２それぞれのソフトウェア構成に関して、実施形態に応じて、適宜、ソフトウェアモジュールの省略、置換及び追加が行われてもよい。

§３ 動作例
［自動運転支援装置］
次に、図７を用いて、自動運転支援装置１の動作例を説明する。図７は、自動運転支援装置１の処理手順の一例を例示するフローチャートである。以下で説明する運転者Ｄの脚部の運転に対する即応性の程度を推定する処理手順は、本発明の「運転者監視方法」の一例である。ただし、以下で説明する処理手順は一例に過ぎず、各処理は可能な限り変更されてよい。また、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。

（起動）
まず、運転者Ｄは、車両１００のイグニッション電源をオンにすることで、自動運転支援装置１を起動し、起動した自動運転支援装置１にプログラム１２１を実行させる。これにより、自動運転支援装置１の制御部１１は、以下の処理手順に従って、運転者Ｄの状態を監視する。なお、プログラム実行のトリガは、このような車両１００のイグニッション電源をオンにすることに限定されなくてもよく、実施の形態に応じて適宜選択されてよい。例えば、プログラムの実行は、入力装置（不図示）を介した運転者Ｄの指示をトリガとして開始されてよい。

（ステップＳ１０１）
ステップＳ１０１では、制御部１１は、運転制御部１１５として動作し、車両１００の自動運転を開始する。例えば、制御部１１は、ナビゲーション装置３０から地図情報、周辺情報、及びＧＰＳ情報を取得して、取得した地図情報、周辺情報、及びＧＰＳ情報に基づいて車両１００の自動運転を実施する。自動運転の制御方法には、公知の制御方法が利用可能である。車両１００の自動運転モードを開始すると、制御部１１は、次のステップＳ１０２に処理を進める。

（ステップＳ１０２）
ステップＳ１０２では、制御部１１は、画像取得部１１１として動作し、車両１００の運転席についた運転者Ｄの脚部を撮影するように配置されたカメラ３１から撮影画像１２３を取得する。取得する撮影画像１２３は、動画像であってもよいし、静止画像であってもよい。撮影画像１２３を取得すると、制御部１１は、次のステップＳ１０３に処理を進める。

（ステップＳ１０３）
ステップＳ１０３では、制御部１１は、解像度変換部１１２として動作し、ステップＳ１０１で取得した撮影画像１２３の解像度を低下させる。これにより、制御部１１は、低解像度撮影画像１２３１を生成する。低解像度化の処理方法は、特に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。例えば、制御部１１は、ニアレストネイバー法、バイリニア補間法、バイキュービック法等により、低解像度撮影画像１２３１を生成することができる。低解像度撮影画像１２３１を生成すると、制御部１１は、次のステップＳ１０４に処理を進める。なお、本ステップＳ１０３は省略されてもよい。

（ステップＳ１０４及びＳ１０５）
ステップＳ１０４では、制御部１１は、即応性推定部１１３として動作し、取得した低解像度撮影画像１２３１をニューラルネットワーク５の入力として用いて、当該ニューラルネットワーク５の演算処理を実行する。これにより、ステップＳ１０５では、制御部１１は、脚部即応性情報１２４に対応する出力値を当該ニューラルネットワーク５から得る。

具体的には、制御部１１は、ステップＳ１０３で取得した低解像度撮影画像１２３１を、畳み込みニューラルネットワーク５１の最も入力側に配置された畳み込み層５１１に入力する。そして、制御部１１は、入力側から順に、各層に含まれる各ニューロンの発火判定を行う。これにより、制御部１１は、脚部即応性情報１２４に対応する出力値をＬＳＴＭネットワーク５２の出力層５２３から取得する。

（ステップＳ１０６及びＳ１０７）
ステップＳ１０６では、制御部１１は、ステップＳ１０５で取得した脚部即応性情報１２４に基づいて、運転者Ｄが車両１００の運転操作を行える状態にあるか否か、本ケースでは、運転者Ｄが車両１００の運転に復帰するのに適した状態にあるか否かを判定する。具体的には、制御部１１は、脚部即応性情報１２４により示される運転者Ｄの脚部の運転に対する即応性が所定の条件を満たすか否かを判定する。

所定の条件は、運転者Ｄの脚部の運転に対する即応性が高いか否かを判定可能に適宜設定されてよい。本実施形態では、脚部即応性情報１２４は、運転者Ｄの脚部の運転に対する即応性の程度を２つのレベルで表す。そのため、運転者Ｄの脚部の運転に対する即応性が高い状態であると脚部即応性情報１２４が示す場合に、制御部１１は、運転者Ｄの脚部の運転に対する即応性が所定の条件を満たすと判定する。すなわち、制御部１１は、運転者Ｄの脚部の運転に対する即応性が高い状態にあり、運転者Ｄが車両１００の運転に復帰するのに適した状態にあると判定する。一方、運転者Ｄの脚部の運転に対する即応性が低い状態であると脚部即応性情報１２４が示す場合に、制御部１１は、運転者Ｄの脚部の運転に対する即応性が所定の条件を満たさないと判定する。すなわち、制御部１１は、運転者Ｄの脚部の運転に対する即応性が低い状態にあり、運転者Ｄが車両１００の運転に復帰するのに適した状態にないと判定する。

運転者Ｄが車両１００の運転に復帰するのに適した状態にあると判定した場合には、制御部１１は、次のステップＳ１０８に処理を進める。一方、運転者Ｄが車両１００の運転に復帰するのに適した状態にないと判定した場合には、制御部１１は、次のステップＳ１０７の処理を実行する。

次のステップＳ１０７では、制御部１１は、スピーカ３２を介して、車両１００の運転に復帰するのに適した状態をとるように、換言すると、脚部の即応性を高めるように運転者Ｄに促す警告を行い、本動作例に係る処理を終了する。警告の内容及び方法は、実施の形態に応じて適宜設定されてよい。

（ステップＳ１０８及びＳ１０９）
ステップＳ１０８では、制御部１１は、運転制御部１１５として動作し、自動運転モードから手動運転モードに車両１００の動作を切り替えるか否かを判定する。手動運転モードへの切り替えを実施すると判定した場合、制御部１１は、次のステップＳ１０９に処理を進める。一方、手動運転モードへの切り替えを実施しないと判定した場合には、制御部１１は、次のステップＳ１０９を省略して、本動作例に係る処理を終了する。

自動運転モードから手動運転モードに切り替えるトリガは、実施の形態に応じて適宜設定されてよい。例えば、運転者Ｄからの指示をトリガとしてもよい。この場合、運転者Ｄにより手動運転への切替の指示がなされたことに応じて、制御部１１は、手動運転モードへの切り替えを実施すると判定する。一方、そのような手動運転への切替の指示がなかった場合には、制御部１１は、手動運転モードへの切り替えを実施しないと判定する。

次のステップＳ１０９では、制御部１１は、運転制御部１１５として動作し、自動運転モードから手動運転モードに車両１００の動作を切り替える。これにより、制御部１１は、車両１００において手動運転モードの動作を開始し、本動作例に係る処理を終了する。なお、この手動運転モードの開始に際して、制御部１１は、スピーカ３２を介して、車両１００の動作を手動運転モードに切り替えるため、ハンドルを握る等の運転操作を開始するように運転者Ｄにアナウンスをしてもよい。

以上により、自動運転支援装置１は、車両１００の自動運転を実施している間に、運転者Ｄの脚部の運転に対する即応性の程度を監視することができる。なお、制御部１１は、上記一連の処理を繰り返し実行することで、運転者Ｄの脚部の運転に対する即応性の程度を継続的に監視してもよい。また、制御部１１は、上記一連の処理を繰り返し実行する間に、上記ステップＳ１０６において、運転者Ｄが車両１００の運転に復帰するのに適した状態にないと複数回連続して判定した場合に、運転制御部１１５として動作し、自動運転モードを停止してもよい。そして、制御部１１は、所定の場所に停車するように車両１００を制御してもよい。この場合、例えば、制御部１１は、運転者Ｄが車両１００の運転に復帰するのに適した状態にないと複数回連続して判定した後に、地図情報、周辺情報及びＧＰＳ情報を参照して、車両１００を安全に停止可能な場所に停車区間を設定してもよい。そして、制御部１１は、車両１００を停止する旨を運転者Ｄに伝えるための警告を実施し、設定した停車区間に車両１００を自動停車させてもよい。これにより、運転者Ｄの脚部の運転に対する即応性が継続的に低い状態にあるときに、車両１００の走行を停止させることで、即応性の低い状態の運転者Ｄが突発的に手動で車両１００の運転操作を行わなければならない事態が発生するのを抑制することができる。

［学習装置］
次に、図８を用いて、学習装置２の動作例を説明する。図８は、学習装置２の処理手順の一例を例示するフローチャートである。なお、以下で説明する学習器の機械学習に関する処理手順は、本発明の「学習方法」の一例である。ただし、以下で説明する処理手順は一例に過ぎず、各処理は可能な限り変更されてよい。また、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。

（ステップＳ２０１）
ステップＳ２０１では、学習装置２の制御部２１は、学習データ取得部２１１として動作し、低解像度撮影画像２２３及び脚部即応性情報２２４の組を学習データ２２２として取得する。

学習データ２２２は、ニューラルネットワーク６に対して、運転者の脚部の運転に対する即応性の程度を推定可能にするための機械学習に利用するデータである。このような学習データ２２２は、例えば、運転席に着いた運転者の脚部を撮影するように配置されたカメラ３１を備える車両を用意し、運転席に着いた運転者を様々な条件で撮影し、得られる撮影画像に撮影条件（脚部の運転に対する即応性の程度）を紐付けることで作成することができる。このとき、低解像度撮影画像２２３は、上記ステップＳ１０３と同じ処理を当該取得した撮影画像に適用することで得ることができる。また、脚部即応性情報２２４は、撮影画像に表れる運転者の脚部の運転に対する即応性の程度の入力を適宜受け付けることで得ることができる。

この学習データ２２２の作成は、オペレータ等が入力装置２４を用いて手動で行ってもよいし、プログラムの処理により自動的に行われてもよい。この学習データ２２２は、運用されている車両から随時収集されてもよい。また、学習データ２２２の作成は、学習装置２以外の他の情報処理装置により行われてもよい。学習装置２が学習データ２２２を作成する場合には、制御部２１は、本ステップＳ２０１において、学習データ２２２の作成処理を実行することで、学習データ２２２を取得することができる。一方、学習装置２以外の他の情報処理装置が学習データ２２２を作成する場合には、学習装置２は、ネットワーク、記憶媒体９２等を介して、他の情報処理装置により作成された学習データ２２２を取得することができる。なお、本ステップＳ２０１で取得する学習データ２２２の件数は、ニューラルネットワーク６の機械学習を行うことができるように、実施の形態に応じて適宜決定されてよい。

（ステップＳ２０２）
次のステップＳ２０２では、制御部２１は、学習処理部２１２として動作して、ステップＳ２０１で取得した学習データ２２２を用いて、低解像度撮影画像２２３を入力すると脚部即応性情報２２４に対応する出力値を出力するようにニューラルネットワーク６の機械学習を実施する。

具体的には、まず、制御部２１は、学習処理を行う対象となるニューラルネットワーク６を用意する。用意するニューラルネットワーク６の構成、各ニューロン間の結合の重みの初期値、及び各ニューロンの閾値の初期値は、テンプレートにより与えられてもよいし、オペレータの入力により与えられてもよい。また、再学習を行う場合には、制御部２１は、再学習を行う対象となる学習結果データ１２２に基づいて、ニューラルネットワーク６を用意してもよい。

次に、制御部２１は、ステップＳ２０１で取得した学習データ２２２に含まれる低解像度撮影画像２２３を入力データとして用い、脚部即応性情報２２４を教師データ（正解データ）として用いて、ニューラルネットワーク６の学習処理を行う。このニューラルネットワーク６の学習処理には、確率的勾配降下法等が用いられてよい。

例えば、制御部２１は、畳み込みニューラルネットワーク６１の最も入力側に配置された畳み込み層に低解像度撮影画像２２３を入力する。そして、制御部２１は、入力側から順に、各層に含まれる各ニューロンの発火判定を行う。これにより、制御部２１は、ＬＳＴＭネットワーク６２の出力層から出力値を得る。次に、制御部２１は、ＬＳＴＭネットワーク６２の出力層から取得した出力値と脚部即応性情報２２４に対応する値との誤差を算出する。続いて、制御部２１は、通時的誤差逆伝搬（Back propagation through time）法により、算出した出力値の誤差を用いて、各ニューロン間の結合の重み及び各ニューロンの閾値それぞれの誤差を算出する。そして、制御部２１は、算出した各誤差に基づいて、各ニューロン間の結合の重み及び各ニューロンの閾値それぞれの値の更新を行う。

制御部２１は、各件の学習データ２２２について、ニューラルネットワーク６から出力される出力値が脚部即応性情報２２４に対応する値と一致するまでこの一連の処理を繰り返す。これにより、制御部２１は、低解像度撮影画像２２３を入力すると脚部即応性情報２２４に対応する出力値を出力するニューラルネットワーク６を構築することができる。

（ステップＳ２０３）
次のステップＳ２０３では、制御部２１は、学習処理部２１２として動作して、構築したニューラルネットワーク６の構成、各ニューロン間の結合の重み、及び各ニューロンの閾値を示す情報を学習結果データ１２２として記憶部２２に格納する。これにより、制御部２１は、本動作例に係るニューラルネットワーク６の学習処理を終了する。

なお、制御部２１は、上記ステップＳ２０３の処理が完了した後に、作成した学習結果データ１２２を自動運転支援装置１に転送してもよい。また、制御部２１は、上記ステップＳ２０１〜Ｓ２０３の学習処理を定期的に実行することで、学習結果データ１２２を定期的に更新してもよい。そして、制御部２１は、作成した学習結果データ１２２を当該学習処理の実行毎に自動運転支援装置１に転送することで、自動運転支援装置１の保持する学習結果データ１２２を定期的に更新してもよい。また、例えば、制御部２１は、作成した学習結果データ１２２をＮＡＳ（Network Attached Storage）等のデータサーバに保管してもよい。この場合、自動運転支援装置１は、このデータサーバから学習結果データ１２２を取得してもよい。

［作用・効果］
以上のように、本実施形態に係る自動運転支援装置１は、上記ステップＳ１０２及びＳ１０３の処理により、車両１００の運転席についた運転者Ｄの脚部を撮影可能に配置されたカメラ３１から得られる撮影画像（低解像度撮影画像１２３１）を取得する。そして、自動運転支援装置１は、上記ステップＳ１０４及びＳ１０５により、取得した低解像度撮影画像１２３１を学習済みのニューラルネットワーク（ニューラルネットワーク５）に入力することで、運転者Ｄの脚部の運転に対する即応性の程度を推定する。この学習済みのニューラルネットワークは、上記学習装置２により、低解像度撮影画像２２３及び脚部即応性情報２２４を含む学習データ２２２を用いて作成される。

したがって、本実施形態によれば、学習済みのニューラルネットワークと運転者Ｄの脚部が写り得る撮影画像とを用いることで、運転者Ｄの脚部が運転操作を行える状態にあるか否かに関する指標を脚部即応性情報１２４として得ることができる。これにより、自動運転モードで車両１００が走行している際に、運転者Ｄの脚部が運転操作に直ちに対応可能かどうかを推定する精度を向上させることができる。加えて、上記ステップＳ１０６及びＳ１０９のように、この脚部即応性情報１２４に基づいて、運転者Ｄが運転操作を行える状態にあるか否かという観点で、車両１００の自動運転の動作を制御することができる。

また、本実施形態では、運転者Ｄの脚部の挙動を推定するために、当該運転者Ｄの脚部を撮影可能に配置したカメラ３１の撮影画像を用いている。この脚部の挙動は、撮影画像内で大きく表れ得る。そのため、運転者Ｄの脚部の挙動を推定するのに利用する撮影画像は、詳細な解析が可能なほど高解像度ではなくてもよい。そこで、本実施形態では、ニューラルネットワーク（５、６）の入力として、カメラ３１により得られる撮影画像を低解像度化した低解像度撮影画像（１２３１、２２３）を用いてもよいように構成されている。これにより、ニューラルネットワーク（５、６）の演算処理の計算量を低減することができ、プロセッサの負荷を低減することができる。なお、低解像度撮影画像（１２３１、２２３）の解像度は、運転者の脚部の挙動が判別可能な程度であるのが好ましい。

また、本実施形態に係るニューラルネットワーク５は、畳み込みニューラルネットワーク５１を入力側に備えている。これにより、入力（低解像度撮影画像１２３１）に適した解析を行うことができる。また、本実施形態に係るニューラルネットワーク５は、ＬＳＴＭネットワーク５２を出力側に備えている。低解像度撮影画像１２３１に時系列データを利用することで、短期的な依存関係だけでなく、長期的な依存関係を考慮して、運転者Ｄの脚部の運転に対する即応性の程度を推定することができる。したがって、本実施形態によれば、運転者Ｄの脚部の運転に対する即応性の推定精度を高めることができる。

また、本実施形態では、車両１００は、自動運転支援装置１（運転制御部１１５）により、自動運転モードと手動運転モードとを選択的に実施可能に構成されている。加えて、車両１００は、自動運転支援装置１の上記ステップＳ１０６及びＳ１０９により、自動運転モードを実施している際に、脚部即応性情報１２４により示される運転者Ｄの脚部の運転に対する即応性が所定の条件を満たす場合に、自動運転モードから手動運転モードに切り替えるように構成される。これにより、運転者Ｄの脚部の運転に対する即応性が低い状態にある場合に、車両１００の動作が手動運転モードにならないようにし、当該車両１００の走行の安全性を確保することができる。

§４ 変形例
以上、本発明の実施の形態を詳細に説明してきたが、前述までの説明はあらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。例えば、以下のような変更が可能である。なお、以下では、上記実施形態と同様の構成要素に関しては同様の符号を用い、上記実施形態と同様の点については、適宜説明を省略した。以下の変形例は適宜組み合わせ可能である。

＜４．１＞
上記実施形態では、自動運転支援装置１は、運転者Ｄを監視するモジュール（画像取得部１１１〜警告部１１４）及び車両１００の自動運転の動作を制御するモジュール（運転制御部１１５）の両方を備えている。しかしながら、自動運転支援装置１のハードウェア構成は、このような例に限られなくてもよい。例えば、運転者Ｄを監視するモジュール及び車両１００の自動運転の動作を制御するモジュールはそれぞれ別々のコンピュータに備えられてもよい。この場合、自動運転モードから手動運転モードへの切り替えを指示する切替指示部は、運転者Ｄを監視するモジュールと共にコンピュータに備えられてもよい。すなわち、切替指示部のモジュールを備えるコンピュータは、自動運転モードが実施されている際に、脚部即応性情報１２４により示される運転者Ｄの脚部の運転に対する即応性が所定の条件を満たす場合に、自動運転モードから手動運転モードに切り替える指示を車両１００に対して出力してもよい。これに応じて、自動運転の動作を制御するモジュールを備えるコンピュータは、自動運転モードから手動運転モードへの切り替えの制御を行ってもよい。

＜４．２＞
上記実施形態では、自動運転支援装置１は、運転者Ｄの指示に応じて、自動運転モードと手動運転モードとを選択的に実施するように車両１００の動作を制御している。しかしながら、自動運転モード及び手動運転モードを開始するトリガは、このような運転者Ｄの指示に限られなくてもよく、実施の形態に応じて適宜設定されてよい。例えば、ハンドルにセンサが取り付けられ、運転者がハンドルを握っているか否かを検知してもよい。この場合、自動運転支援装置１は、運転者がハンドルを握ったことを検知した後に、自動運転モードから手動運転モードへの切り替えを開始するまでのカウントダウン時間を音声又は表示により出力してもよい。そして、自動運転支援装置１は、カウントアップした時点で、車両１００の動作を自動運転モードから手動運転モードに切り替えてもよい。

＜４．３＞
上記実施形態では、脚部即応性情報１２４は、運転者Ｄの脚部の運転に対する即応性が高い状態であるか低い状態であるかを２つのレベルで示している。しかしながら、脚部即応性情報１２４の表現形式は、このような例に限定されなくてもよい。脚部即応性情報１２４は、運転者Ｄの脚部の運転に対する即応性の程度を３つ以上のレベルで段階的に示してもよい。

図９は、本変形例に係る脚部即応性情報の一例を示す。図９に示すとおり、本変形例に係る脚部即応性情報は、各行動状態に対する即応性の程度を０から１までのスコア値で定めている。例えば、図９の例では、「あぐらをかいている」及び「膝が９０度以下に屈曲している」にはそれぞれスコア値「０」が割り当てられており、「右足が右側、左脚が左側に位置している」、「両脚が伸びている」及び「脚の上に物が載っていない」にはそれぞれスコア値「１」が割り当てられており、その他の行動状態には０と１との間のスコア値（例えば、０．５）が割り当てられている。このように、各行動状態に対して３種類以上のスコア値を割り当てることで、脚部即応性情報１２４は、運転者Ｄの脚部の運転に対する即応性の程度を３つ以上のレベルで段階的に示してもよい。

この場合、上記ステップＳ１０６では、制御部１１は、脚部即応性情報１２４のスコア値に基づいて、運転者Ｄが車両１００の運転に復帰するのに適した状態にあるか否かを判定してもよい。例えば、制御部１１は、脚部即応性情報１２４のスコア値が所定の閾値よりも高いか否かに基づいて、運転者Ｄが車両１００の運転に復帰するのに適した状態にあるか否かを判定してもよい。閾値は、運転者Ｄが車両１００の運転に復帰するのに適した状態にあるか否かを判定するための基準であり、上記「所定の条件」の一例である。この閾値は、適宜設定されてよい。なお、スコア値の上限値は「１」に限られなくてもよく、下限値は「０」に限られなくてもよい。

また、上記ステップＳ１０７では、制御部１１（警告部１１４）は、脚部即応性情報１２４の示す運転者Ｄの脚部の運転に対する即応性のレベルに応じて、脚部の即応性を高めるように運転者Ｄに促す警告を段階的に行ってもよい。例えば、制御部１１は、脚部即応性情報１２４の示すスコア値が低いほど強い警告（例えば、音量を上げる、ビープ音を鳴らす、等）してもよい。

また、上記脚部即応性情報１２４では、右脚及び左脚の区別がなされていない。しかしながら、車両のペダル操作は一般的に右脚で行われる。そのため、車両の運転操作では、左脚よりも右脚の方が重要であると想定される。そこで、脚部即応性情報１２４は、右脚及び左脚の即応性を別々に、又は右脚の即応性を示すように構成されてよい。

この場合、上記ステップＳ１０６では、制御部１１は、脚部即応性情報１２４により示される運転者Ｄの右脚の運転に対する即応性が所定の条件を満たすか否かを判定してもよい。そして、ステップＳ１０６において、脚部即応性情報１２４により示される運転者Ｄの右脚の運転に対する即応性が所定の条件を満たすと判定される場合に、制御部１１は、上記ステップＳ１０９により、自動運転モードから手動運転モードに車両１００の動作を切り替えてもよい。

このように制御することで、車両１００は、自動運転モードを実施している際に、脚部即応性情報１２４により示される運転者Ｄの右脚の運転に対する即応性が所定の条件を満たす場合に、自動運転モードから手動運転モードに切り替えるように構成される。これによって、運転者Ｄが車両１００の運転操作を行える状態にあるか否かを適切に評価することができる。

また、上記図９の例では、「膝が９０度以下に屈曲している」と「両脚が伸びている」とで異なるスコア値が割り当てられている。このように、脚部即応性情報１２４は、運転者の脚部の屈曲状態に応じて、運転者の脚部の運転に対する即応性の程度を３つ以上のレベルで段階的に示してもよい。この場合、脚部即応性情報１２４は、上記図９の例と同様に、スコア値により表現されてよい。

屈曲状態は、脚部の関節の屈曲度、屈曲方向等で定まる。この屈曲状態と脚部の即応性との対応関係は、実施の形態に応じて適宜設定可能である。例えば、運転者の脚部が伸びている場合には、当該運転者はペダル操作をすぐにでも行うことができるため、運転に対する即応性が高い状態にあると想定される。一方、座禅を組む等により運転者の膝が０度に近い状態まで折れ曲がっている場合には、当該運転者はペダル操作をすぐには行えないため、運転に対する即応性が低い状態にあると想定される。そこで、脚部即応性情報１２４のスコア値は、運転者の脚部が伸びている状態に近いほど高く、運転者の膝が０度まで折れ曲がっている状態に近いほど小さくなるように設定されてよい。

また、例えば、車の進行方向に膝が屈曲している状態と車の幅方向に膝が屈曲している状態とを比較すると、車の進行方向に膝が屈曲している状態の方が、車の幅方向に膝が屈曲している状態に比べて、車両のペダルに脚を乗せやすいと想定される。そのため、脚部即応性情報１２４のスコア値は、同じ屈曲度であっても、車の幅方向に対する屈曲が、車の進行方向に対する屈曲に比べて、即応性の程度が小さくなるように設定されてよい。

また、上記実施形態及び図９の例では、脚部即応性情報１２４の示す即応性の程度は、各行動状態に対応して設定されている。しかしながら、同一の行動状態の中でも、即応性の程度は変化し得る。例えば、脚を組み始めた状況では、脚部の運転に対する即応性は低い状態にあると想定されるのに対して、脚を組んだのを終了して、脚を延ばそうとしている状況では、脚部の運転に対する即応性は高い状態にあると想定される。そこで、脚部即応性情報１２４の示す即応性の程度は、同一の行動状態であっても、その状況に応じて異なるように設定されてもよい。これにより、運転者Ｄが車両１００の運転操作を行える状態にあるか否かを更に適切に評価することができる。また、同一の行動状態であっても、その状況に応じて、自動運転モードから手動運転モードに切り替えないようにしたり、切り替えられるようにしたりすることができる。例えば、上記の点を考慮して、「脚を組んでいる」状態について、脚を組み始めたケースに対しては０に近いスコア値を割り当て、脚を組んだ状態を終了して、脚を延ばそうとしているケースに対しては１に近いスコア値を割り当ててもよい。この場合、脚を組み始めたケースでは、自動運転モードから手動運転モードへの切り替えが起きないようにし、脚を延ばそうとしているケースでは、自動運転モードから手動運転モードへの切り替えが起きるように車両の制御を行うことができる。

＜４．４＞
上記実施形態では、上記ステップＳ１０４において、低解像度撮影画像１２３１をニューラルネットワーク５に入力している。しかしながら、ニューラルネットワーク５に入力する撮影画像は、このような例に限定されなくてもよい。制御部１１は、ステップＳ１０２で取得した撮影画像１２３をそのままニューラルネットワーク５に入力してもよい。なお、この場合、上記処理手順において、ステップＳ１０３は省略されてよい。また、上記自動運転支援装置１のソフトウェア構成において、解像度変換部１１２は省略されてよい。

＜４．５＞
上記実施形態では、図４及び図６に示されるとおり、運転者Ｄの脚部の運転に対する即応性の推定に利用するニューラルネットワークは、畳み込みニューラルネットワーク及びＬＳＴＭネットワークを備えている。しかしながら、当該ニューラルネットワークの構成は、このような例に限定されなくてもよく、実施の形態に応じて適宜決定されてよい。例えば、ＬＳＴＭネットワークは省略されてもよい。

＜４．６＞
上記実施形態では、運転者Ｄの脚部の運転に対する即応性の推定に利用する学習器として、ニューラルネットワークを用いている。しかしながら、学習器の種類は、撮影画像を入力として利用可能であれば、ニューラルネットワークに限られなくてもよく、実施の形態に応じて適宜選択されてよい。利用可能な学習器として、例えば、サポートベクターマシン、自己組織化マップ、強化学習により機械学習を行う学習器等を挙げることができる。

＜４．７＞
上記実施形態では、制御部１１は、ステップＳ１０４において、低解像度撮影画像１２３１をニューラルネットワーク５に入力している。しかしながら、ニューラルネットワーク５の入力は、このような例に限定されなくてもよく、低解像度撮影画像１２３１以外の情報が、ニューラルネットワーク５に入力されてもよい。

図１０は、本変形例に係る自動運転支援装置１Ａのソフトウェア構成の一例を模式的に例示する。自動運転支援装置１Ａは、運転者Ｄの運転状態に影響を与える因子に関する影響因子情報１２５をニューラルネットワーク５Ａに更に入力する。影響因子情報１２５は、例えば、車両の走行速度を示す速度情報、車両の周辺環境の状態を示す周辺環境情報（レーダの測定結果、カメラの撮影画像）、天候を示す天候情報等である。

このとき、影響因子情報１２５は、撮影画像（低解像度撮影画像１２３１）と共に、畳み込みニューラルネットワーク５１に入力されてもよい。ただし、影響因子情報１２５は、画像情報ではなく、畳み込みニューラルネットワーク５１に入力するのに適さない可能性がある。そこで、本変形例に係るニューラルネットワーク５Ａは、上記ニューラルネットワーク５の構成に加えて、全結合ニューラルネットワーク５３と結合層５４とを備えている。全結合ニューラルネットワーク５３は、畳み込みニューラルネットワーク５１と並列に入力側に配置される。この全結合ニューラルネットワーク５３には、影響因子情報１２５が入力される。結合層５４は、畳み込みニューラルネットワーク５１及び全結合ニューラルネットワーク５３の出力を結合する。

具体的には、全結合ニューラルネットワーク５３は、いわゆる多層構造のニューラルネットワークであり、入力側から順に、入力層５３１、中間層（隠れ層）５３２、及び出力層５３３を備えている。ただし、全結合ニューラルネットワーク５３の層の数は、このような例に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。

各層５３１〜５３３は、１又は複数のニューロン（ノード）を備えている。各層５３１〜５３３に含まれるニューロンの個数は、実施の形態に応じて適宜設定されてよい。各層５３１〜５３３に含まれる各ニューロンが、隣接する層に含まれる全てのニューロンに結合されていることで、全結合ニューラルネットワーク５３は構成される。各結合には、重み（結合荷重）が適宜設定されている。

また、結合層５４は、畳み込みニューラルネットワーク５１及び全結合ニューラルネットワーク５３とＬＳＴＭネットワーク５２との間に配置される。結合層５４は、畳み込みニューラルネットワーク５１の出力層５１４からの出力及び全結合ニューラルネットワーク５３の出力層５３３からの出力を結合する。結合層５４に含まれるニューロンの個数は、畳み込みニューラルネットワーク５１及び全結合ニューラルネットワーク５３の出力の数に応じて適宜設定されてよい。結合層５４の出力は、ＬＳＴＭネットワーク５２の入力層５２１に入力される。

以上の点を除き、自動運転支援装置１Ａは、上記実施形態に係る自動運転支援装置１と同様に構成される。当該変形例では、低解像度撮影画像１２３１の他に、影響因子情報１２５を更に利用することにより、運転者Ｄの運転状態に影響を与える因子を上記推定処理に反映することができる。これによって、当該変形例によれば、運転者Ｄの脚部の運転に対する即応性の推定精度を高めることができる。

なお、制御部１１は、この影響因子情報１２５に基づいて、上記ステップＳ１０６における判定基準を変更してもよい。例えば、上記変形例＜４．３＞のとおり、脚部即応性情報１２４がスコア値で示される場合に、制御部１１は、影響因子情報１２５に基づいて、上記ステップＳ１０６の判定に利用する閾値を変更してもよい。一例として、制御部１１は、速度情報の示す車両の走行速度が大きくなるほど、運転者Ｄが車両の運転操作を行える状態にあると判定するための閾値（所定の条件）の値を大きくしてもよい。

＜４．８＞
上記実施形態では、自動運転支援装置１は、警告部１１４を備え、ステップＳ１０７において運転者Ｄに対する警告を実施する。しかしながら、警告を実施しない場合には、ステップＳ１０７は省略されてよく、自動運転支援装置１のソフトウェア構成から警告部１１４が省略されてもよい。

＜４．９＞
上記実施形態では、自動運転支援装置１は、ニューラルネットワーク５からの出力として、当該ニューラルネットワーク５から脚部即応性情報１２４を直接的に取得している。しかしながら、脚部即応性情報を学習器から取得する方法は、このような例に限定されなくてもよい。例えば、自動運転支援装置１は、学習器の出力値と脚部の即応性の程度とを対応付けたテーブル形式等の参照情報を記憶部１２に保持していてもよい。この場合、制御部１１は、上記ステップＳ１０４において、低解像度撮影画像１２３１を入力として用いて、ニューラルネットワーク５の演算処理を行うことで、当該ニューラルネットワーク５から出力値を得る。そして、上記ステップＳ１０５において、制御部１１は、参照情報を参照することで、ニューラルネットワーク５から得た出力値に対応する脚部の即応性の程度を示す脚部即応性情報１２４を取得する。このように、自動運転支援装置１は、脚部即応性情報１２４を間接的に取得してもよい。なお、この場合、参照情報は、ユーザ毎に保持されてもよい。また、ニューラルネットワーク５から出力される出力値は、運転者の脚部の状態に対応するように設定されてもよい。

（付記１）
ハードウェアプロセッサ（１１）と、
前記ハードウェアプロセッサ（１１）で実行するプログラム（１２１）を保持するメモリ（１２）と、
を備える運転者監視装置（１、１Ａ）であって、
前記ハードウェアプロセッサ（１１）は、前記プログラム（１２１）を実行することにより、
車両の運転席に着いた運転者の脚部を撮影可能に配置された撮影装置から撮影画像を取得する画像取得ステップと、
前記運転者の脚部の運転に対する即応性の程度を推定するための機械学習を行った学習済みの学習器に前記撮影画像を入力することで、前記運転者の脚部の運転に対する即応性の程度を示す脚部即応性情報を当該学習器から取得する推定ステップと、
を実行するように構成される、
運転者監視装置（１、１Ａ）。

（付記２）
ハードウェアプロセッサ（１１）により、車両の運転席に着いた運転者の脚部を撮影可能に配置された撮影装置から撮影画像を取得する画像取得ステップと、
ハードウェアプロセッサ（１１）により、前記運転者の脚部の運転に対する即応性の程度を推定するための機械学習を行った学習済みの学習器に前記撮影画像を入力することで、前記運転者の脚部の運転に対する即応性の程度を示す脚部即応性情報を当該学習器から取得する推定ステップと、
を備える、
運転者監視方法。

（付記３）
ハードウェアプロセッサ（２１）と、
前記ハードウェアプロセッサ（２１）で実行するプログラム（２２１）を保持するメモリ（２２）と、
を備える学習装置（２）であって、
前記ハードウェアプロセッサ（２１）は、前記プログラム（２２１）を実行することにより、
車両の運転席に着いた運転者の脚部を撮影可能に配置された撮影装置から取得される撮影画像、及び当該運転者の脚部の運転に対する即応性の程度を示す脚部即応性情報の組を学習データとして取得する学習データ取得ステップと、
前記撮影画像を入力すると前記脚部即応性情報に対応する出力値を出力するように学習器の機械学習を行う学習処理ステップと、
を実施するように構成される、
学習装置（２）。

（付記４）
ハードウェアプロセッサ（２１）により、車両の運転席に着いた運転者の脚部を撮影可能に配置された撮影装置から取得される撮影画像、及び当該運転者の脚部の運転に対する即応性の程度を示す脚部即応性情報の組を学習データとして取得する学習データ取得ステップと、
ハードウェアプロセッサ（２１）により、前記撮影画像を入力すると前記脚部即応性情報に対応する出力値を出力するように学習器の機械学習を行う学習処理ステップと、
を備える、
学習方法。

１…自動運転支援装置（運転者監視装置）、
１１…制御部、１２…記憶部、１３…外部インタフェース、
１１１…画像取得部、１１２…解像度変換部、
１１３…即応性推定部、１１４…警告部、
１２１…プログラム、１２２…学習結果データ、
１２３…撮影画像、１２３１…低解像度撮影画像、
１２４…脚部即応性情報、
２…学習装置、
２１…制御部、２２…記憶部、２３…通信インタフェース、
２４…入力装置、２５…出力装置、２６…ドライブ、
２１１…学習データ取得部、２１２…学習処理部、
２２１…学習プログラム、２２２…学習データ、
２２３…低解像度撮影画像、２２４…脚部即応性情報、
３０…ナビゲーション装置、３１…カメラ、３２…スピーカ、
５…ニューラルネットワーク、
５１…畳み込みニューラルネットワーク、
５１１…畳み込み層、５１２…プーリング層、
５１３…全結合層、５１４…出力層、
５２…ＬＳＴＭネットワーク（再帰型ニューラルネットワーク）、
５２１…入力層、５２２…ＬＳＴＭブロック、５２３…出力層、
５３…全結合ニューラルネットワーク、
５３１…入力層、５３２…中間層（隠れ層）、５３３…出力層、
５４…結合層、
６…ニューラルネットワーク、
６１…畳み込みニューラルネットワーク、
６２…ＬＳＴＭネットワーク、
９２…記憶媒体

Claims (14)

1. 車両の運転席に着いた運転者の脚部を撮影可能に配置された撮影装置から撮影画像を取得する画像取得部と、
   前記運転者の脚部が手動運転に直ちに対応可能か否かの度合いとして、前記運転者の脚部の運転に対する即応性の程度を推定するための機械学習を行った学習済みの学習器に前記撮影画像を入力し、前記学習済みの学習器の演算処理を実行することで、前記運転者の脚部の運転に対する即応性の程度を示す脚部即応性情報を当該学習器から取得する即応性推定部と、
   を備える、
   運転者監視装置。
2. 自動的に運転操作を行う自動運転モードと運転者の手動により運転操作を行う手動運転モードとを選択的に実施可能に構成された前記車両に対して、前記自動運転モードが実施されている際に、前記脚部即応性情報により示される前記運転者の脚部の運転に対する即応性が所定の条件を満たす場合に、前記自動運転モードから前記手動運転モードに切り替える指示を出力する切替指示部を更に備える、
   請求項１に記載の運転者監視装置。
3. 前記切替指示部は、前記自動運転モードが実施されている際に、前記脚部即応性情報により示される前記運転者の右脚の運転に対する即応性が所定の条件を満たす場合に、前記自動運転モードから前記手動運転モードに切り替える指示を出力する、
   請求項２に記載の運転者監視装置。
4. 前記脚部即応性情報は、前記運転者の脚部の運転に対する即応性の程度を３つ以上のレベルで段階的に示す、
   請求項１から３のいずれか１項に記載の運転者監視装置。
5. 前記脚部即応性情報は、前記運転者の脚部の屈曲状態に応じて、前記運転者の脚部の運転に対する即応性の程度を３つ以上のレベルで段階的に示す、
   請求項４に記載の運転者監視装置。
6. 前記脚部即応性情報の示す前記運転者の脚部の運転に対する即応性のレベルに応じて、脚部の即応性を高めるように前記運転者に促す警告を段階的に行う警告部を更に備える、
   請求項４又は５に記載の運転者監視装置。
7. コンピュータが、
   車両の運転席に着いた運転者の脚部を撮影可能に配置された撮影装置から撮影画像を取得する画像取得ステップと、
   前記運転者の脚部が手動運転に直ちに対応可能か否かの度合いとして、前記運転者の脚部の運転に対する即応性の程度を推定するための機械学習を行った学習済みの学習器に前記撮影画像を入力し、前記学習済みの学習器の演算処理を実行することで、前記運転者の脚部の運転に対する即応性の程度を示す脚部即応性情報を当該学習器から取得する推定ステップと、
   を実行する、
   運転者監視方法。
8. 前記コンピュータは、
   自動的に運転操作を行う自動運転モードと運転者の手動により運転操作を行う手動運転モードとを選択的に実施するように前記車両の動作を制御し、
   前記自動運転モードを実施している際に、前記脚部即応性情報により示される前記運転者の脚部の運転に対する即応性が所定の条件を満たす場合に、前記自動運転モードから前記手動運転モードに切り替える、
   請求項７に記載の運転者監視方法。
9. 前記コンピュータは、前記自動運転モードを実施している際に、前記脚部即応性情報により示される前記運転者の右脚の運転に対する即応性が所定の条件を満たす場合に、前記自動運転モードから前記手動運転モードに切り替える、
   請求項８に記載の運転者監視方法。
10. 前記脚部即応性情報は、前記運転者の脚部の運転に対する即応性の程度を３つ以上のレベルで段階的に示す、
    請求項７から９のいずれか１項に記載の運転者監視方法。
11. 前記脚部即応性情報は、前記運転者の脚部の屈曲状態に応じて、前記運転者の脚部の運転に対する即応性の程度を３つ以上のレベルで段階的に示す、
    請求項１０に記載の運転者監視方法。
12. 前記コンピュータは、前記脚部即応性情報の示す前記運転者の脚部の運転に対する即応性のレベルに応じて、脚部の即応性を高めるように前記運転者に促す警告を段階的に行う警告ステップを更に実行する、
    請求項１０又は１１に記載の運転者監視方法。
13. 車両の運転席に着いた運転者の脚部を撮影可能に配置された撮影装置から取得される撮影画像、及び当該運転者の脚部が手動運転に直ちに対応可能か否かの度合いとして、当該運転者の脚部の運転に対する即応性の程度を示す脚部即応性情報の組を学習データとして取得する学習データ取得部と、
    前記撮影画像を入力すると前記脚部即応性情報に対応する出力値を出力するように学習器の機械学習を行う学習処理部と、
    を備える、
    学習装置。
14. コンピュータが、
    車両の運転席に着いた運転者の脚部を撮影可能に配置された撮影装置から取得される撮影画像、及び当該運転者の脚部が手動運転に直ちに対応可能か否かの度合いとして、当該運転者の脚部の運転に対する即応性の程度を示す脚部即応性情報の組を学習データとして取得するステップと、
    前記撮影画像を入力すると前記脚部即応性情報に対応する出力値を出力するように学習器の機械学習を行うステップと、
    を実行する、
    学習方法。