JP6264495B1 - 運転者監視装置、運転者監視方法、学習装置及び学習方法 - Google Patents

Abstract

【課題】運転者の腕部が運転操作を行える状態にあるか否かに関する指標を得るための技術を提供する。【解決手段】本発明の一側面に係る運転者監視装置は、車両の運転席に着いた運転者の腕部を撮影可能に配置された撮影装置から撮影画像を取得する画像取得部と、前記運転者の腕部の運転に対する即応性の程度を推定するための機械学習を行った学習済みの学習器に前記撮影画像を入力することで、前記運転者の腕部の運転に対する即応性の程度を示す腕部即応性情報を当該学習器から取得する即応性推定部と、を備える。【選択図】図４

Description

本発明は、運転者監視装置、運転者監視方法、学習装置及び学習方法に関する。

近年、運転の安全性を高めるために、居眠り、体調の急変等の運転者の状態を監視する技術の開発が進んでいる。また、自動車の自動運転の実現に向けた動きが加速している。自動運転は、システムにより自動車の走行を制御するものであるが、システムに代わって運転者が運転しなければならない場面もあり得ることから、自動運転中であっても、運転者が運転操作を行える状態にあるか否かを監視する必要性があるとされている。この自動運転中に運転者の状態を監視する必要性があることは、国連欧州経済委員会（ＵＮ−ＥＣＥ）の政府間会合（ＷＰ２９）においても確認されている。この点からも、運転者の状態を監視する技術の開発が進められている。

運転者の状態を推定する技術として、例えば、特許文献１では、まぶたの開閉、視線の動き、又はハンドル角のふらつきから運転者の実集中度を検出する方法が提案されている。この方法では、検出した実集中度と車両の周辺環境情報から算出した要求集中度とを比較することで、要求集中度に対して実集中度が十分であるか否かを判定する。そして、要求集中度に対して実集中度が不十分であると判定した場合には、自動運転の走行速度を低速にする。これにより、特許文献１の方法によれば、クルーズ制御を行っている際の安全性を高めることができる。

また、例えば、特許文献２では、開口行動及び口の周りの筋肉の状態に基づいて、運転者の眠気を判定する方法が提案されている。この方法では、運転者が開口行動を実施していない場合に、弛緩状態である筋肉の数に応じて運転者に生じている眠気のレベルを判定する。したがって、特許文献２の方法によれば、眠気により無意識に生じる現象に基づいて、運転者の眠気のレベルを判定しているため、眠気が生じていることを検出する検出精度を高めることができる。

また、例えば、特許文献３では、運転者のまぶたの動きが生じた後に、顔向き角度の変化が生じたか否かに基づいて、当該運転者の眠気を判定する方法が提案されている。特許文献３の方法によれば、下方視の状態を眠気の高い状態と誤検出する可能性を低減することで、眠気検出の精度を高めることができる。

また、例えば、特許文献４では、運転者の所持する免許証内の顔写真と運転者を撮影した撮影画像とを比較することで、運転者の眠気度及び脇見度を判定する方法が提案されている。特許文献４の方法によれば、免許証内の顔写真を運転者の覚醒時の正面画像として取り扱って、当該顔写真と撮影画像との特徴量を比較することで、運転者の眠気度及び脇見度を判定することができる。

また、例えば、特許文献５では、運転者の視線の状態に基づいて、当該運転者の集中度を判定する方法が提案されている。具体的には、運転者の視線を検出し、検出した視線が注視領域に停留する停留時間を測定する。そして、停留時間が閾値を超えた場合に、運転者の集中度が低下したと判定する。特許文献５の方法によれば、視線に関連する少ない画素値の変化により運転者の集中度を判定することができる。そのため、運転者の集中度の判定を少ない計算量で行うことができる。

また、例えば、特許文献６では、運転者のハンドル把持情報及び視線方向情報に基づいて、運転者が携帯端末を操作しているか否かを判定する方法が提案されている。特許文献６の方法によれば、車両の運転中に運転者が携帯端末を操作していると判定される場合に、当該携帯端末の機能を制限することで、当該運転者が車両を運転する際の安全性を確保することができる。

特開２００８−２１３８２３号公報 特開２０１０−１２２８９７号公報 特開２０１１−０４８５３１号公報 特開２０１２−０８４０６８号公報 特開２０１４−１９１４７４号公報 特開２０１４−１０６５７３号公報

従来の方法では、運転者の集中度、眠気度、脇見度、又は携帯端末の操作の有無という観点で、解析時点において運転者が運転に適した状態にあるか否かという運転者の状態を推定している。しかしながら、自動運転機能を搭載した車両では、運転者は、自動運転中に様々な行動を取る可能性がある。このような車両では、自動運転から手動運転に切り替える際に、運転者が運転操作を行える準備状態にあるか否か、換言すると、運転者が車両の運転を手動で行える状態にあるか否かを検知することが重要になると想定される。例えば、視線等の情報に基づいて解析時点において運転者が運転に適している状態と従来の方法で判定可能な場合であっても、両手に飲食物を保持している等の腕部の状態によっては、運転者が運転操作を行える状態にないケースがあり得る。従来の方法では、このようなケースにおいて、運転者が運転操作に復帰可能な状態にあるか否かに関する指標を得ることが困難である。

本発明は、一側面では、このような実情を鑑みてなされたものであり、その目的は、運転者の腕部が運転操作を行える状態にあるか否かに関する指標を得るための技術を提供することである。

本発明は、上述した課題を解決するために、以下の構成を採用する。

すなわち、本発明の一側面に係る運転者監視装置は、車両の運転席に着いた運転者の腕部を撮影可能に配置された撮影装置から撮影画像を取得する画像取得部と、前記運転者の腕部の運転に対する即応性の程度を推定するための機械学習を行った学習済みの学習器に前記撮影画像を入力することで、前記運転者の腕部の運転に対する即応性の程度を示す腕部即応性情報を当該学習器から取得する即応性推定部と、を備える。

当該構成では、機械学習により得られる学習済みの学習器を利用して、運転者の腕部の運転に対する即応性を推定する。具体的には、車両の運転席に着いた運転者の腕部を撮影可能に配置された撮影装置から撮影画像を取得する。そして、運転者の腕部の運転に対する即応性の程度を推定するための機械学習を行った学習済みの学習器に当該撮影画像を入力することで、運転者の腕部の運転に対する即応性の程度を示す腕部即応性情報を取得する。

ここで、「即応性」の程度とは、運転に対する準備状態の程度、換言すると、運転者が車両の運転を手動で行える状態にあるか否かの度合いを示す。より詳細には、「即応性」の程度は、運転者が車両の手動運転に直ちに対応可能か否かの度合いを示す。したがって、当該構成によれば、運転者の腕部が運転操作を行える状態にあるか否かに関する指標を腕部即応性情報として得ることができる。これにより、自動運転モードで車両が走行している際に、運転者の腕部が運転操作に直ちに対応可能かどうかを推定する精度を向上させることができる。

なお、「機械学習」とは、データ（学習データ）に潜むパターンをコンピュータにより見つけ出すことであり、「学習器」は、そのような機械学習により所定のパターンを識別する能力を獲得可能な学習モデルにより構築される。この学習器の種類は、撮影画像に基づいて運転者の腕部の運転に対する即応性の程度を推定する能力を学習可能であれば、特に限定されなくてもよい。「学習済み学習器」は、「識別器」又は「分類器」と称されてもよい。

また、撮影装置が「車両の運転席に着いた運転者の腕部を撮影可能に配置される」とは、例えば、少なくとも運転席からハンドル周辺を撮影範囲とするように配置される等、運転操作時に運転者の腕部の少なくとも一部が位置すべき範囲を撮影範囲としてカバーするように撮影装置が配置されることである。そのため、運転者が、撮影装置に対して背を向けている等の状況では、運転者の腕部を撮影装置により捕捉できない可能性があり、このようなケースでは、撮影装置から得られる撮影画像には必ずしも運転者の腕部が写っている必要はない。

上記一側面に係る運転者監視装置は、自動的に運転操作を行う自動運転モードと運転者の手動により運転操作を行う手動運転モードとを選択的に実施可能に構成された前記車両に対して、前記自動運転モードが実施されている際に、前記腕部即応性情報により示される前記運転者の腕部の運転に対する即応性が所定の条件を満たす場合に、前記自動運転モードから前記手動運転モードに切り替える指示を出力する切替指示部を更に備えてもよい。当該構成によれば、運転者の腕部の即応性に応じて自動運転から手動運転に動作を切り替え可能な車両を提供することができる。

上記一側面に係る運転者監視装置において、前記切替指示部は、前記自動運転モードが実施されている際に、前記腕部即応性情報により示される前記運転者の手の運転に対する即応性が所定の条件を満たす場合に、前記自動運転モードから前記手動運転モードに切り替える指示を出力してもよい。当該構成によれば、ハンドル操作を行う運転者の手の即応性に応じて自動運転から手動運転に動作を切り替え可能な車両を提供することができる。

上記一側面に係る運転者監視装置において、前記腕部即応性情報は、前記運転者の腕部の運転に対する即応性の程度を３つ以上のレベルで段階的に示すように構成されてもよい。当該構成によれば、運転者の腕部の即応性を段階的に表現することができ、これによって、運転者状態の推定結果の利用性が向上する。

上記一側面に係る運転者監視装置において、前記腕部即応性情報は、前記運転者が手に保持している物体の属性に応じて、前記運転者の腕部の運転に対する即応性の程度を３つ以上のレベルで段階的に示してもよい。運転者が手に保持している物体の種類に応じて、運転に対する即応性は相違し得る。例えば、運転者が赤ん坊等を両手で保持している場合には、当該運転者の運転に対する即応性は低い状態にあると想定される。一方、タオル等の直ぐに手から離すことのできる物体を運転者が保持している場合には、当該運転者の運転に対する即応性は高い状態にあると想定される。当該構成によれば、運転者の保持している物体の属性を適切に反映して、運転者の腕部の運転に対する即応性を評価することができる。なお、「属性」は、例えば、物体の種類、大きさ等により示される。

上記一側面に係る運転者監視装置は、前記腕部即応性情報の示す前記運転者の腕部の運転に対する即応性のレベルに応じて、腕部の即応性を高めるように前記運転者に促す警告を段階的に行う警告部を更に備えてもよい。当該構成によれば、運転者の腕部の即応性を段階的に評価し、その状態に適した警告を実施することができる。

上記一側面に係る運転者監視装置は、前記運転者の観測情報を取得する観測情報取得部を更に備えてもよく、前記即応性推定部は、前記観測情報を前記学習器に更に入力してもよい。当該構成によれば、観測情報を更に利用することにより、運転者の腕部の即応性に対する解析精度を高めることができる。なお、観測情報は、運転者から観測可能なあらゆる情報が含まれてもよい。例えば、観測情報には、運転者の顔の挙動に関する顔挙動情報が含まれてもよい。また、例えば、観測情報には、脳波、心拍数、脈拍等の、運転者から測定可能な生体情報が含まれてもよい。また、例えば、観測情報には、運転者の腕部の状態又は動作に関連する情報が含まれてもよい。また、例えば、ステアリングタッチセンサ、ペダルの踏力センサ、座席の圧力センサ等のセンサを車両が備える場合に、観測情報には、これらのセンサから得られる測定結果が含まれてもよい。

上記一側面に係る運転者監視装置において、前記撮影装置は、前記運転者の顔を更に撮影可能に配置されてよく、前記観測情報取得部は、取得した前記撮影画像に対して所定の画像解析を行うことで、前記運転者の顔の検出可否、顔の位置、顔の向き、顔の動き、視線の方向、顔の器官の位置、及び目の開閉の少なくともいずれか１つに関する顔挙動情報を含む前記観測情報を取得してもよい。腕部の動作は、顔の動作を伴って生じ得る。当該構成によれば、顔挙動情報を利用して、運転者の腕部の即応性に対する解析精度を高めることができる。

上記一側面に係る運転者監視装置において、前記観測情報取得部は、前記運転者の生体情報を含む前記観測情報を取得してもよい。腕部の動作は、何らかの生体情報の変化を伴って生じ得る。例えば、所定の腕部の動作を行ったときには、脳の所定の部位が反応を示し得る。当該構成によれば、生体情報を利用して、運転者の腕部の即応性に対する解析精度を高めることができる。

また、本発明の一側面に係る運転監視方法は、コンピュータが、車両の運転席に着いた運転者の腕部を撮影可能に配置された撮影装置から撮影画像を取得する画像取得ステップと、前記運転者の腕部の運転に対する即応性の程度を推定するための機械学習を行った学習済みの学習器に前記撮影画像を入力することで、前記運転者の腕部の運転に対する即応性の程度を示す腕部即応性情報を当該学習器から取得する推定ステップと、を実行する。当該構成によれば、運転者の腕部が運転操作を行える状態にあるか否かに関する指標を腕部即応性情報として得ることができる。

上記一側面に係る運転監視方法において、前記コンピュータは、自動的に運転操作を行う自動運転モードと運転者の手動により運転操作を行う手動運転モードとを選択的に実施するように前記車両の動作を制御し、前記自動運転モードを実施している際に、前記腕部即応性情報により示される前記運転者の腕部の運転に対する即応性が所定の条件を満たす場合に、前記自動運転モードから前記手動運転モードに切り替えるように構成されてもよい。当該構成によれば、運転者の腕部の即応性に応じて自動運転から手動運転に動作を切り替え可能な車両を提供することができる。

上記一側面に係る運転監視方法において、前記コンピュータは、前記自動運転モードを実施している際に、前記腕部即応性情報により示される前記運転者の手の運転に対する即応性が所定の条件を満たす場合に、前記自動運転モードから前記手動運転モードに切り替えるように構成されてもよい。当該構成によれば、運転者の手の即応性に応じて自動運転から手動運転に動作を切り替え可能な車両を提供することができる。

また、本発明の一側面に係る学習装置は、車両の運転席に着いた運転者の腕部を撮影可能に配置された撮影装置から取得される撮影画像、及び当該運転者の腕部の運転に対する即応性の程度を示す腕部即応性情報の組を学習データとして取得する学習データ取得部と、前記撮影画像を入力すると前記腕部即応性情報に対応する出力値を出力するように学習器の機械学習を行う学習処理部と、を備える。当該構成によれば、上記運転者の腕部の運転に対する即応性の程度を推定するのに利用する学習済みの学習器を構築することができる。

また、本発明の一側面に係る学習方法は、コンピュータが、車両の運転席に着いた運転者の腕部を撮影可能に配置された撮影装置から取得される撮影画像、及び当該運転者の腕部の運転に対する即応性の程度を示す腕部即応性情報の組を学習データとして取得するステップと、前記撮影画像を入力すると前記腕部即応性情報に対応する出力値を出力するように学習器の機械学習を行うステップと、を実行する。当該構成によれば、上記運転者の腕部の運転に対する即応性の程度を推定するのに利用する学習済みの学習器を構築することができる。

本発明によれば、運転者の腕部が運転操作を行える状態にあるか否かに関する指標を得るための技術を提供することができる。

図１は、本発明が適用される場面の一例を模式的に例示する。 図２は、実施の形態に係る自動運転支援装置のハードウェア構成の一例を模式的に例示する。 図３は、実施の形態に係る学習装置のハードウェア構成の一例を模式的に例示する。 図４は、実施の形態に係る自動運転支援装置のソフトウェア構成の一例を模式的に例示する。 図５は、実施の形態に係る腕部即応性情報の一例を模式的に例示する。 図６は、実施の形態に係る学習装置のソフトウェア構成の一例を模式的に例示する。 図７は、実施の形態に係る自動運転支援装置の処理手順の一例を例示する。 図８は、実施の形態に係る学習装置の処理手順の一例を例示する。 図９は、変形例に係る腕部即応性情報の一例を模式的に例示する。 図１０は、変形例に係る自動運転支援装置のソフトウェア構成の一例を模式的に例示する。 図１１は、変形例に係る自動運転支援装置のソフトウェア構成の一例を模式的に例示する。

以下、本発明の一側面に係る実施の形態（以下、「本実施形態」とも表記する）を、図面に基づいて説明する。ただし、以下で説明する本実施形態は、あらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。つまり、本発明の実施にあたって、実施形態に応じた具体的構成が適宜採用されてもよい。しかしながら、本発明の適用対象は、自動運転を実施可能な車両に限定されなくてもよく、自動運転を実施しない一般の車両に本発明が適用されてもよい。なお、本実施形態において登場するデータを自然言語により説明しているが、より具体的には、コンピュータが認識可能な疑似言語、コマンド、パラメータ、マシン語等で指定される。

§１ 適用例
まず、図１を用いて、本発明が適用される場面の一例について説明する。図１は、本実施形態に係る自動運転支援装置１及び学習装置２の適用場面の一例を模式的に例示する。

図１に示されるとおり、本実施形態に係る自動運転支援装置１は、カメラ３１を利用して運転者Ｄを監視しながら、車両１００の自動運転を支援するコンピュータである。本実施形態に係る自動運転支援装置１は、本発明の「運転者監視装置」の一例である。なお、車両１００の種類は、実施の形態に応じて適宜選択されてよい。車両１００は、例えば、乗用車である。本実施形態に係る車両１００は、自動運転を実施可能に構成される。

具体的には、自動運転支援装置１は、車両１００の運転席に着いた運転者Ｄの腕部を撮影可能に配置されたカメラ３１から撮影画像を取得する。カメラ３１は、本発明の「撮影装置」の一例である。そして、自動運転支援装置１は、運転者の腕部の運転に対する即応性の程度を推定するための機械学習を行った学習済みの学習器（後述するニューラルネットワーク５）に、取得した撮影画像を入力することで、運転者Ｄの腕部の運転に対する即応性の程度を示す腕部即応性情報を当該学習器から取得する。これにより、自動運転支援装置１は、運転者Ｄの状態、すなわち、運転者Ｄの腕部の運転に対する即応性の程度を推定する。なお、「即応性」の程度とは、運転に対する準備状態の程度、換言すると、運転者が車両の運転を手動で行える状態にあるか否かの度合いを示す。より詳細には、「即応性」の程度は、運転者が車両の手動運転に直ちに対応可能か否かの度合いを示す。

一方、本実施形態に係る学習装置２は、自動運転支援装置１で利用する学習器を構築する、すなわち、撮影画像の入力に応じて、運転者Ｄの腕部の運転に対する即応性の程度を示す腕部即応性情報を出力するように学習器の機械学習を行うコンピュータである。具体的には、学習装置２は、上記撮影画像及び腕部即応性情報の組を学習データとして取得する。これらのうち、撮影画像は入力データとして利用され、腕部即応性情報は教師データとして利用される。すなわち、学習装置２は、撮影画像を入力すると腕部即応性情報に対応する出力値を出力するように学習器（後述するニューラルネットワーク６）を学習させる。これにより、自動運転支援装置１で利用する学習済みの学習器を作成することができる。自動運転支援装置１は、例えば、ネットワークを介して、学習装置２により作成された学習済みの学習器を取得することができる。なお、ネットワークの種類は、例えば、インターネット、無線通信網、移動通信網、電話網、専用網等から適宜選択されてよい。

以上のとおり、本実施形態によれば、学習済みの学習器を利用することで、運転者の腕部が運転操作を行える状態にあるか否かに関する指標を腕部即応性情報として得ることができる。そのため、この腕部即応性情報に基づいて、運転者Ｄの腕部の状態が運転操作を行える状態にあるか否かという観点で、例えば、車両１００の自動運転の動作を制御することができる。なお、カメラ３１に対して運転者Ｄが背を向けている等の状況では、当該運転者Ｄの腕部をカメラ３１により捕捉できない可能性がある。そのため、カメラ３１から得られる撮影画像には必ずしも運転者Ｄの腕部が写っている必要はない。

なお、本実施形態では、運転者Ｄの腕部の運転に対する即応性の程度を推測するのに、運転者Ｄの腕部が写り得る撮影画像の他、運転者Ｄの観測情報が更に用いられる。特に、本実施形態では、撮影画像を画像解析することで得られる顔挙動情報が観測情報として利用される。そのため、本実施形態に係るカメラ３１は、運転者Ｄの顔を更に撮影可能に配置される。

§２ 構成例
［ハードウェア構成］
＜自動運転支援装置＞
次に、図２を用いて、本実施形態に係る自動運転支援装置１のハードウェア構成の一例について説明する。図２は、本実施形態に係る自動運転支援装置１のハードウェア構成の一例を模式的に例示する。

図２に示されるとおり、本実施形態に係る自動運転支援装置１は、制御部１１、記憶部１２、及び外部インタフェース１３が電気的に接続されたコンピュータである。なお、図２では、外部インタフェースを「外部Ｉ／Ｆ」と記載している。

制御部１１は、ハードウェアプロセッサであるＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等を含み、情報処理に応じて各構成要素の制御を行う。制御部１１は、例えば、ＥＣＵ（Electronic Control Unit）により構成される。記憶部１２は、例えば、ＲＡＭ、ＲＯＭ等で構成され、プログラム１２１、学習結果データ１２２等を記憶する。記憶部１２は、「メモリ」の一例である。

プログラム１２１は、自動運転支援装置１に後述する運転者Ｄの腕部の運転に対する即応性の程度を推定する情報処理（図７）を実行させるための命令を含むプログラムである。学習結果データ１２２は、学習済みの学習器の設定を行うためのデータである。詳細は後述する。

外部インタフェース１３は、外部装置と接続するためのインタフェースであり、接続する外部装置に応じて適宜構成される。本実施形態では、外部インタフェース１３は、例えば、ＣＡＮ（Controller Area Network）を介して、ナビゲーション装置３０、カメラ３１、生体センサ３２、及びスピーカ３３に接続される。

ナビゲーション装置３０は、車両１００の走行時に経路案内を行うコンピュータである。ナビゲーション装置３０には、公知のカーナビゲーション装置が用いられてよい。ナビゲーション装置３０は、ＧＰＳ（Global Positioning System）信号に基づいて自車位置を測定し、地図情報及び周辺の建物等に関する周辺情報を利用して、経路案内を行うように構成される。なお、以下では、ＧＰＳ信号に基づいて測定される自車位置を示す情報を「ＧＰＳ情報」と称する。

カメラ３１は、車両１００の運転席に着いた運転者Ｄの腕部及び顔を撮影可能に配置される。すなわち、カメラ３１は、例えば、少なくとも運転席からハンドル周辺を撮影範囲とするように配置される等、運転操作時に運転者Ｄの腕部の少なくとも一部が位置すべき範囲を撮影範囲としてカバーするように撮影装置が配置される。図１の例では、カメラ３１は、運転席の前方上方に配置されている。しかしながら、カメラ３１の配置場所は、このような例に限定されなくてもよく、運転席に着いた運転者Ｄの腕部及び顔を撮影可能であれば、実施の形態に応じて適宜選択されてよい。なお、カメラ３１には、一般のデジタルカメラ、ビデオカメラ等が用いられてよい。

生体センサ３２は、運転者Ｄの生体情報を測定するように構成される。測定対象となる生体情報は、特に限定されなくてもよく、例えば、脳波、心拍数等であってよい。生体センサ３２は、測定対象となる生体情報を測定可能であれば特に限定されなくてもよく、例えば、公知の脳波センサ、脈拍センサ等が用いられてよい。生体センサ３２は、測定対象となる生体情報に応じた運転者Ｄの身体部位に装着される。

スピーカ３３は、音声を出力するように構成される。スピーカ３３は、車両１００の走行中に運転者Ｄの腕部の運転に対する即応性が低いと推測される場合に、当該腕部の即応性を高めるように運転者Ｄに対して警告するのに利用される。詳細は後述する。

なお、外部インタフェース１３には、上記以外の外部装置が接続されてよい。例えば、外部インタフェース１３には、ネットワークを介してデータ通信を行うための通信モジュールが接続されてもよい。外部インタフェース１３に接続する外部装置は、上記の各装置に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。

また、図２の例では、自動運転支援装置１は、１つの外部インタフェース１３を備えている。しかしながら、外部インタフェース１３は、接続する外部装置毎に設けられてもよい。外部インタフェース１３の数は、実施の形態に応じて適宜選択可能である。

なお、自動運転支援装置１の具体的なハードウェア構成に関して、実施形態に応じて、適宜、構成要素の省略、置換及び追加が可能である。例えば、制御部１１は、複数のハードウェアプロセッサを含んでもよい。ハードウェアプロセッサは、マイクロプロセッサ、ＦＰＧＡ（field-programmable gate array）等で構成されてよい。記憶部１２は、制御部１１に含まれるＲＡＭ及びＲＯＭにより構成されてもよい。記憶部１２は、ハードディスクドライブ、ソリッドステートドライブ等の補助記憶装置で構成されてもよい。また、自動運転支援装置１には、提供されるサービス専用に設計された情報処理装置の他、汎用のコンピュータが用いられてもよい。

＜学習装置＞
次に、図３を用いて、本実施形態に係る学習装置２のハードウェア構成の一例を説明する。図３は、本実施形態に係る学習装置２のハードウェア構成の一例を模式的に例示する。

図３に示されるとおり、本実施形態に係る学習装置２は、制御部２１、記憶部２２、通信インタフェース２３、入力装置２４、出力装置２５、及びドライブ２６が電気的に接続されたコンピュータである。なお、図３では、通信インタフェースを「通信Ｉ／Ｆ」と記載している。

制御部２１は、上記制御部１１と同様に、ハードウェアプロセッサであるＣＰＵ、ＲＡＭ、ＲＯＭ等を含み、プログラム及びデータに基づいて各種情報処理を実行するように構成される。記憶部２２は、例えば、ハードディスクドライブ、ソリッドステートドライブ等で構成される。記憶部２２は、制御部２１で実行される学習プログラム２２１、学習器の機械学習に利用する学習データ２２２、学習プログラム２２１を実行して作成した学習結果データ１２２等を記憶する。

学習プログラム２２１は、後述する機械学習の処理（図８）を学習装置２に実行させ、当該機械学習の結果として学習結果データ１２２を生成させるためのプログラムである。学習データ２２２は、運転者の腕部の運転に対する即応性の程度を推定する能力を獲得するように学習器の機械学習を行うためのデータである。詳細は後述する。

通信インタフェース２３は、例えば、有線ＬＡＮ（Local Area Network）モジュール、無線ＬＡＮモジュール等であり、ネットワークを介した有線又は無線通信を行うためのインタフェースである。学習装置２は、当該通信インタフェース２３を介して、作成した学習結果データ１２２を外部の装置に配信してもよい。

入力装置２４は、例えば、マウス、キーボード等の入力を行うための装置である。また、出力装置２５は、例えば、ディスプレイ、スピーカ等の出力を行うための装置である。オペレータは、入力装置２４及び出力装置２５を介して、学習装置２を操作することができる。

ドライブ２６は、例えば、ＣＤドライブ、ＤＶＤドライブ等であり、記憶媒体９２に記憶されたプログラムを読み込むためのドライブ装置である。ドライブ２６の種類は、記憶媒体９２の種類に応じて適宜選択されてよい。上記学習プログラム２２１及び学習データ２２２は、この記憶媒体９２に記憶されていてもよい。

記憶媒体９２は、コンピュータその他装置、機械等が記録されたプログラム等の情報を読み取り可能なように、当該プログラム等の情報を、電気的、磁気的、光学的、機械的又は化学的作用によって蓄積する媒体である。学習装置２は、この記憶媒体９２から、上記学習プログラム２２１及び学習データ２２２を取得してもよい。

ここで、図３では、記憶媒体９２の一例として、ＣＤ、ＤＶＤ等のディスク型の記憶媒体を例示している。しかしながら、記憶媒体９２の種類は、ディスク型に限定される訳ではなく、ディスク型以外であってもよい。ディスク型以外の記憶媒体として、例えば、フラッシュメモリ等の半導体メモリを挙げることができる。

なお、学習装置２の具体的なハードウェア構成に関して、実施形態に応じて、適宜、構成要素の省略、置換及び追加が可能である。例えば、制御部２１は、複数のハードウェアプロセッサを含んでもよい。ハードウェアプロセッサは、マイクロプロセッサ、ＦＰＧＡ（field-programmable gate array）等で構成されてよい。学習装置２は、複数台の情報処理装置で構成されてもよい。また、学習装置２は、提供されるサービス専用に設計された情報処理装置の他、汎用のサーバ装置、ＰＣ（Personal Computer）等であってもよい。

［ソフトウェア構成］
＜自動運転支援装置＞
次に、図４を用いて、本実施形態に係る自動運転支援装置１のソフトウェア構成の一例を説明する。図４は、本実施形態に係る自動運転支援装置１のソフトウェア構成の一例を模式的に例示する。

自動運転支援装置１の制御部１１は、記憶部１２に記憶されたプログラム１２１をＲＡＭに展開する。そして、制御部１１は、ＲＡＭに展開されたプログラム１２１をＣＰＵにより解釈及び実行して、各構成要素を制御する。これによって、図４に示されるとおり、本実施形態に係る自動運転支援装置１は、ソフトウェアモジュールとして、画像取得部１１１、観測情報取得部１１２、解像度変換部１１３、即応性推定部１１４、警告部１１５、及び運転制御部１１６を備えるコンピュータとして構成される。

画像取得部１１１は、車両の運転席に着いた運転者Ｄの腕部及び顔を撮影可能に配置されたカメラ３１から撮影画像１２３を取得する。観測情報取得部１１２は、運転者Ｄの顔の挙動に関する顔挙動情報１２４１及び生体センサ３２により測定された生体情報１２４２を含む観測情報１２４を取得する。本実施形態では、顔挙動情報１２４１は、撮影画像１２３を画像解析することで得られる。なお、観測情報１２４は、このような例に限定されなくてもよい。例えば、顔挙動情報１２４１及び生体情報１２４２のうちいずれかは省略されてもよい。生体情報１２４２が省略される場合、生体センサ３２は省略されてもよい。

解像度変換部１１３は、画像取得部１１１により取得した撮影画像１２３の解像度を低下させる。これにより、解像度変換部１１３は、低解像度撮影画像１２３１を生成する。

即応性推定部１１４は、運転者の腕部の運転に対する即応性の程度を推定するための機械学習を行った学習済みの学習器（ニューラルネットワーク５）に、撮影画像１２３を低解像度化することで得られた低解像度撮影画像１２３１及び観測情報１２４を入力する。これにより、即応性推定部１１４は、運転者Ｄの腕部の運転に対する即応性の程度を示す腕部即応性情報１２５を当該学習器から取得する。なお、低解像度化の処理は省略されてもよい。この場合、即応性推定部１１４は、撮影画像１２３を学習器に入力してもよい。

ここで、図５を用いて、腕部即応性情報１２５を説明する。図５は、腕部即応性情報１２５の一例を示す。図５に示されるとおり、本実施形態に係る腕部即応性情報１２５は、運転者の腕部の運転に対する即応性が高い状態であるか低い状態であるかを２つのレベルで段階的に示す。また、本実施形態では、腕部の即応性の程度は、運転者の行動状態に応じて設定される。

運転者の行動状態と即応性の程度との対応関係は適宜設定可能である。例えば、運転者Ｄが、「ハンドル把持」、「計器操作」、及び「ナビゲーション操作」の行動状態にある場合には、当該運転者Ｄの腕部は、車両１００の運転操作に直ちに取り掛かれる状態にあると推定可能である。そこで、本実施形態では、「ハンドル把持」、「計器操作」、及び「ナビゲーション操作」の行動状態に運転者があるのに対応して、腕部即応性情報１２５は、運転者の腕部の運転に対する即応性が高い状態にあることを示すように設定されている。なお、「ハンドル把持」は、運転者が把持している状態を指す。「計器操作」は、車両のスピードメータ等の計器を運転者が操作している状態を指す。「ナビゲーション操作」は、ナビゲーション装置を運転者が操作している状態を指す。

一方、運転者Ｄが、「喫煙」、「飲食」、「通話」、及び「携帯電話操作」の行動状態にある場合には、当該運転者Ｄの腕部は、車両１００の運転操作に直ちには取り掛かれない状態にあると推定可能である。そこで、本実施形態では、「喫煙」、「飲食」、「通話」、及び「携帯電話操作」の行動状態に運転者があるのに対応して、腕部即応性情報１２５は、運転者の腕部の運転に対する即応性が低い状態にあることを示すように設定されている。なお、「喫煙」は、運転者が喫煙している状態を指す。「飲食」は、運転者が飲食物を飲食している状態を指す。「通話」は、運転者が携帯電話等の電話機で通話を行っている状態を指す。「携帯電話操作」は、運転者が携帯電話を操作している状態を指す。

なお、「即応性」の程度とは、運転に対する準備状態の程度を示し、例えば、異常等の発生により車両１００の自動運転を継続できなくなったときに、運転者Ｄが手動で車両１００を運転する状態に復帰可能な度合いを表わすことができる。そのため、腕部即応性情報１２５は、運転者の腕部が運転操作に復帰するのに適した状態であるか否かを判定するための指標として利用することができる。

警告部１１５は、腕部即応性情報１２５に基づいて、運転者Ｄの腕部が車両１００の運転に復帰するのに適した状態であるか否か、換言すると、運転者Ｄの腕部の運転に対する即応性が高い状態にあるか否かを判定する。そして、運転者Ｄの腕部の運転に対する即応性が低い状態にあると判定した場合に、警告部１１５は、スピーカ３３を介して、腕部の即応性を高めるように運転者Ｄに促す警告を行う。

運転制御部１１６は、車両１００の駆動系及び制御系にアクセスすることで、運転者Ｄによらず自動的に運転操作を行う自動運転モードと運転者Ｄの手動により運転操作を行う手動運転モードとを選択的に実施するように車両１００の動作を制御する。本実施形態では、運転制御部１１６は、腕部即応性情報１２５、ナビゲーション装置３０の設定等に応じて、自動運転モードと手動運転モードとを切り替えるように構成される。

その一例として、運転制御部１１６は、自動運転モードが実施されている際に、腕部即応性情報１２５により示される運転者Ｄの腕部の運転に対する即応性が所定の条件を満たし、高い状態にあると判定される場合に、自動運転モードから手動運転モードへの切り替えを許可し、当該切り替えの指示を車両１００に対して出力する。一方で、腕部即応性情報１２５により示される運転者Ｄの腕部の運転に対する即応性が所定の条件を満たさず、低い状態にあると判定される場合には、運転制御部１１６は、自動運転モードから手動運転モードへの切り替えを許可しない。この場合、運転制御部１１６は、自動運転モードを継続する、所定の停車区間に車両１００を停車する、等のように手動運転モード以外のモードで車両１００の動作を制御する。

すなわち、本実施形態では、この運転制御部１１６により、車両１００は、自動運転モードと手動運転モードとを選択的に実施可能に構成される。また、本発明の「切替指示部」は、運転制御部１１６の一動作として実現される。

（学習器）
次に、学習器について説明する。図４に示されるとおり、本実施形態に係る自動運転支援装置１は、運転者の腕部の運転に対する即応性の程度を推定するための機械学習を行った学習済みの学習器として、ニューラルネットワーク５を利用する。本実施形態に係るニューラルネットワーク５は、複数種類のニューラルネットワークを組み合わせることで構成されている。

具体的には、ニューラルネットワーク５は、全結合ニューラルネットワーク５１、畳み込みニューラルネットワーク５２、結合層５３、及びＬＳＴＭネットワーク５４の４つの部分に分かれている。全結合ニューラルネットワーク５１及び畳み込みニューラルネットワーク５２は入力側に並列に配置されており、全結合ニューラルネットワーク５１には観測情報１２４が入力され、畳み込みニューラルネットワーク５２には低解像度撮影画像１２３１が入力される。結合層５３は、全結合ニューラルネットワーク５１及び畳み込みニューラルネットワーク５２の出力を結合する。ＬＳＴＭネットワーク５４は、結合層５３からの出力を受けて、腕部即応性情報１２５を出力する。

（ａ）全結合ニューラルネットワーク
全結合ニューラルネットワーク５１は、いわゆる多層構造のニューラルネットワークであり、入力側から順に、入力層５１１、中間層（隠れ層）５１２、及び出力層５１３を備えている。ただし、全結合ニューラルネットワーク５１の層の数は、このような例に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。

各層５１１〜５１３は、１又は複数のニューロン（ノード）を備えている。各層５１１〜５１３に含まれるニューロンの個数は、実施の形態に応じて適宜設定されてよい。各層５１１〜５１３に含まれる各ニューロンが、隣接する層に含まれる全てのニューロンに結合されていることで、全結合ニューラルネットワーク５１は構成される。各結合には、重み（結合荷重）が適宜設定されている。

（ｂ）畳み込みニューラルネットワーク
畳み込みニューラルネットワーク５２は、畳み込み層５２１及びプーリング層５２２を交互に接続した構造を有する順伝播型ニューラルネットワークである。本実施形態に係る畳み込みニューラルネットワーク５２では、複数の畳み込み層５２１及びプーリング層５２２が入力側に交互に配置されている。そして、最も出力側に配置されたプーリング層５２２の出力が全結合層５２３に入力され、全結合層５２３の出力が出力層５２４に入力される。

畳み込み層５２１は、画像の畳み込みの演算を行う層である。画像の畳み込みとは、画像と所定のフィルタとの相関を算出する処理に相当する。そのため、画像の畳み込みを行うことで、例えば、フィルタの濃淡パターンと類似する濃淡パターンを入力される画像から検出することができる。

プーリング層５２２は、プーリング処理を行う層である。プーリング処理は、画像のフィルタに対する応答の強かった位置の情報を一部捨て、画像内に現れる特徴の微小な位置変化に対する応答の不変性を実現する。

全結合層５２３は、隣接する層の間のニューロン全てを結合した層である。すなわち、全結合層５２３に含まれる各ニューロンは、隣接する層に含まれる全てのニューロンに結合される。全結合層５１３は、２層以上で構成されてもよい。また、全結合層４２３に含まれるニューロンの個数は、実施の形態に応じて適宜設定されてよい。

出力層５２４は、畳み込みニューラルネットワーク５２の最も出力側に配置される層である。出力層５２４に含まれるニューロンの個数は、実施の形態に応じて適宜設定されてよい。なお、畳み込みニューラルネットワーク５２の構成は、このような例に限定されなくてもよく、実施の形態に応じて適宜設定されてよい。

（ｃ）結合層
結合層５３は、全結合ニューラルネットワーク５１及び畳み込みニューラルネットワーク５２とＬＳＴＭネットワーク５４との間に配置される。結合層５３は、全結合ニューラルネットワーク５１の出力層５１３からの出力及び畳み込みニューラルネットワーク５２の出力層５２４からの出力を結合する。結合層５３の出力は、ＬＳＴＭネットワーク５４に入力される。結合層５３に含まれるニューロンの個数は、全結合ニューラルネットワーク５１及び畳み込みニューラルネットワーク５２の出力の数に応じて適宜設定されてよい。

（ｄ）ＬＳＴＭネットワーク
ＬＳＴＭネットワーク５４は、ＬＳＴＭブロック５４２を備える再起型ニューラルネットワークである。再帰型ニューラルネットワークは、例えば、中間層から入力層への経路のように、内部にループを有するニューラルネットワークのことである。ＬＳＴＭネットワーク５４は、一般的な再起型ニューラルネットワークの中間層をＬＳＴＭブロック５４２に置き換えた構造を有する。

本実施形態では、ＬＳＴＭネットワーク５４は、入力側から順に、入力層５４１、ＬＳＴＭブロック５４２、及び出力層５４３を備えており、順伝播の経路の他、ＬＳＴＭブロック５４２から入力層５４１に戻る経路を有している。入力層５４１及び出力層５４３に含まれるニューロンの個数は、実施の形態に応じて適宜設定されてよい。

ＬＳＴＭブロック５４２は、入力ゲート及び出力ゲートを備え、情報の記憶及び出力のタイミングを学習可能に構成されたブロックである（S.Hochreiter and J.Schmidhuber, "Long short-term memory" Neural Computation, 9(8):1735-1780, November 15, 1997）。また、ＬＳＴＭブロック５４２は、情報の忘却のタイミングを調節する忘却ゲートを備えてもよい（Felix A. Gers, Jurgen Schmidhuber and Fred Cummins, "Learning to Forget: Continual Prediction with LSTM" Neural Computation, pages 2451-2471, October 2000）。ＬＳＴＭネットワーク５４の構成は、実施の形態に応じて適宜設定可能である。

（ｅ）小括
各ニューロンには閾値が設定されており、基本的には、各入力と各重みとの積の和が閾値を超えているか否かによって各ニューロンの出力が決定される。自動運転支援装置１は、全結合ニューラルネットワーク５１に観測情報１２４を入力し、畳み込みニューラルネットワーク５２に低解像度撮影画像１２３１を入力する。そして、自動運転支援装置１は、入力側から順に、各層に含まれる各ニューロンの発火判定を行う。これにより、自動運転支援装置１は、腕部即応性情報１２５に対応する出力値をニューラルネットワーク５の出力層５４３から取得する。

なお、このようなニューラルネットワーク５の構成（例えば、各ネットワークの層数、各層におけるニューロンの個数、ニューロン同士の結合関係、各ニューロンの伝達関数）、各ニューロン間の結合の重み、及び各ニューロンの閾値を示す情報は、学習結果データ１２２に含まれている。自動運転支援装置１は、学習結果データ１２２を参照して、運転者Ｄの運転集中度を推定する処理に用いる学習済みニューラルネットワーク５の設定を行う。

＜学習装置＞
次に、図６を用いて、本実施形態に係る学習装置２のソフトウェア構成の一例を説明する。図６は、本実施形態に係る学習装置２のソフトウェア構成の一例を模式的に例示する。

学習装置２の制御部２１は、記憶部２２に記憶された学習プログラム２２１をＲＡＭに展開する。そして、制御部２１は、ＲＡＭに展開された学習プログラム２２１をＣＰＵにより解釈及び実行して、各構成要素を制御する。これによって、図６に示されるとおり、本実施形態に係る学習装置２は、ソフトウェアモジュールとして、学習データ取得部２１１、及び学習処理部２１２を備えるコンピュータとして構成される。

学習データ取得部２１１は、車両の運転席に着いた運転者の腕部を撮影可能に配置された撮影装置から取得される撮影画像、及び当該運転者の腕部の運転に対する即応性の程度を示す腕部即応性情報の組を学習データとして取得する。上記のとおり、本実施形態では、撮影画像の他に、運転者の顔の挙動を示す顔挙動情報を含む観測情報が学習器の入力として利用される。そのため、学習データ取得部２１１は、低解像度撮影画像２２３、観測情報２２４、及び腕部即応性情報２２５の組を学習データ２２２として取得する。低解像度撮影画像２２３及び観測情報２２４はそれぞれ、上記低解像度撮影画像１２３１及び観測情報１２４に対応し、入力データとして利用される。腕部即応性情報２２５は、上記腕部即応性情報１２５に対応し、教師データ（正解データ）として利用される。学習処理部２１２は、低解像度撮影画像２２３及び観測情報２２４を入力すると腕部即応性情報２２５に対応する出力値を出力するように学習器の機械学習を行う。

図６に示されるとおり、本実施形態において、学習対象となる学習器は、ニューラルネットワーク６である。当該ニューラルネットワーク６は、全結合ニューラルネットワーク６１、畳み込みニューラルネットワーク６２、結合層６３、及びＬＳＴＭネットワーク６４を備え、上記ニューラルネットワーク５と同様に構成される。全結合ニューラルネットワーク６１、畳み込みニューラルネットワーク６２、結合層６３、及びＬＳＴＭネットワーク６４はそれぞれ、上記全結合ニューラルネットワーク５１、畳み込みニューラルネットワーク５２、結合層５３、及びＬＳＴＭネットワーク５４と同様である。

学習処理部２１２は、ニューラルネットワークの学習処理により、全結合ニューラルネットワーク６１に観測情報２２４を入力し、畳み込みニューラルネットワーク６２に低解像度撮影画像２２３を入力すると、腕部即応性情報２２５に対応する出力値をＬＳＴＭネットワーク６４から出力するニューラルネットワーク６を構築する。そして、学習処理部２１２は、構築したニューラルネットワーク６の構成、各ニューロン間の結合の重み、及び各ニューロンの閾値を示す情報を学習結果データ１２２として記憶部２２に格納する。

＜その他＞
自動運転支援装置１及び学習装置２の各ソフトウェアモジュールに関しては後述する動作例で詳細に説明する。なお、本実施形態では、自動運転支援装置１及び学習装置２の各ソフトウェアモジュールがいずれも汎用のＣＰＵによって実現される例について説明している。しかしながら、以上のソフトウェアモジュールの一部又は全部が、１又は複数の専用のプロセッサにより実現されてもよい。また、自動運転支援装置１及び学習装置２それぞれのソフトウェア構成に関して、実施形態に応じて、適宜、ソフトウェアモジュールの省略、置換及び追加が行われてもよい。

§３ 動作例
［自動運転支援装置］
次に、図７を用いて、自動運転支援装置１の動作例を説明する。図７は、自動運転支援装置１の処理手順の一例を例示するフローチャートである。以下で説明する運転者Ｄの腕部の運転に対する即応性の程度を推定する処理手順は、本発明の「運転者監視方法」の一例である。ただし、以下で説明する処理手順は一例に過ぎず、各処理は可能な限り変更されてよい。また、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。

（起動）
まず、運転者Ｄは、車両１００のイグニッション電源をオンにすることで、自動運転支援装置１を起動し、起動した自動運転支援装置１にプログラム１２１を実行させる。これにより、自動運転支援装置１の制御部１１は、以下の処理手順に従って、運転者Ｄの状態を監視する。なお、プログラム実行のトリガは、このような車両１００のイグニッション電源をオンにすることに限定されなくてもよく、実施の形態に応じて適宜選択されてよい。例えば、プログラムの実行は、入力装置（不図示）を介した運転者Ｄの指示をトリガとして開始されてよい。

（ステップＳ１０１）
ステップＳ１０１では、制御部１１は、運転制御部１１６として動作し、車両１００の自動運転を開始する。例えば、制御部１１は、ナビゲーション装置３０から地図情報、周辺情報、及びＧＰＳ情報を取得して、取得した地図情報、周辺情報、及びＧＰＳ情報に基づいて車両１００の自動運転を実施する。自動運転の制御方法には、公知の制御方法が利用可能である。車両１００の自動運転モードを開始すると、制御部１１は、次のステップＳ１０２に処理を進める。

（ステップＳ１０２）
ステップＳ１０２では、制御部１１は、画像取得部１１１として動作し、車両１００の運転席についた運転者Ｄの腕部及び顔を撮影するように配置されたカメラ３１から撮影画像１２３を取得する。取得する撮影画像１２３は、動画像であってもよいし、静止画像であってもよい。撮影画像１２３を取得すると、制御部１１は、次のステップＳ１０３に処理を進める。

（ステップＳ１０３）
ステップＳ１０３では、制御部１１は、観測情報取得部１１２として動作し、運転者Ｄの顔に挙動する顔挙動情報１２４１及び生体情報１２４２を含む観測情報１２４を取得する。観測情報１２４を取得すると、制御部１１は、次のステップＳ１０４に処理を進める。

顔挙動情報１２４１は適宜取得されてよい。例えば、制御部１１は、ステップＳ１０２で取得した撮影画像１２３に対して所定の画像解析を行うことで、運転者Ｄの顔の検出可否、顔の位置、顔の向き、顔の動き、視線の方向、顔の器官の位置、及び目の開閉の少なくともいずれか１つに関する情報を顔挙動情報１２４１として取得することができる。

顔挙動情報１２４１の取得方法の一例として、まず、制御部１１は、撮影画像１２３から運転者Ｄの顔を検出し、検出した顔の位置を特定する。これにより、制御部１１は、顔の検出可否及び位置に関する情報を取得することができる。また、継続的に顔の検出を行うことで、制御部１１は、顔の動きに関する情報を取得することができる。次に、制御部１１は、検出した顔の画像内において、運転者Ｄの顔に含まれる各器官（眼、口、鼻、耳等）を検出する。これにより、制御部１１は、顔の器官の位置に関する情報を取得することができる。そして、制御部１１は、検出した各器官（眼、口、鼻、耳等）の状態を解析することで、顔の向き、視線の方向、及び目の開閉に関する情報を取得することができる。顔の検出、器官の検出、及び器官の状態の解析には、パターンマッチング等の公知の画像解析方法が用いられてよい。

なお、取得される撮影画像１２３が、動画像又は時系列に並んだ複数の静止画像である場合、制御部１１は、これらの画像解析を撮影画像１２３の各フレームに実行することで、時系列に沿って各種情報を取得することができる。これにより、制御部１１は、ヒストグラム又は統計量（平均値、分散値等）で表された各種情報を時系列データで取得することができる。

また、生体情報（例えば、脳波、心拍数等）１２４２は、生体センサ３２から取得可能である。生体情報１２４２は、例えば、ヒストグラム又は統計量（平均値、分散値等）で表されてよい。顔挙動情報１２４１と同様に、制御部１１は、生体センサ３２に継続的にアクセスすることで、生体情報１２４２を時系列データで取得することができる。

（ステップＳ１０４）
ステップＳ１０４では、制御部１１は、解像度変換部１１３として動作し、ステップＳ１０２で取得した撮影画像１２３の解像度を低下させる。これにより、制御部１１は、低解像度撮影画像１２３１を生成する。低解像度化の処理方法は、特に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。例えば、制御部１１は、ニアレストネイバー法、バイリニア補間法、バイキュービック法等により、低解像度撮影画像１２３１を生成することができる。低解像度撮影画像１２３１を生成すると、制御部１１は、次のステップＳ１０５に処理を進める。なお、本ステップＳ１０４は省略されてもよい。

（ステップＳ１０５及びＳ１０６）
ステップＳ１０５では、制御部１１は、即応性推定部１１４として動作し、取得した観測情報１２４及び低解像度撮影画像１２３１をニューラルネットワーク５の入力として用いて、当該ニューラルネットワーク５の演算処理を実行する。これにより、ステップＳ１０６では、制御部１１は、腕部即応性情報１２５に対応する出力値を当該ニューラルネットワーク５から得る。

具体的には、制御部１１は、ステップＳ１０３で取得した観測情報１２４を全結合ニューラルネットワーク５１の入力層５１１に入力し、ステップＳ１０４で取得した低解像度撮影画像１２３１を、畳み込みニューラルネットワーク５２の最も入力側に配置された畳み込み層５２１に入力する。そして、制御部１１は、入力側から順に、各層に含まれる各ニューロンの発火判定を行う。これにより、制御部１１は、腕部即応性情報１２５に対応する出力値をＬＳＴＭネットワーク５４の出力層５４３から取得する。

（ステップＳ１０７及びＳ１０８）
ステップＳ１０７では、制御部１１は、ステップＳ１０６で取得した腕部即応性情報１２５に基づいて、運転者Ｄが車両１００の運転操作を行える状態にあるか否か、本ケースでは、運転者Ｄが車両１００の運転に復帰するのに適した状態にあるか否かを判定する。具体的には、制御部１１は、腕部即応性情報１２５により示される運転者Ｄの腕部の運転に対する即応性が所定の条件を満たすか否かを判定する。

所定の条件は、運転者Ｄの腕部の運転に対する即応性が高いか否かを判定可能に適宜設定されてよい。本実施形態では、腕部即応性情報１２５は、運転者Ｄの腕部の運転に対する即応性の程度を２つのレベルで表す。そのため、運転者Ｄの腕部の運転に対する即応性が高い状態であると腕部即応性情報１２５が示す場合に、制御部１１は、運転者Ｄの腕部の運転に対する即応性が所定の条件を満たすと判定する。すなわち、制御部１１は、運転者Ｄの腕部の運転に対する即応性が高い状態にあり、運転者Ｄが車両１００の運転に復帰するのに適した状態にあると判定する。一方、運転者Ｄの腕部の運転に対する即応性が低い状態であると腕部即応性情報１２５が示す場合に、制御部１１は、運転者Ｄの腕部の運転に対する即応性が所定の条件を満たさないと判定する。すなわち、制御部１１は、運転者Ｄの腕部の運転に対する即応性が低い状態にあり、運転者Ｄが車両１００の運転に復帰するのに適した状態にないと判定する。

運転者Ｄが車両１００の運転に復帰するのに適した状態にあると判定した場合には、制御部１１は、次のステップＳ１０９に処理を進める。一方、運転者Ｄが車両１００の運転に復帰するのに適した状態にないと判定した場合には、制御部１１は、次のステップＳ１０８の処理を実行する。

次のステップＳ１０８では、制御部１１は、スピーカ３３を介して、車両１００の運転に復帰するのに適した状態をとるように、換言すると、腕部の即応性を高めるように運転者Ｄに促す警告を行い、本動作例に係る処理を終了する。警告の内容及び方法は、実施の形態に応じて適宜設定されてよい。

（ステップＳ１０９及びＳ１１０）
ステップＳ１０９では、制御部１１は、運転制御部１１６として動作し、自動運転モードから手動運転モードに車両１００の動作を切り替えるか否かを判定する。手動運転モードへの切り替えを実施すると判定した場合、制御部１１は、次のステップＳ１１０に処理を進める。一方、手動運転モードへの切り替えを実施しないと判定した場合には、制御部１１は、次のステップＳ１１０を省略して、本動作例に係る処理を終了する。

自動運転モードから手動運転モードに切り替えるトリガは、実施の形態に応じて適宜設定されてよい。例えば、運転者Ｄからの指示をトリガとしてもよい。この場合、運転者Ｄにより手動運転への切替の指示がなされたことに応じて、制御部１１は、手動運転モードへの切り替えを実施すると判定する。一方、そのような手動運転への切替の指示がなかった場合には、制御部１１は、手動運転モードへの切り替えを実施しないと判定する。

次のステップＳ１１０では、制御部１１は、運転制御部１１６として動作し、自動運転モードから手動運転モードに車両１００の動作を切り替える。これにより、制御部１１は、車両１００において手動運転モードの動作を開始し、本動作例に係る処理を終了する。なお、この手動運転モードの開始に際して、制御部１１は、スピーカ３３を介して、車両１００の動作を手動運転モードに切り替えるため、ハンドルを握る等の運転操作を開始するように運転者Ｄにアナウンスをしてもよい。

以上により、自動運転支援装置１は、車両１００の自動運転を実施している間に、運転者Ｄの腕部の運転に対する即応性の程度を監視することができる。なお、制御部１１は、上記一連の処理を繰り返し実行することで、運転者Ｄの腕部の運転に対する即応性の程度を継続的に監視してもよい。また、制御部１１は、上記一連の処理を繰り返し実行する間に、上記ステップＳ１０７において、運転者Ｄが車両１００の運転に復帰するのに適した状態にないと複数回連続して判定した場合に、運転制御部１１６として動作し、自動運転モードを停止してもよい。そして、制御部１１は、所定の場所に停車するように車両１００を制御してもよい。この場合、例えば、制御部１１は、運転者Ｄが車両１００の運転に復帰するのに適した状態にないと複数回連続して判定した後に、地図情報、周辺情報及びＧＰＳ情報を参照して、車両１００を安全に停止可能な場所に停車区間を設定してもよい。そして、制御部１１は、車両１００を停止する旨を運転者Ｄに伝えるための警告を実施し、設定した停車区間に車両１００を自動停車させてもよい。これにより、運転者Ｄの腕部の運転に対する即応性が継続的に低い状態にあるときに、車両１００の走行を停止させることで、即応性の低い状態の運転者Ｄが突発的に手動で車両１００の運転操作を行わなければならない事態が発生するのを抑制することができる。

［学習装置］
次に、図８を用いて、学習装置２の動作例を説明する。図８は、学習装置２の処理手順の一例を例示するフローチャートである。なお、以下で説明する学習器の機械学習に関する処理手順は、本発明の「学習方法」の一例である。ただし、以下で説明する処理手順は一例に過ぎず、各処理は可能な限り変更されてよい。また、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。

（ステップＳ２０１）
ステップＳ２０１では、学習装置２の制御部２１は、学習データ取得部２１１として動作し、低解像度撮影画像２２３、観測情報２２４、及び腕部即応性情報２２５の組を学習データ２２２として取得する。

学習データ２２２は、ニューラルネットワーク６に対して、運転者の腕部の運転に対する即応性の程度を推定可能にするための機械学習に利用するデータである。このような学習データ２２２は、例えば、運転席に着いた運転者の腕部を撮影するように配置されたカメラ３１を備える車両を用意し、運転席に着いた運転者を様々な条件で撮影し、得られる撮影画像に撮影条件（腕部の運転に対する即応性の程度）を紐付けることで作成することができる。このとき、低解像度撮影画像２２３は、上記ステップＳ１０４と同じ処理を当該取得した撮影画像に適用することで得ることができる。観測情報２２４に含まれる顔挙動情報は、上記ステップＳ１０３と同じ処理を当該取得した撮影画像に適用することで得ることができる。観測情報２２４に含まれる生体情報は、上記ステップＳ１０３と同様に生体センサから取得することができる。更に、腕部即応性情報２２５は、撮影画像に表れる運転者の腕部の運転に対する即応性の程度の入力を適宜受け付けることで得ることができる。

この学習データ２２２の作成は、オペレータ等が入力装置２４を用いて手動で行ってもよいし、プログラムの処理により自動的に行われてもよい。この学習データ２２２は、運用されている車両から随時収集されてもよい。また、学習データ２２２の作成は、学習装置２以外の他の情報処理装置により行われてもよい。学習装置２が学習データ２２２を作成する場合には、制御部２１は、本ステップＳ２０１において、学習データ２２２の作成処理を実行することで、学習データ２２２を取得することができる。一方、学習装置２以外の他の情報処理装置が学習データ２２２を作成する場合には、学習装置２は、ネットワーク、記憶媒体９２等を介して、他の情報処理装置により作成された学習データ２２２を取得することができる。なお、本ステップＳ２０１で取得する学習データ２２２の件数は、ニューラルネットワーク６の機械学習を行うことができるように、実施の形態に応じて適宜決定されてよい。

（ステップＳ２０２）
次のステップＳ２０２では、制御部２１は、学習処理部２１２として動作して、ステップＳ２０１で取得した学習データ２２２を用いて、低解像度撮影画像２２３及び観測情報２２４を入力すると腕部即応性情報２２５に対応する出力値を出力するようにニューラルネットワーク６の機械学習を実施する。

具体的には、まず、制御部２１は、学習処理を行う対象となるニューラルネットワーク６を用意する。用意するニューラルネットワーク６の構成、各ニューロン間の結合の重みの初期値、及び各ニューロンの閾値の初期値は、テンプレートにより与えられてもよいし、オペレータの入力により与えられてもよい。また、再学習を行う場合には、制御部２１は、再学習を行う対象となる学習結果データ１２２に基づいて、ニューラルネットワーク６を用意してもよい。

次に、制御部２１は、ステップＳ２０１で取得した学習データ２２２に含まれる低解像度撮影画像２２３及び観測情報２２４を入力データとして用い、腕部即応性情報２２５を教師データ（正解データ）として用いて、ニューラルネットワーク６の学習処理を行う。このニューラルネットワーク６の学習処理には、確率的勾配降下法等が用いられてよい。

例えば、制御部２１は、全結合ニューラルネットワーク６１の入力層に観測情報２２４を入力し、畳み込みニューラルネットワーク６２の最も入力側に配置された畳み込み層に低解像度撮影画像２２３を入力する。そして、制御部２１は、入力側から順に、各層に含まれる各ニューロンの発火判定を行う。これにより、制御部２１は、ＬＳＴＭネットワーク６４の出力層から出力値を得る。次に、制御部２１は、ＬＳＴＭネットワーク６４の出力層から取得した出力値と腕部即応性情報２２５に対応する値との誤差を算出する。続いて、制御部２１は、通時的誤差逆伝搬（Back propagation through time）法により、算出した出力値の誤差を用いて、各ニューロン間の結合の重み及び各ニューロンの閾値それぞれの誤差を算出する。そして、制御部２１は、算出した各誤差に基づいて、各ニューロン間の結合の重み及び各ニューロンの閾値それぞれの値の更新を行う。

制御部２１は、各件の学習データ２２２について、ニューラルネットワーク６から出力される出力値が腕部即応性情報２２５に対応する値と一致するまでこの一連の処理を繰り返す。これにより、制御部２１は、低解像度撮影画像２２３及び観測情報２２４を入力すると腕部即応性情報２２５に対応する出力値を出力するニューラルネットワーク６を構築することができる。

（ステップＳ２０３）
次のステップＳ２０３では、制御部２１は、学習処理部２１２として動作して、構築したニューラルネットワーク６の構成、各ニューロン間の結合の重み、及び各ニューロンの閾値を示す情報を学習結果データ１２２として記憶部２２に格納する。これにより、制御部２１は、本動作例に係るニューラルネットワーク６の学習処理を終了する。

なお、制御部２１は、上記ステップＳ２０３の処理が完了した後に、作成した学習結果データ１２２を自動運転支援装置１に転送してもよい。また、制御部２１は、上記ステップＳ２０１〜Ｓ２０３の学習処理を定期的に実行することで、学習結果データ１２２を定期的に更新してもよい。そして、制御部２１は、作成した学習結果データ１２２を当該学習処理の実行毎に自動運転支援装置１に転送することで、自動運転支援装置１の保持する学習結果データ１２２を定期的に更新してもよい。また、例えば、制御部２１は、作成した学習結果データ１２２をＮＡＳ（Network Attached Storage）等のデータサーバに保管してもよい。この場合、自動運転支援装置１は、このデータサーバから学習結果データ１２２を取得してもよい。

［作用・効果］
以上のように、本実施形態に係る自動運転支援装置１は、上記ステップＳ１０２及びＳ１０４の処理により、車両１００の運転席についた運転者Ｄの腕部を撮影可能に配置されたカメラ３１から得られる撮影画像（低解像度撮影画像１２３１）を取得する。そして、自動運転支援装置１は、上記ステップＳ１０５及びＳ１０６により、取得した低解像度撮影画像１２３１を学習済みのニューラルネットワーク（ニューラルネットワーク５）に入力することで、運転者Ｄの腕部の運転に対する即応性の程度を推定する。この学習済みのニューラルネットワークは、上記学習装置２により、低解像度撮影画像２２３及び腕部即応性情報２２５を含む学習データ２２２を用いて作成される。

したがって、本実施形態によれば、学習済みのニューラルネットワークと運転者Ｄの腕部が写り得る撮影画像とを用いることで、運転者Ｄの腕部が運転操作を行える状態にあるか否かに関する指標を腕部即応性情報１２５として得ることができる。これにより、自動運転モードで車両１００が走行している際に、運転者Ｄの腕部が運転操作に直ちに対応可能かどうかを推定する精度を向上させることができる。加えて上記ステップＳ１０７及びＳ１１０のように、この腕部即応性情報１２５に基づいて、運転者Ｄが運転操作を行える状態にあるか否かという観点で、車両１００の自動運転の動作を制御することができる。

また、本実施形態では、自動運転支援装置１は、上記ステップＳ１０５において、撮影画像の他に、ステップＳ１０３で取得した顔挙動情報１２４１及び生体情報１２４２を含む観測情報１２４を学習済みのニューラルネットワークに更に入力する。これにより、腕部の運転に対する即応性を推定する処理に、腕部の動きと連動し得る顔の挙動及び生体情報を反映させることができる。したがって、本実施形態によれば、運転者Ｄの腕部の運転に対する即応性の程度を推定する精度を高めることができる。

また、本実施形態では、運転者Ｄの腕部の挙動を推定するために、当該運転者Ｄの腕部を撮影可能に配置したカメラ３１の撮影画像を用いている。この腕部の挙動は、撮影画像内で大きく表れ得る。そのため、運転者Ｄの腕部の挙動を推定するのに利用する撮影画像は、詳細な解析が可能なほど高解像度ではなくてもよい。そこで、本実施形態では、ニューラルネットワーク（５、６）の入力として、カメラ３１により得られる撮影画像を低解像度化した低解像度撮影画像（１２３１、２２３）を用いてもよいように構成されている。これにより、ニューラルネットワーク（５、６）の演算処理の計算量を低減することができ、プロセッサの負荷を低減することができる。なお、低解像度撮影画像（１２３１、２２３）の解像度は、運転者の顔の挙動を解析できない程度に低くてもよく、運転者の腕部の挙動が判別可能な程度であるのが好ましい。

また、本実施形態に係るニューラルネットワーク５は、全結合ニューラルネットワーク５１及び畳み込みニューラルネットワーク５２を入力側に備えている。これにより、入力（低解像度撮影画像１２３１及び観測情報１２４）に適した解析を行うことができる。また、本実施形態に係るニューラルネットワーク５は、ＬＳＴＭネットワーク５４を出力側に備えている。低解像度撮影画像１２３１及び観測情報１２４に時系列データを利用することで、短期的な依存関係だけでなく、長期的な依存関係を考慮して、運転者Ｄの腕部の運転に対する即応性の程度を推定することができる。したがって、本実施形態によれば、運転者Ｄの腕部の運転に対する即応性の推定精度を高めることができる。

また、本実施形態では、車両１００は、自動運転支援装置１（運転制御部１１６）により、自動運転モードと手動運転モードとを選択的に実施可能に構成されている。加えて、車両１００は、自動運転支援装置１の上記ステップＳ１０７及びＳ１１０により、自動運転モードを実施している際に、腕部即応性情報１２５により示される運転者Ｄの腕部の運転に対する即応性が所定の条件を満たす場合に、自動運転モードから手動運転モードに切り替えるように構成される。これにより、運転者Ｄの腕部の運転に対する即応性が低い状態にある場合に、車両１００の動作が手動運転モードにならないようにし、当該車両１００の走行の安全性を確保することができる。

§４ 変形例
以上、本発明の実施の形態を詳細に説明してきたが、前述までの説明はあらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。例えば、以下のような変更が可能である。なお、以下では、上記実施形態と同様の構成要素に関しては同様の符号を用い、上記実施形態と同様の点については、適宜説明を省略した。以下の変形例は適宜組み合わせ可能である。

＜４．１＞
上記実施形態では、自動運転支援装置１は、運転者Ｄを監視するモジュール（画像取得部１１１〜警告部１１５）及び車両１００の自動運転の動作を制御するモジュール（運転制御部１１６）の両方を備えている。しかしながら、自動運転支援装置１のハードウェア構成は、このような例に限られなくてもよい。例えば、運転者Ｄを監視するモジュール及び車両１００の自動運転の動作を制御するモジュールはそれぞれ別々のコンピュータに備えられてもよい。この場合、自動運転モードから手動運転モードへの切り替えを指示する切替指示部は、運転者Ｄを監視するモジュールと共にコンピュータに備えられてもよい。すなわち、切替指示部のモジュールを備えるコンピュータは、自動運転モードが実施されている際に、腕部即応性情報１２５により示される運転者Ｄの腕部の運転に対する即応性が所定の条件を満たす場合に、自動運転モードから手動運転モードに切り替える指示を車両１００に対して出力してもよい。これに応じて、自動運転の動作を制御するモジュールを備えるコンピュータは、自動運転モードから手動運転モードへの切り替えの制御を行ってもよい。

＜４．２＞
上記実施形態では、自動運転支援装置１は、運転者Ｄの指示に応じて、自動運転モードと手動運転モードとを選択的に実施するように車両１００の動作を制御している。しかしながら、自動運転モード及び手動運転モードを開始するトリガは、このような運転者Ｄの指示に限られなくてもよく、実施の形態に応じて適宜設定されてよい。例えば、ハンドルにセンサが取り付けられ、運転者がハンドルを握っているか否かを検知してもよい。この場合、自動運転支援装置１は、運転者がハンドルを握ったことを検知した後に、自動運転モードから手動運転モードへの切り替えを開始するまでのカウントダウン時間を音声又は表示により出力してもよい。そして、自動運転支援装置１は、カウントアップした時点で、車両１００の動作を自動運転モードから手動運転モードに切り替えてもよい。

＜４．３＞
上記実施形態では、腕部即応性情報１２５は、運転者Ｄの腕部の運転に対する即応性が高い状態であるか低い状態であるかを２つのレベルで示している。しかしながら、腕部即応性情報１２５の表現形式は、このような例に限定されなくてもよい。腕部即応性情報１２５は、運転者Ｄの腕部の運転に対する即応性の程度を３つ以上のレベルで段階的に示してもよい。

図９は、本変形例に係る腕部即応性情報の一例を示す。図９に示すとおり、本変形例に係る腕部即応性情報は、各行動状態に対する即応性の程度を０から１までのスコア値で定めている。例えば、図９の例では、「携帯電話操作」、「通話」、及び「飲食」にはそれぞれスコア値「０」が割り当てられており、「ハンドル把持」にはスコア値「１」が割り当てられている。また、「喫煙」には、０と１との間であって、０よりのスコア値（例えば、０．２）が割り当てられている。更に、「計器操作」及び「ナビゲーション操作」にはそれぞれ、０と１との間であって、１よりのスコア値（例えば、０．７）が割り当てられている。このように、各行動状態に対して３種類以上のスコア値を割り当てることで、腕部即応性情報１２５は、運転者Ｄの腕部の運転に対する即応性の程度を３つ以上のレベルで段階的に示してもよい。

この場合、上記ステップＳ１０７では、制御部１１は、腕部即応性情報１２５のスコア値に基づいて、運転者Ｄが車両１００の運転に復帰するのに適した状態にあるか否かを判定してもよい。例えば、制御部１１は、腕部即応性情報１２５のスコア値が所定の閾値よりも高いか否かに基づいて、運転者Ｄが車両１００の運転に復帰するのに適した状態にあるか否かを判定してもよい。閾値は、運転者Ｄが車両１００の運転に復帰するのに適した状態にあるか否かを判定するための基準であり、上記「所定の条件」の一例である。この閾値は、適宜設定されてよい。なお、スコア値の上限値は「１」に限られなくてもよく、下限値は「０」に限られなくてもよい。

また、上記ステップＳ１０８では、制御部１１（警告部１１５）は、腕部即応性情報１２５の示す運転者Ｄの腕部の運転に対する即応性のレベルに応じて、腕部の即応性を高めるように運転者Ｄに促す警告を段階的に行ってもよい。例えば、制御部１１は、腕部即応性情報１２５の示すスコア値が低いほど強い警告（例えば、音量を上げる、ビープ音を鳴らす、等）してもよい。

また、上記腕部即応性情報１２５では、腕部内の部位の考慮がなされていない。しかしながら、車両のハンドル操作は手で行われる。そのため、腕部のうち手が、車両の運転操作に重要な部位であると想定される。そこで、腕部即応性情報１２５は、手の運転に対する即応性を示すように構成されてよい。

この場合、上記ステップＳ１０７では、制御部１１は、腕部即応性情報１２５により示される運転者Ｄの手の運転に対する即応性が所定の条件を満たすか否かを判定してもよい。そして、ステップＳ１０７において、腕部即応性情報１２５により示される運転者Ｄの手の運転に対する即応性が所定の条件を満たすと判定される場合に、制御部１１は、上記ステップＳ１１０により、自動運転モードから手動運転モードに車両１００の動作を切り替えてもよい。

このように制御することで、車両１００は、自動運転モードを実施している際に、腕部即応性情報１２５により示される運転者Ｄの手の運転に対する即応性が所定の条件を満たす場合に、自動運転モードから手動運転モードに切り替えるように構成される。これによって、運転者Ｄが車両１００の運転操作を行える状態にあるか否かを適切に評価することができる。

また、上記図９の例では、「ハンドル把持」と「飲食」等とで異なるスコア値が割り当てられている。このように、腕部即応性情報１２５は、手に保持している物体の属性に応じて、運転者の腕部の運転に対する即応性の程度を３つ以上のレベルで段階的に示してもよい。この場合、腕部即応性情報１２５は、上記図９の例と同様に、スコア値により表現されてよい。

腕部の即応性と物体の属性との対応関係は、実施の形態に応じて適宜設定可能である。属性は、例えば、物体の種類、大きさ等により示される。例えば、携帯電話、飲食物等の手全体を使用し得る物体は、運転者のハンドル操作を大きく阻害すると想定される。同様に、比較的に大きめの物体は、運転者の手全体を占領し、当該運転者のハンドル操作を大きく阻害すると想定される。すなわち、これらの物体を手で保持している場合、運転者の腕部（手）の運転に対する即応性は低い状態にあると想定される。そのため、これらの物体については、腕部即応性情報１２５のスコア値が低くなるように設定されてよい。

一方、ハンカチ等の手全体を使用し難い物体は、運転者のハンドル操作を大きくは阻害しないと想定される。同様に、比較的に小さな物体は、運転者の手全体を占領せず、当該運転者のハンドル操作を大きくは阻害しないと想定される。すなわち、これらの物体を手で保持している場合、運転者の腕部（手）の運転に対する即応性は高い状態にあるとしてもよいと想定される。そのため、これらの物体については、腕部即応性情報１２５のスコア値が高くなるように設定されてよい。

なお、腕部即応性情報１２５の対象とする状態には、手に物体を保持している状態の他、手に何も保持していない状態が含まれてもよい。手に何も保持していない場合には、運転者は、ハンドル操作に直ちに取り掛かれると想定される。そのため、手に何も保持していない状態については、即応性の程度が比較的に高くなるようにスコア値が定められてもよい。また、運転者は、ハンドルに手が近いほどハンドル操作に取り掛かりやすく、ハンドルから手が遠いほどハンドル操作に取り掛かりにくいと想定される。そのため、手とハンドルとの距離に応じて、腕部即応性情報１２５のスコア値が設定されてもよい。

また、上記実施形態及び図９の例では、腕部即応性情報１２５の示す即応性の程度は、各行動状態に対応して設定されている。しかしながら、同一の行動状態の中でも、即応性の程度は変化し得る。例えば、飲食をし始めた状況では、腕部の運転に対する即応性は極めて低い状態にあると想定されるのに対して、飲食を終了しかけている状況では、腕部の運転に対する即応性は比較的に高くなってきていると想定される。そこで、腕部即応性情報１２５の示す即応性の程度は、同一の行動状態であっても、その状況に応じて異なるように設定されてもよい。これにより、運転者Ｄが車両１００の運転操作を行える状態にあるか否かを更に適切に評価することができる。また、同一の行動状態であっても、その状況に応じて、自動運転モードから手動運転モードに切り替えないようにしたり、切り替えられるようにしたりすることができる。例えば、上記の点を考慮して、「飲食」状態について、飲食をし始めたケースに対しては０に近いスコア値を割り当て、飲食がほぼ終了したケースに対しては１に近いスコア値を割り当ててもよい。この場合、飲食をし始めたケースでは、自動運転モードから手動運転モードへの切り替えが起きないようにし、飲食がほぼ終了したケースでは、自動運転モードから手動運転モードへの切り替えが起きるように車両の制御を行うことができる。

＜４．４＞
上記実施形態では、上記ステップＳ１０５において、低解像度撮影画像１２３１をニューラルネットワーク５に入力している。しかしながら、ニューラルネットワーク５に入力する撮影画像は、このような例に限定されなくてもよい。制御部１１は、ステップＳ１０２で取得した撮影画像１２３をそのままニューラルネットワーク５に入力してもよい。この場合、上記処理手順において、ステップＳ１０４は省略されてよい。また、上記自動運転支援装置１のソフトウェア構成において、解像度変換部１１３は省略されてよい。

また、上記実施形態では、制御部１１は、ステップＳ１０３により観測情報１２４を取得した後、ステップＳ１０４による撮影画像１２３の低解像度化の処理を実行している。しかしながら、ステップＳ１０３及びＳ１０４の処理順序は、このような例に限定されなくてもよく、ステップＳ１０４の処理を実行した後に、制御部１１は、ステップＳ１０３の処理を実行してもよい。

＜４．５＞
上記実施形態では、制御部１１は、ステップＳ１０５において、観測情報１２４及び低解像度撮影画像１２３１をニューラルネットワーク５に入力している。しかしながら、ニューラルネットワーク５の入力は、このような例に限定されなくてもよく、観測情報１２４及び低解像度撮影画像１２３１以外の情報が、ニューラルネットワーク５に入力されてもよい。

図１０は、本変形例に係る自動運転支援装置１Ａのソフトウェア構成の一例を模式的に例示する。自動運転支援装置１Ａは、運転者Ｄの運転状態に影響を与える因子に関する影響因子情報１２６をニューラルネットワーク５に更に入力する点を除き、上記自動運転支援装置１と同様に構成される。影響因子情報１２６は、例えば、車両の走行速度を示す速度情報、車両の周辺環境の状態を示す周辺環境情報（レーダの測定結果、カメラの撮影画像）、天候を示す天候情報等である。

影響因子情報１２６が数値データで与えられる場合、自動運転支援装置１Ａの制御部１１は、上記ステップＳ１０５において、ニューラルネットワーク５の全結合ニューラルネットワーク５１に影響因子情報１２６を入力してもよい。また、影響因子情報１２６が画像データで与えられる場合、制御部１１は、上記ステップＳ１０５において、ニューラルネットワーク５の畳み込みニューラルネットワーク５２に影響因子情報１２６を入力してもよい。

当該変形例では、観測情報１２４及び低解像度撮影画像１２３１の他に、影響因子情報１２６を更に利用することにより、運転者Ｄの運転状態に影響を与える因子を上記推定処理に反映することができる。これによって、当該変形例によれば、運転者Ｄの腕部の運転に対する即応性の推定精度を高めることができる。

なお、制御部１１は、この影響因子情報１２６に基づいて、上記ステップＳ１０７における判定基準を変更してもよい。例えば、上記変形例＜４．３＞のとおり、腕部即応性情報１２５がスコア値で示される場合に、制御部１１は、影響因子情報１２６に基づいて、上記ステップＳ１０７の判定に利用する閾値を変更してもよい。一例として、制御部１１は、速度情報の示す車両の走行速度が大きくなるほど、運転者Ｄが車両の運転操作を行える状態にあると判定するための閾値（所定の条件）の値を大きくしてもよい。

＜４．６＞
上記実施形態では、自動運転支援装置１は、警告部１１５を備え、ステップＳ１０８において運転者Ｄに対する警告を実施する。しかしながら、警告を実施しない場合には、ステップＳ１０８は省略されてよく、自動運転支援装置１のソフトウェア構成から警告部１１５が省略されてもよい。

＜４．７＞
上記実施形態では、カメラ３１は、運転者Ｄの腕部及び顔を撮影可能に配置され、ニューラルネットワーク（５、６）には、観測情報（１２４、２２４）が入力される。しかしながら、この観測情報（１２４、２２４）は省略されてもよい。

図１１は、本変形例に係る自動運転支援装置１Ｂのソフトウェア構成を模式的に例示する。自動運転支援装置１Ｂは、観測情報１２４を利用しないため、観測情報取得部１１２を備えていない。また、観測情報１２４が入力されないため、ニューラルネットワーク５Ｂは、全結合ニューラルネットワーク５１及び結合層５３を備えていない。すなわち、ニューラルネットワーク５Ｂでは、畳み込みニューラルネットワーク５２の出力がＬＳＴＭネットワーク５４に入力される。即応性推定部１１４は、低解像度撮影画像１２３１を畳み込みニューラルネットワーク５２に入力することで、ＬＳＴＭネットワーク５４の出力層から腕部即応性情報１２５を取得する。

これらの点を除き、自動運転支援装置１Ｂは、上記実施形態に係る自動運転支援装置１と同様に構成される。本変形例では、上記ステップＳ１０３を省略することができる。また、機械学習に利用される学習データ２２２において、観測情報２２４を省略することができる。なお、本変形例では、撮影画像１２３から顔挙動情報１２４１を取得しないため、カメラ３１は、運転席についた運転者Ｄの腕部は写るが、顔は写らない位置に配置されてもよい。

また、上記実施形態では、観測情報１２４は、顔挙動情報１２４１及び生体情報１２４２を含んでいる。しかしながら、観測情報１２４の構成は、このような例に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。顔挙動情報１２４１及び生体情報１２４２の少なくとも一方は省略されてもよい。また、観測情報１２４は、顔挙動情報１２４１及び生体情報１２４２以外の情報を含んでもよい。例えば、観測情報１２４には、運転者の腕部の状態又は動作に関連する情報が含まれてもよい。また、例えば、ステアリングタッチセンサ、ペダルの踏力センサ、座席の圧力センサ等のセンサを車両が備える場合に、観測情報には、これらのセンサから得られる測定結果が含まれてもよい。

＜４．８＞
上記実施形態では、図４及び図６に示されるとおり、運転者Ｄの腕部の運転に対する即応性の推定に利用するニューラルネットワークは、全結合ニューラルネットワーク、畳み込みニューラルネットワーク、結合層及びＬＳＴＭネットワークを備えている。しかしながら、当該ニューラルネットワークの構成は、このような例に限定されなくてもよく、実施の形態に応じて適宜決定されてよい。例えば、ＬＳＴＭネットワークは省略されてもよい。また、観測情報１２４の入力を省略する場合には、上記のとおり、全結合ニューラルネットワーク及び結合層が省略されてもよい。

＜４．９＞
上記実施形態では、運転者Ｄの腕部の運転に対する即応性の推定に利用する学習器として、ニューラルネットワークを用いている。しかしながら、学習器の種類は、撮影画像を入力として利用可能であれば、ニューラルネットワークに限られなくてもよく、実施の形態に応じて適宜選択されてよい。利用可能な学習器として、例えば、サポートベクターマシン、自己組織化マップ、強化学習により機械学習を行う学習器等を挙げることができる。

＜４．１０＞
上記実施形態では、自動運転支援装置１は、ニューラルネットワーク５からの出力として、当該ニューラルネットワーク５から腕部即応性情報１２５を直接的に取得している。しかしながら、腕部即応性情報を学習器から取得する方法は、このような例に限定されなくてもよい。例えば、自動運転支援装置１は、学習器の出力値と腕部の即応性の程度とを対応付けたテーブル形式等の参照情報を記憶部１２に保持していてもよい。この場合、制御部１１は、上記ステップＳ１０５において、低解像度撮影画像１２３１及び観測情報１２４を入力として用いて、ニューラルネットワーク５の演算処理を行うことで、当該ニューラルネットワーク５から出力値を得る。そして、上記ステップＳ１０６において、制御部１１は、参照情報を参照することで、ニューラルネットワーク５から得た出力値に対応する腕部の即応性の程度を示す腕部即応性情報１２５を取得する。このように、自動運転支援装置１は、腕部即応性情報１２５を間接的に取得してもよい。なお、この場合、参照情報は、ユーザ毎に保持されてもよい。また、ニューラルネットワーク５から出力される出力値は、運転者の腕部の状態に対応するように設定されてもよい。

（付記１）
ハードウェアプロセッサ（１１）と、
前記ハードウェアプロセッサ（１１）で実行するプログラム（１２１）を保持するメモリ（１２）と、
を備える運転者監視装置（１、１Ａ、１Ｂ）であって、
前記ハードウェアプロセッサ（１１）は、前記プログラム（１２１）を実行することにより、
車両の運転席に着いた運転者の腕部を撮影可能に配置された撮影装置から撮影画像を取得する画像取得ステップと、
前記運転者の腕部の運転に対する即応性の程度を推定するための機械学習を行った学習済みの学習器に前記撮影画像を入力することで、前記運転者の腕部の運転に対する即応性の程度を示す腕部即応性情報を当該学習器から取得する推定ステップと、
を実行するように構成される、
運転者監視装置（１、１Ａ、１Ｂ）。

（付記２）
ハードウェアプロセッサ（１１）により、車両の運転席に着いた運転者の腕部を撮影可能に配置された撮影装置から撮影画像を取得する画像取得ステップと、
ハードウェアプロセッサ（１１）により、前記運転者の腕部の運転に対する即応性の程度を推定するための機械学習を行った学習済みの学習器に前記撮影画像を入力することで、前記運転者の腕部の運転に対する即応性の程度を示す腕部即応性情報を当該学習器から取得する推定ステップと、
を備える、
運転者監視方法。

（付記３）
ハードウェアプロセッサ（２１）と、
前記ハードウェアプロセッサ（２１）で実行するプログラム（２２１）を保持するメモリ（２２）と、
を備える学習装置（２）であって、
前記ハードウェアプロセッサ（２１）は、前記プログラム（２２１）を実行することにより、
車両の運転席に着いた運転者の腕部を撮影可能に配置された撮影装置から取得される撮影画像、及び当該運転者の腕部の運転に対する即応性の程度を示す腕部即応性情報の組を学習データとして取得する学習データ取得ステップと、
前記撮影画像を入力すると前記腕部即応性情報に対応する出力値を出力するように学習器の機械学習を行う学習処理ステップと、
を実施するように構成される、
学習装置（２）。

（付記４）
ハードウェアプロセッサ（２１）により、車両の運転席に着いた運転者の腕部を撮影可能に配置された撮影装置から取得される撮影画像、及び当該運転者の腕部の運転に対する即応性の程度を示す腕部即応性情報の組を学習データとして取得する学習データ取得ステップと、
ハードウェアプロセッサ（２１）により、前記撮影画像を入力すると前記腕部即応性情報に対応する出力値を出力するように学習器の機械学習を行う学習処理ステップと、
を備える、
学習方法。

１…自動運転支援装置（運転者監視装置）、
１１…制御部、１２…記憶部、１３…外部インタフェース、
１１１…画像取得部、１１２…観測情報取得部、
１１３…解像度変換部、１１４…即応性推定部、
１１５…警告部、
１２１…プログラム、１２２…学習結果データ、
１２３…撮影画像、１２３１…低解像度撮影画像、
１２４…観測情報、１２４１…顔挙動情報、１２４２…生体情報、
１２５…腕部即応性情報、
２…学習装置、
２１…制御部、２２…記憶部、２３…通信インタフェース、
２４…入力装置、２５…出力装置、２６…ドライブ、
２１１…学習データ取得部、２１２…学習処理部、
２２１…学習プログラム、２２２…学習データ、
２２３…低解像度撮影画像、２２４…観測情報、
２２５…腕部即応性情報、
３０…ナビゲーション装置、３１…カメラ、３２…生体センサ、
３３…スピーカ、
５…ニューラルネットワーク、
５１…全結合ニューラルネットワーク、
５１１…入力層、５１２…中間層（隠れ層）、５１３…出力層、
５２…畳み込みニューラルネットワーク、
５２１…畳み込み層、５２２…プーリング層、
５２３…全結合層、５２４…出力層、
５３…結合層、
５４…ＬＳＴＭネットワーク（再帰型ニューラルネットワーク）、
５４１…入力層、５４２…ＬＳＴＭブロック、５４３…出力層、
６…ニューラルネットワーク、
６１…全結合ニューラルネットワーク、
６２…畳み込みニューラルネットワーク、６３…結合層、
６４…ＬＳＴＭネットワーク、
９２…記憶媒体

Claims (14)

1. 車両の運転席に着いた運転者の腕部を撮影可能に配置された撮影装置から撮影画像を取得する画像取得部と、
   前記運転者の腕部が手動運転に直ちに対応可能か否かの度合いとして、前記運転者の腕部の運転に対する即応性の程度を推定するための機械学習を行った学習済みの学習器に前記撮影画像を入力し、前記学習済みの学習器の演算処理を実行することで、前記運転者の腕部の運転に対する即応性の程度を示す腕部即応性情報を当該学習器から取得する即応性推定部と、
   を備える、
   運転者監視装置。
2. 自動的に運転操作を行う自動運転モードと運転者の手動により運転操作を行う手動運転モードとを選択的に実施可能に構成された前記車両に対して、前記自動運転モードが実施されている際に、前記腕部即応性情報により示される前記運転者の腕部の運転に対する即応性が所定の条件を満たす場合に、前記自動運転モードから前記手動運転モードに切り替える指示を出力する切替指示部を更に備える、
   請求項１に記載の運転者監視装置。
3. 前記切替指示部は、前記自動運転モードが実施されている際に、前記腕部即応性情報により示される前記運転者の手の運転に対する即応性が所定の条件を満たす場合に、前記自動運転モードから前記手動運転モードに切り替える指示を出力する、
   請求項２に記載の運転者監視装置。
4. 前記腕部即応性情報は、前記運転者の腕部の運転に対する即応性の程度を３つ以上のレベルで段階的に示す、
   請求項１から３のいずれか１項に記載の運転者監視装置。
5. 前記腕部即応性情報は、前記運転者が手に保持している物体の属性に応じて、前記運転者の腕部の運転に対する即応性の程度を３つ以上のレベルで段階的に示す、
   請求項４に記載の運転者監視装置。
6. 前記腕部即応性情報の示す前記運転者の腕部の運転に対する即応性のレベルに応じて、腕部の即応性を高めるように前記運転者に促す警告を段階的に行う警告部を更に備える、
   請求項４又は５に記載の運転者監視装置。
7. 前記運転者の観測情報を取得する観測情報取得部を更に備え、
   前記即応性推定部は、前記観測情報を前記学習器に更に入力する、
   請求項１から６のいずれか１項に記載の運転者監視装置。
8. 前記撮影装置は、前記運転者の顔を更に撮影可能に配置され、
   前記観測情報取得部は、取得した前記撮影画像に対して所定の画像解析を行うことで、前記運転者の顔の検出可否、顔の位置、顔の向き、顔の動き、視線の方向、顔の器官の位置、及び目の開閉の少なくともいずれか１つに関する顔挙動情報を含む前記観測情報を取得する、
   請求項７に記載の運転者監視装置。
9. 前記観測情報取得部は、前記運転者の生体情報を含む前記観測情報を取得する、
   請求項７又は８に記載の運転者監視装置。
10. コンピュータが、
    車両の運転席に着いた運転者の腕部を撮影可能に配置された撮影装置から撮影画像を取得する画像取得ステップと、
    前記運転者の腕部が手動運転に直ちに対応可能か否かの度合いとして、前記運転者の腕部の運転に対する即応性の程度を推定するための機械学習を行った学習済みの学習器に前記撮影画像を入力し、前記学習済みの学習器の演算処理を実行することで、前記運転者の腕部の運転に対する即応性の程度を示す腕部即応性情報を当該学習器から取得する推定ステップと、
    を実行する、
    運転者監視方法。
11. 前記コンピュータは、
    自動的に運転操作を行う自動運転モードと運転者の手動により運転操作を行う手動運転モードとを選択的に実施するように前記車両の動作を制御し、
    前記自動運転モードを実施している際に、前記腕部即応性情報により示される前記運転者の腕部の運転に対する即応性が所定の条件を満たす場合に、前記自動運転モードから前記手動運転モードに切り替える、
    請求項１０に記載の運転者監視方法。
12. 前記コンピュータは、前記自動運転モードを実施している際に、前記腕部即応性情報により示される前記運転者の手の運転に対する即応性が所定の条件を満たす場合に、前記自動運転モードから前記手動運転モードに切り替える、
    請求項１１に記載の運転者監視方法。
13. 車両の運転席に着いた運転者の腕部を撮影可能に配置された撮影装置から取得される撮影画像、及び当該運転者の腕部が手動運転に直ちに対応可能か否かの度合いとして、当該運転者の腕部の運転に対する即応性の程度を示す腕部即応性情報の組を学習データとして取得する学習データ取得部と、
    前記撮影画像を入力すると前記腕部即応性情報に対応する出力値を出力するように学習器の機械学習を行う学習処理部と、
    を備える、
    学習装置。
14. コンピュータが、
    車両の運転席に着いた運転者の腕部を撮影可能に配置された撮影装置から取得される撮影画像、及び当該運転者の腕部が手動運転に直ちに対応可能か否かの度合いとして、当該運転者の腕部の運転に対する即応性の程度を示す腕部即応性情報の組を学習データとして取得するステップと、
    前記撮影画像を入力すると前記腕部即応性情報に対応する出力値を出力するように学習器の機械学習を行うステップと、
    を実行する、
    学習方法。