JP7133337B2 - 車両制御装置、車両制御方法、及びプログラム - Google Patents

Description

本発明は、車両制御装置、車両制御方法、及びプログラムに関する。

従来、運転者のわき見を判定する技術が開示されている（例えば、特許文献１参照）。

特開２０１２－２２５０４号公報

従来の技術では、わき見を判断するための角度範囲にのみ着目しており、わき見運転を判定する際の精度や、警報のタイミングにばらつきが生じる可能性があった。

本発明は、このような事情を考慮してなされたものであり、より適切にわき見運転を判定することができる車両制御装置、車両制御方法、及びプログラムを提供することを目的の一つとする。

（１）：自車両の周辺の状況を認識する認識部と、前記認識部の認識結果に基づいて、前記自車両の操舵または加減速のうち一方または双方を制御する運転制御部と、前記運転制御部が動作している状態において、前記運転制御部が動作するために前記自車両の運転者に求められる行為以外の特定の行為が前記運転者によって所定時間以上継続したか否か判定する継続判定部と、情報を出力する出力部と、前記継続判定部によって前記特定の行為が前記所定時間以上継続したと判定された場合、前記運転者に対する特定の動作を要求する要求情報を、前記出力部に出力させる出力制御部とを備え、前記継続判定部は、前記所定時間を、前記自車両の走行状態、又は前記自車両の周囲環境に応じて変更する、車両制御装置。

（２）：自車両の周辺の状況を認識する認識部と、前記認識部の認識結果に基づいて、前記自車両の操舵または加減速のうち一方または双方を制御する運転制御部と、前記運転制御部が動作している状態において、前記運転制御部が動作するために前記自車両の運転者に求められる行為以外の特定の行為が前記運転者によって所定時間以上継続したか否かを判定する継続判定部と、情報を出力する出力部と、前記継続判定部によって前記特定の行為が前記所定時間以上継続したと判定された場合、前記運転者に対する特定の動作を要求する要求情報を、前記出力部に出力させる出力制御部とを備え、前記出力制御部は、前記自車両の走行状態、又は前記自車両の周囲環境に応じて、前記要求情報の出力態様を変更する、車両制御装置。

（３）：（１）又は（２）の車両制御装置において、前記出力制御部は、前記要求情報を、少なくとも１回以上前記出力部に出力させた後、前記継続判定部によって前記特定の行為が所定時間以上継続したと判定された場合、前記要求情報の出力態様を１回目よりも強くする。

（４）：（１）～（３）のいずれかの車両制御装置において、前記継続判定部は、前記運転制御部が制御を行う制御度合いに応じて、着目する前記特定の行為を変更する。

（５）：（１）～（４）のいずれかの車両制御装置において、前記走行状態とは、前記自車両の速度、又は前記運転制御部の動作が変更される位置までの距離に基づく状態である。

（６）：（１）～（５）のいずれかの車両制御装置において、前記周囲環境とは、前記自車両が走行する経路の曲率、前記自車両の周囲に存在する物標の密度、又は前記認識部による認識結果の精度のうち、少なくとも一つである。

（７）：コンピュータが、自車両の周辺の状況を認識し、認識結果に基づいて、前記自車両の操舵または加減速のうち一方または双方を制御し、前記自車両の操舵または加減速のうち一方または双方の制御が動作している状態において、制御が動作するために前記自車両の運転者に求められる行為以外の特定の行為が前記運転者によって所定時間以上継続したか否かを判定し、前記特定の行為が所定時間以上継続したと判定された場合、前記運転者に対する特定の動作を要求する要求情報を出力させ、前記所定時間を、前記自車両の走行状態、又は前記自車両の周囲環境に応じて変更する、車両制御方法。

（８）：コンピュータに、自車両の周辺の状況を認識させ、認識結果に基づいて、前記自車両の操舵または加減速のうち一方または双方を制御させ、前記自車両の操舵または加減速のうち一方または双方の制御が動作している状態において、制御が動作するために前記自車両の運転者に求められる行為以外の特定の行為が前記運転者によって所定時間以上継続したか否かを判定させ、前記特定の行為が所定時間以上継続したと判定された場合、前記運転者に対する特定の動作を要求する要求情報を出力させ、前記所定時間を、前記自車両の走行状態、又は前記自車両の周囲環境に応じて変更させる、プログラム。

（１）～（８）によれば、より適切にわき見運転を判定することができる。

実施形態の車両制御装置１の構成図である。 実施形態の第１制御部１２０及び第２制御部１６０の機能構成図である。 車速閾値情報１８１の内容の一例を示す図である。 物標密度閾値情報１８２の内容の一例を示す図である。 物標密度に基づく走行状態判定部１３１の判定処理を模式的に示す図である。 距離閾値情報１８３の内容の一例を示す図である。 自動運転終了位置ＰＴまでの距離に基づく走行状態判定部１３１の判定処理を模式的に示す図である。 特定行為判定部１３２の処理について説明するための図である。 運転者の顔の向きが変化した場合の特定行為判定部１３２の処理について説明するための図である。 自車両Ｍの速度に基づく走行状態判定部１３１、及び特定行為判定部１３２の処理の一例を示す図である。 物標密度に基づく走行状態判定部１３１、及び特定行為判定部１３２の処理の一例を示す図である。 自動運転終了位置ＰＴまでの距離に基づく走行状態判定部１３１、及び特定行為判定部１３２の処理の一例を示す図である。 運転者Ｐ１が手放しをした場合の特定行為判定部１３２の処理について説明するための図である。 走行状態判定部１３１の判定処理の一例を示すフローチャートである。 特定行為判定部１３２の判定処理の一例を示すフローチャートである。 通知強度情報１８４の内容の一例を示す図である。 出力制御部１３３の処理の一例を示す図である。 出力制御部１３３の処理の他の例を示す図である。 実施形態の自動運転制御装置１００のハードウェア構成の一例を示す図である。

以下、図面を参照し、本発明の車両制御装置、車両制御方法、及びプログラムの実施形態について説明する。

＜実施形態＞
［全体構成］
図１は、実施形態の車両制御装置１の構成図である。車両制御装置１が搭載される車両（以下、自車両Ｍと称する）は、例えば、二輪や三輪、四輪等の車両であり、その駆動源は、ディーゼルエンジンやガソリンエンジンなどの内燃機関、電動機、或いはこれらの組み合わせを含む。電動機は、内燃機関に連結された発電機による発電電力、或いは二次電池や燃料電池の放電電力を使用して動作する。本実施形態では、一例として、自車両Ｍが自動運転される車両であるものとして説明する。

車両制御装置１は、例えば、カメラ１０と、レーダ装置１２と、ファインダ１４と、物体認識装置１６と、通信装置２０と、ＨＭＩ（Human Machine Interface）３０と、車両センサ４０と、ナビゲーション装置５０と、ＭＰＵ（Map Positioning Unit）６０と、運転操作子８０と、自動運転制御装置１００と、走行駆動力出力装置２００と、ブレーキ装置２１０と、ステアリング装置２２０と、車室内カメラ３００を備える。これらの装置や機器は、ＣＡＮ（Controller Area Network）通信線等の多重通信線やシリアル通信線、無線通信網等によって互いに接続される。なお、図１に示す構成はあくまで一例であり、構成の一部が省略されてもよいし、更に別の構成が追加されてもよい。

カメラ１０は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の固体撮像素子を利用したデジタルカメラである。カメラ１０は、自車両Ｍの任意の箇所に取り付けられる。前方を撮像する場合、カメラ１０は、フロントウインドシールド上部やルームミラー裏面等に取り付けられる。カメラ１０は、例えば、周期的に繰り返し自車両Ｍの周辺を撮像する。カメラ１０は、ステレオカメラであってもよい。

レーダ装置１２は、自車両Ｍの周辺にミリ波などの電波を放射すると共に、物体によって反射された電波（反射波）を検出して少なくとも物体の位置（距離及び方位）を検出する。レーダ装置１２は、自車両Ｍの任意の箇所に取り付けられる。レーダ装置１２は、ＦＭ－ＣＷ（Frequency Modulated Continuous Wave）方式によって物体の位置及び速度を検出してもよい。

ファインダ１４は、ＬＩＤＡＲ（Light Detection and Ranging）である。ファインダ１４は、自車両Ｍの周辺に光を照射し、散乱光を測定する。ファインダ１４は、発光から受光までの時間に基づいて、対象までの距離を検出する。照射される光は、例えば、パルス状のレーザー光である。ファインダ１４は、自車両Ｍの任意の箇所に取り付けられる。

物体認識装置１６は、カメラ１０、レーダ装置１２及びファインダ１４のうち一部または全部による検出結果に対してセンサフュージョン処理を行って、物体の位置、種類、速度などを認識する。物体認識装置１６は、認識結果を自動運転制御装置１００に出力する。物体認識装置１６は、カメラ１０、レーダ装置１２及びファインダ１４の検出結果をそのまま自動運転制御装置１００に出力してよい。車両制御装置１から物体認識装置１６が省略されてもよい。

通信装置２０は、例えば、セルラー網やＷｉ－Ｆｉ網、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＤＳＲＣ（Dedicated Short Range Communication）などを利用して、自車両Ｍの周辺に存在する他車両と通信し、或いは無線基地局を介して各種サーバ装置と通信する。

ＨＭＩ３０は、自車両Ｍの乗員に対して各種情報を提示すると共に、乗員による入力操作を受け付ける。ＨＭＩ３０は、各種表示装置、スピーカ、ブザー、タッチパネル、スイッチ、キーなどを含む。

車両センサ４０は、自車両Ｍの速度を検出する車速センサ、加速度を検出する加速度センサ、鉛直軸回りの角速度を検出するヨーレートセンサ、自車両Ｍの向きを検出する方位センサ等を含む。

ナビゲーション装置５０は、例えば、ＧＮＳＳ（Global Navigation Satellite System）受信機５１と、ナビＨＭＩ５２と、経路決定部５３とを備える。ナビゲーション装置５０は、ＨＤＤ（Hard Disk Drive）やフラッシュメモリなどの記憶装置に第１地図情報５４を保持している。

ＧＮＳＳ受信機５１は、ＧＮＳＳ衛星から受信した信号に基づいて、自車両Ｍの位置を特定する。自車両Ｍの位置は、車両センサ４０の出力を利用したＩＮＳ（Inertial Navigation System）によって特定または補完されてもよい。

ナビＨＭＩ５２は、表示装置、スピーカ、タッチパネル、キーなどを含む。ナビＨＭＩ５２は、前述したＨＭＩ３０と一部または全部が共通化されてもよい。

経路決定部５３は、例えば、ＧＮＳＳ受信機５１により特定された自車両Ｍの位置（或いは入力された任意の位置）から、ナビＨＭＩ５２を用いて乗員により入力された目的地までの経路（以下、地図上経路）を、第１地図情報５４を参照して決定する。第１地図情報５４は、例えば、道路を示すリンクと、リンクによって接続されたノードとによって道路形状が表現された情報である。第１地図情報５４は、道路の曲率やＰＯＩ（Point Of Interest）情報などを含んでもよい。地図上経路は、ＭＰＵ６０に出力される。

ナビゲーション装置５０は、地図上経路に基づいて、ナビＨＭＩ５２を用いた経路案内を行ってもよい。ナビゲーション装置５０は、例えば、乗員の保有するスマートフォンやタブレット端末等の端末装置の機能によって実現されてもよい。ナビゲーション装置５０は、通信装置２０を介してナビゲーションサーバに現在位置と目的地を送信し、ナビゲーションサーバから地図上経路と同等の経路を取得してもよい。

ＭＰＵ６０は、例えば、推奨車線決定部６１を含み、ＨＤＤやフラッシュメモリなどの記憶装置に第２地図情報６２を保持している。推奨車線決定部６１は、ナビゲーション装置５０から提供された地図上経路を複数のブロックに分割し（例えば、車両進行方向に関して１００［ｍ］毎に分割し）、第２地図情報６２を参照してブロック毎に推奨車線を決定する。推奨車線決定部６１は、左から何番目の車線を走行するといった決定を行う。推奨車線決定部６１は、地図上経路に分岐箇所が存在する場合、自車両Ｍが、分岐先に進行するための合理的な経路を走行できるように、推奨車線を決定する。

第２地図情報６２は、第１地図情報５４よりも高精度な地図情報である。第２地図情報６２は、例えば、車線の中央の情報或いは車線の境界の情報、車線の種別の情報等を含んでいる。また、第２地図情報６２には、道路情報、交通規制情報、住所情報（住所・郵便番号）、施設情報、電話番号情報などが含まれてよい。第２地図情報６２は、通信装置２０が他装置と通信することにより、随時、アップデートされてよい。

運転操作子８０は、例えば、アクセルペダル、ブレーキペダル、シフトレバー、ステアリングホイール、異形ステア、ジョイスティックその他の操作子を含む。運転操作子８０には、操作量或いは操作の有無を検出するセンサが取り付けられており、その検出結果は、自動運転制御装置１００、もしくは、走行駆動力出力装置２００、ブレーキ装置２１０及びステアリング装置２２０のうち一部または全部に出力される。

自動運転制御装置１００は、例えば、第１制御部１２０と、第２制御部１６０と、記憶部１８０とを備える。第１制御部１２０と、第２制御部１６０とのそれぞれは、例えば、ＣＰＵ（Central Processing Unit）などのプロセッサがプログラム（ソフトウェア）を実行することにより実現される。また、これらの構成要素のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）などのハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予め自動運転制御装置１００の記憶部１８０に格納されていてもよいし、ＤＶＤやＣＤ－ＲＯＭなどの着脱可能な記憶媒体に格納されており、記憶媒体がドライブ装置に装着されることで記憶部１８０にインストールされてもよい。

記憶部１８０は、例えば、ＨＤＤ、フラッシュメモリ、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、ＲＯＭ（Read Only Memory）又はＲＡＭ（Random Access Memory）などにより実現される。記憶部１８０は、例えば、プロセッサによって読み出されて実行されるプログラムを格納する。また、記憶部１８０には、車速閾値情報１８１と、物標密度閾値情報１８２と、距離閾値情報１８３とが記憶される。各情報の詳細については後述する。

図２は、実施形態の第１制御部１２０及び第２制御部１６０の機能構成図である。第１制御部１２０は、例えば、認識部１３０と、行動計画生成部１４０とを備える。認識部１３０は、走行状態判定部１３１と、特定行為判定部１３２と、出力制御部１３３とを備える。第１制御部１２０は、例えば、ＡＩ（Artificial Intelligence；人工知能）による機能と、予め与えられたモデルによる機能とを並行して実現する。例えば、「交差点を認識する」機能は、ディープラーニング等による交差点の認識と、予め与えられた条件（パターンマッチング可能な信号、道路標示などがある）に基づく認識とが並行して実行され、双方に対してスコア付けして総合的に評価することで実現されてよい。これによって、自動運転の信頼性が担保される。

認識部１３０は、カメラ１０、レーダ装置１２及びファインダ１４から物体認識装置１６を介して入力された情報に基づいて、自車両Ｍの周辺状況を認識する。具体的には、１３０は、自車両Ｍの周辺にある物体の位置及び速度、加速度等の状況を認識する。物体の位置は、例えば、自車両Ｍの代表点（重心や駆動軸中心など）を原点とした絶対座標上の位置として認識され、制御に使用される。物体の位置は、その物体の重心やコーナー等の代表点で表されてもよいし、表現された領域で表されてもよい。物体の「状態」とは、物体の加速度やジャーク、或いは「行動状態」（例えば車線変更をしている又はしようとしているか否か）を含んでもよい。

また、認識部１３０は、例えば、自車両Ｍが走行している車線（走行車線）を認識する。例えば、認識部１３０は、第２地図情報６２から得られる道路区画線のパターン（例えば実線と破線の配列）と、カメラ１０によって撮像された画像から認識される自車両Ｍの周辺の道路区画線のパターンとを比較することで、走行車線を認識する。なお、認識部１３０は、道路区画線に限らず、道路区画線や路肩、縁石、中央分離帯、ガードレールなどを含む走路境界（道路境界）を認識することで、走行車線を認識してもよい。この認識において、ナビゲーション装置５０から取得される自車両Ｍの位置やＩＮＳによる処理結果が加味されてもよい。また、認識部１３０は、一時停止線、障害物、赤信号、料金所、その他の道路事象を認識する。

認識部１３０は、走行車線を認識する際に、走行車線に対する自車両Ｍの位置や姿勢を認識する。認識部１３０は、例えば、自車両Ｍの基準点の車線中央からの乖離及び自車両Ｍの進行方向の車線中央を連ねた線に対してなす角度を、走行車線に対する自車両Ｍの相対位置及び姿勢として認識してもよい。これに代えて、認識部１３０は、走行車線のいずれかの側端部（道路区画線または道路境界）に対する自車両Ｍの基準点の位置などを、走行車線に対する自車両Ｍの相対位置として認識してもよい。

また、認識部１３０は、上記の認識処理において、認識精度を導出し、認識精度情報として行動計画生成部１４０に出力してもよい。例えば、認識部１３０は、一定期間において、道路区画線を認識できた頻度に基づいて、認識精度情報を生成する。認識部１３０が備える走行状態判定部１３１と、特定行為判定部１３２と、出力制御部１３３との機能については、後述する。

行動計画生成部１４０は、原則的には推奨車線決定部６１により決定された推奨車線を走行し、更に、自車両Ｍの周辺状況に対応した自動運転が実行されるように、自車両Ｍが将来走行する目標軌道を生成する。目標軌道は、例えば、速度要素を含んでいる。例えば、目標軌道は、自車両Ｍの到達すべき地点（軌道点）を順に並べたものとして表現される。軌道点は、道なり距離で所定の走行距離（例えば数［ｍ］程度）ごとの自車両Ｍの到達すべき地点であり、それとは別に、所定のサンプリング時間（例えば、０コンマ数［ｓｅｃ］程度）ごとの目標速度および目標加速度が、目標軌道の一部として生成される。

第２制御部１６０は、例えば、取得部１６２と、速度制御部１６４と、操舵制御部１６６とを備える。取得部１６２は、行動計画生成部１４０により生成された目標軌道の情報を取得し、メモリ（不図示）に記憶させる。速度制御部１６４は、メモリに記憶された目標軌道に付随する速度要素に基づいて、走行駆動力出力装置２００またはブレーキ装置２１０を制御する。操舵制御部１６６は、メモリに記憶された目標軌道の曲がり具合に応じて、ステアリング装置２２０を制御する。速度制御部１６４および操舵制御部１６６の処理は、例えば、フィードフォワード制御とフィードバック制御との組み合わせにより実現される。一例として、操舵制御部１６６は、自車両Ｍの前方の道路の曲率に応じたフィードフォワード制御と、目標軌道からの乖離に基づくフィードバック制御とを組み合わせて実行する。行動計画生成部１４０と第２制御部１６０とを合わせたものは、「運転制御部」の一例である。

図１に戻り、走行駆動力出力装置２００は、車両が走行するための走行駆動力（トルク）を駆動輪に出力する。走行駆動力出力装置２００は、例えば、内燃機関、電動機、および変速機等の組み合わせと、これらを制御するＥＣＵとを備える。ＥＣＵは、第２制御部１６０から入力される情報、或いは運転操作子８０から入力される情報に従って、上記の構成を制御する。

ブレーキ装置２１０は、例えば、ブレーキキャリパーと、ブレーキキャリパーに油圧を伝達するシリンダと、シリンダに油圧を発生させる電動モータと、ブレーキＥＣＵとを備える。ブレーキＥＣＵは、第２制御部１６０から入力される情報、或いは運転操作子８０から入力される情報に従って電動モータを制御し、制動操作に応じたブレーキトルクが各車輪に出力されるようにする。ブレーキ装置２１０は、運転操作子８０に含まれるブレーキペダルの操作によって発生させた油圧を、マスターシリンダを介してシリンダに伝達する機構をバックアップとして備えてよい。なお、ブレーキ装置２１０は、上記説明した構成に限らず、第２制御部１６０から入力される情報に従ってアクチュエータを制御して、マスターシリンダの油圧をシリンダに伝達する電子制御式油圧ブレーキ装置であってもよい。

ステアリング装置２２０は、例えば、ステアリングＥＣＵと、電動モータとを備える。電動モータは、例えば、ラックアンドピニオン機構に力を作用させて転舵輪の向きを変更する。ステアリングＥＣＵは、第２制御部１６０から入力される情報、或いは運転操作子８０から入力される情報に従って、電動モータを駆動し、転舵輪の向きを変更させる。

車室内カメラ３００は、例えば、自車両Ｍの車室内に設置されたシートに着座する乗員の顔を含む画像を撮像する。乗員とは、例えば、運転席に着座する乗員（以下、運転者）であるが、これに加えて助手席や後部座席に着座する乗員（同乗者）でもよい。車室内カメラ３００は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の固体撮像素子を利用したデジタルカメラである。車室内カメラ３００は、例えば、所定のタイミングで乗員を撮像する。車室内カメラ３００の撮像画像は、自動運転制御装置１００（第１制御部１２０）に出力される。

［走行状態判定部１３１及び特定行為判定部１３２について］
以下、認識部１３０が備える各機能部について説明する。走行状態判定部１３１は、自車両Ｍの走行状態、又は自車両Ｍの周囲環境を判定し、判定した走行状態、又は周囲環境に基づいて、特定行為判定部１３２の判定に用いられる閾値を決定する。走行状態には、例えば、自車両Ｍの速度、又は自車両Ｍの自動運転が終了される位置（以下、自動運転終了位置ＰＴ）までの距離が含まれる。周囲環境には、自車両Ｍの周囲に存在する物標（例えば、他車両）の密度が含まれる。走行状態判定部１３１は、特定行為判定部１３２が自車両Ｍの運転者による特定の行為が所定時間以上継続したか否かを判定する際に用いる閾値（以下、所定時間閾値ＴＨ）を判定（決定）する。自動運転制御装置１００による自動運転制御の動作態様が、ハンドルを離した状態での車線維持制御である場合、運転者に求められる行為とは、進行方向を注視する行為であり、特定の行為とは、例えば、進行方向から目を離す行為（以下、わき見）である。走行状態判定部１３１と、特定行為判定部１３２とを合わせたものは、「継続判定部」の一例である。

［車速閾値情報１８１について］
図３は、車速閾値情報１８１の内容の一例を示す図である。車速閾値情報１８１は、自車両Ｍの速度と、所定時間閾値ＴＨとが互いに対応付けられた情報である。具体的には、「低速」には、「所定時間閾値ＴＨ１」が対応付けられ、「中速」には、「所定時間閾値ＴＨ２」が対応付けられ、「高速」には、「所定時間閾値ＴＨ３」が対応付けられる。以降の説明において、自車両Ｍの速度が「低速」にある状態を、「第１走行状態」とも記載し、自車両Ｍの速度が「中速」にある状態を、「第２走行状態」とも記載し、自車両Ｍの速度が「高速」にある状態を、「第３走行状態」とも記載する。なお、所定時間閾値ＴＨ１が示す時間の長さと、所定時間閾値ＴＨ２が示す時間の長さと、所定時間閾値ＴＨ３が示す時間の長さとの関係は、所定時間閾値ＴＨ１＞所定時間閾値ＴＨ２＞所定時間閾値ＴＨ３である。

車速閾値情報１８１は、車両センサ４０によって検出された自車両Ｍの速度が「低速」である場合、特定行為判定部１３２の判定に用いられる閾値を「所定時間閾値ＴＨ１」に決定し、車両センサ４０によって検出された自車両Ｍの速度が「中速」である場合、特定行為判定部１３２の判定に用いられる閾値を「所定時間閾値ＴＨ２」に決定し、車両センサ４０によって検出された自車両Ｍの速度が「高速」である場合、特定行為判定部１３２の判定に用いられる閾値を「所定時間閾値ＴＨ３」に決定する。

［物標密度閾値情報１８２について］
図４は、物標密度閾値情報１８２の内容の一例を示す図である。物標密度閾値情報１８２は、自車両Ｍの周囲に存在する物標の密度と、所定時間閾値ＴＨとが互いに対応付けられた情報である。具体的には、「低密度」には、「所定時間閾値ＴＨ４」が対応付けられ、「中密度」には、「所定時間閾値ＴＨ５」が対応付けられ、「高密度」には、「所定時間閾値ＴＨ６」が対応付けられる。以降の説明において、自車両Ｍが「低密度」にある状態を、「第１走行状態」とも記載し、自車両Ｍが「中密度」にある状態を、「第２走行状態」とも記載し、自車両Ｍが「高密度」にある状態を、「第３走行状態」とも記載する。なお、所定時間閾値ＴＨ４が示す時間の長さと、所定時間閾値ＴＨ５が示す時間の長さと、所定時間閾値ＴＨ６が示す時間の長さとの関係は、所定時間閾値ＴＨ４＞所定時間閾値ＴＨ５＞所定時間閾値ＴＨ６である。以降の説明において、自車両Ｍの周囲に存在する物標の密度を「物標密度」と記載する。

図５は、物標密度に基づく走行状態判定部１３１の判定処理を模式的に示す図である。走行状態判定部１３１は、例えば、認識部１３０によって認識可能な所定範囲（図示する所定範囲ＡＲ）に存在する物標（図示する他車両ｍ１～ｍ４）を認識した認識結果に基づいて物標密度を取得し、取得した物標の密度に基づいて所定時間閾値ＴＨを判定する。

なお、上述では、所定範囲ＡＲに存在する物標が他車両ｍである場合を一例に説明したが、これに限られず、物標は、他の物体であってもよい。また、認識部１３０によって所定範囲ＡＲに存在する物標を認識する構成に代えて、自車両Ｍから所定の距離だけ離れた所定範囲ＡＲに存在する他車両ｍと、車車間通信することによって、自車両Ｍの周囲に存在する物標（他車両ｍ）を認識することにより、物標密度を取得する構成であってもよい。また、特定行為判定部１３２は、物標の密度に代えて、所定範囲ＡＲに存在する物標の数に基づいて、所定時間閾値ＴＨを判定してもよい。この場合、物標密度閾値情報１８２は、所定範囲ＡＲに存在する物標の数と、所定時間閾値ＴＨとが互いに対応付けられた情報である。

［距離閾値情報１８３について］
図６は、距離閾値情報１８３の内容の一例を示す図である。距離閾値情報１８３は、自車両Ｍから自動運転終了位置ＰＴまでの距離（以下、自動運転終了位置ＰＴまでの距離）と、所定時間閾値ＴＨとが互いに対応付けられた情報である。具体的には、「長距離」には、「所定時間閾値ＴＨ７」が対応付けられ、「中距離」には、「所定時間閾値ＴＨ８」が対応付けられ、「短距離」には、「所定時間閾値ＴＨ９」が対応付けられる。以降の説明において、自動運転終了位置ＰＴまでの距離が「長距離」である状態を、「第１走行状態」とも記載し、自動運転終了位置ＰＴまでの距離が「中距離」である状態を、「第２走行状態」とも記載し、自動運転終了位置ＰＴまでの距離が「短距離」である状態を、「第３走行状態」とも記載する。なお、所定時間閾値ＴＨ７が示す時間の長さと、所定時間閾値ＴＨ８が示す時間の長さと、所定時間閾値ＴＨ９が示す時間の長さとの関係は、所定時間閾値ＴＨ７＞所定時間閾値ＴＨ８＞所定時間閾値ＴＨ９である。

図７は、自動運転終了位置ＰＴまでの距離に基づく走行状態判定部１３１の判定処理を模式的に示す図である。走行状態判定部１３１は、例えば、認識部１３０によって認識された自動運転終了位置ＰＴまでの距離（図示する距離Ｌ）に基づいて、所定時間閾値ＴＨを判定する。

以降の説明において、所定時間閾値ＴＨ１～ＴＨ９を互いに区別しない場合には、総称して所定時間閾値ＴＨと記載する。また、本実施形態において、第１走行状態に対応付けられる所定時間閾値ＴＨ（所定時間閾値ＴＨ１、所定時間閾値ＴＨ４、及び所定時間閾値ＴＨ７）がいずれも同じ長さの時間を示す値であり、第２走行状態に対応付けられる所定時間閾値ＴＨ（所定時間閾値ＴＨ２、所定時間閾値ＴＨ５、及び所定時間閾値ＴＨ８）がいずれも同じ長さの時間を示す値であり、第３走行状態に対応付けられる所定時間閾値ＴＨ（所定時間閾値ＴＨ３、所定時間閾値ＴＨ６、及び所定時間閾値ＴＨ９）がいずれも同じ長さの時間を示す値である場合について説明する。

［特定行為判定部１３２の判定の詳細について］
以下、図８、及び図９を参照し、特定行為判定部１３２の判定について説明する。図８は、特定行為判定部１３２の処理について説明するための図である。図８の例では、自車両Ｍの運転席のシートＳＨに着座する運転者Ｐ１を示している。また、図８の例では、運転者Ｐ１が、運転操作子８０の一例であるステアリングホイール（図示する、ステアリングホイール８２）を把持して正面を見ている状態を示している。特定行為判定部１３２は、車室内カメラ３００により撮像された画像を解析し、運転者Ｐ１の顔の向きや視線の向きを取得する。例えば、特定行為判定部１３２は、テンプレートマッチング等の手法を用いて画像から運転者Ｐ１の頭部と目の位置関係、目における基準点と動点の組み合わせ等を検出する。そして、特定行為判定部１３２は、頭部に対する目の位置に基づいて顔の向きを導出する。また、特定行為判定部１３２は、基準点に対する動点の位置に基づいて、視線の向きを導出する。例えば、基準点が目頭である場合、動点は虹彩である。また、基準点が角膜反射領域である場合、動点は瞳孔である。

図９は、運転者の顔の向きが変化した場合の特定行為判定部１３２の処理について説明するための図である。特定行為判定部１３２は、例えば、自車両Ｍの視認対象が存在する方向と、顔または視線の向きとを比較し、顔または視線の向きが、自車両Ｍの進行方向に一致または近似していない場合に、運転者Ｐ１がわき見状態であると推定する。また、特定行為判定部１３２は、運転者Ｐ１が、わき見状態を走行状態判定部１３１によって決定された所定時間閾値ＴＨの時間以上継続している場合に、運転者Ｐ１が「わき見運転」をしていると判定する。「わき見運転」は、「特定の行為」の一例である。

［出力制御部１３３について］
出力制御部１３３は、例えば、特定行為判定部１３２によって運転者がわき見運転をしていると判定された場合、特定の動作を要求する要求情報を、ＨＭＩ３０に出力させる。特定の動作とは、例えば、「視線を前方に戻す動作（つまり、わき見をやめる動作）」である。具体的には、要求情報とは、例えば、「わき見運転をしています、視線を前方に戻してください」等のメッセージの音声を示す情報や、「前方を視認してください」等のメッセージを示す画像を示す情報である。出力制御部１３３は、要求情報に基づいて、要求情報に示される各種情報をＨＭＩ３０に出力させる。なお、要求情報は、わき見運転を警告するブザーの鳴動させる際に用いられる情報や、わき見運転を警告するフラッシュを点滅させる際に用いられる情報であってもよい。ＨＭＩ３０は、「出力部」の一例である。

［車速閾値情報１８１に基づく処理について］
図１０は、自車両Ｍの速度に基づく走行状態判定部１３１、及び特定行為判定部１３２の処理の一例を示す図である。図１０において、波形Ｗ１は、自車両Ｍの速度の変化を示す波形であり、波形Ｗ２は、特定行為判定部１３２の判定結果を示す波形であり、波形Ｗ３は、出力制御部１３３によるＨＭＩ３０の制御状態を示す波形である。波形Ｗ１に示される通り、自車両Ｍの速度は、走行を開始してから時刻ｔｍ１おいて「低速」に達し、時刻ｔｍ１から時刻ｔｍ１１までの間、「低速」が維持される。したがって、走行状態判定部１３１は、時刻ｔｍ１から時刻ｔｍ１１までの間、車速閾値情報１８１に基づいて、所定時間閾値ＴＨを「所定時間閾値ＴＨ１」に決定する。

特定行為判定部１３２は、時刻ｔｍ２において、運転者が「わき見」状態であると検出する。また、特定行為判定部１３２は、時刻ｔｍ２から所定時間閾値ＴＨ１が示す時間が経過した時刻ｔｍ３まで「わき見」状態が継続したため、運転者が「わき見運転」をしていると判定する。出力制御部１３３は、特定行為判定部１３２によって時刻ｔｍ３において運転者が「わき見運転」をしていると判定されたため、時刻ｔｍ３から、少なくとも運転者の「わき見」状態が改善されるまでのタイミング（図示する時刻ｔｍ４）まで要求情報をＨＭＩ３０に出力させ、改善された場合（図示する時刻ｔｍ５）に出力を停止させる。

また、波形Ｗ１によって示される通り、自車両Ｍの速度は、時刻ｔｍ１１において「中速」に達し、時刻ｔｍ１１から時刻ｔｍ２１までの間、「中速」が維持される。したがって、走行状態判定部１３１は、時刻ｔｍ１１から時刻ｔｍ２１までの間、車速閾値情報１８１に基づいて、所定時間閾値ＴＨを「所定時間閾値ＴＨ２」に決定する。

特定行為判定部１３２は、時刻ｔｍ１２において、運転者が「わき見」状態であると検出する。また、特定行為判定部１３２は、時刻ｔｍ１２から所定時間閾値ＴＨ２が示す時間が経過した時刻ｔｍ１３まで「わき見」状態が継続したため、運転者が「わき見運転」をしていると判定する。出力制御部１３３は、特定行為判定部１３２によって時刻ｔｍ１３において運転者が「わき見運転」をしていると判定されたため、時刻ｔｍ１３から、少なくとも運転者の「わき見」状態が改善されるまでのタイミング（図示する時刻ｔｍ１４）まで要求情報をＨＭＩ３０に出力させ、改善された場合（図示する時刻ｔｍ１５）に出力を停止させる。これにより、出力制御部１３３は、自車両Ｍの速度が「低速」である場合と比して、即時に「視線を前方に戻す動作」を運転者に要求することができる。

また、波形Ｗ１によって示される通り、自車両Ｍの速度は、時刻ｔｍ２１において「高速」に達し、時刻ｔｍ２１以降「高速」が維持される。したがって、走行状態判定部１３１は、時刻ｔｍ２１以降、車速閾値情報１８１に基づいて、所定時間閾値ＴＨを「所定時間閾値ＴＨ３」に決定する。

特定行為判定部１３２は、時刻ｔｍ２２において、運転者が「わき見」状態であると検出する。また、特定行為判定部１３２は、時刻ｔｍ２２から所定時間閾値ＴＨ２が示す時間が経過した時刻ｔｍ２３まで「わき見」状態が継続したため、運転者が「わき見運転」をしていると判定する。出力制御部１３３は、特定行為判定部１３２によって時刻ｔｍ２３において運転者が「わき見運転」をしていると判定されたため、時刻ｔｍ２３から、少なくとも運転者の「わき見」状態が改善されるまでのタイミング（図示する時刻ｔｍ２４）まで要求情報をＨＭＩ３０に出力させ、改善された場合（図示する時刻ｔｍ２５）に出力を停止させる。これにより、出力制御部１３３は、自車両Ｍの速度が「低速」、及び「中速」である場合と比して、即時に「視線を前方に戻す動作」を運転者に要求することができる。

［物標密度閾値情報１８２に基づく処理について］
図１１は、物標密度に基づく走行状態判定部１３１、及び特定行為判定部１３２の処理の一例を示す図である。図１１において、波形Ｗ４は、物標密度の変化を示す波形であり、波形Ｗ５は、特定行為判定部１３２の判定結果を示す波形であり、波形Ｗ５は、出力制御部１３３によるＨＭＩ３０の制御状態を示す波形である。波形Ｗ４によって示される通り、自車両Ｍの物標密度は、走行を開始してから時刻ｔｍ１おいて「低密度」であり、時刻ｔｍ１から時刻ｔｍ１１までの間、「低密度」の状態が維持される。したがって、走行状態判定部１３１は、時刻ｔｍ１から時刻ｔｍ１１までの間、物標密度閾値情報１８２に基づいて、所定時間閾値ＴＨを「所定時間閾値ＴＨ４」に決定する。

特定行為判定部１３２は、時刻ｔｍ２において、運転者が「わき見」状態であると検出する。また、特定行為判定部１３２は、時刻ｔｍ２から所定時間閾値ＴＨ４が示す時間が経過した時刻ｔｍ３まで「わき見」状態が継続したため、運転者が「わき見運転」をしていると判定する。出力制御部１３３は、特定行為判定部１３２によって時刻ｔｍ３において運転者が「わき見運転」をしていると判定されたため、時刻ｔｍ３から、少なくとも運転者の「わき見」状態が改善されるまでのタイミング（図示する時刻ｔｍ４）まで要求情報をＨＭＩ３０に出力させ、改善された場合（図示する時刻ｔｍ５）に出力を停止させる。

また、波形Ｗ４によって示される通り、自車両Ｍの物標密度は、時刻ｔｍ１１において「中密度」に変化し、時刻ｔｍ１１から時刻ｔｍ２１までの間、「中密度」の状態が維持される。したがって、走行状態判定部１３１は、時刻ｔｍ１１から時刻ｔｍ２１までの間、物標密度閾値情報１８２に基づいて、所定時間閾値ＴＨを「所定時間閾値ＴＨ５」に決定する。

特定行為判定部１３２は、時刻ｔｍ１２において、運転者が「わき見」状態であると検出する。また、特定行為判定部１３２は、時刻ｔｍ１２から所定時間閾値ＴＨ５が示す時間が経過した時刻ｔｍ１３まで「わき見」状態が継続したため、運転者が「わき見運転」をしていると判定する。出力制御部１３３は、特定行為判定部１３２によって時刻ｔｍ１３において運転者が「わき見運転」をしていると判定されたため、時刻ｔｍ１３から、少なくとも運転者の「わき見」状態が改善されるまでのタイミング（図示する時刻ｔｍ１４）まで要求情報をＨＭＩ３０に出力させ、改善された場合（図示する時刻ｔｍ１５）に出力を停止させる。これにより、出力制御部１３３は、物標密度が「低密度」である場合と比して、即時に「視線を前方に戻す動作」を運転者に要求することができる。

また、波形Ｗ４によって示される通り、自車両Ｍの物標密度は、時刻ｔｍ２１において「高密度」に変化し、時刻ｔｍ２１以降「高密度」の状態が維持される。したがって、走行状態判定部１３１は、時刻ｔｍ２１以降、物標密度閾値情報１８２に基づいて、所定時間閾値ＴＨを「所定時間閾値ＴＨ６」に決定する。

特定行為判定部１３２は、時刻ｔｍ２２において、運転者が「わき見」状態であると検出する。また、特定行為判定部１３２は、時刻ｔｍ２２から所定時間閾値ＴＨ６が示す時間が経過した時刻ｔｍ２３まで「わき見」状態が継続したため、運転者が「わき見運転」をしていると判定する。出力制御部１３３は、特定行為判定部１３２によって時刻ｔｍ２３において運転者が「わき見運転」をしていると判定されたため、時刻ｔｍ２３から、少なくとも運転者の「わき見」状態が改善されるまでのタイミング（図示する時刻ｔｍ２４）まで要求情報をＨＭＩ３０に出力させ、改善された場合（図示する時刻ｔｍ２５）に出力を停止させる。これにより、出力制御部１３３は、物標密度が「低密度」、及び「中密度」である場合と比して、即時に「視線を前方に戻す動作」を運転者に要求することができる。

［距離閾値情報１８３に基づく処理について］
図１２は、自動運転終了位置ＰＴまでの距離に基づく走行状態判定部１３１、及び特定行為判定部１３２の処理の一例を示す図である。図１２において、波形Ｗ７は、自動運転終了位置ＰＴまでの距離の変化を示す波形であり、波形Ｗ８は、特定行為判定部１３２の判定結果を示す波形であり、波形Ｗ９は、出力制御部１３３によるＨＭＩ３０の制御状態を示す波形である。波形Ｗ７によって示される通り、自動運転終了位置ＰＴまでの距離は、時刻ｔｍ１おいて「遠距離」に達し、時刻ｔｍ１から時刻ｔｍ１１までの間、「遠距離」である。したがって、走行状態判定部１３１は、時刻ｔｍ１から時刻ｔｍ１１までの間、距離閾値情報１８３に基づいて、所定時間閾値ＴＨを「所定時間閾値ＴＨ７」に決定する。

特定行為判定部１３２は、時刻ｔｍ２において、運転者が「わき見」状態であると検出する。また、特定行為判定部１３２は、時刻ｔｍ２から所定時間閾値ＴＨ７が示す時間が経過した時刻ｔｍ３まで「わき見」状態が継続したため、運転者が「わき見運転」をしていると判定する。出力制御部１３３は、特定行為判定部１３２によって時刻ｔｍ３において運転者が「わき見運転」をしていると判定されたため、時刻ｔｍ３から、少なくとも運転者の「わき見」状態が改善されるまでのタイミング（図示する時刻ｔｍ４）まで要求情報をＨＭＩ３０に出力させ、改善された場合（図示する時刻ｔｍ５）に出力を停止させる。

また、波形Ｗ７によって示される通り、自車両Ｍは、時刻ｔｍ１１において自動運転終了位置ＰＴまでの距離が「中距離」の位置に達し、時刻ｔｍ１１から時刻ｔｍ２１までの間、「中距離」の位置を走行する。したがって、走行状態判定部１３１は、時刻ｔｍ１１から時刻ｔｍ２１までの間、距離閾値情報１８３に基づいて、所定時間閾値ＴＨを「所定時間閾値ＴＨ８」に決定する。

特定行為判定部１３２は、時刻ｔｍ１２において、運転者が「わき見」状態であると検出する。また、特定行為判定部１３２は、時刻ｔｍ１２から所定時間閾値ＴＨ８が示す時間が経過した時刻ｔｍ１３まで「わき見」状態が継続したため、運転者が「わき見運転」をしていると判定する。出力制御部１３３は、特定行為判定部１３２によって時刻ｔｍ１３において運転者が「わき見運転」をしていると判定されたため、時刻ｔｍ１３から、少なくとも運転者の「わき見」状態が改善されるまでのタイミング（図示する時刻ｔｍ１４）まで要求情報をＨＭＩ３０に出力させ、改善された場合（図示する時刻ｔｍ１５）に出力を停止させる。これにより、出力制御部１３３は、自動運転終了位置ＰＴまでの距離が「遠距離」である場合と比して、即時に「視線を前方に戻す動作」を運転者に要求することができる。

また、波形Ｗ７によって示される通り、自車両Ｍは、時刻ｔｍ２１において自動運転終了位置ＰＴまでの自動運転終了位置ＰＴまでの距離が「短距離」の位置に達し、時刻ｔｍ２１以降「短距離」の位置を走行する。したがって、走行状態判定部１３１は、時刻ｔｍ２１以降、距離閾値情報１８３に基づいて、所定時間閾値ＴＨを「所定時間閾値ＴＨ９」に決定する。

特定行為判定部１３２は、時刻ｔｍ２２において、運転者が「わき見」状態であると検出する。また、特定行為判定部１３２は、時刻ｔｍ２２から所定時間閾値ＴＨ９が示す時間が経過した時刻ｔｍ２３まで「わき見」状態が継続したため、運転者が「わき見運転」をしていると判定する。出力制御部１３３は、特定行為判定部１３２によって時刻ｔｍ２３において運転者が「わき見運転」をしていると判定されたため、時刻ｔｍ２３から、少なくとも運転者の「わき見」状態が改善されるまでのタイミング（図示する時刻ｔｍ２４）まで要求情報をＨＭＩ３０に出力させ、改善された場合（図示する時刻ｔｍ２５）に出力を停止させる。これにより、出力制御部１３３は、自動運転終了位置ＰＴまでの距離が「遠距離」、及び「中距離」である場合と比して、即時に「視線を前方に戻す動作」を運転者に要求することができる。

［わき見以外の特定の行為について］
なお、上述では、特定行為判定部１３２によって判定される運転者の特定の行為が、「わき見」である場合について説明したが、これに限られない。特定行為判定部１３２は、自動運転制御装置１００による自動運転制御の制御度合に応じて、着目する特定の行為を変更してもよい。具体的には、特定行為判定部１３２は、自動運転制御装置１００による自動運転の動作態様が、ハンドルを把持した状態での車線維持制御である場合、運転者に求められる行為とは、ハンドルを把持する行為であり、特定の行為とは、例えば、ステアリングホイール８２から手を離す行為（以下、手放し）である。図１３は、運転者Ｐ１が手放しをした場合の特定行為判定部１３２の処理について説明するための図である。例えば、特定行為判定部１３２は、車室内カメラ３００により撮像された画像を解析し、運転者Ｐ１の手の位置を取得する。例えば、特定行為判定部１３２は、テンプレートマッチング等の手法を用いて画像から運転者Ｐ１の手の位置関係を検出する。特定行為判定部１３２は、例えば、運転者Ｐ１の手の位置がステアリングホイール８２の位置に一致または近似していない場合に、運転者Ｐ１が手放し状態であると推定する。また、特定行為判定部１３２は、運転者Ｐ１が、手放し状態を走行状態判定部１３１によって決定された所定時間閾値ＴＨの時間以上継続している場合に、運転者Ｐ１が「手放し運転」をしていると判定する。「手放し運転」は、「特定の行為」の一例である。

この場合、出力制御部１３３は、「ステアリングホイール８２を把持する動作」を要求する要求情報を、ＨＭＩ３０に出力させる。「ステアリングホイール８２を把持する動作」は、「特定の動作」の一例である。

なお、走行状態判定部１３１は、車室内カメラ３００により撮像された画像を解析し、運転者Ｐ１が手放し状態であるかを判定する構成に代えて、ステアリングホイール８２に設けられる把持センサの検出結果に基づいて、運転者Ｐ１が手放し状態であるかを判定する構成であってもよい。

［走行状態判定部１３１の処理フロー］
図１４は、走行状態判定部１３１の判定処理の一例を示すフローチャートである。図１４に示されるフローチャートの処理は、所定の時間間隔において実行される。走行状態判定部１３１は、自車両Ｍの走行状態が「第３走行状態」（つまり、自車両Ｍの速度が「高速」、物標密度が「高密度」、又は自動運転終了位置ＰＴまでの距離が「短距離」）であるか否かを判定する（ステップＳ１０２）。ここで、走行状態判定部１３１は、「高速」、「高密度」、又は「短距離」のうち、１つでも合致する場合には、自車両Ｍの走行状態が「第３走行状態」であると判定する。次に、走行状態判定部１３１は、自車両Ｍの走行状態が「第３走行状態」である場合、所定時間閾値ＴＨを、「第３走行状態」に対応する所定時間閾値ＴＨ（例えば、所定時間閾値ＴＨ３、所定時間閾値ＴＨ６、及び所定時間閾値ＴＨ９）に決定する（ステップＳ１０４）。

次に、走行状態判定部１３１は、自車両Ｍの走行状態が「第３走行状態」ではない場合、「第２走行状態」（つまり、自車両Ｍの速度が「中速」、物標密度が「中密度」、又は自動運転終了位置ＰＴまでの距離が「中距離」）であるか否かを判定する（ステップＳ１０６）。ここで、走行状態判定部１３１は、「中速」、「中密度」、又は「中距離」のうち、１つでも合致する場合には、自車両Ｍの走行状態が「第２走行状態」であると判定する。次に、走行状態判定部１３１は、自車両Ｍの走行状態が「第２走行状態」である場合、所定時間閾値ＴＨを、「第２走行状態」に対応する所定時間閾値ＴＨ（例えば、所定時間閾値ＴＨ２、所定時間閾値ＴＨ５、及び所定時間閾値ＴＨ８）に決定する（ステップＳ１０８）。次に、走行状態判定部１３１は、自車両Ｍの走行状態が「第２走行状態」ではない場合、自車両Ｍの走行状態が「第１走行状態」であると判定し、所定時間閾値ＴＨを、所定時間閾値ＴＨ１、所定時間閾値ＴＨ４、及び所定時間閾値ＴＨ７に決定する（ステップＳ１１０）。

なお、上述では、走行状態判定部１３１が、自車両Ｍの速度、物標密度、及び自動運転終了位置ＰＴまでの距離のすべてに基づいて、所定時間閾値ＴＨを決定する場合について説明したが、これに限られない。走行状態判定部１３１は、例えば、自車両Ｍの速度、物標密度、及び自動運転終了位置ＰＴまでの距離のうち、少なくともいずれか１つに基づいて、所定時間閾値ＴＨを決定する構成であってもよい。この場合、第１走行状態に対応付けられる所定時間閾値ＴＨ（所定時間閾値ＴＨ１、所定時間閾値ＴＨ４、及び所定時間閾値ＴＨ７）は、互いに異なる長さの時間を示す値であってもよく、第２走行状態に対応付けられる所定時間閾値ＴＨ（所定時間閾値ＴＨ２、所定時間閾値ＴＨ５、及び所定時間閾値ＴＨ８）は、互いに異なる長さの時間を示す値であってもよく、第３走行状態に対応付けられる所定時間閾値ＴＨ（所定時間閾値ＴＨ３、所定時間閾値ＴＨ６、及び所定時間閾値ＴＨ９）は、互いに異なる長さの時間を示す値であってもよい。

［走行状態判定部１３１の処理フロー］
図１５は、特定行為判定部１３２の判定処理の一例を示すフローチャートである。図１５に示されるフローチャートの処理は、所定の時間間隔において実行される。特定行為判定部１３２は、車室内カメラ３００によって撮像された撮像画像に基づいて、運転者が特定の行為（例えば、わき見や手放し）を行っている状態であるか否かを判定する（ステップＳ２００）。特定行為判定部１３２は、運転者が特定の行為を行っていない場合、特定の行為の継続時間をカウントするカウンタをクリアし（ステップＳ２０４）、処理を終了する。

次に、特定行為判定部１３２は、運転者が特定の行為を行っていると判定された場合、その特定の行為の継続時間が、所定時間閾値ＴＨ以上であるか否かを判定する（ステップＳ２０２）。特定行為判定部１３２は、特定の行為の継続時間が、所定時間閾値ＴＨ以上ではない場合、処理をステップＳ２００に進める。出力制御部１３３は、特定行為判定部１３２によって特定の行為の継続時間が、所定時間閾値ＴＨ以上であると判定される場合、ＨＭＩ３０に要求情報を出力させる（ステップＳ２０６）。

［自車両Ｍが走行する道路の曲率に基づく所定時間閾値ＴＨの決定について］
また、走行状態判定部１３１は、自車両Ｍの周囲環境として自車両Ｍが走行する道路の曲率を判定し、所定時間閾値ＴＨを決定する構成であってもよい。具体的には、走行状態判定部１３１は、自車両Ｍが走行する道路がカーブしている場合、「低速」、「中速」、及び「高速」と判定する際の速度の閾値を全体的に下げる。また、走行状態判定部１３１は、自車両Ｍが走行する道路がカーブしている場合、「低密度」、「中密度」、及び「高密度」と判定する際の物標密度の閾値を全体的に下げる。これにより、走行状態判定部１３１は、自車両Ｍが走行している道路がカーブしている場合、より条件が厳しい所定時間閾値ＴＨを決定するようにバイアスをかけることができる。

［認識部１３０の認識結果に基づく所定時間閾値ＴＨの決定について］
また、走行状態判定部１３１は、認識部１３０の認識結果の精度に基づいて所定時間閾値ＴＨを決定する構成であってもよい。具体的には、走行状態判定部１３１は、認識部１３０によって認識される、道路区画線、路肩、縁石、中央分離帯、ガードレールなどを含む走路境界（道路境界）や、一時停止線、障害物等の認識の精度が低い場合、「低速」、「中速」、及び「高速」と判定する際の速度の閾値を全体的に下げる。認識部１３０の認識の精度が低い場合とは、例えば、認識結果を取得するまでにかかる時間が所定の時間より長い場合（例えば、雨の場合）等である。また、走行状態判定部１３１は、認識部１３０の認識の精度が低い場合、自車両Ｍが走行する道路がカーブしている場合、「低密度」、「中密度」、及び「高密度」と判定する際の物標密度の閾値を全体的に下げる。これにより、走行状態判定部１３１は、認識部１３０によって認識の精度が低い場合、より条件が厳しい所定時間閾値ＴＨを決定するようにバイアスをかけることができる。

［実施形態のまとめ］
以上説明したように、本実施形態の自動運転制御装置１００は、自車両Ｍの周辺の状況を認識する認識部１３０と、認識部１３０の認識結果に基づいて、自車両Ｍの操舵または加減速のうち一方または双方を制御する運転制御部（この一例では、行動計画生成部１４０、及び第２制御部１６０）と、運転制御部が動作している状態において、自車両Ｍの運転者による特定の行為（この一例では、「わき見」、「手放し」）が所定時間以上継続したか否か判定する特定行為判定部１３２と、情報を出力するＨＭＩ３０と、特定行為判定部１３２によって特定の行為が所定時間（この一例では、所定時間閾値ＴＨ）以上継続したと判定された場合、運転者に対する特定の動作（この一例では、「視線を前に戻す動作」、或いは「ステアリングホイール８２を把持する動作」）を要求する要求情報を、ＨＭＩ３０に出力させる出力制御部１３３とを備え、走行状態判定部１３１は、所定時間閾値ＴＨを、自車両Ｍの走行状態に応じて変更し、より適切にわき見運転や手放し運転を判定することができる。

＜変形例＞
以下、実施形態の変形例について説明する。実施形態では、自車両Ｍの走行状態に応じて、運転者が特定の行為を行っているか否かを判定し、経過時間に対する条件（所定時間閾値ＴＨ）を変更する場合について説明した。変形例では、運転者に要求情報を通知した回数に応じて、要求情報を変更する場合について説明する。なお、上述した実施形態と同様の構成については、同一の符号を付して説明を省略する。

図１６は、通知強度情報１８４の内容の一例を示す図である。図１６に示される通り、通知強度情報１８４は、自車両Ｍの速度と、要求情報の通知の強度とが互いに対応付けられる情報である。具体的には、「低速」には、通知の強度として「普通」が対応付けられ、「中速」には、通知の強度として「やや強い」が対応付けられ、「高速」には、通知の強度として「強い」が対応付けられる。通知強度情報１８４は、例えば、記憶部１８０に記憶される。通知の強度が「やや強い」とは、通知の強度が「普通」である場合と比して、画像に示されるメッセージの文字の大きさや表示を運転者に認識されやすいように変更したり、通知の音量を大きく変更したりすることである。通知の強度が「強い」とは、通知の強度が「やや強い」場合と比して、より運転者に認識されやすいように画像や音量を変更することである。

記憶部１８０には、例えば、各通知の強度に応じた要求情報が記憶されており、出力制御部１３３は、走行状態判定部１３１の判定結果に基づいて、各走行状態に対応付けられた要求情報をＨＭＩ３０に出力させる。なお、要求情報の通知の強度は、物標密度に対応付けられてもよく、自動運転終了位置ＰＴまでの距離に対応付けられてもよい。

［通知強度情報１８４に基づく処理について］
図１７は、出力制御部１３３の処理の一例を示す図である。図１７において、波形Ｗ１は、図１０に示す波形Ｗ１と同様の波形であり、波形Ｗ２は、図１０に示す波形Ｗ２と同様の波形であり、波形Ｗ１０は変形例の走行状態判定部１３１によるＨＭＩ３０の制御状態を示す波形である。波形Ｗ１によって示される通り、自車両Ｍの速度は、走行を開始してから時刻ｔｍ１おいて「低速」に達し、時刻ｔｍ１から時刻ｔｍ１１までの間、「低速」が維持される。したがって、出力制御部１３３は、時刻ｔｍ１から時刻ｔｍ１１までの間、通知強度情報１８４に基づいて、要求情報の通知の強度を「普通」に決定する。

特定行為判定部１３２は、時刻ｔｍ２において、運転者が「わき見」状態であると検出する。また、特定行為判定部１３２は、時刻ｔｍ２から所定時間閾値ＴＨ１が示す時間が経過した時刻ｔｍ３まで「わき見」状態が継続したため、運転者が「わき見運転」をしていると判定する。出力制御部１３３は、特定行為判定部１３２によって時刻ｔｍ３において運転者が「わき見運転」をしていると判定されたため、時刻ｔｍ３から、少なくとも運転者の「わき見」状態が改善されるまでのタイミング（図示する時刻ｔｍ４）まで要求情報を「普通」の通知の強度でＨＭＩ３０に出力させ、改善された場合（図示する時刻ｔｍ５）に出力を停止させる。

また、波形Ｗ１によって示される通り、自車両Ｍの速度は、時刻ｔｍ１１において「中速」に達し、時刻ｔｍ１１から時刻ｔｍ２１までの間、「中速」が維持される。したがって、出力制御部１３３は、時刻ｔｍ１１から時刻ｔｍ２１までの間、通知強度情報１８４に基づいて、要求情報の通知の強度を「やや強い」に決定する。

特定行為判定部１３２は、時刻ｔｍ１２において、運転者が「わき見」状態であると検出する。また、特定行為判定部１３２は、時刻ｔｍ１２から所定時間閾値ＴＨ２が示す時間が経過した時刻ｔｍ１３まで「わき見」状態が継続したため、運転者が「わき見運転」をしていると判定する。出力制御部１３３は、特定行為判定部１３２によって時刻ｔｍ１３において運転者が「わき見運転」をしていると判定されたため、時刻ｔｍ１３から、少なくとも運転者の「わき見」状態が改善されるまでのタイミング（図示する時刻ｔｍ１４）まで要求情報を「やや強い」の通知の強度でＨＭＩ３０に出力させ、改善された場合（図示する時刻ｔｍ１５）に出力を停止させる。これにより、出力制御部１３３は、自車両Ｍの速度が「低速」である場合と比して、「視線を前方に戻す動作」を運転者にやや強く要求することができる。

また、波形Ｗ１によって示される通り、自車両Ｍの速度は、時刻ｔｍ２１において「高速」に達し、時刻ｔｍ２１以降「高速」が維持される。したがって、出力制御部１３３は、時刻ｔｍ２１以降、通知強度情報１８４に基づいて、要求情報の通知の強度を「強い」に決定する。

特定行為判定部１３２は、時刻ｔｍ２２において、運転者が「わき見」状態であると検出する。また、特定行為判定部１３２は、時刻ｔｍ２２から所定時間閾値ＴＨ２が示す時間が経過した時刻ｔｍ２３まで「わき見」状態が継続したため、運転者が「わき見運転」をしていると判定する。出力制御部１３３は、特定行為判定部１３２によって時刻ｔｍ２３において運転者が「わき見運転」をしていると判定されたため、時刻ｔｍ２３から、少なくとも運転者の「わき見」状態が改善されるまでのタイミング（図示する時刻ｔｍ２４）まで要求情報を「強い」の通知の強度でＨＭＩ３０に出力させ、改善された場合（図示する時刻ｔｍ２５）に出力を停止させる。これにより、出力制御部１３３は、自車両Ｍの速度が「低速」、及び「中速」である場合と比して、「視線を前方に戻す動作」を強く運転者に要求することができる。

［要求情報を出力した回数に基づく通知態様の変更について］
なお、上述では、出力制御部１３３は、自車両Ｍの走行状態に基づいて、要求情報の通知の強度を変更する場合について説明したが、これに限られない。出力制御部１３３は、例えば、１回の運転期間において、運転者に要求情報を通知した回数に基づいて、要求情報の通知の強度を変更する構成であってもよい。

図１８は、出力制御部１３３の処理の他の例を示す図である。図１８において、波形Ｗ１１は、自車両Ｍの速度の変化を示す波形であり、波形Ｗ１２は、特定行為判定部１３２の判定結果を示す波形であり、波形Ｗ１３は、出力制御部１３３によるＨＭＩ３０の制御状態を示す波形である。波形Ｗ１１によって示される通り、自車両Ｍの速度は、走行を開始してから時刻ｔｍ１おいて「低速」に達し、時刻ｔｍ１以降「低速」が維持される。

特定行為判定部１３２は、時刻ｔｍ２において、運転者が「わき見」状態であると検出する。また、特定行為判定部１３２は、時刻ｔｍ２から所定時間閾値ＴＨ１が示す時間が経過した時刻ｔｍ３まで「わき見」状態が継続したため、運転者が１回目の「わき見運転」をしていると判定する。出力制御部１３３は、特定行為判定部１３２によって時刻ｔｍ３において運転者が「わき見運転」をしていると判定されたため、時刻ｔｍ３から、少なくとも運転者の「わき見」状態が改善されるまでのタイミング（図示する時刻ｔｍ４）まで要求情報を「普通」の通知の強度でＨＭＩ３０に出力させ、改善された場合（図示する時刻ｔｍ５）に出力を停止させる。

特定行為判定部１３２は、時刻ｔｍ１２において、運転者が「わき見」状態であると検出する。また、特定行為判定部１３２は、時刻ｔｍ１２から所定時間閾値ＴＨ１が示す時間が経過した時刻ｔｍ１３まで「わき見」状態が継続したため、運転者が２回目の「わき見運転」をしていると判定する。出力制御部１３３は、特定行為判定部１３２によって時刻ｔｍ１３において運転者が「わき見運転」をしていると判定されたため、時刻ｔｍ１３から、少なくとも運転者の「わき見」状態が改善されるまでのタイミング（図示する時刻ｔｍ１４）まで、１回目の（「普通」の強度の）通知に比して、「やや強い」通知の強度に出力態様を変更した要求情報をＨＭＩ３０に出力させ、改善された場合（図示する時刻ｔｍ１５）に出力を停止させる。これにより、出力制御部１３３は、１回目の「わき見運転」と比して、「視線を前方に戻す動作」を運転者にやや強く要求することができる。

特定行為判定部１３２は、時刻ｔｍ２２において、運転者が「わき見」状態であると検出する。また、特定行為判定部１３２は、時刻ｔｍ２２から所定時間閾値ＴＨ１が示す時間が経過した時刻ｔｍ２３まで「わき見」状態が継続したため、運転者が３回目の「わき見運転」をしていると判定する。出力制御部１３３は、特定行為判定部１３２によって時刻ｔｍ２３において運転者が「わき見運転」をしていると判定されたため、時刻ｔｍ２３から、少なくとも運転者の「わき見」状態が改善されるまでのタイミング（図示する時刻ｔｍ２４）まで、２回目の（「やや強い」の強度の）通知に比して「強い」通知に出力態様を変更した要求情報をＨＭＩ３０に出力させ、改善された場合（図示する時刻ｔｍ２５）に出力を停止させる。これにより、出力制御部１３３は、１～２回目の「わき見運転」と比して、「視線を前方に戻す動作」を強く運転者に要求することができる。

［ハードウェア構成］
図１９は、実施形態の自動運転制御装置１００のハードウェア構成の一例を示す図である。図示するように、自動運転制御装置１００は、通信コントローラ１００－１、ＣＰＵ１００－２、ワーキングメモリとして使用されるＲＡＭ１００－３、ブートプログラムなどを格納するＲＯＭ１００－４、フラッシュメモリやＨＤＤなどの記憶装置１００－５、ドライブ装置１００－６などが、内部バス或いは専用通信線によって相互に接続された構成となっている。通信コントローラ１００－１は、自動運転制御装置１００以外の構成要素との通信を行う。記憶装置１００－５には、ＣＰＵ１００－２が実行するプログラム１００－５ａが格納されている。このプログラムは、ＤＭＡ（Direct Memory Access）コントローラ（不図示）などによってＲＡＭ１００－３に展開されて、ＣＰＵ１００－２によって実行される。これによって、第１制御部１２０及び第２制御部１６０のうち一部または全部が実現される。

上記説明した実施形態は、以下のように表現することができる。
プログラムを記憶するストレージと、
情報を記憶する記憶装置と、
前記記憶装置に格納されたプログラムを実行するハードウェアプロセッサと、を備え、
前記ハードウェアプロセッサは、前記プログラムを実行することにより、
自車両の周辺の状況を認識し、
認識結果に基づいて、前記自車両の操舵または加減速のうち一方または双方を制御し、
前記自車両の操舵または加減速のうち一方または双方の制御が動作している状態において、前記自車両の運転者が特定の行為を行っているか否かを判定し、
前記運転者が前記特定の行為を行っていると判定された場合、前記運転者に対する特定の動作を要求する要求情報を出力させ、
特定の行為の経過時間に応じて前記運転者が前記特定の行為を行っているか否かを判定し、
前記経過時間に対する条件を、前記自車両の走行状態に応じて変更する、
ように構成されている、車両制御装置。

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

１…車両制御装置、１０…カメラ、１２…レーダ装置、１４…ファインダ、１６…物体認識装置、８０…運転操作子、８２…ステアリングホイール、１００…自動運転制御装置、１００－１…通信コントローラ、１００－５…記憶装置、１００－５ａ…プログラム、１００－６…ドライブ装置、１２０…第１制御部、１３０…認識部、１３１…走行状態判定部、１３２…特定行為判定部、１３３…出力制御部、１４０…行動計画生成部、１６０…第２制御部、１８０…記憶部、１８１…車速閾値情報、１８２…物標密度閾値情報、１８３…距離閾値情報、１８４…通知強度情報、３００…車室内カメラ、ＣＰＵ１００－２…通信コントローラ、Ｍ…自車両、ｍ、ｍ１、ｍ２、ｍ３、ｍ４…他車両、ＰＴ…自動運転終了位置、ＴＨ、ＴＨ１、ＴＨ２、ＴＨ３、ＴＨ４、ＴＨ５、ＴＨ６、ＴＨ７、ＴＨ８、ＴＨ９…所定時間閾値

Claims (6)

1. 自車両の周辺の状況を認識する認識部と、
   前記認識部の認識結果に基づいて、前記自車両の操舵または加減速のうち一方または双方を制御する運転制御部と、
   前記運転制御部が動作している状態において、前記運転制御部が動作するために前記自車両の運転者に求められる行為以外の特定の行為が前記運転者によって所定時間以上継続したか否か判定する継続判定部と、
   情報を出力する出力部と、
   前記継続判定部によって前記特定の行為が前記所定時間以上継続したと判定された場合、前記運転者に対する特定の動作を要求する要求情報を、前記出力部に出力させる出力制御部とを備え、
   前記継続判定部は、前記所定時間を、前記自車両から前記運転制御部の動作が変更される位置までの距離に応じて変更する、
   車両制御装置。
2. 前記出力制御部は、前記要求情報を、少なくとも１回以上前記出力部に出力させた後、前記継続判定部によって前記特定の行為が前記所定時間以上継続したと判定された場合、前記要求情報の出力態様を１回目よりも強くする、
   請求項１に記載の車両制御装置。
3. 前記継続判定部は、前記運転制御部が制御を行う制御度合いに応じて、着目する前記特定の行為を変更する、
   請求項１または２に記載の車両制御装置。
4. 前記継続判定部は、前記所定時間を、前記自車両の周囲に存在する物標の密度、前記自車両が走行する経路の曲率、又は前記認識部による認識結果の精度のうち、少なくとも一つに応じて変更する、
   請求項１から３のいずれか一項に記載の車両制御装置。
5. コンピュータが、
   自車両の周辺の状況を認識し、
   認識結果に基づいて、前記自車両の操舵または加減速のうち一方または双方を制御し、
   前記自車両の操舵または加減速のうち一方または双方の制御が動作している状態において、制御が動作するために前記自車両の運転者に求められる行為以外の特定の行為が前記運転者によって所定時間以上継続したか否かを判定し、
   前記特定の行為が所定時間以上継続したと判定された場合、前記運転者に対する特定の動作を要求する要求情報を出力させ、
   前記所定時間を、前記自車両から、前記認識結果に基づいて前記自車両の操舵または加減速のうち一方または双方を制御する動作が変更される位置までの距離に応じて変更する、
   車両制御方法。
6. コンピュータに、
   自車両の周辺の状況を認識させ、
   認識結果に基づいて、前記自車両の操舵または加減速のうち一方または双方を制御させ、
   前記自車両の操舵または加減速のうち一方または双方の制御が動作している状態において、制御が動作するために前記自車両の運転者に求められる行為以外の特定の行為が前記運転者によって所定時間以上継続したか否かを判定させ、
   前記特定の行為が所定時間以上継続したと判定された場合、前記運転者に対する特定の動作を要求する要求情報を出力させ、
   前記所定時間を、前記自車両から、前記認識結果に基づいて前記自車両の操舵または加減速のうち一方または双方を制御する動作が変更される位置までの距離に応じて変更させる、
   プログラム。

Images