JP2024050276A - 報知制御装置、報知制御方法、およびプログラム - Google Patents

Abstract

【課題】より適切に警報を行うこと。
【解決手段】報知制御装置は、移動体の運転者の視線を検出する検出部と、第１条件が満たされた場合、前記運転者に警報を出力する情報出力装置に第１警報を出力させ、第２条件が満たされた場合、前記情報出力装置に第２警報を出力させる、報知制御部と、を備え、前記第１条件は、前記運転者の視線が予め設定された前記移動体の前方を視認しているとされる範囲外であり、且つ前記視線が前記範囲外である状態が第１時間継続したことであり、前記第２条件は、前記運転者の視線が前記範囲外であり、前記移動体を基準に設定された基準エリアに注視すべきリスク物体が存在し、且つ前記視線が前記範囲外である状態が第１時間よりも短い第２時間継続したことである。
【選択図】図１

Description

本発明は、報知制御装置、報知制御方法、およびプログラムに関する。

従来、乗員による車載機器の操作状態が検知され且つ乗員の視線方向が所定領域以内のとき、乗員の視線方向が所定領域以外のときよりも、遅く警報を行う警報装置が開示されている（例えば特許文献１参照）。

特開２０１０－４９３８３号公報

しかしながら、上記の技術では、運転者にとって適切な警報がされない場合があった。本発明は、このような事情を考慮してなされたものであり、より適切に警報を行うことができる報知制御装置、報知制御方法、およびプログラムを提供することを目的の一つとする。

この発明に係る報知制御装置、報知制御方法、およびプログラムは、以下の構成を採用した。
（１）：この発明の一態様に係る報知制御装置は、移動体の運転者の視線を検出する検出部と、第１条件が満たされた場合、前記運転者に警報を出力する情報出力装置に第１警報を出力させ、第２条件が満たされた場合、前記情報出力装置に第２警報を出力させる、報知制御部と、を備え、前記第１条件は、前記運転者の視線が予め設定された前記移動体の前方を視認しているとされる範囲外であり、且つ前記視線が前記範囲外である状態が第１時間継続したことであり、前記第２条件は、前記運転者の視線が前記範囲外であり、前記移動体を基準に設定された基準エリアに注視すべきリスク物体が存在し、且つ前記視線が前記範囲外である状態が第１時間よりも短い第２時間継続したことである。

（２）：上記（１）の態様において、前記検出部は、前記運転者の顔の向きを検出し、前記第１条件は、前記運転者の顔の向きが予め設定された前記移動体の前方を視認しているとされる範囲外であり、且つ前記顔の向きが前記範囲外である状態が第１時間継続したことを含み、前記第２条件は、前記運転者の顔の向きが前記範囲外であり、前記移動体を基準に設定された基準エリアに注視すべきリスク物体が存在し、且つ前記顔の向きが前記範囲外である状態が第１時間よりも短い第２時間継続したことを含む。

（３）：上記（１）または（２）の態様において、前記報知制御部は、前記情報出力装置に前記第１警報を出力させた後、前記第１条件が満たされ、且つ前記第１警報が出力されてから前記第２時間よりも長い第３時間が経過した場合に、前記情報出力装置に前記第１警報を出力させ、前記情報出力装置に前記第１警報を出力させた後、前記第１条件が満たされ、且つ前記第１警報が出力されてから前記第３時間が経過していない場合に、前記情報出力装置に前記第１警報を出力させない。

（４）：上記（１）または（２）の態様において、前記報知制御部は、前記情報出力装置に前記第１警報を出力させた後、前記第２条件が満たされ、且つ前記第１警報が出力されてから前記第２時間よりも長い第３時間が経過した場合に、前記情報出力装置に前記第２警報を出力させ、 前記情報出力装置に前記第１警報を出力させた後、前記第２条件が満たされ、且つ前記第１警報が出力されてから前記第３時間が経過していない場合に、前記情報出力装置に前記第２警報を出力させない。

（５）：上記（１）または（２）の態様において、前記報知制御部は、前記情報出力装置に前記第２警報を出力させた後、前記第１条件が満たされ、且つ前記第２警報が出力されてから前記第２時間よりも長い第３時間が経過した場合に、前記情報出力装置に前記第１警報を出力させ、前記情報出力装置に前記第２警報を出力させた後、前記第１条件が満たされ、且つ前記第２警報が出力されてから前記第３時間が経過していない場合に、前記情報出力装置に前記第１警報を出力させない。

（６）：上記（１）または（２）の態様において、前記報知制御部は、前記情報出力装置に前記第２警報を出力させた後、前記第２条件が満たされ、且つ前記第２警報が出力されてから前記第２時間よりも長い第３時間が経過した場合に、前記情報出力装置に前記第２警報を出力させ、情報出力装置に前記第２警報を出力させた後、前記第２条件が満たされ、且つ前記第２警報が出力されてから前記第３時間が経過していない場合に、前記情報出力装置に前記第２警報を出力させない。

（７）：上記（１）または（２）の態様において、前記移動体を基準に設定された基準エリアは、前記移動体が移動する予定の軌跡を含む基準エリアである。

（８）：上記（７）の態様において、前記移動体の速度に基づいて前記基準エリアの長さを設定する設定部を備える。

（９）：上記（８）の態様において、前記設定部は、前記移動体が直進、右折、または左折する場合において前記移動体の行動に応じて前記基準エリアを設定し、前記右折または左折する場合の前記移動体の進行方向を基準にしたときの基準エリアの幅は、前記直進する場合の前記移動体の進行方向を基準にしたときの基準エリアの幅よりも長い。

（１０）：この発明の一態様に係る報知制御方法は、コンピュータが、移動体の運転者の視線を検出する処理と、第１条件が満たされた場合、前記運転者に警報を出力する情報出力装置に第１警報を出力させる処理と、第２条件が満たされた場合、前記情報出力装置に第２警報を出力させる処理と、を実行し、前記第１条件は、前記運転者の視線が予め設定された前記移動体の前方を視認しているとされる範囲外であり、且つ前記視線が前記範囲外である状態が第１時間継続したことであり、前記第２条件は、前記運転者の視線が前記範囲外であり、前記移動体を基準に設定された基準エリアに注視すべきリスク物体が存在し、且つ前記視線が前記範囲外である状態が第１時間よりも短い第２時間継続したことである報知制御方法である。

（１１）：この発明の一態様に係るプログラムは、コンピュータに、移動体の運転者の視線を検出する処理と、第１条件が満たされた場合、前記運転者に警報を出力する情報出力装置に第１警報を出力させる処理と、第２条件が満たされた場合、前記情報出力装置に第２警報を出力させる処理と、を実行させ、前記第１条件は、前記運転者の視線が予め設定された前記移動体の前方を視認しているとされる範囲外であり、且つ前記視線が前記範囲外である状態が第１時間継続したことであり、前記第２条件は、前記運転者の視線が前記範囲外であり、前記移動体を基準に設定された基準エリアに注視すべきリスク物体が存在し、且つ前記視線が前記範囲外である状態が第１時間よりも短い第２時間継続したことであるプログラムである。

（１）～（１１）の態様によれば、報知制御装置は、満たされる条件に応じて警報を行うため、より適切に警報を行うことができる。例えば、基準エリアにリスク物体が存在する場合、基準エリアにリスク物体が存在しない場合よりも早いタイミングで警報が出力されるため、より適切なタイミングで警報が出力される。

（３）～（６）の態様によれば、警報が出力された後、第１条件または第２条件が満たされた場合であっても第３時間経過前は警報が出力されることが抑制されるため、運転者の煩わしさが軽減される。例えば、警報が出力された後、運転者がリスク物体を回避するためのスペースに視線を向けていることがある。このような場合、再度、警報が出力されることが軽減される。

実施形態の運転支援装置１００が搭載される車両Ｍの構成図である。 リスク物体が存在する場合の報知のタイミングについて説明するための図である。 リスク表示の一例を示す図である。 見落とし報知の一例を示す図である。 行動提案報知の一例を示す図である。 事象と運転者の行動とＨＭＩにおいて提供される情報との関係の一例を示す図である。 事象と運転者の行動とＨＭＩにおいて提供される情報との関係の他の一例を示す図である。 報知制御部１２０により実行される処理の流れの一例を示すフローチャートである。 制動制御について説明するための図である。 報知の態様の他の一例を示す図である。 直線的な道路の報知エリアおよび再報知エリアについて説明するための図である。 交差点の報知エリアおよび再報知エリアについて説明するための図である。 交差点の報知エリアおよび再報知エリアについて説明するための図である。 報知がされる場面の一例を示す図である。 再報知がされる場面の一例を示す図である。 警報が出力される場面の一例を示す図である。 報知に関する処理の概要について説明するための図である。 エリア設定の処理について説明するための図である。 リスク予測の処理について説明するための図である。 速い物体について説明するための図である。 報知、再報知フィルタリング処理について説明するための図である。 報知エリア外の見落とし報知の物体を選出する処理（Ｓ１４４）について説明するための図である。 再報知の物体を選出する処理（Ｓ１４６）について説明するための図である。 脇見判定処理について説明するための図である。

以下、図面を参照し、本発明の報知制御装置、報知制御方法、およびプログラムの実施形態について説明する。以下、移動体は車両であるものとして説明するが、移動体は車両以外の物体であってもよい。

＜第１実施形態＞
［全体構成］
図１は、実施形態の運転支援装置１００が搭載される車両Ｍの構成図である。車両Ｍは、例えば、二輪や三輪、四輪等の車両であり、その駆動源は、ディーゼルエンジンやガソリンエンジンなどの内燃機関、電動機、或いはこれらの組み合わせである。電動機は、内燃機関に連結された発電機による発電電力、或いは二次電池や燃料電池の放電電力を使用して動作する。

車両Ｍには、例えば、カメラ１０と、レーダ装置１２と、ＬＩＤＡＲ（Light Detection and Ranging）１４と、物体認識装置１６と、ＨＭＩ（Human Machine Interface）３０と、車両センサ４０と、車室内カメラ５２と、運転操作子８０と、運転支援装置１００と、走行駆動力出力装置２００と、ブレーキ装置２１０と、ステアリング装置２２０とが搭載される。これらの装置や機器は、ＣＡＮ（Controller Area Network）通信線等の多重通信線やシリアル通信線、無線通信網等によって互いに接続される。なお、図１に示す構成はあくまで一例であり、構成の一部が省略されてもよいし、更に別の構成が追加されてもよい。

カメラ１０は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の固体撮像素子を利用したデジタルカメラである。カメラ１０は、車両システム１が搭載される車両（以下、車両Ｍ）の任意の箇所に取り付けられる。カメラ１０は、例えば、前方を撮像するカメラ、左方向且つ前方側を撮像するカメラ、右方向且つ前方側を撮像するカメラ、左方向且つ後方側を撮像するカメラ、および右方向且つ後方側を撮像するカメラを含む。例えば、前方を撮像するカメラ１０は、フロントウインドシールド上部やルームミラー裏面等に取り付けられる。例えば、左方向且つ前方側を撮像するカメラは左側のＡピラーやＡピラー付近、左側のサイドミラー付近等、右方向且つ前方側を撮像するカメラは右側のＡピラーやＡピラー付近、左側のサイドミラー付近等、左方向且つ後方側を撮像するカメラは左側のＣピラーやＣピラー付近等、右方向且つ後方側を撮像するカメラは右側のＣピラーや、Ｃピラー付近等に取り付けられている。これらのカメラの取り付け位置は、カメラが対象とする撮像領域を撮像できる位置であればよい。カメラ１０は、例えば、周期的に繰り返し車両Ｍの周辺を撮像する。カメラ１０は、ステレオカメラであってもよい。

レーダ装置１２は、車両Ｍの周辺にミリ波などの電波を放射すると共に、物体によって反射された電波（反射波）を検出して少なくとも物体の位置（距離および方位）を検出する。レーダ装置１２は、車両Ｍの任意の箇所に取り付けられる。レーダ装置１２は、ＦＭ－ＣＷ（Frequency Modulated Continuous Wave）方式によって物体の位置および速度を検出してもよい。レーダ装置１２は、例えば、カメラが取り付けられる位置付近に取り付けられていてもよい。例えば、カメラ１０とレーダ装置１２と対となって取り付けられていてもよい。

ＬＩＤＡＲ１４は、車両Ｍの周辺に光（或いは光に近い波長の電磁波）を照射し、散乱光を測定する。ＬＩＤＡＲ１４は、発光から受光までの時間に基づいて、対象までの距離を検出する。照射される光は、例えば、パルス状のレーザー光である。ＬＩＤＡＲ１４は、車両Ｍの任意の箇所に取り付けられる。

物体認識装置１６は、カメラ１０、レーダ装置１２、およびＬＩＤＡＲ１４のうち一部または全部による検出結果に対してセンサフュージョン処理を行って、物体の位置、種類、速度などを認識する。物体認識装置１６は、認識結果を運転支援装置１００に出力する。物体認識装置１６は、カメラ１０、レーダ装置１２、およびＬＩＤＡＲ１４の検出結果をそのまま運転支援装置１００に出力してよい。車両システム１から物体認識装置１６が省略されてもよい。カメラ１０、レーダ装置１２、ＬＩＤＡＲ１４、および物体認識装置１６のうち一部または全部は、「検知デバイス」の一例である。

ＨＭＩ３０は、車両Ｍの乗員に対して各種情報を提示すると共に、乗員による入力操作を受け付ける。ＨＭＩ３０は、各種表示装置、スピーカ、ブザー、振動発生装置（バイブレータ）、タッチパネル、スイッチ、キーなどを含む。振動発生装置は、例えば、運転支援装置１００の制御に基づいて運転席のシートベルトを振動させたり、ステアリングホイールを振動させたりする。ＨＭＩは、「情報提供装置」または「情報出力装置」の一例である。

車両センサ４０は、車両Ｍの速度を検出する車速センサ、加速度を検出する加速度センサ、鉛直軸回りの角速度を検出するヨーレートセンサ、車両Ｍの向きを検出する方位センサ等を含む。

ナビゲーション装置５０は、例えば、ＧＮＳＳ（Global Navigation Satellite System）受信機や案内制御部、地図情報を記憶した記憶部等を有する。ＧＮＳＳ受信機は、ＧＮＳＳ衛星から受信した信号に基づいて、車両Ｍの位置を特定する。車両Ｍの位置は、車両センサ４０の出力を利用したＩＮＳ（Inertial Navigation System）によって特定または補完されてもよい。案内制御部は、例えば、ＧＮＳＳ受信機により特定された車両Ｍの位置（或いは入力された任意の位置）から、乗員により入力された目的地までの経路を、地図情報を参照して決定し、車両Ｍが経路に沿って走行するようにＨＭＩ３０に案内情報を出力させる。地図情報は、例えば、道路を示すリンクと、リンクによって接続されたノードとによって道路形状が表現された情報である。地図情報は、道路の曲率やＰＯＩ（Point Of Interest）情報などを含んでもよい。ナビゲーション装置５０は、通信装置を介してナビゲーションサーバに車両Ｍの現在位置と目的地を送信し、ナビゲーションサーバから経路を取得してもよい。

車室内カメラ５２は、例えば、ＣＣＤやＣＭＯＳ等の固体撮像素子を利用したデジタルカメラである。車室内カメラ５２は、車両Ｍの乗員（例えば運転席に着座した運転者を撮像可能な位置に取り付けられる。車室内カメラ５２は、例えば、所定の周期的で撮像対象の領域を撮像する。

運転操作子８０は、例えば、アクセルペダル、ブレーキペダル、ステアリングホイール、シフトレバー、その他の操作子を含む。運転操作子８０には、操作量あるいは操作の有無を検出するセンサが取り付けられており、その検出結果は、走行駆動力出力装置２００、ブレーキ装置２１０、およびステアリング装置２２０のうち一部または全部に出力される。

走行駆動力出力装置２００は、車両が走行するための走行駆動力（トルク）を駆動輪に出力する。走行駆動力出力装置２００は、例えば、内燃機関、電動機、および変速機などの組み合わせと、これらを制御するＥＣＵ（Electronic Control Unit）とを備える。ＥＣＵは、運転支援装置１００から入力される情報、或いは運転操作子８０から入力される情報に従って、上記の構成を制御する。

ブレーキ装置２１０は、例えば、ブレーキキャリパーと、ブレーキキャリパーに油圧を伝達するシリンダと、シリンダに油圧を発生させる電動モータと、ＥＣＵとを備える。ＥＣＵは、運転支援装置１００から入力される情報、或いは運転操作子８０から入力される情報に従って電動モータを制御し、制動操作に応じたブレーキトルクが各車輪に出力されるようにする。ブレーキ装置２１０は、運転操作子８０に含まれるブレーキペダルの操作によって発生させた油圧を、マスターシリンダを介してシリンダに伝達する機構をバックアップとして備えてよい。なお、ブレーキ装置２１０は、上記説明した構成に限らず、運転支援装置１００から入力される情報に従ってアクチュエータを制御して、マスターシリンダの油圧をシリンダに伝達する電子制御式油圧ブレーキ装置であってもよい。

ステアリング装置２２０は、例えば、ステアリングＥＣＵと、電動モータとを備える。電動モータは、例えば、ラックアンドピニオン機構に力を作用させて転舵輪の向きを変更する。ステアリングＥＣＵは、運転支援装置１００から入力される情報、或いは運転操作子８０から入力される情報に従って、電動モータを駆動し、転舵輪の向きを変更させる。例えば、ステアリング装置２２０またはステアリングホイールは、運転者に情報を通知または報知する「情報提供装置」または「情報出力装置」として機能する場合がある。例えば、ステアリングホイールを回転させたり、所定角度回転させた位置に一時的に固定したりして、後述するリスク物体の回避を利用者に提案する場合、ステアリング装置またはステアリングホイールは「情報提供装置」または「情報出力装置」として機能する。

［運転支援装置］
運転支援装置１００は、例えば、認識部１１０と、報知制御部１２０と、第１制御部１４０と、第２制御部１５０とを備える。報知制御部１２０は、例えば、リスク判定部１２２、向き判定部１２４、物体認識判定部１２６、行動判定部１２８、設定部１３０、情報処理部１３２、および情報提供部１３４を含む。これらの機能部は、例えば、ＣＰＵ（Central Processing Unit）などのハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。また、これらの構成要素のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）などのハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予め運転支援装置１００のＨＤＤやフラッシュメモリなどの記憶装置（非一過性の記憶媒体を備える記憶装置）に格納されていてもよいし、ＤＶＤやＣＤ－ＲＯＭなどの着脱可能な記憶媒体に格納されており、記憶媒体（非一過性の記憶媒体）がドライブ装置に装着されることで運転支援装置１００のＨＤＤやフラッシュメモリにインストールされてもよい。

運転支援装置１００から走行駆動力出力装置２００、ブレーキ装置２１０、およびステアリング装置２２０への指示は、運転操作子８０からの検出結果よりも優先して実行されるように、走行駆動力出力装置２００、ブレーキ装置２１０、およびステアリング装置２２０の内部において設定がなされている。なお、制動に関しては、運転支援装置１００からの指示よりもブレーキペダルの操作量に基づく制動力の方が大きい場合は、後者を優先して実行するように設定されてもよい。また、運転支援装置１００からの指示を優先して実行するための仕組みとして、車内ＬＡＮにおける通信優先度が用いられてもよい。

［リスク物体が存在する場合の処理］
運転支援装置１００は、車両Ｍの前方にリスク物体が存在する場合、リスク物体への車両Ｍの接近度合を示す指標値と、閾値とに基づいて、各種処理を実行する。

「接近度合い」とは、物体間の接近度合いを示す各種の指標値で表されるものである。例えば、「接近度合い」は距離を相対速度（互いに接近する方向を正とする）で除算して求められる指標値であるＴＴＣ（Time To Collision）である。なお相対速度が負（互いに離れる方向）である場合、ＴＴＣは仮に無限大に設定される。ＴＴＣは、値が小さい程、「接近度合い」が高いことを表す指標値である。そして、「第１条件」を満たすとは、例えばＴＴＣが第１閾値Ｔｈ１未満であることである。第１閾値Ｔｈ１は、例えば、１コンマ数［ｓｅｃ］程度の値である。ＴＴＣに代えて、同様の性質を有する指標値、例えば車頭時間（ＴＨＷ）や距離、その他の指標値が「接近度合い」として用いられてもよい。また、加速度やジャークを加味して調整されたＴＴＣが「接近度合い」として用いられてもよい。以下の説明において、「接近度合い」はＴＴＣであるものとして説明する。

リスク物体とは、例えば、車両Ｍが回避すべき物体である。リスク物体は、例えば、車両Ｍが、現状の状態で移動すると干渉する物体や、干渉する可能性が存在する物体である。干渉する可能性がある物体とは、例えば、物体の位置、移動方向、および移動速度と、車両Ｍの位置、移動方法、および移動速度とを加味した場合に、所定時間後に接近度合いが所定度合以上となる物体である。物体は、歩行者や自転車、車両などの交通参加者であってもよいし、道路に置かれた物体や落下物などの交通参加者以外の物体であってもよい。

認識部１１０は、物体認識装置１６により入力された情報に基づいて、車両Ｍの周辺のリスク物体を認識する。認識するとは、例えば、上記のように分類されるリスク物体が存在することと、そのリスク物体の車両Ｍに対する相対位置とを認識することを意味する。認識部１１０は、例えば、認識した物体をトラッキングする。

リスク判定部１２２は、例えば、リスク物体の位置に基づいて、リスクが存在する方向を判定する。例えば、リスク判定部１２２は、車両Ｍの正面にリスク物体が存在する場合、正面方向にリスクが存在すると判定する。

向き判定部１２４は、例えば、車室内カメラ５２が撮像した画像を解析し、解析結果に基づいて運転者の顔の向きまたは運転者の視線の向きを判定する。

物体認識判定部１２６は、運転者がリスク物体を視認したか否かを判定する。例えば、画像内における運転者の視線方向（視線方向の有効視野）と車両Ｍに対する物体の位置との相関関係を示す情報が予め運転支援装置１００の記憶装置に記憶されている。物体認識判定部１２６は、相関関係を示す情報を参照して、特定した画像内における視線方向がリスク物体の位置方向に合致するか否かを判定し、合致する場合、運転者はリスク物体を視認し、合致しない場合、運転者はリスク物体を視認していないと判定する。例えば、運転者がサイドミラーや横方向を視認している場合（視線または顔がサイドミラーや横方向に向いている場合）、サイドミラーに映っていると想定される物体や横方向に存在している物体を視認したと判定される。また、物体認識判定部１２６は、上記の合致した回数や時間に基づくスコアを導出し、スコアが閾値以上である場合、運転者はリスク物体を視認したと判定してもよい。例えば、運転者がルームミラーを視認している場合（視線がルームミラー方向に向いている場合）、ルームミラーに映っていると想定される物体を視認したと判定されてもよい。上記の処理に代えて、所定のアルゴリズムを用いて運転者がリスク物体を視認したか否かが判定されてもよい。

行動判定部１２８は、運転者の行動を判定する。行動とは、例えば、アクセルペダルの操作の状態や、ステアリングホイールの操作の状態、ブレーキペダルに対する操作の状態などである。行動判定部１２８は、例えば、アクセルペダル、ブレーキペダル、およびステアリングホイールの操作量あるいは操作の有無を検出するセンサの検出結果に基づいて、運転者の行動を判定する。

設定部１３０は、移動体Ｍの行動に応じて移動体Ｍに対してエリアを設定する。エリアの設定の詳細については後述する。

情報処理部１３２は、認識部１１０が認識した物体に対して識別情報を付与する。情報処理部１３２は、物体の識別情報に対して、視認がされたか否かを示す情報や、報知がされたか否かを示す情報、再報知がされたか否を示す情報が付与する。情報処理部１３２は、上記のように物体の識別情報に対して運転支援装置１００の処理結果を示す情報を対応付けた情報（「対応情報」の一例）を生成し、管理する。この情報は、運転支援装置１００の記憶装置に記憶されている。また、情報処理部１３２は、認識部１１０が認識した物体の位置や、位置の変化に基づいて、物体の将来の位置を予測する。

情報提供部１３４は、物体認識判定部１２６の判定結果や行動判定部１２８の判定結果、設定部１３０の処理結果、情報管理部の１３２の処理結果等に基づいて、情報を提供する。例えば、報知や警報が出力される。これらの詳細については後述する。

［報知のタイミング］
図２は、リスク物体が存在する場合の報知のタイミングについて説明するための図である。情報提供部１３４は、リスク物体が存在する場合、リスク物体が存在する方向を示すリスク表示を表示部に表示させる。図３は、リスク表示の一例を示す図である。例えば、図３に示すように車両Ｍに対するリスク物体が存在する方向（図中、Ｄ１）が認識可能なコンテンツが表示される。情報提供部１３４は、例えば、ＴＴＣが第２閾値Ｔｈ２に到達するまでリスク表示を運転者に提供する。第２閾値Ｔｈ２は、例えば、３［ｓｅｃ］程度または３［ｓｅｃ］前後程度の値である。リスク表示、後述する見落とし報知、後述する行動提案報知は、「第３処理」の一例である。

情報提供部１３４は、ＴＴＣが第３閾値Ｔｈ３に到達するまでに、運転者がリスク物体を視認していない場合、見落とし報知を行う。見落とし報知とは、視認すべきリスク物体を運転者が視認していないことを知らせる報知である。図４は、見落とし報知の一例を示す図である。例えば、図４に示すように車両Ｍに対するリスク物体が存在する方向（図中、Ｄ２）が認識可能なコンテンツが表示される。例えば、リスク物体が存在する方向が、図３に示す態様よりも、より強調した態様で通知される。強調した態様とは、例えば、色による強調や、アイコンなどを点滅や点灯させることによる強調など運転者がよりリスク物体が存在する方向をより視認するような態様であればよい。情報提供部１３４は、例えば、ＴＴＣが第３閾値Ｔｈ３に到達したときからＴＴＣが第２閾値Ｔｈ２に到達するまで見落とし報知を運転者に提供する。例えば、ＴＴＣが第３閾値Ｔｈ３と第２閾値Ｔｈ２との間でリスク物体が視認されても見落とし報知が継続される。第３閾値Ｔｈ３は、例えば、４［ｓｅｃ］程度または４［ｓｅｃ］前後程度の値である。

情報提供部１３４は、ＴＴＣが第３閾値Ｔｈ３に到達するまでに、運転者がリスク物体を視認し、且つ運転者が所定の行動を行っていない場合、行動提案報知（第４処理）を行う。行動提案報知とは、リスク物体を回避するための行動を行うことを運転者に提案する報知である。情報提供部１３４は、例えば、ＴＴＣが第３閾値Ｔｈ３に到達したときからＴＴＣが第２閾値Ｔｈ２に到達するまで行動提案報知を運転者に提供する。例えば、ＴＴＣが第３閾値Ｔｈ３と第２閾値Ｔｈ２との間で行動提案報知に応じた行動が行われても行動提案報知が継続される。

所定の行動とは、例えば、減速や旋回に対応する行動である。所定の行動とは、例えば、ブレーキペダルが操作されたことや、リスク物体を回避する方向にステアリングホイール（操舵を操作する操作子）が操作されたことである。所定の行動は、アクセルペダルに対する操作量が所定時間前の操作量に比較して所定度合以上小さくなったことや、アクセルペダルに対する操作が解除されたことである。解除とは、運転者がアクセルペダルに対する操作を行うことを停止して操作量がゼロまたはゼロ近くになったことである。

図５は、行動提案報知の一例を示す図である。例えば、図５に示すように、図３（或いは図４）と同様に車両Ｍに対するリスク物体が存在する方向（図中、Ｄ３）が認識可能なコンテンツが表示される。図５に示すように車両Ｍがリスク物体を回避するために進行すべき方向（図中、Ｄ４）が運転者に認識可能なようなコンテンツが表示される。更に、行動提案報知として運転者が行うべき行動を示す情報がコンテンツに含まれる。図５では、ブレーキペダルを操作して減速することを促すアイコン（図中、Ａ１）が表示される。

行動提案報知は、表示に代えて、音声による報知や、ステアリングホイールを進行すべき方向に自動で操舵させて運転者に進行方向を認識させることによる報知（ステアリングホイールを進行方向に応じた方向に所定角度回転させた位置に固定することによる報知や所定角度回転させたり元の位置に戻したりすることによる報知）、運転者のシートベルトのプリテンショナー機構が制御されてシートベルトの拘束力が強められることによる報知、シートベルトを振動させることによる報知であってもよい。情報提供部１３４は、例えば、ＴＴＣが第３閾値Ｔｈ３に到達したときからＴＴＣが第２閾値Ｔｈ２に到達するまで行動提案報知を運転者に提供する。

ここで、アクセルペダルに対する操作量が所定時間前の操作量に比較して所定度合以上小さくなったこと、またはアクセルペダルに対する操作が解除されたことは、所定の行動である。運転者は、減速や操舵の制御を行うための行動を行っていないが、運転者がリスク物体を認識しており、且つリスク物体を回避する場合、運転者はアクセルペダルに対する操作量を減少させたり、アクセルペダルに対する操作を停止したりした後に、回避のための行動を行う傾向にある。このような傾向は、種々の実験やシミュレーションなどの結果を解析して見出された。このように、情報提供部１３４は、所定の行動が行われたか否かに基づいて、行動提案報知を行うか否かを決定することで、より運転者の意図を反映した情報の提供を実現することができる。

なお、上記の例において、見落とし報知がされているときに、運転者がリスク物体を視認した場合、ＴＴＣが第２閾値Ｔｈ２に到達する前であっても、見落とし報知は停止されてもよい。上記の例において、行動提案報知がされているときに、運転者が提案に応じた行動または所定の行動を行った場合、ＴＴＣが第２閾値Ｔｈ２に到達する前であっても、行動提案報知は停止されてもよい。

また、上記の例において、ＴＴＣが第３閾値Ｔｈ３から第２閾値Ｔｈ２の間でリスク物体が存在する事象が生じた場合（例えば歩行者が飛び出してきた場合）、その際の運転者の行動に基づいて、情報提供部１３４は、リスク表示と共に報知を行う。例えば、運転者がリスク物体を視認していない場合、情報提供部１３４は、見落とし報知を行い、運転者がリスク物体を視認し、且つ所定の行動を行っていない場合、行動提案報知を行う。

［具体例１］
図６は、事象と運転者の行動とＨＭＩにおいて提供される情報との関係の一例を示す図である。車両Ｍが道路を直進しているものとする。このとき車両Ｍの左側に自転車が走行している。時刻Ｔにおいて、車両Ｍの運転者が自転車を視認し、運転者は自転車を認識しながら車両Ｍを直進させている。この場合、情報提供部１３４は、車両Ｍに対する自転車の方向を示すリスク表示を表示部に表示させる。その後、時刻Ｔ＋１において、車両Ｍの右側から道路を横断しようとしている歩行者が出現したものとする。このとき、運転者が歩行者を視認していない場合、情報提供部１３４は、歩行者の見落とし報知を表示部に表示させる。

上記のように、情報提供部１３４が、運転者の周辺の認識度合に基づいて適切な情報を運転者に通知を行う。これにより、運転者は、余裕を持ってリスク物体から車両Ｍを回避させるように車両Ｍを制御することができる。

［具体例２］
図７は、事象と運転者の行動とＨＭＩにおいて提供される情報との関係の他の一例を示す図である。図６との相違点を中心に説明する。時刻Ｔ＋１において、車両Ｍの右側から道路を横断しようとしている歩行者が出現したものとする。このとき、運転者が歩行者を視認し、且つ所定の行動を行っていない場合、情報提供部１３４は行動提案報知を行う。

上記のように、情報提供部１３４が、運転者の周辺の認識度合と運転者の行動とに基づいて適切な情報を運転者に通知を行う。これにより、運転者は、余裕を持ってリスク物体から車両Ｍを回避させるように車両Ｍを制御することができる。

［フローチャート］
図８は、報知制御部１２０により実行される処理の流れの一例を示すフローチャートである。本処理では、車両Ｍから所定距離先にリスク物体が存在するものとする。まず、報知制御部１２０は、運転者がリスク物体を見落としているか否かを判定する（ステップＳ１０）。運転者がリスク物体を見落としている場合（視認していない場合）、報知制御部１２０は、見落とし報知を行う（ステップＳ１２）。

運転者がリスク物体を見落としていない場合（視認している場合）、報知制御部１２０は、運転者が所定の行動を行っているか否かを判定する（ステップＳ１４）。所定の行動を行っている場合、本処理の１ルーチンの処理が終了する。この場合、例えば、車両Ｍに対するリスク物体の位置の方向を示すリスク表示が表示部に表示される。

所定の行動を行っていない場合、報知制御部１２０は、行動提案報知を行う（ステップＳ１６）。これにより本処理の１ルーチンの処理が終了する。

上記のように、報知制御部１２０は、運転者の周辺の認識度合と運転者の行動とに基づいて適切な情報を通知することができる。例えば、報知制御部１２０は、運転者が所定の行動を行っている場合は、行動提案報知を行わないため、運転者にとっての煩わしさが軽減される。特に、運転者のアクセルペダルに対する操作量が減少したり、運転者がアクセルペダルに対する操作を停止したりした場合に、運転者は、リスク物体を回避するための行動を行っていると推定されるため、報知制御部１２０は、運転者に対する報知を抑制する。この結果、報知制御部１２０は、運転者の意図を反映した情報の提供を行うことができる。

上記の例では、見落とし報知または行動提案報知が表示されるものとして説明したが、見落とし報知と共に行動提案報知が同時に行われてもよい。例えば、見落とし報知において減速を行うことを示す情報の通知や、運転者がリスク物体の回避方向を認識できるようにステアリングホイールを自動で回転させたり、振動させたりしてもよい。

また、見落とし報知と行動提案報知とのうち一方または双方は省略されてもよい。例えば、運転者がリスク物体を見落としている場合に見落とし報知が行われなくてもよい。運転者がリスク物体を見落としている場合においても、行動提案報知がされてもよい。

［制動制御］
以下、ＴＴＣが第２閾値Ｔｈ２未満になった場合、およびＴＴＣが第１閾値Ｔｈ１未満になった場合の処理について、図９を参照して説明する。図９は、制動制御について説明するための図である。

第１制御部１４０は、リスク物体と車両Ｍとの接近度合いが所定の条件を満たす場合に（例えば、ＴＴＣが、第２閾値Ｔｈ２未満である場合に）、車両Ｍの運転者にリスク物体の存在を伝えるための第１動作を行う。第１動作は、例えば、ＴＴＣが、第２閾値Ｔｈ２未満となってから、第１閾値Ｔｈ１未満となるまでの間、車両Ｍを第２減速度Ｂ２で減速させる制動力を出力するようにブレーキ装置２１０および／または走行駆動力出力装置２００に指示する動作である。第２減速度Ｂ２は、第１減速度Ｂ１よりも小さい（ゼロに近い）減速度である。第２閾値Ｔｈ２は第１閾値Ｔｈ１よりも大きい値である。第１動作は、いわゆるＣＤＣ制御である。この際、前方のリスク物体に接近することを示す警報（ＦＣＷ）が出力されてもよい。また、警報（ＦＣＷ）が所定時間行われた後に制動力による減速が行われてよい。

第２制御部１５０は、ＴＴＣが第１閾値Ｔｈ１未満である場合、第２動作を行う。第２動作は、車両Ｍがリスク物体と接触しないように車両Ｍを制御する動作（追突軽減ブレーキ；ＣＭＢＳ）である。第２制御部１５０は、例えば車両Ｍを第１減速度Ｂ１で減速させる制動力を出力するようにブレーキ装置２１０および／または走行駆動力出力装置２００に指示する。第１減速度Ｂ１は、例えば、０コンマ数［Ｇ］（１に近い）程度の減速度である。これによって、第２制御部１５０は、車両Ｍを速やかに減速させて停止させ、リスク物体との接触を回避する。指示された減速度からブレーキ出力、回生制御量、エンジンブレーキ量などを求める機能は、ブレーキ装置２１０や走行駆動力出力装置２００のＥＣＵが有しており、ＥＣＵは、指示された減速度と車両Ｍの速度とに基づいてそれぞれの制御量を決定する。これについては公知技術であり詳細な説明を省略する。

なお、第２制御部１５０は、例えば、リスク物体の少し前から後方にかけて延在する側方領域内に物体が存在するか否かを判定し、存在しない場合に、リスク物体の側方の走路に車両Ｍを進行させてリスク物体から車両Ｍを回避させてもよい。例えば、第２制御部１５０は、制動力によってリスク物体の回避が困難である場合、側方の走路に車両を進行させてもよい。

また、上記の例では、ＴＴＣが第２閾値Ｔｈ２未満または第１閾値Ｔｈ１未満の場合、ＣＤＣやＣＭＢＳが実行されるものとして説明したが、これに代えて（または加えて）、標識検知機能（ＴＳＲ）や、交通信号検知機能（ＴＬＩ）、車両の左右から接近する車両を検知または警報する機能、自動操舵回避機能、緊急制動システムなどが起動して、各種制御が実行されてもよい。例えば、車両Ｍが交差点を通行する場合は、標識検知機能（ＴＳＲ）や、交通信号検知機能（ＴＬＩ）、車両の左右から接近する車両を検知または警報する機能が起動したり、車両Ｍが歩行者に接近している場合は、自動操舵回避機能が起動したりしてもよい。

［道路構造に応じた報知について］
報知制御部１２０は、車両Ｍが道路構造に応じて行動提案報知を行うことを省略してもよい。図１０は、報知の態様の他の一例を示す図である。例えば、車両Ｍが交差点に進入し、右折または左折しようとし、且つリスク物体が歩行者などの特定の種別である場合、提案報知は省略されもよい。更に、この場合、警報（ＦＣＷ）およびＣＤＣ制御は省略され、ＴＴＣが第１閾値Ｔｈ１に到達するまで見落とし報知が行われてもよい。交差点における歩行者の動きは予測がしづらく、安易に行動の提案を行うことができないためである。

上記のように、報知制御部１２０は、運転者の周辺の認識度合と運転者の行動とに基づいて適切な情報を通知することができる。この結果、報知制御部１２０は、運転者の意図を反映した情報の提供を行うことができる。

また、上述した閾値Ｔｈ１－３は、車両Ｍの速度や、リスク物体を認識するための各種機器の性能や仕様（カメラ１０や、レーダ装置１２、ＬＩＤＡＲ１４、物体認識装置１６、認識部１１０などの仕様や機能）によって変更されてもよい。例えば、各種機器が物体を認識可能な距離に基づいて設定されてもよい。

［見落とし報知に関する処理の他の一例］
以下のように、見落とし報知、見落とし再報知がされてもよい。報知制御部１２０は、リスク物体が周辺エリア（例えば、後述する直進時のエリアＡ、Ｂ、右折時または左折時のエリアＣ、Ｄ）に進入し、運転者がリスク物体を視認していない場合、報知を行い、その後、当該リスク物体が移動エリア（例えば、後述する直進時のエリアＣ、右折時または左折時のエリアＡ）に進入し、運転者が再報知エリアに進入したリスク物体を視認していない場合、再報知を行う。また、報知制御部１２０は、上記のリスク物体よりも速く移動しているリスク物体が第１所定時間後に周辺エリアに存在（または移動）すると予測され、運転者がリスク物体を視認していない場合、報知を行い、その後、運転者がリスク物体を視認したときまたは報知がされたから第２所定時間後に、当該リスク物体が移動エリアに進入すると予測され、運転者が移動エリアに進入すると予測されたリスク物体を視認していない場合、再報知を行う。以下の説明では、例えば、報知がされた後、運転者がリスク物体を視認した場合、報知が停止するものとして説明する。

（直線的な道路において報知エリアおよび再報知エリア）
図１１は、直線的な道路の報知エリアおよび再報知エリアについて説明するための図である。車両Ｍが、車線ＬＡおよび車線ＬＡを含む道路において、車線ＬＡ内を方向Ｄに向かって走行しているものとする。方向Ｄは、車両Ｍの重心Ｐを基準に車両Ｍの進行方向を示している。

エリアＣは、車両Ｍが走行する車線ＬＡを包含するエリアであって、方向Ｄを中心に左右のそれぞれの所定角度の方向に重心Ｐを起点に第１所定距離、進行方向側に延在させた直線と、直線の先端から方向Ｄと平行に第２所定距離、進行方向側に延在する直線と、方向Ｄと平行に第２所定距離延在する２つの直線の先端とを結んだ領域である。エリアＣの進行する方向に関する長さは、車両Ｍが所定時間で進行する距離である。所定時間とは、４秒から５秒の範囲内の時間であって、例えば４．５秒である。ただし、長さは、設定された最小距離以上且つ設定された最大距離未満である。エリアＣは再報知エリアである。

エリアＡは、エリアＣを包含する領域であり、方向Ｄを中心に左右のそれぞれの所定角度の方向に重心Ｐを起点に第３所定距離、進行方向側に延在させた直線と、直線の先端から進行方向Ｄと平行に第４所定距離、進行方向側に延在する直線と、進行方向Ｄと平行に第４所定距離延在する２つの直線の先端とを結んだ領域である。

エリアＢは、エリアＡおよびエリアＣに隣接する領域である。エリアＢは、方向Ｄを中心に左右のそれぞれの所定角度の方向に重心Ｐを起点に所定距離、進行方向側に延在させた直線と、直線の先端から方向Ｄと平行に第５所定距離、進行方向とは反対側に延在する直線と、方向Ｄと平行に第５所定距離延在する２つの直線の先端とを結んだ領域である。エリアＡ、Ｂ、Ｃは報知エリアである。

（交差点における報知エリアおよび再報知エリア）
図１２は、交差点の報知エリアおよび再報知エリアについて説明するための図である。車両Ｍが、交差点を左折しようとしているものとする。

エリアＡは、方向Ｄを中心に左右のそれぞれの所定角度（α）の方向に重心Ｐを起点に第６所定距離、進行方向側に延在させた直線と、直線の先端から方向Ｄと平行に第７所定距離、進行方向側に延在する直線と、方向Ｄと平行に第７所定距離延在する２つの直線の先端とを結んだ領域である。エリアＡの進行する方向に関する長さＬ１は、車両Ｍが所定時間で進行する距離である。所定時間とは、４秒から５秒の範囲内の時間であって、例えば４．５秒である。ただし、長さは、設定された最小距離以上且つ設定された最大距離未満である。エリアＡは再報知エリアである。

エリアＤは、エリアＡに隣接する領域である。エリアＤは、方向Ｄを中心に左方向に所定角度の方向に重心Ｐを起点に第８所定距離、進行方向側に延在させた直線と、直線の先端から方向Ｄと平行に第９所定距離、進行方向側に延在する直線と、この直線の先端とエリアＡの第７所定距離の直線の先端とを結んだ直線と、上記の第７所定距離の直線とにより形成される。

エリアＣは、例えば車両Ｍの左方向に設定された長方形のエリアである。エリアＣは、車両の左側の車両の前方および後方を含む領域である。エリアＣの横方向の長さＬ２は、例えば１５ｍから２０ｍの範囲内の長さである。エリアＡ、Ｃ、Ｄは報知エリアである。

図１３は、交差点の報知エリアおよび再報知エリアについて説明するための図である。車両Ｍが、交差点を右折しようとしているものとする。報知エリアは、エリアＡ、Ｃ、Ｄを含む。車両Ｍが右折する場合におけるエリアＡ、Ｃ、Ｄは、左折する場合におけるエリアＡ、Ｃ、Ｄを反転させたものであるため、詳細な説明を省略する。

上記の例では、運転支援装置１００が、移動体Ｍに対して予め設定されたエリアを報知エリアおよび再報知エリアとして設定するものとして説明したが、これに代えて（加えて）、道路のエッジや車線、道路の標示、構造部などに基づいて、報知エリアまたは再報知エリアを設定してもよい。

［報知に関する処理の概要］
以下、上記の報知エリアまたは再報知エリアにリスク物体が存在する場合に報知が行われる処理、脇見判定処理に係る報知（または警報）に関する処理について説明する。

例えば、図１４に示すように、時刻Ｔにおいて、エリアＣにリスク物体ＯＢが存在し、このリスク物体を運転者が視認していない場合、報知がされ、報知の後に運転者がリスク物体を視認した場合、報知が停止する。その後、図１５に示すように時刻Ｔ＋１においてリスク物体がエリアＡに存在する場合、再報知がされる。このように、報知によって運転者が視認したリスク物体が、再報知エリア（エリアＡ）に存在することとなった場合、再報知がされるため、より適切に周辺の物体に関する報知が運転者に対して行われる。

また、報知制御部１２０は、第１条件が満たされた場合、ＨＭＩ３０情報出力装置に第１警報を出力させる。第１条件は、運転者の視線が予め設定された移動体Ｍの前方を視認しているとされる範囲外（例えばフロントウインドシールドに対応する範囲外）であり、且つ視線が範囲外である状態が第１時間（例えば３秒）継続したことである。報知制御部１２０は、第２条件が満たされた場合、ＨＭＩ３０に第２警報を出力させる。第２条件は、運転者の視線が上記の範囲外であり、図１６に示すように移動体Ｍを基準に設定された基準エリア（再報知エリア）に注視すべきリスク物体が存在し、且つ視線が上記の範囲外である状態が第１時間よりも短い第２時間（例えば１秒）継続したことである。

また、上記の第１条件は、運転者の顔の向きが予め設定された移動体Ｍの前方を視認しているとされる範囲外であり、且つ顔の向きが前記範囲外である状態が第１時間継続したことであってもよい。また、第２条件は、運転者の顔の向きが前記範囲外であり、移動体Ｍを基準に設定された基準エリアに注視すべきリスク物体が存在し、且つ顔の向きが範囲外である状態が第１時間よりも短い第２時間継続したことであってもよい。

図１７は、報知に関する処理の概要について説明するための図である。
（１．モード切替）
報知制御部１２０は、車両Ｍの方向指示器の状態と、運転者のステアリングホイールの操作角度とに基づいて、右折モード、左折モード、または直進モードを設定する。例えば、方向指示器が点滅していない場合、直進モードであり、方向指示器が左方向に車両Ｍが移動するように点滅している場合、左折モードである。また、ステアリングホイールが右方向に操作され、操作角度が閾値以上である場合、右折モードであり、ステアリングホイールが左方向に操作され、操作角度が閾値以上である場合、左折モードであり、これ以外の場合は直進モードである。なお、方向指示器の点滅の状況と、ステアリングホイールの操作の状況とが矛盾する場合は、ステアリングホイールの操作が優先されて、モードが決定される。

（２．エリア設定）
報知制御部１２０は、上記の（１．モード切替）で決定されたモードに応じたエリアを設定する。これにより、報知エリアおよび再報知エリアが設定される。

（３．リスク予測）
報知制御部１２０は、物体の検出結果（物体のＩＤ、位置、速度、種別）に基づいて、上記の物体の現在位置および予測位置を取得する。物体の種別とは、四輪車両や、二輪車両、自転車、歩行者などである。

（４．視線オブジェクトマッチング）
報知制御部１２０は、運転者の視線が、物体が存在する方向とマッチするか否かを判定する。

（５．報知、再報知フィルタリング処理）
報知制御部１２０は、視線がリスク物体を視認しているかを判定する視線オブジェクトマッチングの結果に基づいて、報知、再報知フィルタリング処理を行う。報知制御部１２０は、見落とし報知または見落とし再報知を行うリスク物体を選出する。

（６．脇見判定処理）
報知制御部１２０は、運転者の視線または顔の向きに基づいて、脇見を行っているか否かを判定する。

「（２．エリア設定）の詳細」
図１８は、エリア設定の処理について説明するための図である。報知制御部１２０は、（１．モード切替）において、右折モードである場合、右折時の報知エリアおよび再報知エリアを設定する（ステップＳ１００）。報知制御部１２０は、エリアＡを再報知エリアに設定し（ステップＳ１０２）、エリアＡ、Ｃ、Ｄを報知エリアに設定する（ステップＳ１０４）。

報知制御部１２０は、（１．モード切替）において、左折モードである場合、左折時の報知エリアおよび再報知エリアを設定する（ステップＳ１１０）。報知制御部１２０は、エリアＡを再報知エリアに設定し（ステップＳ１１２）、エリアＡ、Ｃ、Ｄを報知エリアに設定する（ステップＳ１１４）。

報知制御部１２０は、（１．モード切替）において、右折モードおよび左折モードでない場合（その他の場合）、直進時の報知エリアおよび再報知エリアを設定する（ステップＳ１２０）。報知制御部１２０は、エリアＣを再報知エリアに設定し（ステップＳ１２２）、エリアＡ、Ｂ、Ｃを報知エリアに設定する（ステップＳ１２４）。

「（３．リスク予測）の詳細」
図１９は、リスク予測の処理について説明するための図である。報知制御部１２０は、物体の検出結果に基づいて、物体が所定の領域に存在し、且つ所定速度以上で移動しているか否かを判定する（ステップＳ１３０）。所定の領域とは、報知エリアおよび再報知エリアを含み、報知エリアおよび再報知エリアよりも大きい領域である。所定の領域は、車両Ｍを基準に予め設定された領域である。所定の領域は、車両Ｍのモードごとに異なる領域であってもよい。

物体が所定の領域に存在し、且つ所定速度以上で移動している場合、報知制御部１２０は、所定時間先の物体の位置を予測する（ステップＳ１３２）。例えば、報知制御部１２０は、物体の速度に基づいて将来の複数の時点の物体（速い物体）の位置を予測する。これにより、図２０に示すように、車両Ｍの遠くから車両Ｍに近づいてくる物体が認識される。

「（５．報知、再報知フィルタリング処理）の詳細」
図２１は、報知、再報知フィルタリング処理について説明するための図である。報知制御部１２０は、物体の位置、運転者の物体の視認の有無を示す情報、報知エリア、および再報知エリアを参照して、見落とし報知の対象の物体（運転者が視認していない物体）および見落とし再報知の対象の物体（運転者が再視認していない物体）を取得する（ステップＳ１４０）。再視認していない物体とは、見落とし報知がされた後に、再報知エリアに進入した物体であって、運転者により視認されていない物体である。また、報知制御部１２０は、忘却機能を有する。忘却機能とは、例えば、報知エリアに進入していたリスク物体が報知エリアを退出して所定時間が経過した場合、当該リスク物体に対応付けられた情報（例えば見落とし報知がされたことを示す情報や見落とし再報知がされたことを示す情報）が忘却されてもよい。再報知エリアに進入していた物体が退出した場合も同様の処理がされる。

報知制御部１２０は、ステップＳ１４０で得られた情報と、報知エリア内の物体の現在位置および予測位置を示す情報とを参照して、報知エリア内の見落とし報知の対象の物体を選出する（ステップＳ１４２）。例えば、報知エリアに存在する物体、または報知エリアに存在する物体の予測位置が所定時間以上、報知エリアに存在する場合に当該物体が報知対象として選出される。これにより、報知エリア内に存在し且つ視認されていない物体が選出される。

報知制御部１２０は、ステップＳ１４０で得られた情報と、物体の現在位置および予測位置を示す情報とを参照して、報知エリア外の見落とし報知の物体を選出する（ステップＳ１４４）。これにより、見落しエリア外に存在するが近いうちに報知エリア内に進入すると予測され且つ視認されていない物体（例えば速い物体）が選出される。

報知制御部１２０は、ステップＳ１４０で得られた情報と、物体の現在位置および予測位置を示す情報とを参照して、再報知エリアの物体および再報知エリアに進入すると予測される物体を選出する（ステップＳ１４６）。これにより、見落し再報知エリアに存在または近いうちに存在すると予測され且つ再視認されていない物体が選出される。

上記のように、見落とし報知の対象の物体と見落とし再報知の対象の物体が選出される。

［報知エリア外の見落とし報知の物体を選出する処理（Ｓ１４４）の詳細］
図２２は、報知エリア外の見落とし報知の物体を選出する処理（Ｓ１４４）について説明するための図である。報知制御部１２０は、速度が速い物体の現在位置および予測位置の情報と、報知エリアの情報とを取得し、対象の物体である当該物体の現在位置または予測位置が所定フレーム以上（所定時間以上）連続して報知エリア内に存在するか否かを判定する（ステップＳ１５０）。

対象の物体である当該物体の現在位置または予測位置が所定フレーム以上連続して報知エリア内に存在しない場合、報知制御部１２０は、この物体を判定結果と共に見落としエリア外の物体としてリスト化して記憶装置に記憶させる（ステップＳ１５２）。

対象の物体である当該物体の現在位置または予測位置が所定フレーム以上連続して報知エリア内に存在する場合、報知制御部１２０は、この当該物体を判定結果と共に見落としエリア外の物体としてリスト化して記憶装置に記憶させる（ステップＳ１５４）。

報知制御部１２０は、物体ごとの見落とし報知および再報知の記憶と、ステップＳ１５０の判定結果とを参照して、当該物体に対して見落とし報知および再報知がされていなく且つステップＳ１５０の判定結果が肯定的「ＹＥＳ」であるか否かを判定する（ステップＳ１５６）。この条件が満たされる場合、報知制御部１２０は、当該物体に対して見落とし報知を行う。この条件が満たされない場合、報知制御部１２０は、この物体を判定結果と共に見落としエリア外の物体としてリスト化して記憶装置に記憶させる（ステップＳ１５８）。例えば、この当該物体は、運転者が視認した物体としてリスト化される。

上記のように、報知エリア外の速い物体が報知エリアに進入すると予測される場合であっても、適切な報知が運転者に対して行われる。

［再報知の物体を選出する処理（Ｓ１４６）の詳細］
図２３は、再報知の物体を選出する処理（Ｓ１４６）について説明するための図である。報知制御部１２０は、見落とし報知された各物体の情報（報知エリアに存在し見落とし報知された物体の情報）と、現在位置の情報と、運転者が物体を視認した否かを示す情報とを取得し、この情報を参照して、運転者が見落とし報知された物体を視認した後に、再度、視認（視線マッチ）したか否かを判定する（ステップＳ１６０）。

再度、運転者が視認していない場合、報知制御部１２０は、各物体に対する見落とし再報知の履歴の情報を参照して、物体に対して見落とし再報知がされているか否かを判定する（ステップＳ１６２）。見落とし再報知されていない場合、報知制御部１２０は、再報知エリアの情報を参照し、物体の現在の位置が所定フレーム以上連続して再報知エリアに含まれるか否かを判定する（ステップＳ１６４）。

物体の現在の位置が所定フレーム以上連続して再報知エリアに含まれる場合、報知制御部１２０は、物体の見落とし再報知を行う（ステップＳ１６４）。物体の現在の位置が所定フレーム以上連続して再報知エリアに含まれない場合、報知制御部１２０は、見落とし報知の後に当該物体を視認し、見落とし再報知がされてなく、且つ再報知エリアに存在しない物体としてリスト化され、記憶装置に記憶される。

なお、上記の例において、見落とし報知がされずに、再報知エリアに物体が存在することとなった場合、見落とし報知がされる。また、上記の例において、例えば、報知エリアのうち再報知エリアに物体が存在することによって、報知がされ、その後、再報知エリアに継続して存在する物体に対して見落とし再報知がされなくてもよいし、見落とし再報知がされてもよい。また、上記の例において、報知エリアのリスク物体に対して見落とし報知がされ、運転者がリスク物体を視認した後、リスク物体が報知エリアに所定時間継続して存在している場合、報知はされなくてもよいし、予め設定された時間経過した場合に報知が再度されてもよい。

例えば、見落とし再報知がされた後、再報知エリア外に物体が所定時間存在する場合、物体に対して見落とし再報知がされたことを示す情報は忘却される。この場合、物体が再報知エリアに再進入した場合、見落とし再報知の対象となる。例えば、見落とし報知がされた後、報知エリア外に物体が所定時間存在する場合、物体に対して見落とし報知がされたことを示す情報は忘却される。この場合、物体が報知エリアに再進入した場合、見落とし報知の対象となる。

［（６．脇見判定処理）の詳細］
図２４は、脇見判定処理について説明するための図である。報知制御部１２０は、運転者が撮像された画像に基づいて視線が検出できたか否かを判定する（ステップＳ１７０）。ステップＳ１７０で視線が検出できた場合、視線の向きを利用した判定、または視線の向きおよび顔の向きを利用した判定を行われる。ステップＳ１７０で視線が検出できない場合、顔の向きを利用した判定が行われる。

報知制御部１２０は、画像に基づいて顔が前を向いているか否かを判定する（ステップＳ１７２）。例えば、報知制御部１２０は、顔の向き（基準方向）のヨー角およびピッチ角のそれぞれが、それぞれに応じた角度範囲内であるか否かを判定する。

報知制御部１２０は、顔が前を向いていると判定した場合、顔が前を向いていること示すフラグを設定する（ステップＳ１７４）。報知制御部１２０は、顔が前を向いていないと判定した場合、判定したときから所定時間経過したか否を判定する（ステップＳ１７６）。所定時間は、例えば３秒である。

報知制御部１２０は、画像に基づいて視線が前を向いているか否かを判定する（ステップＳ１７８）。例えば、報知制御部１２０は、視線の向き（基準方向）のヨー角およびピッチ角のそれぞれが、それぞれに応じた角度範囲内であるか否かを判定する。

報知制御部１２０は、視線が前を向いていると判定した場合、視線が前を向いていること示すフラグを設定する（ステップＳ１８０）。報知制御部１２０は、視線が前を向いていないと判定した場合、判定したときから所定時間経過したか否を判定する（ステップＳ１８２）。所定時間は、例えば３秒である。

報知制御部１２０は、物体の検出結果およびモードを参照して、所定の領域に物体が存在し、且つ（１）または（２）であるか否かを判定する（ステップＳ１８４）。所定の領域とは、右折モード、左折モード、直進モードのそれぞれに応じた領域であって、運転者が認識すべき領域である。所定の領域は、例えば、再報知エリアと同じであってもよいし、再報知エリアを含む領域であってもよい。上記の（１）は、ステップＳ１７６で否定的な判定結果が得られたことであり、上記の（２）は、ステップＳ１８２で否定的な判定結果が得られたことである。

ステップＳ１８４で肯定的な判定結果が得られた場合、報知制御部１２０は、この状態が所定時間経過したか否かを判定する（ステップＳ１８６）。また、ステップＳ１８４で肯定的な判定結果が得られた場合、報知制御部１２０は、所定の領域内に物体が存在することを示すフラグを設定する。ステップＳ１８６の所定時間は、ステップＳ１７６またはステップＳ１８２の所定時間よりも短い時間（例えば１秒）である。

ステップＳ１８６で肯定的な判定結果が得られた、ステップＳ１７６で肯定的な判定結果が得られた、またはステップＳ１８２で肯定的な判定結果が得られた場合、報知制御部１２０は、リセットフラグが設定され、且つ脇見フラグが設定されていないか否かを判定する（ステップＳ１９０）。リセットフラグが設定され、且つ脇見フラグが設定されていない場合、報知制御部１２０は、脇見フラグが設定され、且つ前回のステップで脇見フラグが設定されていないか否かを判定する（ステップＳ１９２）。この条件が満たされる場合は、報知制御部１２０は、脇見フラグを設定する。脇見フラグが設定された場合、脇見報知がされる。

上記の条件が満たされない場合、報知制御部１２０は、脇見フラグが設定されてから所定時間経過したときにリセットフラグを設定する（ステップＳ１９４）。これにより、脇見報知がされた後、再度、脇見報知がされる条件が満たされた場合（物体の方向を運転者が視認していない場合）であっても、脇見報知から所定時間（例えば３秒）経過するまで報知が抑制される。上記の所定時間は、ステップＳ１８６の所定時間以上の時間であればよい。

例えば、脇見報知がされた後、運転者は、物体が存在する位置の方向とは異なる車両Ｍの周辺を視認して、物体を回避するためのスペースを認識しようとすることがある。このため、上記のように、脇見報知が抑制されるため、運転者に対して煩わしさを与えることを抑制することができる。

上記のように、報知制御部１２０は、運転者の脇見に対して適切な報知または警報を行うことができる。

以上説明した実施形態によれば、報知制御部１２０は、物体の現在位置または予測位置と、報知エリアと、再報知エリアとに基づいて、より適切に周辺の物体に関する報知を行うことができる。更に、報知制御部１２０は、運転者の視線または顔の向きと、リスク物体の位置とに基づいて、より適切に警報を行うことができる。

上記説明した実施形態は、以下のように表現することができる。
コンピュータによって読み込み可能な命令（computer-readable instructions）を格納する記憶媒体（storage medium）と、
前記記憶媒体に接続されたプロセッサと、を備え、
前記プロセッサは、前記コンピュータによって読み込み可能な命令を実行することにより（the processor executing the computer-readable instructions to:）
移動体が直進、右折、または左折する場合において前記移動体の行動に応じて前記移動体が移動する予定の軌跡を含む移動エリアと、前記移動体の周辺の周辺エリアとを設定し、
第１種別の物体が前記周辺エリアに存在し、且つ前記第１種別の物体を前記移動体の運転者が視認していない場合、前記運転者に情報を提供する情報提供装置を制御して前記運転者に前記第１種別の物体の存在を報知し、
前記報知の後に、前記運転者が前記第１種別の物体を視認し、その後、前記第１種別の物体が前記移動エリアに存在するときに、前記運転者が前記第１種別の物体を視認していない場合、前記情報提供装置を制御して前記第１種別の物体に関する再報知を行う制御装置。

上記説明した実施形態は、以下のように表現することができる。
コンピュータによって読み込み可能な命令（computer-readable instructions）を格納する記憶媒体（storage medium）と、
前記記憶媒体に接続されたプロセッサと、を備え、
前記プロセッサは、前記コンピュータによって読み込み可能な命令を実行することにより（the processor executing the computer-readable instructions to:）
移動体の運転者の視線を検出し、
第１条件が満たされた場合、前記運転者に警報を出力する情報出力装置に第１警報を出力させ、
第２条件が満たされた場合、前記情報出力装置に第２警報を出力させ、
前記第１条件は、前記運転者の視線が予め設定された前記移動体の前方を視認しているとされる範囲外であり、且つ前記視線が前記範囲外である状態が第１時間継続したことであり、
前記第２条件は、前記運転者の視線が前記範囲外であり、前記移動体を基準に設定された基準エリアに注視すべきリスク物体が存在し、且つ前記視線が前記範囲外である状態が第１時間よりも短い第２時間継続したことである、制御装置。

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

１ 車両システム
１０ カメラ
１２ レーダ装置
１６ 物体認識装置
５２ 車室内カメラ
８０ 運転操作子
１００ 運転支援装置
１１０ 認識部
１２０ 報知制御部
１２２ リスク判定部
１２４ 向き判定部
１２６ 物体認識判定部
１２８ 行動判定部
１３０ 設定部
１３２ 情報処理部
１３４ 情報提供部
１４０ 第１制御部
１５０ 第２制御部

Claims (11)

1. 移動体の運転者の視線を検出する検出部と、
   第１条件が満たされた場合、前記運転者に警報を出力する情報出力装置に第１警報を出力させ、
   第２条件が満たされた場合、前記情報出力装置に第２警報を出力させる、報知制御部と、を備え、
   前記第１条件は、前記運転者の視線が予め設定された前記移動体の前方を視認しているとされる範囲外であり、且つ前記視線が前記範囲外である状態が第１時間継続したことであり、
   前記第２条件は、前記運転者の視線が前記範囲外であり、前記移動体を基準に設定された基準エリアに注視すべきリスク物体が存在し、且つ前記視線が前記範囲外である状態が第１時間よりも短い第２時間継続したことである、
   報知制御装置。
2. 前記検出部は、前記運転者の顔の向きを検出し、
   前記第１条件は、前記運転者の顔の向きが予め設定された前記移動体の前方を視認しているとされる範囲外であり、且つ前記顔の向きが前記範囲外である状態が第１時間継続したことを含み、
   前記第２条件は、前記運転者の顔の向きが前記範囲外であり、前記移動体を基準に設定された基準エリアに注視すべきリスク物体が存在し、且つ前記顔の向きが前記範囲外である状態が第１時間よりも短い第２時間継続したことを含む、
   請求項１に記載の報知制御装置。
3. 前記報知制御部は、
   前記情報出力装置に前記第１警報を出力させた後、前記第１条件が満たされ、且つ前記第１警報が出力されてから前記第２時間よりも長い第３時間が経過した場合に、前記情報出力装置に前記第１警報を出力させ、
   前記情報出力装置に前記第１警報を出力させた後、前記第１条件が満たされ、且つ前記第１警報が出力されてから前記第３時間が経過していない場合に、前記情報出力装置に前記第１警報を出力させない、
   請求項１または２に記載の報知制御装置。
4. 前記報知制御部は、
   前記情報出力装置に前記第１警報を出力させた後、前記第２条件が満たされ、且つ前記第１警報が出力されてから前記第２時間よりも長い第３時間が経過した場合に、前記情報出力装置に前記第２警報を出力させ、
   前記情報出力装置に前記第１警報を出力させた後、前記第２条件が満たされ、且つ前記第１警報が出力されてから前記第３時間が経過していない場合に、前記情報出力装置に前記第２警報を出力させない、
   請求項１または２に記載の報知制御装置。
5. 前記報知制御部は、
   前記情報出力装置に前記第２警報を出力させた後、前記第１条件が満たされ、且つ前記第２警報が出力されてから前記第２時間よりも長い第３時間が経過した場合に、前記情報出力装置に前記第１警報を出力させ、
   前記情報出力装置に前記第２警報を出力させた後、前記第１条件が満たされ、且つ前記第２警報が出力されてから前記第３時間が経過していない場合に、前記情報出力装置に前記第１警報を出力させない、
   請求項１または２に記載の報知制御装置。
6. 前記報知制御部は、
   前記情報出力装置に前記第２警報を出力させた後、前記第２条件が満たされ、且つ前記第２警報が出力されてから前記第２時間よりも長い第３時間が経過した場合に、前記情報出力装置に前記第２警報を出力させ、
   情報出力装置に前記第２警報を出力させた後、前記第２条件が満たされ、且つ前記第２警報が出力されてから前記第３時間が経過していない場合に、前記情報出力装置に前記第２警報を出力させない、
   請求項１または２に記載の報知制御装置。
7. 前記移動体を基準に設定された基準エリアは、前記移動体が移動する予定の軌跡を含む基準エリアである、
   請求項１または２に記載の報知制御装置。
8. 前記移動体の速度に基づいて前記基準エリアの長さを設定する設定部を備える、
   請求項７に記載の報知制御装置。
9. 前記設定部は、前記移動体が直進、右折、または左折する場合において前記移動体の行動に応じて前記基準エリアを設定し、
   前記右折または左折する場合の前記移動体の進行方向を基準にしたときの基準エリアの幅は、前記直進する場合の前記移動体の進行方向を基準にしたときの基準エリアの幅よりも長い、
   請求項８に記載の報知制御装置。
10. コンピュータが、
    移動体の運転者の視線を検出する処理と、
    第１条件が満たされた場合、前記運転者に警報を出力する情報出力装置に第１警報を出力させる処理と、
    第２条件が満たされた場合、前記情報出力装置に第２警報を出力させる処理と、を実行し、
    前記第１条件は、前記運転者の視線が予め設定された前記移動体の前方を視認しているとされる範囲外であり、且つ前記視線が前記範囲外である状態が第１時間継続したことであり、
    前記第２条件は、前記運転者の視線が前記範囲外であり、前記移動体を基準に設定された基準エリアに注視すべきリスク物体が存在し、且つ前記視線が前記範囲外である状態が第１時間よりも短い第２時間継続したことである、
    報知制御方法。
11. コンピュータに、
    移動体の運転者の視線を検出する処理と、
    第１条件が満たされた場合、前記運転者に警報を出力する情報出力装置に第１警報を出力させる処理と、
    第２条件が満たされた場合、前記情報出力装置に第２警報を出力させる処理と、を実行させ、
    前記第１条件は、前記運転者の視線が予め設定された前記移動体の前方を視認しているとされる範囲外であり、且つ前記視線が前記範囲外である状態が第１時間継続したことであり、
    前記第２条件は、前記運転者の視線が前記範囲外であり、前記移動体を基準に設定された基準エリアに注視すべきリスク物体が存在し、且つ前記視線が前記範囲外である状態が第１時間よりも短い第２時間継続したことである、
    プログラム。

Images