JP6292054B2 - 運転支援装置、方法、及びプログラム - Google Patents

Description

開示の技術は、運転支援装置、運転支援方法、及び運転支援プログラムに関する。

従来、物体方向検出回路等により検出された物体の方向と視線方向検出装置により検出された視線の方向との角度差を検出誤差とする車両用警報システムが提案されている。このシステムでは、視線方向検出装置の検出誤差とその誤差の発生頻度との関係に基づいて一致度を算出し、この一致度に基づいて警告態様を決定する。

また、運転者の注視方向のデータを分析する方法が提案されている。この方法では、運転者の関心場所を定義する評価基準に基づいて、注視方向のインスタンスが、場所上または場所外のいずれかとして分類される。

さらに、赤外線差分画像等を用いた視線検出センサにより運転者の視線方向を検出し、停留点位置や停留時間を計測する漫然運転検出装置が提案されている。この装置では、検出された視線データからその運転者のバックミラーやサイドミラーの視線位置を推定し、確認した回数を計測する。漫然運転時には、正常運転時に比べて確認回数が減少するため、確認回数を所定の閾値と比較することにより漫然運転か否かを判定し、警報を発生する。判定基準閾値は先行車や走行環境に基づき変更され、走行路に応じた判定基準値が設定される。

特開２０１０−１７０１８９号公報 特表２００９−５４０４５９号公報 特開平０８−１７８７１２号公報

道路環境によって視線センサによる視線検出性能は変化し、視線センサがドライバの視線を検出できない場合がある。このような場合、視線センサからは、所々で無効値が出力されることになる。しかし、従来技術の車両用警報システムのように、視線角度に応じて決まった誤差が生じることを前提としている場合には、上記のように視線センサから無効値が出力された場合に対応することができない。特に、実車環境では、外光や揺れ等の環境悪化によって視線検出性能が悪化する場合が多く、無効値の発生数が増加する。そのため、無効値に対する対応がとれない場合には、視線センサの出力値を用いた視認判定の性能も悪化する。

また、従来技術の注視方向のデータを分析する方法では、主にＩＳＯ１５００７−２及びＳＡＥＪ−２３９６の手法に従った視線分類の結果を用いている。そして、この方法では、関心場所単位に組み合わせたクラスタリング後の視線データ（Ｇｌａｎｃｅ）を用いて、関心場所単位の視認時間等を分析している。しかし、クラスタリングした注視方向のデータの中に、サッカードを示すデータの割合が多い場合や、視認判定に有効なデータが少ない場合には、視認判定の性能が悪化する。

また、この従来技術の注視方向のデータを分析する方法では、運転者の関心場所を定義して、その関心場所に対する視認状況を判定しているが、この関心場所の設定誤差が考慮されていない。特に、車両に対して固定されていない領域を関心場所として設定する場合には、車両の周辺環境や走行状態によって、設定すべき関心場所は大きく変化するため、関心場所の厳密な決定は非常に困難である。

さらに、従来技術の漫然運転検出装置では、バックミラー、左右ミラーの確認頻度を、視線方向が各ミラーのエリア内となる視線データ数から推定し、ドライバの漫然状態を推定している。各ミラーのエリアは、日頃の視線データを集めて、統計的に基準となる位置及び形状を推定している。すなわち、車両に固定の部品は、運転者からの位置関係が不動であると見做している。しかし、実際には、走行シーンで運転者の姿勢が変化することなどにより、各ミラーのエリアと運転者との位置関係には誤差が発生するが、従来技術の漫然運転検出装置では、この誤差が考慮されていない。

開示の技術は、一つの側面として、注視対象領域に対する注視状況の推定結果がどれだけ信頼できるものであるかを把握することが目的である。

開示の技術は、ドライバの視線方向を示す視線データの種類を判定する。また、開示の技術は、自車両の状態を示す自車両状態情報、及び前記自車両周辺の状態を示す周辺状態情報に基づく運転シーンに応じて注視対象領域を設定する。そして、注視対象領域と前記運転シーンに応じて予め定められた判定時間に取得された複数の視線データが示す視線方向とに基づいて、前記注視対象領域に対する前記ドライバの注視状況を推定する。さらに、前記注視対象領域の設定精度、及び前記判定時間に取得された複数の視線データの各々の種類に関する視線データの構成状況の少なくとも一方に基づいて、前記注視状況の推定結果の信頼度を算出する。

開示の技術は、一つの側面として、注視対象領域に対する注視状況の推定結果がどれだけ信頼できるものであるかを把握することができる、という効果を有する。

第１及び第２実施形態に係る運転支援装置の概略構成を示すブロック図である。 リアルタイムの視線データの補間を説明するための図である。 非リアルタイムの視線データの補間を説明するための図である。 視線の種別を説明するための図である。 視線データ格納部に格納された視線データの一例を示す図である。 最長判定時間を説明するための図である。 運転シーン及び各種設定情報の一例を示す図である。 関心エリアとして設定した２次元形状と３次元形状との変換の一例を示す概略図である。 信号機位置に関心エリアを設定する一例を説明するための図である。 右側視認領域に関心エリアを設定する一例を説明するための図である。 右側視認領域に関心エリアを設定する一例を説明するための図である。 前方進行道路（直進路）に関心エリアを設定する一例を説明するための図である。 前方進行道路（カーブ路）に関心エリアを設定する一例を説明するための図である。 前方進行道路に関心エリアを設定する一例を説明するための図である。 バックミラーに関心エリアを設定する一例を説明するための図である。 右サイドミラーに関心エリアを設定する一例を説明するための図である。 左サイドミラーに関心エリアを設定する一例を説明するための図である。 ミラーに関心エリアを設定する一例を説明するための図である。 形状に関する関心エリア誤差を説明するための図である。 位置に関する関心エリア誤差を説明するための図である。 位置に関する関心エリア誤差を説明するための図である。 位置に関する関心エリア誤差を説明するための図である。 位置に関する関心エリア誤差を説明するための図である。 従来技術における視認時間を説明するための図である。 従来技術における注視率算出を説明するための図である。 視認評価の一例を説明するための図である。 第１及び第２実施形態に係る運転支援装置として機能する車載コンピュータの概略構成を示すブロック図である。 運転支援処理の一例を示すフローチャートである。 判定時間内処理の一例を示すフローチャートである。 パターン毎の視線データの種類の一例を示す図である。 限定シーンを説明するための図である。 使用可否決定処理の一例を示すフローチャートである。 不連続対処処理の一例を示すフローチャートである。

以下、図面を参照して開示の技術の実施形態の一例を詳細に説明する。

＜第１実施形態＞
図１に、第１実施形態に係る運転支援装置１０を示す。運転支援装置１０は、車両のドライバの視線方向に基づいて、ドライバが運転シーンに応じた視認行動を行っているか否かの評価を行い、評価結果を出力する。本実施形態では、運転支援装置１０が車両に搭載されている態様を説明する。

図１に示すように、運転支援装置１０には、視線センサ９１、自車両状態取得センサ９２、及び周辺状態取得センサ９３の各々で取得されたデータが入力される。

視線センサ９１は、既知の方式で、ドライバの視線方向を示す視線データを取得する。例えば、視線センサ９１として、カメラ、照明装置、及びマイクロコンピュータを含むセンサを用いることができる。このような視線センサ９１では、照明装置によりドライバの目を含む領域に投光された際のドライバの顔をカメラによって撮像する。そして、マイクロコンピュータが、撮像された画像におけるドライバの瞳孔反射から、ドライバの視線方向を推定し、推定した視線方向を示す視線データを取得する。なお、マイクロコンピュータが、撮像された画像におけるドライバの顔の向きや頭の向きから、ドライバの視線方向を推定するようにしてもよい。視線データの値は、例えば推定した視線方向を示す角度や座標値とすることができる。

また、視線センサ９１で取得する視線データは、左右両眼の視線方向の各々を示す視線データであってもよいし、左右各々の視線方向から１つの視線データを取得したものであってもよい。例えば、左右各々の視線方向を示す視線データを用いた任意の値、例えば２つの視線データの平均値を、１つの視線データとして取得することができる。また、基本的には左右両眼の２つの視線方向の各々を示す視線データを取得し、外光、振動、メガネなどの影響により、片眼の視線方向しか推定できなかった場合には、１つの視線データを取得するなど、視線データの取得数を随時変更するようにしてもよい。

自車両状態取得センサ９２は、自車両の現在位置、速度、加速度、ヨーレート、操舵状態、ウィンカ状態、加減速操作状態等の情報を含む自車両状態情報を取得する。自車両状態取得センサ９２は、例えば、位置センサ、速度センサ、加速度センサ、ジャイロセンサ等の各種センサを含む。なお、加減速操作状態として、ブレーキ及びアクセルの操作有無及び操作量の他に、シフトレバーによる走行モード情報など、加減速に関わる他の情報を含んでよい。また、自車両状態情報としては、これらの他に、照光制御情報、ワイパー動作等の一般的な自車両走行に関する情報を含んでもよい。自車両の走行状態を後述する運転シーンに振り分けるために必要な情報を取得するセンサが、自車両状態取得センサ９２に含まれていればよい。

周辺状態取得センサ９３は、自車両の周辺物の存在及び位置、走行道路形状や道路種別などの自車両の周辺状態情報を取得する。周辺状態取得センサ９３は、例えば、レーザレーダ、ミリ波レーダ、カメラ等とすることができる。また、周辺状態取得センサ９３は、レーザレーダ、ミリ波レーダ、カメラ等の出力値を解析するマイクロコンピュータを含んでもよい。周辺物としては、任意の静止物及び移動体を含む。任意の静止物は、例えば、建物、路側物、路面標示、停車車両、落下障害物等を含む。移動体は、例えば、移動車両、歩行者、自転車、雨雪や移動し得る障害物等を含む。走行道路形状は、実際の詳細な走行路の形状以外に、大まかな道幅、カーブ曲率、傾斜などを含む。道路種別は、高速道路や国道などの道路種類、車線数、トンネルや踏切、交差点などの道路部分種類、危険な道路か否かの道路危険度種類、舗装の有無などを含む。

なお、視線センサ９１、自車両状態取得センサ９２に含まれる各センサ、及び周辺状態取得センサ９３に含まれる各センサは、センサ単体でデータを取得してもよいし、路車間通信または車々間通信などの任意の通信方法を介してデータを取得してもよい。また、センシングしたデータと予め用意されたデータベースとを用いて、該当データを取得してもよい。例えば、ＧＰＳ（Global Positioning System）により測位した自車両の位置と、地図データとに基づいて、自車両の周辺状態情報を取得する周辺状態取得センサ９３とすることができる。

また、運転支援装置１０は、機能的には、図１に示すように、視線データ判定部１１、運転シーン決定部１２、関心エリア設定部１３、関心エリア誤差算出部１４、注視状況推定部１５、視線構成状況算出部１６、及び信頼度算出部１７を含む。また、運転支援装置１０は、使用可否決定部１８、及び視認評価部１９を含む。なお、運転シーン決定部１２、関心エリア設定部１３、及び注視状況推定部１５は、開示の技術の推定部の一例である。また、関心エリア誤差算出部１４は、開示の技術の誤差算出部の一例である。また、視線構成状況算出部１６は、開示の技術の構成状況算出部の一例である。また、使用可否決定部１８及び視認評価部１９は、開示の技術の評価部の一例である。

視線データ判定部１１は、視線センサ９１から出力された視線データを取得し、取得した視線データの種類を判定し、判定結果と共に、視線データ格納部２０に格納する。ここでは、視線データの種類を、視線データの有効性、視線データが示す視線の種別、補間の有無で表す。

視線データの有効性とは、視線センサ９１から取得した視線データが、後述するドライバの注視状況の推定に利用可能な精度を有しているか否かであり、有している場合には「有効」、有していない場合には「無効」となる。例えば、視線データ判定部１１は、視線データの示す値が、予め定めた規定値内の場合には、その視線データを有効と判定する。一方、視線データ判定部１１は、視線データの示す値が規定値外（例えば「０」）の場合には、その視線データを無効と判定する。また、視線センサ９１が、視線データと共にその視線データの取得精度を出力している場合には、視線データ判定部１１は、視線センサ９１の取得精度が予め定めた規定値以上であれば有効、規定値未満であれば無効と判定することができる。

また、視線データ判定部１１は、無効であると判定した視線データの値を、他の時刻に取得した有効な視線データを用いて補間する。視線データ判定部１１は、例えば、今までの視線データの値が示す傾向が、そのまま続行しているものと見做して、線形または非線形補間することができる。図２に、現在時刻ｔに取得された視線データが無効であった場合に、リアルタイムに補間する例を示す。図２の例では、過去の時刻（ｔ−１、ｔ−２、ｔ−３）で取得された３つの有効な視線データの値から近似曲線を求め、その近似曲線上の値として、時刻ｔの視線データの値を補間している。

なお、注視状況の推定をリアルタイムに行う必要がない場合には、無効な視線データの補間もリアルタイムで行う必要はない。この場合、処理対象の時刻ｔに取得された視線データの補間に、処理対象の時刻ｔより後の時刻に取得された視線データを用いてもよい。図３に、非リアルタイムの場合の補間例を示す。図３の例では、処理対象の時刻ｔより前（過去）の時刻（ｔ−１、ｔ−２）、及び処理対象の時刻ｔより後（将来）の時刻（ｔ＋１、ｔ＋２）で取得された４つの有効な視線データの値から近似曲線を求めている。そして、求めた近似曲線上の値として、処理対象の時刻ｔの視線データの値を補間している。

以下では、説明の簡単のため、リアルタイムに処理する場合、すなわち、現在時刻と処理対象の時刻とが一致している場合について説明するが、開示の技術は、上述のように、非リアルタイムに処理する場合にも適用可能である。非リアルタイムに補間処理を行う場合には、補間に用いる未来の時刻における視線データが取得されるのを待つ時間分、補間処理に遅延が生じる。図３の例では、処理対象の時刻ｔの視線データの値は、時刻（ｔ＋２）にならないと補間処理を行えないため、２時刻分の遅延が発生する。そこで、以下の説明を非リアルタイム処理に適用する場合には、「現在時刻ｔの視線データ」を、所定時刻前に取得された視線データであって、現在時刻で補間処理を行った過去の時刻ｔの視線データと読み替える。すなわち、図３の例では、厳密な現在時刻である時刻（ｔ＋２）ではなく、時刻（ｔ＋２）から見ると過去の時刻である処理対象の時刻ｔを、便宜的に現在時刻ｔと解釈する。

なお、図２及び図３では、有効な視線データの値から求める近似曲線を線形近似直線で示しているが、任意の近似曲線を用いることができる。また、補間方法自体も、近似曲線を用いた補間方法に限定されず、任意の補間方法を用いることができる。さらに、無効と判定された１時刻分の視線データの値を補間する場合に限定されず、複数の無効な視線データの値を同時に補間してもよいし、補間に利用する過去及び未来の時刻の視線データの値の数が固定数でなくてもよい。

また、視線データ判定部１１は、値を補間した視線データには、補間したことを示すラベルを付与すると共に、有効性の判定結果を「有効」に変更する。なお、現在時刻ｔから所定時間前または後に有効な視線データが存在しない場合は、視線データ判定部１１は、補間を行うことなく、その視線データの有効性を「無効」のままとしてもよい。ただし、無効な視線データが多過ぎると、後述する注視状況の推定及び視認評価を行えなくなる恐れがあるため、補間の精度も考慮して、補間を行うか否かを判定することが望ましい。

また、視線データ判定部１１は、所定時間分の視線データの値の変化から、視線データ毎の視線種別を判定し、判定した視線種別を示すラベルを各視線データに付与する。図４に示すように、視線方向に大きな変化がない部分（図４中丸で囲んだ領域）は、指標に視線が固定した視線運動である固視（Fixation）、または低速移動指標の追従時の視線運動であるスムースパーシュート（SmoothPursuit）を表す。また、視線方向が大きく急峻な変化をする部分は、指標の高速変更時の視線運動であるサッカード（Saccade）を表す。視線データ判定部１１は、有効な視線データの各々に対して、例えばこれらの固視、スムースパーシュート、またはサッカードのいずれかの視線種別を判定し、判定した視線種別を示すラベルを付与する。無効な視線データについては、視線データの視線種別の判定は行わない。なお、視線データの視線種別として、他の視線運動を表す視線種別を用いてもよいが、少なくともサッカードか否かを、視線種別として付与することが望ましい。サッカードは、注視状況の推定及び視認評価において非判定対象の視線データとして扱う場合が多く、視線データの種類の情報として保持しておくことが望ましいからである。

視線データ判定部１１は、取得した視線データ及び値を補間した視線データに、取得時刻及び視線データの種類を対応付けて、視線データ格納部２０に格納する。上述のように、視線データの種類は、視線データの有効性、視線種別、及び補間の有無である。図５に視線データ格納部２０に格納された視線データの一例を示す。

視線データ格納部２０は、後述する注視状況を推定する際の判定時間中に取得される複数の視線データを格納できるサイズとする。具体的には、視線データ格納部２０のサイズは、下記（１）式に示す格納数Ｎを満たす数の視線データを格納可能なサイズとする。
Ｎ≧最長判定時間÷視線データの取得時間間隔 （１）
ここで、最長判定時間とは、図６に示すように、後述の評価内容に応じて異なる複数の判定時間のうち最長のものをいう。

運転シーン決定部１２は、自車両状態取得センサ９２から出力された自車両状態情報、及び周辺状態取得センサ９３から出力された周辺状態情報を取得する。運転シーン決定部１２は、取得した自車両状態情報及び周辺状態情報を用いて、現在の自車両の運転シーンを決定する。運転シーンとしては、例えば、「高速道路直進」、「カーブ路走行」、「渋滞路走行中（直進）」、「交差点停止中（右折前）」、「車線変更前（右側へ）」、及び「後退前」などのドライバによる視認行動が必要な運転シーンを予め定めておく。なお、運転シーンは、上記に挙げた例に限定されず、「交差点停止中（左折前）」、「車線変更前（左側へ）」等を含んでもよい。

運転シーン決定部１２は、取得した自車両状態情報及び周辺状態情報が、例えば図７の「運転シーン推定方法」に示すような、運転シーン毎に予め定めた条件を満たすか否かにより、現在の運転シーンが各運転シーンであることの尤もらしさを推定する。例えば、運転シーン決定部１２は、自車両状態情報として、自車両の操舵角を取得し、周辺状態情報として、道路種別及び道路形状を取得する。運転シーン決定部１２は、取得した操舵角が「直進」を示す所定値範囲内か否か、道路種別が「高速道路」か否か、及び道路形状が「直進路」か否かに基づいて、現在の運転シーンが「高速道路直進中」であることの尤度を算出する。そして、運転シーン決定部１２は、最も尤度の高い運転シーンを現在の運転シーンとして決定する。

また、運転シーン決定部１２は、決定した運転シーンに応じた評価内容を決定する。評価内容は、例えば図７に示すように、運転シーンに応じたドライバの適切な視認行動に応じて予め定めておく。図７の例では、前方への走行及び走行中の停止に該当する運転シーンの場合には、運転に必須な前方走行路を正しく視認しているか（脇見していないか）を評価する前方視認評価が定められている。前方への走行及び走行中の停止に該当する運転シーンとは、図７の例では、「高速道路直進」、「カーブ路走行」、「渋滞路走行中（直進）」、「交差点停止中（右折前）」、及び「車線変更前（右側へ）」である。同じ前方視認を評価するものであっても、運転シーンによって若干評価内容が異なるため、Ｐ、Ｐ’、Ｑ、Ｑ’の記号で区別している。具体的には、前方視認評価Ｐ及びＰ’は、直進路の走行中における前方視認評価である。ＰとＰ’とは内容は略等しいが、後述する使用可否決定部１８で用いる信頼度閾値が、Ｐ’の方がやや低めである。前方視認評価Ｑ及びＱ’は、直進路以外の道路、すなわち、カーブ路や実質的に走行軌跡がカーブする交差点右左折前における前方視認評価である。直進路の場合の前方視認評価Ｐ及びＰ’と比べて、信頼度閾値が異なる。ＱとＱ'とは内容は略等しいが、自車両が移動していない停止中のＱ’の方が、より視認率が低くても危険ではないので、後述する視認評価部１９での判定閾値が若干異なる。

また、「渋滞路走行」では、イライラや単調な低速走行による覚醒度低下による漫然運転を引き起こすことがあるため、前方視認評価Ｐ’に加え、漫然状態か否かを評価する漫然視評価Ｒも行うことが定められている。なお、他の運転シーンでも漫然運転が発生する可能性が高いと思われる運転シーンでは、漫然視評価Ｒを加えてもよい。基本的に、前方以外の方向の視認評価、例えば後方、信号、右折、側方などの視認評価を行う運転シーンの場合は、漫然運転の結果がそれら評価の悪化として反映されるため、漫然視評価を別に行う必要性はやや低い。

また、「交差点停止中（右折前）」では、右折前のドライバの視認行動の評価として、前方視認評価Ｑ’に加え、信号を視認したか否かを評価する信号視認評価Ｔ、及び交差路上の横断歩道や対向車等の右折時の視認を評価する右折視認評価Ｕが定められている。なお、説明の簡単のため、図７の例では右折視認評価Ｕとして１つにまとめているが、交差路の視認評価、対向車の視認評価等のように、複数の視認評価として定めておいてもよい。

また、「車線変更前（右側へ）」では、右側への車線変更前のドライバの視認行動の評価として、前方視認評価Ｐ’に加え、後方を視認したか否かを評価する後方視認評価Ｗ、及び後側方を視認したか否かを評価する後側方視認評価Ｘが定められている。前方視認評価は、直進路で複数の視認行動が必要な渋滞路走行中（走行中）と同じＰ’が定められている。

また、「後退前」では、後方を視認したか否かを評価する後方視認評価Ｙが定められている。「車線変更前（右側へ）」の評価内容である後方視認評価Ｗとは、後述する関心エリアがやや異なるため、別記号としている。

また、図７に示すように、各評価内容に応じて、ドライバが視認すべき関心エリアを設定する領域が定められている。評価内容が「前方視認評価Ｐ、Ｐ’、Ｑ、Ｑ’」及び「漫然視評価Ｒ」の場合には、前方進行道路の領域に関心エリアが設定されることが定められている。また、「信号視認評価Ｔ」の場合には信号機位置、「右折視認評価Ｕ」の場合には右側視認領域、「後方視認評価Ｗ、Ｙ」の場合にはバックミラー、「後側方視認評価Ｘ」の場合には右サイドミラーにそれぞれ関心エリアが設定されることが定められている。

なお、ここでは、評価内容毎に１つの関心エリアを定めているが、例えば、右折時の視認エリアとして、交差路領域、対向車領域等のように、複数の関心エリアを定めてもよい。

また、図７に示すように、各評価内容に応じて、判定時間が設定されている。判定時間内に取得された視線データを用いて、判定時間毎に、後述する注視状況の推定、及び信頼度の算出の処理が行われる。また、１つの判定時間が経過し、判定時間毎の処理が終了しても、評価対象の運転シーンが継続している場合には、次の判定時間について判定時間毎の処理を行う。これにより、各運転シーンにおいて、判定時間毎の処理だけでなく、判定時間毎の注視状況の推定結果及び信頼度の時間経過に伴う変化に基づいて評価を行うことができる。

運転シーン決定部１２は、自車両状態情報及び周辺状態情報に基づいて、運転シーンの切り替わりを検出し、運転シーンが切り替わる毎に、上記のように運転シーン及び評価内容を決定する。なお、自車両状態情報及び周辺状態情報が、図７に定めたような運転シーンのいずれにも該当しない場合には、運転シーン決定部１２は、「運転シーンなし」と決定する。

関心エリア設定部１３は、運転シーン決定部１２で決定された運転シーン及び評価内容に応じた関心エリアを設定する。具体的には、関心エリア設定部１３は、例えば図７に示すような各評価内容に応じて定められた関心エリアを設定する領域に、自車両状態情報及び周辺状態情報から定まる位置及び形状の関心エリアを設定する。

関心エリアとは、何らかの視認状況を把握したい領域または対象物の代替形状であり、２次元または３次元のいずれで定義してもよい。また、関心エリアは常に同じ形状であってもよいが、運転シーンや車の装備及び車載機器の位置、大きさ等の基本情報のいずれかを用いて、関心エリアの位置及び形状の少なくとも一方を変更してもよい。状況に応じて関心エリアの位置及び形状の少なくとも一方を変更することで、注視状況の推定及び視認評価の精度が向上する。

関心エリアの形状は、例えば、矩形、楕円、四角錐、楕円錐などとすることができるがこれに限定されない。関心エリアの形状は、上述のように、３次元形状であっても、２次元形状であってもよいし、複数の形状を組み合わせた形状としてもよい。また、実際の視認状況を把握したい対象物の形状が既知の場合（例えば、対象物がサイドミラー、バックミラー等の場合）、現在のドライバ視点から見た対象物の形状そのものを関心エリアの形状としてもよい。なお、関心エリアの形状を、矩形、楕円、四角錐、楕円錐等の簡易な形状とした場合には、後述する注視状況推定部１５で行う、関心エリアと視線方向との内包判定（交差判定）を簡易な計算により行うことができる。一方、上述のように、関心エリアの形状を対象物そのものの形状とした場合には、より正確に注視状況の推定及び視認評価を行うことができる。

また、関心エリアの形状を、複数の任意の小形状を組み合わせた形状、例えば、小さな三角形や矩形の集まりとして表現することで、これら両方を兼ね備えたものとすることもできる。

図８に、関心エリアとして、前方進行方向に対して垂直な仮想平面に設定した２次元形状（矩形）を３次元形状（四角錐）に、または３次元形状（四角錐）を２次元形状（矩形）に変換する一例を示す。変換を行うには、２次元形状の関心エリアを設定した仮想平面とドライバ視点との距離Ｍを決定しておく必要がある。また、矩形の定義では、矩形の大きさだけでなく、ドライバ視点からの相対位置を決定する必要がある。

図８右図下段は、関心エリア（２次元）の俯瞰図の一例である。関心エリアは、ドライバ視点からの距離Ｍの仮想平面に設定されているものとして定義する。具体的には、図８右図上段に示すドライバ視点（の後方）から見た正面図のように、２次元の矩形形状を、便宜的にドライバ視点位置を原点とする座標系で指定する。この結果、関心エリアとドライバ視点との相対位置を３次元的に知ることができる。

図８左図は、図８右図の俯瞰図及び平面図で設定した関心エリアである２次元形状を、３次元形状に変換した一例を示すもので、ドライバ視点のやや斜め上後方から関心エリアを眺めた図を示す。ここでは、ドライバ視点から矩形までの距離Ｍを用いて、２次元形状である矩形を３次元形状である四角錐へと変換する。この変換は、ドライバ視点を頂点、仮想平面に設定した２次元形状を底面とする錐体を求めることで行うことができる。図８の２次元形状のようにドライバ視点との相対位置を考慮して図形が仮想平面上に存在すると見做せば、関心エリアの定義自体はより直観的に理解し易い２次元形状で簡単に定義することができ、更に適宜それを３次元形状へと変換できる。なお、後述する関心エリアと視線方向との内包判定（交差判定）計算は、関心エリアの形状が２次元の場合でも、３次元の場合でも計算可能である。

図９を参照して、信号機位置に関心エリアを設定する場合を説明する。これは、図７に示す信号視認評価Ｔで用いる関心エリアの設定である。関心エリア設定部１３は、周辺状態情報に基づいて、信号機位置を検出する。信号機位置は、レーザレーダ等で取得された情報から検出してもよいし、地図データに基づいて検出してもよいし、車載カメラ等で撮像した前方画像から検出してもよい。また、関心エリア設定部１３は、自車両状態情報に基づいて、自車両位置を検出する。そして、関心エリア設定部１３は、自車両位置、信号機位置、及び自車両進行方向を基準とした自車両座標系内でのドライバ視点位置を用いて、ドライバ視点から信号機位置へのベクトルＬ（距離Ｌ）を推定する。なお、ドライバ視点位置は、車両構造に基づいて推定することができる。

そして、関心エリア設定部１３は、関心エリアとして設定する四角錐の中心をベクトルＬの方向とし、四角錐の底面となる矩形の横方向をダッシュボードに沿った水平方向、矩形の縦方向を高さ方向（垂直方向）とする。関心エリア設定部１３は、矩形の水平方向及び垂直方向の各々の大きさを、水平画角及び垂直画角で決定する。例えば、水平画角及び垂直画角は、ベクトルＬの大きさ、すなわちドライバ視点から信号機位置までの距離Ｌに依存する値とすることができる。より具体的には、下記（２）式に示すように、距離Ｌに反比例する値として、垂直画角及び水平画角を決定することができる。
画角＝基準画角×ｆ（Ｌ），例えばｆ（Ｌ）＝ｋ×１／Ｌ，ｋ＞０ （２）
なお、（２）式では、水平画角と垂直画角との比率を一定とすることを表しているが、水平画角及び垂直画角の各々で異なる式により画角を決定してもよい。

また、関心エリア設定部１３は、信号機位置に予め定めた大きさの矩形（２次元形状）を設定し、矩形の辺上の各点とドライバ視点とを結ぶ直線の集合で表される四角錐（３次元形状）を関心エリアとして設定してもよい。この場合も、ドライバの視点位置と信号機位置との距離が離れるほど、ドライバ視点を基準とした関心エリアの画角は狭くなる。

図１０を参照して、図７の例における交差点停止中（右折前）の運転シーンに応じた右折視認評価Ｕにおいて、右側視認領域に関心エリアを設定する場合について説明する。図１０は、右折前の自車両を含む交差点の状況の俯瞰図である。例えば、関心エリア設定部１３は、交差点内の自車両位置、及び交差点の形状に基づいて、四角錐である関心エリアを設定する。具体的には、関心エリア設定部１３は、自車両の走行中レーンの前方直進方向から、右側交差路における自車両側の道路角（歩道終端）までを水平画角とする。また、関心エリア設定部１３は、図１１に示すように、ドライバ視点から見たフロントウィンドウの上端から下端までを垂直画角とする。そして、関心エリア設定部１３は、ドライバ視点を頂点、ベクトルＬを中心とし、求めた水平画角及び垂直画角から定まる四角錐を、関心エリアとして設定する。これにより、正確な形状の関心エリアを設定することが困難な場合に、簡易形状の関心エリアを設定することができる。なお、関心エリアの形状を簡易な形状としても、本実施形態では、後述する関心エリア誤差で、実際の視認対象領域と関心エリアとの差を吸収することができる。

また、交差点の自車両走行路及び交差道路の道路幅を、道路種類や交差する道路数等による交差点規模から推定してもよい。また、走行路及び交差道路の交差角度、及び交差点の中心位置（交差中心）を、一般的な道路ネットワークデータの情報を周辺状態情報として取得してもよい。

なお、水平画角の算出として、自車両の走行中レーンの前方直進方向からの自車両の回転角度を、自車両状態情報として取得した操舵角等から推定し、予め回転角度に対応して用意した水平画角を選定利用してもよい。この場合、回転角度毎に細かく水平画角を設定したテーブルを保持してもよいし、ほとんど回転していない右折開始時及び右折終了時の水平画角を決定しておき、その間の回転角度に対応した水平画角は補間により決定してもよい。回転角度毎に細かく水平画角を決定する場合には、交差点毎の形状に対応した関心エリアを設定することができ、補間を用いる場合には、簡単な計算で関心エリアを設定することができる。

図１２に、直進路における前方進行道路に設定した関心エリア、図１３に、カーブ路における前方進行道路に設定した関心エリアの一例を示す。図１２及び図１３の例では、図１４に示すように、関心エリアを楕円錐として定義しており、楕円の中心を最もドライバが視認する可能性の高い、遠方の自車両進行路に設定している。楕円の大きさは、固定値としてもよいし、任意の変動値としてもよい。例えば、高速走行時ほど、ドライバはより遠方を見る傾向があり、視線の動きが小さくなるため、関心エリアの大きさを小さく設定するなどしてもよい。

図１５〜１７に、バックミラー、右サイドミラー、及び左サイドミラーの各々に設定した関心エリアの一例を示す。図１５〜１７の例では、ドライバ視点とバックミラー、右サイドミラー、及び左サイドミラーの各々との距離をＭとした場合に、ドライバ視点からの距離Ｍの仮想平面上に各ミラーを想定した２次元の矩形形状を、関心エリアとして設定している。また、図１８に示すように、ドライバ視点を頂点、及び仮想平面上の矩形形状を底面とする３次元形状である四角錐を、関心エリアとして設定してもよい。

また、関心エリア設定部１３は、設定する関心エリアの各部分に対する重みを決定してもよい。例えば、関心エリアの中でも特に状況把握をしたい部分を求めて、後述する注視状況の推定の際、または視認評価の際に、その部分に視線方向が含まれるか否かの推定値または評価値を大きくまたは小さくするような重み付けを行うことができる。例えば、図１０に示す右折前の関心エリア（四角錐）の例では、視認の難しい右側、すなわち歩道終端側の方をより大きな重みとし、前方直進方向の重みを小さく設定することができる。または、自車両がより早く衝突する可能性を考えて、より速度の速い対向車が出現する可能性の高い前方直進方向の重みを逆に大きく設定してもよい。

また、図１２及び図１３に示す前方進行路に設定した関心エリアでは、関心エリアの中心に近いほど重みを大きく設定してもよい。この場合、より視認が必要な中心部分と、その他の周辺部分との視認状態の違いを明確に結果に反映することができる。または、自車両状態情報及び周辺状態情報の変化に応じて設定する関心エリアを更新した場合には、更新前後の関心エリアの形状を比較して、新しく関心エリアに加わった部分の重みを、より視認すべき部分として、重みを大きく設定してもよい。重みの数値は、位置と共に徐々に値が変化する連続的な値であってもよいし、例えば、「重み大、中、小」のような離散的な値であってもよい。

関心エリア誤差算出部１４は、関心エリア設定部１３で設定した関心エリアの位置及び形状の少なくとも一方の誤差を、関心エリアの精度として算出する。関心エリア設定部１３で述べた関心エリアの部分毎の重みとは異なり、関心エリア誤差は、関心エリア全体を代表する値である。関心エリア誤差算出部１４は、視認対象物に比べて明らかに簡略化した形状で関心エリアを設定した場合や、関心エリアを設定した位置が曖昧な場合などは、誤差が大きくなるように算出する。

まず、関心エリアの形状に着目した関心エリア誤差の算出について説明する。関心エリア誤差算出部１４は、関心エリア誤差を、関心エリアを設定すべき本来の視認対象物と、代替形状である関心エリアの形状との類似度として算出することができる。形状に関する関心エリア誤差は、設定する関心エリアの形状の影響を大きく受けるため、視認対象物の形状が予め決まっている場合には、設定する各関心エリアに対して予め定めた誤差を用意しておいて利用することができる。例えば、図１５〜１７に示したような車両に固定され、位置及び形状が既知のミラー群のような視認対象物に対して関心エリアを設定する場合は、関心エリアの形状を矩形で近似することによる誤差を見積もって用意することができる。

例えば、図１９に示すように、実際の車載部品を平均的なドライバから見た角度で撮像した撮像画像内の車載部品形状Ｐと、設定する関心エリアの矩形形状Ｍとを比較する。図１９の例では、撮像画像内の車載部品形状Ｐの一部が関心エリアの矩形形状Ｍと重なっており（画素群Ａ＝Ｐ ａｎｄ Ｍ）、車載部品形状Ｐの一部は関心エリアの矩形形状Ｍ外（画素群Ｂ＝Ｐ ｎｏｔ Ｍ）となっている。また、関心エリアの矩形形状Ｍの一部は車載部品形状Ｐを含まない（画素群Ｃ＝Ｍ ｎｏｔ Ｐ）。このとき、関心エリア誤差算出部１４は、例えば関心エリア誤差を、下記（３）式により算出することができる。
関心エリア誤差＝ｋ×（画素群Ｂの数＋画素群Ｃの数）
÷（画素群Ａの数＋画素群Ｂの数）
＝ｋ×（画素群Ｂの数＋画素群Ｃの数）÷（形状Ｐの画素数） （３）
ここで、ｋはｋ＞０の任意のパラメータである。

（３）式によれば、関心エリアの矩形形状Ｍと車載部品形状Ｐとの形状及び位置が異なるほど、関心エリア誤差は大きくなり、視認対象物と関心エリアとの類似度が低いことを表すことができる。

なお、ここでは説明のため便宜的に関心エリア形状Ｍは車載部品形状Ｐより小さめにしたが、視認している視線データの取りこぼしを防ぐために、車載部品形状Ｐの外接矩形として関心エリアの形状の方を大きくしてもよい。

次に、関心エリアの位置に着目した誤差について説明する。例えば、図１２及び図１３で示したように、前方進行道路に関心エリアを設定する場合を考える。この場合、自車両進行道路上の規定距離以上先の位置を視認すべき位置として、現在の自車両位置から規定距離先の道路近傍を内包する領域に関心エリアが設定される。ここで、自車両位置が異なる場合には、同時に規定距離先の道路位置も異なるため、自車両位置から見た規定距離先の道路位置、すなわち関心エリアが設定される位置も異なる。従って、自車両状態情報として取得した自車両位置に誤差がある場合には、実際の視認対象物と設定される関心エリアとの位置に誤差が生じることになる。

そこで、関心エリア誤差算出部１４は、例えば位置センサから自車両位置の測位誤差を取得できる場合には、自車両位置に基づく関心エリアと、測位誤差を加えた自車両位置に基づく関心エリアとの誤差を算出する。この結果、現在位置の測位誤差から、現在の道路環境に依存した関心エリア誤差を動的に算出することができ、測位誤差や道路環境による注視状況への影響を知ることができる。

具体的に、例えば図２０の道路形状の概略的な俯瞰図に示すように、取得された自車両の現在位置を現在位置Ａ、取得された自車両の現在位置に測位誤差を加えた位置を現在位置Ｂとする。関心エリア誤差算出部１４は、周辺状態情報として取得した道路形状を用いて、現在位置Ａ及び現在位置Ｂの各々から道路に沿って規定距離離れた視認位置Ｐ及び視認位置Ｍを求める。ここで、現在位置Ａ及び現在位置Ｂと視認位置Ｐ及び視認位置Ｍとに対して、前方向の距離（Ｌａ，Ｌｂ）と水平方向の距離（Ｗａ，Ｗｂ）とを算出する。前方向の距離は、現在位置と視認位置との間の現在位置における自車両進行方向の距離差であり、水平方向の距離は、自車両進行方向に垂直な方向の距離差である。関心エリア誤差算出部１４は、これらの距離差を用いた下記（４）式により、関心エリア誤差を算出することができる。

ここで、Ｚａ及びＺｂは、各現在位置と対応する視認位置との標高差である。また、ｋは任意のパラメータである。さらに、ｈ、ｉ、及びｊは、前方向の距離、水平方向の距離、及び標高差の各々に対応した任意のパラメータである。パラメータｈ、ｉ、及びｊを設定することにより、前方向の距離、水平方向の距離、及び標高差の各々の割合を勘案しながら、関心エリア誤差を算出することができる。例えば、図２１に示すように、水平方向の距離（誤差）は、ドライバ視点から見た場合の誤差となっても影響が大きいが、前方向の距離（誤差）は、あまり大きな誤差になって見えない。より具体的には、１００ｍ前方の地点であっても、５０ｍ前方の地点であっても、ドライバ視点から見れば、同じく消失点付近の地点となるため、設定される関心エリアの位置にも誤差が生じ難い。このような誤差による影響を考慮して、パラメータｈ、ｉ、及びｊを設定することで、関心エリア誤差をより正確に算出することができる。

また、（４）式は一例であり、位置に関する関心エリア誤差の算出式は（４）式に限定されない。例えば標高の情報を取得できない場合には標高差を省略するなどしてもよい。なお、標高の情報は、自車両状態情報として位置センサから取得した情報を用いてもよいし、地図データベース等の標高データと現在位置とから算出してもよい。

また、上記では、２つの視認位置の実際の位置の違いから、誤差を算出する場合について説明したが、関心エリア誤差算出部１４は、例えば、実際の位置差をドライバ視点から見た見かけの位置差に変換してから、関心エリア誤差を算出してもよい。見かけの位置差を用いることで、より視線データを用いた解析に則した関心エリア誤差を算出することができる。

例えば、図２２に示すように、関心エリア誤差算出部１４は、世界系の水平方向の距離を、ドライバ視点位置に配置した任意画角及び任意俯角の仮想カメラから、自車両の前方進行方向を撮像した撮像画像における位置差に変換して、関心エリア誤差を算出する。なお、世界系とは、実世界における座標系である。世界系における位置に対応した仮想カメラによる撮像画像における位置は、３次元ＣＧ等で使われる座標変換及び透視投影手法等を用いて幾何学的に算出することできる。

例えば、図２２に示すように、実世界での高さｈの位置に配置され、かつ水平からの見おろし俯角θ度の仮想カメラから見た実世界の物体の座標を、カメラ系の表現に変換すると、例えば下記（５）式となる。なお、世界系は、仮想カメラ真下の路面位置を原点とし、鉛直方向をＺ軸とする。また、カメラ系は、仮想カメラ位置を原点とし、仮想カメラの見おろし方向をｚ軸とする。

ここで、（ｘ，ｙ，ｚ）は、カメラ系での位置を表し、（Ｘ，Ｙ，Ｚ）は世界系での位置を表す。（５）式から、仮想カメラ位置を原点とするカメラ系における物体の位置が分かるので、このカメラ系の三次元位置を、さらに仮想カメラの撮像面に想定した仮想画像平面に映る二次元位置に変換する。この変換は、例えば下記（６）式に示す中心射影により行うことができる。

ここで、（ｓ，ｔ）は仮想画像平面の座標系であり、ｓが仮想画像横軸、ｔが仮想画像縦軸を意味する。ｆは仮想カメラの焦点距離であり、仮想カメラ位置であるカメラ系の原点と仮想画像との距離である。２つの視認位置Ｍ及び視認位置Ｐの各々を、例えば（６）式等を用いて、仮想画像上の位置Ｍ’＝（Ｓｍ，Ｔｍ）及びＰ’＝（Ｓｐ，Ｔｐ）に変換する。そして、それらの位置差（Ｓｍ−Ｓｐ）、（Ｔｍ−Ｔｐ）等を用いて、例えば下記（７）式に示すような関心エリア誤差を算出することができる。

ここでｋは任意のパラメータである。なお、（７）式は、見かけの位置差を用いた関心エリア誤差の一例であって、これ以外の式を用いて関心エリア誤差を算出してもよい。例えば、仮想画像のサイズ（画素サイズ）を決め、上記画像上の位置をさらに画面上の画素に変換してから誤差を算出してもよい。また、仮想画像上の位置差を、仮想画像のサイズで割って、仮想画像のサイズに対する比にしてから、誤差を計算してもよいし、他の変換式を用いてもよい。

さらに、視認位置Ｍ及び視認位置Ｐの仮想画像での見かけの位置Ｍ’及びＰ’が、（Ｓｍ，Ｔｍ）、（Ｓｐ，Ｔｐ）として算出できたので、図２３に示すように、それぞれの見かけ位置に対して設定した関心エリアの面積差を用いて誤差を算出してもよい。例えば、下記（８）式により誤差を算出することができる。
誤差＝ｊ×（関心エリアの重ならない部分の面積和）÷関心エリアの面積
＝ｊ×（面積Ａ＋面積Ｂ）÷ 面積Ｍ （８）

ここで、ｊは任意のパラメータである。なお、この式を厳密に計算しようとすると、図２３の例では、２つの楕円の交差面積を算出する必要がある。この計算は複雑であるため、より簡略化した概算値で関心エリア誤差を算出してもよい。例えば、関心エリアの外接矩形の縦幅及び横幅を利用し、下記（９）式により関心エリア誤差を算出してもよい。
誤差≒ｓ×（関心エリアの横位置差÷関心エリアの横幅）
×（関心エリアの縦位置差÷関心エリアの縦幅） （９）

ここで、ｓは任意のパラメータである。なお、（９）式の場合、関心エリア同士が交差しない場合には、どこまでも誤差が大きくなるという性質があるため、誤差の範囲を適当な値、例えば２以下のように限定しておくとよい。

以上のように、２つの視認位置の位置差の評価に、実際の位置差を用いた例と、各視認位置をドライバ視点から撮像する仮想的カメラを介した見かけの位置差を用いた場合について説明した。後者は、ドライバから見た見かけの位置差を求めるため、前者の場合において、例えば（４）式で用いたパラメータｈ、ｉ、及びｊを適切に設定した場合と同様の関心エリア誤差を算出することができる。実際には、前方向の距離の差が及ぼす見た目に対する影響は一定ではなく、近くの距離同士の差（例えば、２ｍと５ｍ）の方が、遠くの距離同士の差（例えば５０ｍと５５ｍ）より大きく影響する。すなわち、見かけの位置差を用いた関心エリア誤差に対する寄与は、同じ前方向の距離の差でも、近くの距離同士の方が大きくなる。このような影響を考慮してパラメータｈ、ｉ、及びｊを適切に設定するのは困難であるが、後者の見かけの位置差を用いた関心エリア誤差は、その影響の差を含めて関心エリア誤差を算出できるという利点がある。

なお、関心エリア誤差の算出方法は上記の方法に限定されない。例えば、視認位置の縦位置差及び横位置差の各々対して、差が大きいほど関心エリア誤差が大きくなる任意の誤差算出式を予め用意しておいてもよい。また、縦位置差及び横位置差の各々に対応する関心エリア誤差をテーブルとして保持しておいてもよい。また、このテーブルを、道路の曲率毎に用意すれば、より簡単に関心エリア誤差を算出することができる。

位置に着目した関心エリア誤差は、例として説明した前方進行道路の関心エリアだけでなく、例えば信号や右側視認領域など、自車両位置を用いて関心エリアを設定する場合に適用することができる。また、バックミラーやサイドミラーなど、ドライバ視点を用いて関心エリアを設定する場合にも適用することができる。それぞれ、上述の方法にて、発生する可能性のある位置差そのもの、またはドライバ視点からの見かけの位置差から、関心エリア誤差を算出すればよい。

上述したような位置に着目した関心エリア誤差を算出することで、正確な自車両位置及びドライバ視点と注視対象領域との位置関係が測定し難い場合などにも、関心エリアの位置誤差を様々な関心エリアについて算出して考慮することができる。

また、関心エリアの形状に着目した関心エリア誤差、位置に着目した関心エリア誤差以外にも、ドライバ属性（年齢や熟練度等）によって関心エリアが変わる場合の誤差をさらに考慮してもよい。

例えば、ドライバ属性の違いとして、現在位置は同じだが、関心エリアとなる視認対象地点までの規定距離が異なる場合を考える。この場合、予め定めた一般ドライバに対応した規定距離Ｌを用いた視認位置と、実際のドライバ属性に応じた規定距離Ｌ’を用いた視認位置との差に基づいて、関心エリア誤差を算出することができる。

規定距離Ｌは、実際の走行実験等によって統計的に算出しておく。例えば、同じカーブ曲率の道路に対して、走行実験を行って、ドライバの視線がどこに集中し易いかを多数のドライバに対して調べ、平均的な視線の集中位置とドライバ視点との距離を、一般ドライバに対応した規定距離Ｌとする。さらに、このときの規定距離Ｌのばらつきを、実験時の道路のカーブ曲率における、実際のドライバ属性に対応した規定距離Ｌ’と一般ドライバに対応した規定距離Ｌとの距離誤差として保持する。すなわち、規定距離Ｌの標準偏差を、距離誤差とする。カーブ曲率等の周辺状況を変化させて、規定距離Ｌ及び距離誤差を算出しておき、この値を関心エリア誤差算出に利用する。

より具体的には、関心エリア設定時の周辺状況（カーブ曲率等の道路環境）によって、最も近い周辺状況下で決定したデータを保持するデータ群から探し、その規定距離Ｌ及び距離誤差を用いる。このとき、位置関係をそのまま利用して関心エリア誤差を算出する場合には、距離誤差をそのまま使って関心エリア誤差を算出してもよい。これにより、関心エリア誤差の算出コストを大幅に減らすことができる。一方、ドライバからの見かけの位置差に変換して関心エリア誤差を算出してもよい。この場合には、規定距離Ｌを用いた視認位置の見かけ位置と、その規定距離Ｌに距離誤差を付加した位置を用いた視認位置の見かけ位置との、現在の道路状況に沿った差を、ドライバ視点から見た位置差に変換して関心エリア誤差を算出する。現在の周辺状況（道路形状）に当てはめて関心エリア誤差を算出することができるため、より精度の高い関心エリア誤差を算出することができる。

なお、予め実際のドライバ属性が分かっている場合には、規定距離Ｌは、そのドライバ属性のドライバ群によって統計的に算出された値を用いることができる。ドライバ属性が分からない場合には、標準的と思われるドライバ群によって統計的に算出された値を用いてもよい。この場合、距離誤差は標準ドライバ群内でのドライバ距離誤差を用いてもよいし、標準ドライバ群以外のドライバ群も含めた距離誤差を用いてもよい。あるいは、一般ドライバの関心エリアを設定する代わりに、よりドライバ属性に依らない関心エリアとするため、様々なドライバ属性に対応した規定距離を網羅した大きな関心エリアを設定することが考えられる。この関心エリアを使うとドライバ属性に依らない視認率を算出することができるが、関心エリアが本来の大きさより大きいため、算出した視認率の信頼性は低下する。このような場合には、関心エリアを設定する際に想定したドライバ属性群内のドライバ距離を網羅した距離誤差を用いて関心エリア誤差を算出することで、後述する注視状況の推定時の信頼度の一部として、このような信頼性の低下を把握することができる。

なお、ここまでは関心エリアである視認対象までの距離を、様々なドライバ属性による変化を考慮して算出する例を述べたが、関心エリアに関する距離以外のパラメータについて、ドライバ属性を考慮してもよい。すなわち、一般ドライバの規定距離Ｌ、及び距離Ｌにおける距離誤差を、任意のパラメータ、及びドライバ属性によるそのパラメータの変化による誤差に読み替えることができる。これによりドライバ属性に合致した関心エリア及び関心エリア誤差を算出することができる。

関心エリア誤差算出部１４は、判定時間内に少なくとも１回、関心エリア誤差を算出する。算出頻度は任意であってよい。例えば、運転シーンの切り替え時にのみ算出してもよいし、関心エリアの設定が更新される毎に算出してもよいし、後述する注視状況の推定時に合わせて算出してもよい。

１つの判定時間が終了すると、運転シーンが終了または別の運転シーンに切り替わらない限り、再び同じ運転シーンに対する次の判定時間が開始するため、判定時間内で一度も運転シーンが切り替わらないこともあり得る。従って、運転シーンの切り替え時にのみ関心エリア誤差を算出する設定において、判定時間内に運転シーンの切り替えが検出されなかった場合には、別の判定時間で算出した誤差を流用してもよい。また、各判定時間内で必ず一度は関心エリア誤差を算出するような条件を加えておいてもよい。

関心エリア誤差の算出頻度を増やすほど、算出する関心エリア誤差の精度は向上するが、計算コストが高くなるため、他の構成要素、及び他のアプリケーション等の計算状況に応じて、算出頻度を変更するようにしてもよい。算出頻度は、評価内容や関心エリアの種類に応じて予め決めておいてもよいし、自車両状態情報及び周辺状態情報に基づいて決定してもよい。例えば、自車両が規定速度以上で動いているときだけ関心エリア誤差を算出するようにしてもよい。また、この算出頻度を予め複数決めておき、適宜何らかのルール、例えば自車両速度や他の計算負荷量、周辺の道路形状や地形、周辺移動物の存在有無等で切り替えてもよい。

なお、関心エリア誤差の算出タイミングは、少なくとも、関心エリアの設定が更新されるタイミング以上であることが望ましい。設定される関心エリアの位置及び形状は、自車両状態情報や周辺状態情報に依存するため、厳密には、時刻経過と共に関心エリアの位置及び形状も変化する。そこで、関心エリアの位置及び形状を厳密に変化させる代わりに、関心エリア誤差の算出頻度を上げてもよい。この場合には、関心エリア誤差の算出は、関心エリアの設定が更新されるタイミングより頻繁にする必要があるが、可能な限り頻繁に計算した方が、視認評価の精度が向上する。

関心エリア誤差算出部１４は、判定時間内で複数回関心エリア誤差を算出した場合には、各タイミングで算出した関心エリア誤差を纏めて、判定時間全体での総関心エリア誤差を算出する。総関心エリア誤差は、例えば、判定時間内に算出された複数の関心エリア誤差の平均値、最大値、最小値、中間値、最頻値等の統計値とすることができる。統計値としては、例えば、判定時間の中ほど、あるいはより最近の判定時間に近いほど重みが大きくなるように重み付けした重み付け平均値等を用いてもよい。

注視状況推定部１５は、関心エリア設定部１３により設定された関心エリアと、判定時間内に取得された視線データが示す視線方向とに基づいて、関心エリアに対するドライバの注視状況を推定する。判定時間は、図７に示すように、運転シーン決定部１２により決定された運転シーンに応じて定まる。

具体的には、注視状況推定部１５は、判定時間内において、関心エリアに所定の種類の視線が内包される時間、数、関心エリア内の占有率等に基づいて、関心エリアに対するドライバの注視状況を推定する。「視線が内包される」とは、視線データが示す視線を、ドライバ視点を始点とするベクトルで表し、このベクトルが３次元形状の関心エリアに内包される場合、または２次元形状の関心エリアと交差する場合をいう。注視状況推定部１５は、例えば、下記の注視率１、注視率２、注視時間３、及び関心エリアのどれだけを視線が網羅したかを示す占有率４のいずれかを、注視状況として算出する。

注視率１＝判定時間内で関心エリアに内包される種類Ａの視線データ数
÷判定時間内の種類Ｂの視線データ数
注視率２＝判定時間内で関心エリアに内包されない種類Ａの視線データ数
÷判定時間内の種類Ｂの視線データ数
注視時間３＝判定時間内で関心エリア内に種類Ａの視線データが内包される時間の総和
÷判定時間の種類Ｂの視線データの出現時間の総和
占有率４＝判定時間内の種類Ａの視線データ群の平均位置を中心とする形状Ｕと
関心エリアとの重畳面積または重畳体積÷形状Ｕの面積または体積

種類Ａの視線データとしては、例えば、判定対象の視線データ、すなわち、有効性が「有効」かつ視線種別が「サッカード」以外の視線データとすることができる。この場合の種類Ｂの視線データは、種類Ａと同じ種類の視線データ、有効性が「有効」の視線データ、または全ての視線データとすることができる。

注視状況推定部１５は、占有率４の算出として、例えば、判定時間内の種類Ａの視線データの各々の示す視線方向と関心エリアとの交差位置の平均位置を中心とし、その交差位置の標準偏差を半径とする円を形状Ｕとして求める。またはその円を底面、ドライバ視点を頂点とする円錐を形状Ｕとして求める。そして、注視状況推定部１５は、求めた円または円錐に対して、関心エリア設定部１３により設定された関心エリアが重畳する部分の割合を求めることにより、占有率４を算出する。

注視率１、注視率２、注視時間３、及び占有率４の式は、判定時間内で判定対象の視線が関心エリアにどれだけ内包されるか示す式であり、これらの式に基づいて、判定時間内においてドライバが関心エリアを実際に注視したか否かを推定する。

なお、注視率１、注視率２、注視時間３、及び占有率４の式において、種類Ａの視線データを、有効な視線データとする場合には、サッカード視線も含まれる。一般的な注視領域の解析では、取得された視線データの全てを解析に用いるのではなく、脳で認識可能な状態の視線を示す視線データが用いられる。すなわち、意識的に見た視線を用いて注視状況を推定するため、取得した視線データからサッカード視線を示す視線データを除去し、固視及びスムースパーシュートを示す視線データだけを解析に利用する。従って、種類Ａの視線データにサッカード視線も含まれる場合には、「意識的に見た注視状況を推定する」ために、後述する視線構成状況算出部１６により算出される視線構成状況を加えた信頼度を用いて、後述の視認評価部１９での最終評価を行うことが望ましい。

なお、関心エリア設定部１３において、関心エリアの部分毎に重みが設定されている場合には、注視状況推定部１５は、重みの大きな部分に視線が含まれる場合には、注視状況の推定値を大きくまたは小さくするよう推定してもよい。この場合、注視状況推定部１５は、例えば、前述した注視率１を下記のように算出する。
注視率１＝判定時間内でのＦの合計値÷判定時間内の判定対象の視線データの総数
Ｆ＝Σ｛δ（判定対象の視線データｉが示す視線が関心エリアに内包されるか）
×（判定対象の視線データｉが示す視線を内包する関心エリアの部分の重み）｝

ここでΣは、ｉ＝０〜Ｎの和を意味し、Ｎは判定時間内の判定対象の視線データの数であって、判定時間内の判定対象の視線データの全てへの処理の和を行うことを意味する。また、δ（条件）は、条件を満たす場合には１、満たさない場合は０となる関数を意味する。注視率２、注視時間３、及び占有率４も同様にして、関心エリアに内包される種類Ａの視線データに対して、重みを適用してから算出してもよい。この重みを、後述する視線構成状況算出部１６等とペアで用いることで、大まかに関心エリアを設定した場合でも、関心エリアの中心などの任意部分の注視状況を重視して、視認評価を行うことができる。

また、判定時間内の判定対象の各視線データが、実際に判定時間内のいつ取得されたデータであるかを利用した時間に関する重みを考えて、前述した注視率１、注視率２、注視時間３、及び占有率４を計算してもよい。例えば、より最近の視線データに近い方が、より重みが大きくなるようにすれば、長い判定時間内でも最近の視線状況をより強く反映した値とすることができる。例えば、注視率１を下記のように算出する。

注視率１＝判定時間内でのＧの合計値÷判定時間内の判定対象の視線データの総数
Ｇ＝Σ｛δ（判定対象の視線データｉが示す視線が関心エリアに内包されるか）
×（判定対象の視線データｉを取得した時刻の重み）｝

ここでΣ及びδ（条件）の意味は同じである。（判定対象の視線データｉを取得した時刻の重み）とは、（時刻Ｔｎでの重み）として下式で示した式を用いて、Ｔｎを視線データｉを取得した時刻と見做して算出する。
時刻Ｔｎでの重み＝時刻Ｔｓの重み＋（時刻Ｔｅの重み−時刻Ｔｓの重み）
×（時間差Ｔｎ−Ｔｓ）÷｛（時間差Ｔｅ−Ｔｓ）×ｋ｝
ｋ＝判定時間内で取得データ総数×（時刻Ｔｅの重み−時刻Ｔｓの重み）÷２

時刻Ｔｎとは、重みを算出したい視線データｉを取得した時刻を示し、時刻Ｔｅは判定時間内で最も最近の時刻であって多くは現在時刻を示し、時刻Ｔｓは判定時間内で最も古い時刻であって多くは判定時間の開始時の時刻を示す。時刻Ｔｅの重みと時刻Ｔｓの重みは予め設定した値であり、例えば１．０と０．６のように設定する。ｋは判定時間内の全時刻の重みの総和が１になるように正規化を行う際に用いる値であり、特に正規化を必要としない場合は省略して１．０と見做しても構わない。

ここで示した時刻Ｔｎでの重みの算出式は、時刻の経過に比例した線形補間を用いて各時刻の重みを算出するが、それ以外の重み算出式としてもよい。あるいは、重みの算出を省略するために、あらかじめ用意した重み値のテーブルを用いて、重み値を取得してもよい。いずれにしても、判定時間の開始時刻と、終了時刻と、現在時刻のいずれかと、視線データｉを取得した時刻との時間差を用いて、重みを取得する。

注視率２、注視時間３、及び占有率４も同様にして、視線データの取得された時間に応じた重みを適用してから算出する。

視線構成状況算出部１６は、判定時間内に取得された複数の視線データの種類に応じた含有率に基づいて、視線データの構成状況を算出する。具体的には、視線構成状況算出部１６は、判定時間に取得された有効な視線データ数、判定対象の視線データ数、または判定時間に取得された視線データ群の各々が示す視線位置に関する統計値を用いて、判定時間内の視線データの構成状況を算出する。なお、統計値としては、平均値、分散値、偏差値等を用いることができるがこれに限定されない。

例えば、視線構成状況算出部１６は、種類Ａの視線データについて、下記の含有率１〜４を算出する。

ここで、ｋは任意のパラメータである。また、条件「ｉ＝Ａ」は、「視線データｉの種類＝種類Ａ」を表す。また、条件「左視線」は、「視線データｉが左眼の視線を示す有効な視線データを保持している」を表す。また、条件「右視線」は、「視線データｉが右眼の視線を示す有効な視線データを保持している」を表す。種類Ａの視線データは、有効な視線データ、判定対象の視線データ、判定対象外の視線データ（有効かつサッカード）等、視線構成状況を把握したい任意の種類とすることができる。

「補間の有無による重み」とは、視線データ判定部１１で値が補間された視線データより、視線センサ９１から出力された時点で有効な視線データの方が、値が大きくなるような重みである。例えば、最初から有効な視線データは１．０、値を補間して有効な視線データとなった場合は０．９のような、任意の値を設定することができる。補間の有無で含有率に対する重み付けをすることで、視線センサ９１から取得した時点での視線データの情報を、視線構成状況の情報として反映することができる。また、重み付けを利用するのではなく、視線データを取得した際の有効または無効の情報に基づいて算出した含有率と、補間後の含有率との２つから、最終的な含有率を求めてもよい。例えば、それら２つの含有率の平均値を最終的な含有率とすることができる。

含有率４は、視線センサ９１が左右の視線をそれぞれ測定できる場合に用いる。種類Ａの視線データが、左眼の視線を示す有効な視線データを保持する場合は、δ（左視線）＝１となる。同様に、種類Ａの視線データが、右眼の視線を示す有効な視線データを保持する場合は、δ（右視線）＝１となる。２つのδ（）の和をとることで、左右両方の有効視線があれば２、片方なら１、両方なければ０という値となる。この結果、左右両方の視線を得た種類Ａの視線データが多いほど、含有率４が大きくなり、視線データを取得した際の視線センサ９１の測定状況が良好だったか否かを、間接的に把握することができる。

ここで、含有率１、含有率２、及び含有率４は、注視率と同様に、（計算に用いる判定対象の視線データｉを取得した時刻での重み）を用いて、算出してもよい。例えば、注視率と同様に、最も最近取得された視線データの重みを重くすることで、最近取得した視線の状況をより重視した値を算出する。注視率と同じ取得時間に関する重みを用いて算出すれば、注視率と含有率の値に整合性をとることができる。下式は、取得時間に関する重みを用いた場合の、含有率１、含有率２、及び含有率４を示す。

信頼度算出部１７は、関心エリア誤差算出部１４により算出された関心エリア誤差、及び視線構成状況算出部１６により算出された視線データの構成状況の少なくとも一方に基づいて、注視状況推定部１５による注視状況の推定結果の信頼度を算出する。

例えば、信頼度算出部１７は、下記（１０）式を用いて、信頼度を算出する。
信頼度＝ｔ×（含有率のいずれか）
＋（１−ｔ）×（１／総関心エリア誤差） （１０）

ここで、「含有率のいずれか」とは、上記の視線構成状況算出部１６で視線データの構成状況として算出された含有率１〜４のいずれかである。また、ｔは、０≦ｔ≦１の任意のパラメータである。ｔを用いることで、信頼度としてより重視したいのが視線構成状況なのか、関心エリア誤差なのかを考慮して、信頼度を算出することができ、信頼度を用いた最終視認評価をより意図にあった形で実施することができる。なお、図７の例において、「信頼度算出条件」欄の「構成」は、視線データの構成状況のみを用いて信頼度を算出する場合を示し、「構成＋エリア」は、視線データの構成状況及び関心エリア誤差の両方を用いて信頼度を算出する場合を示す。

なお、視線データの構成状況として含有率を１つだけ使うのではなく、複数の含有率を用いてもよい。含有率を２つ使う場合には、下記（１１）式に示すように、任意のパラメータを用いて、２つの含有率を１つの値に纏めることができる。
信頼度＝ｓ×（含有率１）＋ｔ×（含有率２）
＋（１−ｓ−ｔ）×（１／総関心エリア誤差） （１１）

ここで、ｓ及びｔは、０≦ｓ≦１、０≦ｔ≦１、０≦（ｓ＋ｔ）≦１の任意のパラメータである。なお、含有率が３つ以上の場合も同様に、任意のパラメータを用いて３つの含有率を１つの値に纏めることができる。

ところで、従来技術におけるクラスタリング後の視線（Ｇｌａｎｃｅ）を用いた解析は、図２４に示すように、該当の対象領域への視線の移動時間も含めて対象領域に対する視認時間とする。そのため、車載機器のユーザインタフェースで「どれだけ該当の関心エリアを見るのに時間がかかるのか」を設計評価するための視認評価等には有用である。しかし、運転に必要な場所を意識的に「正しく認識しているか」といった視認評価には、該当の関心エリア内での視線停滞時間のみが関わり、関心エリア間の視線の移動時間は必要ないため、有用ではない。

そこで、分類済の生視線データ（Ｇａｚｅ）を用いた視線データ解析手法を用いることが考えられる。しかし、この場合、従来技術では、単純に全固視データ数における該当の関心エリア内の固視データの割合を用いるため、判定時間内に固視がどれだけ発生したのか、また無効な視線データがどれだけ発生したのか、ということは特に勘案されていない。そのため、例えば図２５に示すように、判定時間でサッカードと固視とが共存して、実際には固視がほとんど発生していない場合と、固視がほとんどを占める場合とで、同じ「注視率」として解析されてしまう。すなわち、一方は、判定時間内の３０個の視線データのうち、固視を示す視線データが１つしかなく、その１つが該当の対象領域への視線であるとする。他方は、判定時間内の３０個の視線データ全てが固視を示す視線データであり、それらの３０個全てが該当の対象領域への視線であるとする。この場合、両ケースの該当の対象領域に対するドライバの「注視率」は同じになる。このため、実際には固視が少なくほとんど「意識的に見ていない」時間区間に対しても、ほとんど「意識的に見た」時間区間と同じ注視状況の推定結果になってしまう場合がある。

さらに、従来技術は、対象領域として、車載機器及び各種ミラー、運転時に見ることが必須な前方領域を定義して、視認時間を解析するが、設定した対象領域自体の位置及び形状の誤差が及ぼす影響は配慮されていない。特に、各対象領域のうち、運転中に前方以外を見ていたという脇見の判定には、車両前方の対象領域内の視線状況を得ることが重要である。このような対象領域は車載機等に関する対象領域とは異なり、車に固定されている領域ではなく、周辺環境（進行道路の形状、周辺車両状況等）、及び自車両の走行状態（位置、速度、操舵状況等）等に領域の形状及び位置が依存する。すなわち、走行によって大きく変化する領域であるため、対象領域の厳密な決定が非常に困難である。

この誤差については、視線が領域内外のどちらになるかという二値化により吸収することが考えられる。しかし、カーブ路のように自車両位置が少しでもずれると前方道路のどこを見て運転しているかが大きく変わる場合や、運転シーンによっては、ドライバ視点の個人差が大きく一意に決まらない場合がある。このような場合には、対象領域の位置及び形状に大きな誤差が出るため、対象領域境界近傍の視線が対象領域内外のどちらになるかという二値化で吸収できるごく微妙な誤差ではない。さらに、「見たかどうか」の二択の評価ではなく、「どのように見ているのか」という評価を行う場合には、二値化を使った誤差吸収は適用できないという問題がある。

本実施形態では、信頼度算出部１７が、設定された関心エリアの位置及び形状に関する関心エリア誤差、及び判定時間内の視線データの構成状況に基づいて、推定した注視状況がどの程度信頼できるものなのかを示す信頼度を算出する。このため、上記のような問題も把握した上で、注視状況の推定結果に基づいて、視認評価を行うことができる。

使用可否決定部１８は、注視状況推定部１５により推定された判定時間毎の注視状況の推定結果について、後述する視認評価部１９における視認評価での使用可否を、信頼度算出部１７で算出された信頼度と信頼度閾値とを比較して決定する。視認評価で使用不可と決定された注視状況の推定結果について、以後の処理を省略することで、信頼度が低いのに視認評価を行って、間違った評価結果を出力し、評価結果の利用側で過剰な反応を行うことを避けることができる。例えば、信頼度の低い推定結果に基づいて、視認不足（脇見）が過検知されてしまい、ドライバ支援動作であるドライバへの警告音が過剰に発生されてしまうことを回避することができる。なお、過検知による過剰反応発生という煩わしさは問題とせず、未検知を防止することをより重視する場合には、信頼度と比較する信頼度閾値を低く設定しておいてもよいし、使用可否決定部１８自体を省略してもよい。また、使用可否決定部１８は、運転シーンによって、過剰検知への対応を動的に変化させることもできる。この場合、運転シーン毎に信頼度閾値を設定すればよい。

また、評価内容に複数の関心エリアが対応している場合には、信頼度閾値をやや低めに設定しておく。関心エリアが複数存在する場合には、必然的に視線移動が起こり易くなるため、視線移動に伴う信頼度低下を許容するためである。

また、注視傾向に個人差の多い運転シーンの評価内容に対しては、信頼度が多少低下しても許容するよう、信頼度閾値を低めに設定しておいてもよい。注視傾向に個人差の多い運転シーンの評価内容とは、図７の例では、カーブ路走行の前方視認評価Ｑや、信号位置の特定に誤差が発生し易い信号視認評価Ｔ、右折視認の関心エリアが大雑把で誤差が出易い右折視認評価Ｕなどである。

また、車載機器の視認において、同じミラーでも、車線変更前に視認するバックミラーは、見方にそれほど個人差がないが、後退時はドライバが姿勢を大きく変えてバックミラーを見る可能性が高い。そのため、ドライバの姿勢による無効な視線データ及び非判定対象の視線データの発生が増加する。そこで、ドライバの姿勢による視線方向の推定精度の悪化を考慮し、後者の信頼度閾値をより低めとしてもよい。

また、車線変更前の後側方視認評価Ｘは、右サイドミラーを関心エリアとしているが、姿勢を変化させた目視視認に代用される可能性もあり、ドライバの姿勢による視線方向の推定精度の悪化を考慮し、信頼度閾値をやや低めとしてもよい。

また、「渋滞路走行中」の運転シーンの漫然視評価Ｒについては、漫然状態でない場合には、ある程度の視線移動が起きるという一般的な知見が存在する。そこで、より視線移動が起きて、視線構成状況に非判定対象の視線データ（サッカード）の割合が増える場合にも視認評価を実施するように、信頼度閾値をやや低めに設定してもよい。なお、「渋滞路走行中」の運転シーンでは、２つの評価内容が定められており、各関心エリアが同じであるが、前方視認評価Ｐ’に対する信頼度閾値は、漫然視評価Ｒに対する信頼度閾値よりも高くしてもよい。

以上の信頼度閾値の設定は、一例であり、高め、低めの任意の値で設定してよい。また、運転シーンに応じて決定するのではなく、さらに詳細な自車両状態情報及び周辺状態情報を加えて、信頼度閾値を設定してもよい。例えば、高速道路直進中の運転シーンにおいて、自車両速度がより高速になるほど、信頼度閾値をやや低めに変更し、未検知重視の視認評価が行えるようにしてもよい。また、周辺移動体の数が増えるほど（渋滞になるほど）、信頼度閾値をやや低めに変更してもよい。

また、使用可否決定部１８は、対象の判定時間の信頼度を使うだけでなく、近傍の判定時間から対象の判定時間までの信頼度の変化を用いて、対象の判定時間における注視状況の推定結果の使用可否を決定してもよい。例えば、前の判定時間では高かった信頼度が、現判定時間で急に下がった場合は、視線移動が大きく変化したと見做して、視認評価の実施を見送ってもよい。また、信頼度閾値未満の略同じ信頼度が所定回数以上連続した場合には、視認評価で使用可となるように、信頼度閾値を変更してもよい。信頼度の時間経過に伴う変化から、一時的な信頼度の低下を検出することで、ドライバの大きな姿勢変化や突発的な測定環境悪化によるセンサ誤差の増大の可能性が高い場合に、視認評価を行わないようにすることができる。

視認評価部１９は、連続する複数の判定時間の各々の注視状況の推定結果のうち、使用可否決定部１８で使用可と決定された推定結果が示す注視状況に基づいて、運転シーンに応じたドライバの視認行動を評価する。

例えば、視認評価部１９は、使用可否決定部１８で使用可と決定された推定結果のうち、関心エリアへの注視不足を示す推定結果が発生した場合に、「関心エリア外への脇見の可能性あり」と判定する。そして、視認評価部１９は、「関心エリア外への脇見の可能性あり」の状態が、予め定めた所定回数連続して発生した場合に、「脇見である」と判定し、「脇見である」旨の視認評価結果を出力する。出力された視認評価結果は、ドライバへの警報を出力する警報装置等の支援装置へ入力され、ドライバへの支援が行われる。

なお、視認評価部１９は、評価対象の注視状況が所定回数連続しているか否かを判定する際に、使用不可の推定結果が発生した場合、すなわち、不連続が発生した場合には、例えば、以下の選択肢のいずれかにより評価を行う。

１．連続中の推定結果とは異なる推定結果が発生したものと見做す
（今回は不連続と見做す）
２．連続中の推定結果と同じ推定結果が続行しているものと見做す
（今回も連続と見做す）
３．今回発生した使用不可の推定結果をスキップし、連続状態を継続する
（今回はなかったものと見做す）

３の場合には、図２６に示すように、評価開始から、判定時間の所定回数分に相当する時間経過した時刻、すなわち、本来の評価終了予測時刻を、スキップした分の判定時間の推定結果も視認評価に加えるように延長する。

いずれの選択肢を用いるかは、視認評価結果を用いて、どのようなドライバ支援を行うのか等を考慮して選択することができる。

視認評価を行う際の注視状況の推定結果の連続数の所定回数は、予め定めた固定値としてもよいし、信頼度を用いて調整してもよい。例えば、信頼度が低いときは、所定回数を多くして、評価時間を長くする。一方、信頼度が高いときは、所定回数を少なくして、評価時間を短くする。これにより、従来はなかった関心エリア誤差、及び視線データの構成状況に基づく信頼度が低い注視状況の推定結果しか存在しない場合でも、評価時間を長めにとることができるため、過検知を抑えることができる。

運転支援装置１０は、例えば図２７に示す車載コンピュータ４０で実現することができる。車載コンピュータ４０はＣＰＵ４２、メモリ４４、不揮発性の記憶部４６、入出力インタフェース（Ｉ／Ｆ）４７、及びネットワークＩ／Ｆ４８を備えている。ＣＰＵ４２、メモリ４４、記憶部４６、入出力Ｉ／Ｆ４７、及びネットワークＩ／Ｆ４８は、バス４９を介して互いに接続されている。運転支援装置１０には、入出力Ｉ／Ｆ４７またはネットワークＩ／Ｆ４８を介して、視線センサ９１、自車両状態取得センサ９２、及び周辺状態取得センサ９３が接続されている。

また、記憶部４６はＨＤＤ(Hard Disk Drive)やフラッシュメモリ等によって実現できる。記録媒体としての記憶部４６には、車載コンピュータ４０を運転支援装置１０として機能させるための運転支援プログラム５０が記憶されている。また、記憶部４６は、視線データ格納領域６０を有する。ＣＰＵ４２は、運転支援プログラム５０を記憶部４６から読み出してメモリ４４に展開し、運転支援プログラム５０が有するプロセスを順次実行する。

運転支援プログラム５０は、視線データ判定プロセス５１、運転シーン決定プロセス５２、関心エリア設定プロセス５３、関心エリア誤差算出プロセス５４、注視状況推定プロセス５５、及び視線構成状況算出プロセス５６を有する。また、運転支援プログラム５０は、信頼度算出プロセス５７、使用可否決定プロセス５８、及び視認評価プロセス５９を有する。

ＣＰＵ４２は、視線データ判定プロセス５１を実行することで、図１に示す視線データ判定部１１として動作する。またＣＰＵ４２は、運転シーン決定プロセス５２を実行することで、図１に示す運転シーン決定部１２として動作する。またＣＰＵ４２は、関心エリア設定プロセス５３を実行することで、図１に示す関心エリア設定部１３として動作する。またＣＰＵ４２は、関心エリア誤差算出プロセス５４を実行することで、図１に示す関心エリア誤差算出部１４として動作する。またＣＰＵ４２は、注視状況推定プロセス５５を実行することで、図１に示す注視状況推定部１５として動作する。またＣＰＵ４２は、視線構成状況算出プロセス５６を実行することで、図１に示す視線構成状況算出部１６として動作する。またＣＰＵ４２は、信頼度算出プロセス５７を実行することで、図１に示す信頼度算出部１７として動作する。またＣＰＵ４２は、使用可否決定プロセス５８を実行することで、図１に示す使用可否決定部１８として動作する。またＣＰＵ４２は、視認評価プロセス５９を実行することで、図１に示す視認評価部１９として動作する。

これにより、運転支援プログラム５０を実行した車載コンピュータ４０が、運転支援装置１０として機能することになる。車載コンピュータ４０が運転支援装置１０として機能する場合、視線データ格納領域６０は、図１に示す視線データ格納部２０として機能する。

なお、運転支援装置１０は、例えば半導体集積回路、より詳しくはＡＳＩＣ（Application Specific Integrated Circuit）等で実現することも可能である。

次に第１実施形態の作用として、車載コンピュータ４０のＣＰＵ４２によって運転支援プログラム５０が実行されることで実現される運転支援処理について、図２８及び図２９を参照して説明する。

図２８に示す運転支援処理のステップＳ１１で、視線データ判定部１１が、視線センサ９１から出力された視線データを取得する。そして、視線データ判定部１１は、取得した視線データが無効かつ値を補間可能か否かを判定する。無効かつ値を補間可能な場合には、処理はステップＳ１２へ移行し、取得した視線データが有効、または無効かつ補間不可の場合には、ステップＳ１３へ移行する。

ステップＳ１２では、視線データ判定部１１が、無効であると判定した視線データの値を、他の時刻に取得した有効な視線データを用いて補間する。そして、視線データ判定部１１は、値を補間した視線データに、補間したことを示すラベルを付与すると共に、有効性の判定結果として「有効」を付与して、処理はステップＳ１４へ移行する。

一方、ステップＳ１３では、視線データ判定部１１が、取得した視線データが有効か否かを判定する。有効な場合には、視線データ判定部１１が、取得した視線データに、有効性の判定結果として「有効」を付与して、処理はステップＳ１４へ移行する。一方、取得した視線データが有効ではない場合には、視線データ判定部１１が、取得した視線データに、有効性の判定結果として「無効」を付与して、処理はステップＳ１５へ移行する。

ステップＳ１４では、視線データ判定部１１が、所定時間分の視線データの値の変化から、今回取得した視線データの視線種別を判定し、判定した視線種別を示すラベルを視線データに付与する。

次に、ステップＳ１５で、視線データ判定部１１が、取得した視線データ及び値を補間した視線データに、視線データの種類を対応付けて、視線データ格納部２０に格納する。

次に、ステップＳ１６で、運転シーン決定部１２が、自車両状態取得センサ９２から出力された自車両状態情報、及び周辺状態取得センサ９３から出力された周辺状態情報を取得する。そして、運転シーン決定部１２は、取得した自車両状態情報及び周辺状態情報を用いて、例えば図７に示すような運転シーンの中から、現在の自車両の運転シーンを決定する。

次に、ステップＳ１７で、運転シーン決定部１２が、前回決定した運転シーンから、今回決定した運転シーンが変化したか否かを判定する。変化した場合には、処理はステップＳ１８へ移行し、変化していない場合には、処理はステップＳ１９へ移行する。

ステップＳ１８で、運転シーン決定部１２が、新しい運転シーンがあるか、またはいずれの運転シーンにも該当しないかを判定する。新しい運転シーンがある場合には、処理はステップＳ２０へ移行し、いずれの運転シーンにも該当しない場合には、処理はステップＳ１１へ戻る。ステップＳ２０では、運転シーン決定部１２が、例えば図７に示すようなテーブルから、決定した運転シーンに対応する評価内容、判定時間等の各種設定情報を取得する。

一方、ステップＳ１９では、運転シーン決定部１２が、現在いずれかの運転シーンに該当しているか否かを判定する。該当している場合には、処理はステップＳ２１へ移行し、該当していない場合には、処理はステップＳ１１へ戻る。

ステップＳ２１では、図２９に示す判定時間内処理が実行される。

図２９に示す判定時間内処理のステップＳ２１１で、関心エリア設定部１３が、関心エリアの最初の設定タイミング、または関心エリアの設定の更新タイミングか否かを判定する。最初の設定タイミングまたは更新タイミングの場合には、処理はステップＳ２１２へ移行し、関心エリア設定部１３が、決定された運転シーン及び取得された評価内容に応じた関心エリアを設定する。最初の設定タイミングでも、更新タイミングでもない場合には、処理はステップＳ２１３へ移行する。

ステップＳ２１３で、注視状況推定部１５が、現在の視線データが、判定対象の視線データか否かを判定する。現在の視線が、有効かつ視線種別がサッカード以外の場合には、注視状況推定部１５は、判定対象の視線データであると判定して、処理はステップＳ２１４へ移行する。無効または視線種別がサッカードの場合には、注視状況推定部１５は、非判定対象の視線データであると判定して、処理はステップＳ２１７へ移行する。

ステップＳ２１４では、注視状況推定部１５が、現在の判定時間における注視状況を更新する。例えば、注視状況推定部１５は、上述の注視率１、注視率２、注視時間３、及び占有率４のいずれかを注視状況として用い、現在の視線データの種類、視線データが関心エリアに内包されるか否か等を判定し、注視状況を更新する。

次に、ステップＳ２１５で、関心エリア誤差算出部１４が、例えば上記の（３）式、（４）式、（７）式〜（９）式等を用いて、上記ステップＳ２１２で設定された関心エリアの位置及び形状の少なくとも一方の関心エリア誤差を算出する。

次に、ステップＳ２１６で、関心エリア誤差算出部１４が、同一の判定時間においてこれまでに算出されている関心エリア誤差と、今回算出した関心エリア誤差とを用いて、総関心エリア誤差を更新する。

次に、ステップＳ２１７で、視線構成状況算出部１６が、現在の視線データの種類、補間の有無等を用いて、例えば上記の含有率１〜含有率４のいずれかを、判定時間内の視線データの構成状況として更新する。

次に、ステップＳ２１８で、注視状況推定部１５が、判定時間が終了か否かを判定する。終了の場合には、処理はステップＳ２１９へ移行し、終了ではない場合には、処理はステップＳ２２１へ移行する。

ステップＳ２１９では、信頼度算出部１７が、上記ステップＳ２１６で更新された総関心エリア誤差、及び上記ステップＳ２１７で更新された視線データの構成状況の少なくとも一方に基づいて、注視状況の推定結果の信頼度を算出する。信頼度算出部１７は、例えば、（１０）式、（１１）式等により、信頼度を算出することができる。

次に、ステップＳ２２０で、使用可否決定部１８が、上記ステップＳ２１４で更新された注視状況の推定結果について、視認評価での使用可否を、上記ステップＳ２１９で算出された信頼度と信頼度閾値とを比較して決定する。

次に、ステップＳ２２１で、視認評価部１９が、上記ステップＳ２１４で更新された最新の注視状況の推定結果を出力する。上記ステップＳ２１９及びＳ２２０を経由して本ステップへ移行した場合には、上記ステップＳ２２０で決定した使用可否を共に出力する。そして、処理は図２８に示す運転支援処理へリターンする。

次に、ステップＳ２３で、視認評価部１９が、上記ステップＳ２２１で出力された推定結果が、使用可否と共に出力されているか否かを判定する。使用可否が共に出力されていない場合には、まだ判定時間が終了していないため、処理はステップＳ１１へ戻る。使用可否が共に出力されている場合には、処理はステップＳ２４へ移行する。

ステップＳ２４では、視認評価部１９が、上記ステップＳ２２１で出力された推定結果が使用可で、かつ推定結果が示す注視状況が対象の注視状況か否かを判定する。使用可かつ対象の場合には、ステップＳ２５へ移行し、使用不可または対象ではない注視状況を示す推定結果の場合には、ステップＳ１１へ戻る。

ステップＳ２５では、視認評価部１９が、対象の注視状況を示す推定結果の連続数が所定個に達したか否かを判定する。連続数が所定個に達した場合には、処理はステップＳ２６へ移行し、達していない場合には、処理はステップＳ１１へ戻る。

ステップＳ２６では、視認評価部１９が、対象の注視状況を示す推定結果の連続数が所定個に達したこと、すなわち、対象の視認行動が確認されたことを示す視認評価結果を出力して、処理はステップＳ１１へ戻る。

以上説明したように、本実施形態に係る運転支援装置によれば、現在のドライバの視線データ（視線方向）から、現在の運転シーンに応じて設定する関心エリアの視認状態を評価する場合に、注視状況を推定する判定時間毎に信頼度を算出する。この信頼度は、従来方式とは異なり、視線が「意志を持って見ている」視線か否かに基づいた視線データの構成状況と、動的に設定される関心エリアの設定誤差との情報が反映されたものである。これにより、関心エリアに対する注視状況の推定結果がどれだけ信頼できるものであるかを把握することができる。

また、この信頼度の導入により、より運転シーンに合致したきめ細やかな視認評価を実現することができる。例えば、注視領域に個人差が大きく、関心エリアの設定が困難な運転シーンに対しては、関心エリア誤差、及び関心エリア誤差から求めた信頼度の閾値を調整することで、より精度良く過検知を防ぐ等の対応をとることができる。さらに、信頼度の閾値を自車両状態や周辺状態に応じて動的に調整することで、より緊急度の高い運転シーンに対しては未検知を重視した視認評価を行うことも可能である。

また、有効な視線データが少く、補間を多用した視線データ群であったり、意志を持って見ている視線が少ない視線データ群であったりした場合に、より精度良く「意志を持って見た」視線が多い視線データ群を使った場合にだけ視認評価を行うことができる。そのため、単に関心エリアに対して視線があるというだけではなく、関心エリアを本当に認識しているのかという脳内把握状況を加味した評価を、より少ない評価コストで実現できる。

なお、信頼度を開示の技術の内部で利用するだけでなく、開示の技術を利用するアプリケーションにも出力することで、注視状況の推定理由を把握することができる。これにより、注視状況の推定結果を柔軟に活用することができる。そのため、自車両の運転動作を評価する運転評価装置、周辺確認不足を検知して警告する警告装置、脇見状況を把握することで周辺の道路環境の改善提案を行うインフラ整備分野など、開示の技術を幅広く活用することができる。

なお、第１実施形態では、１つの評価内容に対して、関心エリアを１種類用意する場合について説明したが、１つの評価内容に対して、複数種類の関心エリアを用意してもよい。この場合、上記第１実施形態と同様に視線データの構成状況を算出すると共に、関心エリア毎に関心エリア誤差を算出する。そして、関心エリア毎に信頼度を算出して、関心エリア毎に視認評価部１９での使用可否を決定し、関心エリア毎に視認評価を行う。そして、それら全ての評価結果を比較して、最終的な視認評価を行うことができる。

例えば、前方視認位置等のドライバ属性に大きく依存する関心エリアを一例として説明する。

関心エリア設定部１３及び関心エリア誤差算出部１４は、上記第１実施形態と異なり、前方進行道路として、一般的なドライバの関心エリア及び関心エリア誤差を決めるのではなく、複数種類のドライバ属性に関する関心エリア及び関心エリア誤差を用意しておく。なお、各ドライバ属性の関心エリア誤差については、該当のドライバ属性のみを持つドライバ群によって算出した規定距離の誤差（標準偏差等）を用いればよい。注視状況推定部１５及び信頼度算出部１７は、これら各ドライバ属性に依る関心エリア群のそれぞれに対して、関心エリア毎の注視状況を推定し、関心エリア毎の関心エリア誤差を用いた信頼度を算出する。そして、これら複数の注視状況及び信頼度を用いて、最終的な注視状況及び信頼度を算出する。

例えば、複数の注視状況及び信頼度の中から統計値、例えば、最大値、最小値、平均値、中間値等（下記最終値１〜４のいずれか）を用いて、最終的な注視状況及び信頼度を算出する。最終値１を用いれば、過検知より未検知の発生を防止することができ、最終値２を用いれば過検知をより防止することができ、最終値３または最終値４を用いれば、未検知及び過検知にそれぞれまんべんなく配慮することができる。

最終値１＝Ｍｉｎ（各関心エリアでの値群）
最終値２＝Ｍａｘ（各関心エリアでの値群）
最終値３＝Ａｖｅｒａｇｅ（各関心エリアでの値群）
最終値４＝Ｍｅｄｉａｎ（各関心エリアでの値群）

使用可否決定部１８及び視認評価部１９では、最終的な注視状況及び信頼度を用いる点を除けば、上記第１実施形態と同様である。

これにより、上記第１実施形態と同様の効果に加え、よりきめ細やかな視認評価を行うことができる。

＜第２実施形態＞
次に、第２実施形態について説明する。なお、第２実施形態に係る運転支援装置において、第１実施形態に係る運転支援装置１０と同様の構成については、同一符号を付して、詳細な説明を省略する。

第２実施形態に係る運転支援装置２１０は、機能的には、図１に示すように、視線データ判定部１１、運転シーン決定部１２、関心エリア設定部１３、関心エリア誤差算出部１４、注視状況推定部２１５、及び視線構成状況算出部２１６を含む。また、運転支援装置１０は、信頼度算出部２１７、使用可否決定部２１８、及び視認評価部２１９を含む。

視線データ判定部１１は、第１実施形態と同様に、視線センサ９１から出力された視線データを取得し、取得した視線データの種類を判定し、判定結果と共に、視線データ格納部２０に格納する。ただし、第２実施形態では、視線データ判定部１１は、左眼、右眼、及び両眼の視線データの各々を取得し、各視線データの有効性を判定する場合を前提とする。なお、両眼の視線データは、左眼の視線データ及び右眼の視線データの少なくとも一方が有効である場合に有効となり、左眼の視線データ及び右眼の視線データが共に無効の場合に無効となる。

注視状況推定部２１５は、第１実施形態における注視状況推定部１５と同様に、関心エリア設定部１３により設定された関心エリアと、判定時間内に取得された視線データが示す視線方向とに基づいて、関心エリアに対するドライバの注視状況を推定する。注視状況推定部２１５は、注視状況の推定として、例えば、上述した注視率１、注視率２、注視時間３、及び占有率４のいずれかを算出する。この際、注視状況推定部２１５は、種類Ａの視線データと種類Ｂの視線データとの選択方法を複数パターン用意しておき、注視率１、注視率２、注視時間３、及び占有率４のいずれかを、パターン毎に算出する。

例えば図３０に示すようなテーブルに、注視状況推定用の種類Ａの視線データと種類Ｂの視線データとのパターンを複数用意し、各パターンにパターンＮｏ．を付与して用意しておく。以下では、パターンＮｏ．がｎのパターンを「パターンｎ」と表記する。図３０の例では、パターン１では、左眼の視線データ及び右眼の視線データの有効性が共に「有効」で、かつ視線種別が「サッカード」以外の視線データを、種類Ａの視線データとすることを表している。さらに、パターン２では、視線データＡとして、両眼の視線データの有効性が「有効」、かつ視線種別が「サッカード」以外の視線データが定められている。両眼の視線データは、左眼の視線データ及び右眼の視線データの少なくとも一方が有効であれば有効となる。そのため、左眼の視線データ及び右眼の視線データが共に有効であることを求めるパターン１に該当する視線データ数よりも、パターン２に該当する視線データ数の方が多くなる。さらに、パターン３では、視線データＡとして、両眼の視線データの有効性が「有効」の視線データが定められている。パターン３では、パターン１や２のような視線種別による絞り込みがないため、パターン２に該当する視線データ数よりも、パターン３に該当する視線データ数の方が多くなる。

なお、各パターンの種類Ｂの視線データは、種類Ａの視線データが、関心エリアを注視していることを表す視線データであると想定した場合に、種類Ａの視線データと、関心エリアを注視していないことを表す視線データとを含む種類の視線データを定めておく。例えば、パターン１では、視線種別を問わず左眼及び右眼の視線データが共に有効な視線データを視線データＢとし、このうち、視線種別が「サッカード」以外の視線データが視線データＡとして定められている。また、種類Ｂの視線データとして、判定時間内で取得した全ての視線データとしてもよい。判定時間内に取得する視線データ数は、視線センサ９１の稼働周波数等によって決定されるデータ取得数である。また、この他に、種類Ａの視線データを、サッカード等の視線種別に関係なく、有効性が「有効」の視線データ、または有効性が「有効」かつ「補間なし」の視線データとしてもよい。また、左眼及び右眼の視線データが共に「有効」かつ「補間なし」の視線データを種類Ａの視線データとしてもよい。これら種類Ａ及び種類Ｂの視線データの選択例は一例であって、この他の視線データ格納部２０で保持している視線データの種類を任意で組み合わせることができる。

このように、種類Ａの視線データと種類Ｂの視線データとのパターン毎に、該当する視線データ数が段階的に異なるように定めておくことで、注視状況を推定できないケースの発生を低減する。例えば、パターン１のみが定められている場合に、パターン１に該当する視線データが存在しない場合には、注視率１、注視率２、注視時間３、または占有率４を算出することができない。しかし、パターン１に該当する視線データが存在しない場合でも、パターン２や３に該当する視線データが存在する場合はある。そのため、図３０に示すように、複数のパターンを定めておけば、いずれかのパターンについて、注視率１、注視率２、注視時間３、または占有率４を算出することができる可能性が高まる。

視線構成状況算出部２１６は、第１実施形態における視線構成状況算出部１６と同様に、判定時間内に取得された複数の視線データの種類に応じた含有率に基づいて、視線データの構成状況を算出する。例えば、視線構成状況算出部１６は、種類Ａ’の視線データについて、下記の含有率５〜８のいずれかを算出する。

上記の含有率５〜８は、第１実施形態における含有率１〜４の各々の「Ａ」を「Ａ’」に、「全視線」を「種類Ｂ’」に置き換えたものである。種類Ａ’及び種類Ｂ’の視線データは注視状況推定部２１５での注視状況の推定に用いた種類Ａ及び種類Ｂと同様に、視線データ格納部２０で保持している視線データの種類を任意で組み合わせたものでよい。例えば、有効な視線データ、判定対象の視線データ、判定対象外の視線データ（有効かつサッカード）等、視線構成状況を把握したい任意の種類とすることができる。

上記の含有率は、注視状況推定部２１５での注視状況の推定で用いた種類Ａの視線データの存在状況を把握するために用いるため、種類Ａ’は、できるだけ種類Ａと同一であることが望ましい。種類Ａとは異なる種類Ａ’を適用する場合でも、例えば、「両眼の視線データが有効」という種類Ａに対して、種類Ａ’は「左眼及び右眼の視線データが共に有効」とするなど、限りなく種類Ａに近い種類であることが望ましい。同様に、種類Ｂ’の視線データは、種類Ｂの視線データと同じでもよいが、判定時間内に取得される全視線データ数とすれば、分母が固定値となって含有率は種類Ａ’の影響だけを反映し、含有率の変化への影響要因が少なくなる。そのため、後述する含有率から算出した信頼度の時間変化が安定し、信頼度を評価する際の閾値設定が容易になる。

種類Ａ及び種類Ｂと、種類Ａ’及び種類Ｂ’との対応関係は、例えば上述の注視状況推定部２１５で用いた図３０に示すようなテーブルに、予め定めておくことができる。視線構成状況算出部２１６は、このテーブルを参照して、注視状況推定部２１５で利用した種類Ａの視線データと種類Ｂの視線データとのパターンに対応する視線構成状況算出用の種類Ａ’の視線データと種類Ｂ’の視線データとを決定する。そして、上述の含有率のいずれかを算出する。また、第１実施形態で説明した、判定時間内における視線データの取得時間に関する重みを用いた含有率１〜４と同様の含有率を算出してもよい。

信頼度算出部２１７は、視線構成状況算出部２１６で算出されたパターン毎の含有率を用いて、下記（１２）式により、パターン毎の信頼度を算出する。
信頼度＝ｔ×（含有率のいずれか） （１２）
ここで、ｔは任意のパラメータである。また、信頼度算出部２１７は、信頼度算出条件（図７参照）が「構成＋エリア」の場合には、第１実施形態で説明した（１０）式により、信頼度を算出する。両信頼度を区別するため、（１０）式による信頼度を「第１信頼度」、（１２）式による信頼度を「第２信頼度」とする。

なお、例えば図７に示すようなテーブルで、信頼度算出条件が「構成」と定められている場合には、第１信頼度と第２信頼度とは同じものとなるため、図７に示す「信頼度閾値」を第２信頼度閾値として流用することができる。一方、信頼度算出条件が「構成＋エリア」の場合には、図７に設定された「信頼度閾値」は、関心エリア誤差も加味した第１信頼度に対する閾値であるため、第２信頼度に対しては、専用の閾値を用意する。専用で用意する第２信頼度閾値は、第１信頼度閾値と同様に、図７に示す運転シーンによって調整される値とすることができる。また、第２信頼度閾値は、全てのパターンに対して同じ値であってもよいし、パターン毎に異なる値を設定してもよい。第２信頼度閾値をパターン毎に異なる値とする場合には、例えば試験走行時の視線データから得られる、パターン毎の第２信頼度に基づいて、適切なデフォルト値を設定しておくことができる。また、実際の走行時の視線データから得られる第２信頼度に基づいて、デフォルトの閾値を適宜調整してもよい。

また、図３０に示すように、パターン毎に優先度を設定しておき、第１信頼度及び第２信頼度の各々が、いずれのパターンの視線データを用いて算出した含有度に基づく信頼度かに応じて、パターンに応じた優先度を対応付ける。

使用可否決定部２１８、第１実施形態における使用可否決定部１８と同様に、信頼度算出部２１７で算出された信頼度に基づいて、注視状況推定部２１５による判定時間毎の注視状況の推定結果の、視認評価部２１９における視認評価での使用可否かを決定する。第２実施形態では、信頼度として、第１信頼度及び第２信頼度が算出されており、第１実施形態とは、使用可否の決定方法が異なるため、その点について説明する。

使用可否決定部２１８は、信頼度算出部２１７で算出されたパターン毎の第２信頼度群から、各第２信頼度に対応付けられた優先度が最も高い第２信頼度を選択し、選択した第２信頼度が第２信頼度閾値未満か否かを判定する。選択した第２信頼度が第２信頼度閾値未満の場合には、次に優先度が高い第２信頼度を選択し、第２信頼度閾値未満か否かを判定していくことで、第２信頼度閾値以上となる第２信頼度のうち、最も優先度が高い第２信頼度を選択する。信頼度算出条件が「構成」のみの場合には、第１信頼度と第２信頼度とは等しいため、第２信頼度閾値以上となる第２信頼度を選択できた段階で、対象の判定時間の注視状況の推定結果を使用可であると決定する。

また、使用可否決定部２１８は、信頼度算出条件が「構成＋エリア」の場合には、上記のように選択した第２信頼度とパターンが対応する第１信頼度が、第１信頼度閾値未満か否かを判定する。第１信頼度についても第１信頼度閾値以上であれば、使用可否決定部２１８は、対象の判定時間についての注視状況の推定結果を使用可であると決定する。選択した第２信頼度とパターンが対応する第１信頼度が、第１信頼度閾値未満の場合には、使用可否決定部２１８は、次に優先度が高く、第２信頼度閾値以上となる第２信頼度を選択することを繰り返す。第１信頼度閾値以上となる第１信頼度、及び第２信頼度閾値以上となる第２信頼度が存在しなかった場合には、使用可否決定部２１８は、対象の判定時間についての注視状況の推定結果を使用不可であると決定する。

また、使用可否決定部２１８は、第２信頼度閾値以上となる第２信頼度を全て選択しておいて、選択した第２信頼度とパターンが対応する第１信頼度を、優先度が高い方から順に第１信頼度閾値と比較するようにしてもよい。この場合、使用可否決定部２１８は、第１信頼度閾値以上の第１信頼度が見つかった段階で、対象の判定時間の注視状況の推定結果を使用可であると決定する。第１信頼度閾値以上となる第１信頼度が存在しなかった場合には、使用可否決定部２１８は、対象の判定時間についての注視状況の推定結果を使用不可であると決定する。

なお、信頼度算出条件が「構成」のみか「構成＋エリア」かにかかわらず、第２信頼度のみで、注視状況の推定結果の使用可否を決定するようにしてもよい。

視認評価部２１９は、第１実施形態における視認評価部１９と同様に、使用可と決定された推定結果が示す注視状況に基づいて、運転シーンに応じたドライバの視認行動を評価する。例えば、視認評価部２１９は、使用可否決定部１８で使用可と決定された推定結果のうち、関心エリアへの注視不足を示す推定結果が発生した場合に、「関心エリア外への脇見の可能性あり」と判定する。注視不足を示す推定結果とは、例えば、注視率１、注視時間３、もしくは占有率４の値が小さい、または注視率２の値が大きい等の場合である。この際、視認評価部２１９は、使用可否決定部２１８で注視状況の推定結果を使用可と判定したときの第２信頼度または第１信頼度の優先度に対応したパターンが示す種類Ａの視線データと種類Ｂの視線データとを用いて推定された注視状況に基づいて評価する。

また、視認評価部２１９は、第１実施形態と同様に、評価対象の注視状況が所定回数連続して発生しているか否かにより、視認評価を行う。この判定の際、視認評価部２１９は、使用不可の推定結果が発生した場合、すなわち、不連続が発生した場合に、不連続の発生原因を推定し、推定した原因に応じた不連続への対処を行う。不連続の発生原因としては、ドライバの頭の向きまたは顔の向き（以下、まとめて「顔向き」と称する）の大きな変化、または、視線センサ９１のセンサ誤差、振動、眼鏡への光の映り込み等の外乱が想定される。視認評価部２１９は、不連続の原因が前者の原因、すなわち顔向きの大きな変化によるものか否かを、視線データのみに基づいて判断し、顔向きの大きな変化が原因の場合と、それ以外の場合とで、不連続となっている対象時間の注視状況の取り扱いを変更する。

ここでは、顔向きの大きな変化が生じているか否かを判定する際に、現在の運転シーンが、予め視線センサ９１の設置位置で決定される限定シーンであることを前提とする。限定シーンは、視線センサ９１で測定可能なドライバの視線方向領域に、関心エリアが略全て含まれるように設定されているシーンとする。例えば、撮像された画像におけるドライバの瞳孔反射から、ドライバの視線方向を推定する視線センサ９１の場合には、物理的に視線センサ９１が測定できるドライバの視線方向が限定される。例えば、視線センサ９１から顔を大きく背けた場合のように、ドライバの眼が撮像画像に映らない場合には、視線方向を測定することができないため、原理的に、視線センサ９１は撮像するカメラの画角範囲内に映り込む視線方向しか測定することができない。この測定可能なドライバの顔向き範囲を視線方向領域とする。

図３１に、視線方向領域と感心エリアとの関係の一例を示す。図３１において、関心エリアＡは、前方視認評価に用いる関心エリアであり、関心エリアＢは、左折時などに確認する必要がある関心エリアである。ドライバから見て視線センサ９１と同じ方向にある関心エリアＡは視線方向領域内にあり、ドライバから見て視線センサ９１と異なる方向にある関心エリアＢの一部は視線方向領域外である。このような場合に、関心エリアＡを用いる視認評価を行う運転シーンを限定シーンとする。例えば、ドライバの前方に設定した視線センサ９１では、前方視認評価に用いる直進中の前方進行道路である関心エリアは、視線方向の領域内に納まることが多く、限定シーンとなる。

また、視認評価部２１９は、上記の限定シーンであって、注視状況の推定に利用した種類Ａの視線データの有効性が「有効」であり、さらに注視状況の推定結果の使用可否を、第２信頼度のみを用いて判定している場合に、不連続の原因を推定する。この限定により、不連続の原因を推定する前提として、左眼か右眼のいずれか有効な視線データである種類Ａの視線データに対する注視状況を算出している場合に限定している。すなわち、注視状況の推定に利用する視線データの選定条件が緩い場合でも、視線構成状況に基づいて注視状況の推定結果が使用不可と決定された場合の限定シーンにおいて、不連続の原因を推定する。以下、視認評価部２１９の機能として、不連続の対処に関する機能について説明する。

視認評価部２１９は、現時刻以前の任意時間分の各視線データの種類について、左眼及び右眼共に無効な視線データ、すなわち、両眼の視線データが無効か否かを確認する。なお、ここで確認する視線データの種類は、注視状況推定部２１５において注視状況の推定に用いた種類ＡやＢ、視線構成状況算出部２１６において含有率の算出に用いた種類Ａ’にかかわらず、上記の種類を確認する。また、任意時間は、顔向きの大きな変化が生じているか否かを判定するために、注視状況推定部２１５で用いた判定時間以上の長い時間であることが望ましい。

視認評価部２１９は、現時刻の視線データが無効の場合には、上記の任意時間分の視線データ群の中で、現時刻からみて初めて無効から有効になった右眼の視線データ及び左眼の視線データの各々を探索する。また、視認評価部２１９は、現時刻の視線データが有効の場合には、上記の任意時間分の視線データ群の中で、現時刻からみて初めて有効から無効になった右眼の視線データ及び左眼の視線データの各々を探索する。視認評価部２１９は、探索された右眼の視線データと左眼の視線データとの取得時刻差が所定の閾値以上であるか否かを判定する。閾値は０より大きな任意の値でよいが、一般的な顔向きで顔が動く時間長以下であり、少なくとも隣り合う視線データ間の取得時刻差以上であることが望ましい。

視認評価部２１９は、探索した視線データ間の取得時刻差が閾値未満の場合には、注視状況の推定結果に不連続が生じる前に視線の移動は発生していないと見做し、不連続の原因は顔向きの大きな変化ではないと推定する。この場合、視認評価部２１９は、連続中の推定結果と同じ推定結果が続行しているものと見做して視認評価を行う。一方、探索した視線データ間の取得時刻差が閾値以上の場合には、不連続が生じる前に視線の移動が発生していたと見做し、不連続の原因は顔向きの大きな変化であると推定する。この場合、視認評価部２１９は、連続中の推定結果と異なる推定結果が生じているものと見做して視認評価を行う。すなわち、視認評価部１９は、評価対象の注視状況が所定回数連続しているか否かを判定する際に、不連続が発生した判定時間の注視状況の推定結果を使用不可とせず、見做した推定結果だったものとして視認評価を行う。

このように、視線データの欠落状況の変化に基づいて顔向きの変化を判定し、注視状況が大きく変化したかどうかを推定することができ、注視状況の推定結果が使用不可となる場合でも、より正確な連続性に基づく視認評価を実施することが可能である。

また、視認評価部２１９は、上記の不連続の対処の前提状況を満たさない場合には、第１実施形態と同様の不連続時の対処を行う。すなわち、ドライバ支援の内容を考慮して決定した３つの選択肢（今回は連続、不連続、またはなかったものと見做す）から自動的に１つを選択し、必要ならば判定時間の延長を決定する。また、任意時間内の視線データの中から、無効から有効、または有効から無効となる右眼の視線データ及び左眼の視線データの両方が探索できなかった場合も、第１実施形態と同様の不連続時の対処を行う。

運転支援装置２１０は、第１実施形態と同様に、例えば図２７に示す車載コンピュータ４０で実現することができる。記憶部４６には、車載コンピュータ４０を運転支援装置２１０として機能させるための運転支援プログラム２５０が記憶されている。運転支援プログラム２５０は、視線データ判定プロセス５１、運転シーン決定プロセス５２、関心エリア設定プロセス５３、関心エリア誤差算出プロセス５４、注視状況推定プロセス２５５、及び視線構成状況算出プロセス２５６を有する。また、運転支援プログラム２５０は、信頼度算出プロセス２５７、使用可否決定プロセス２５８、及び視認評価プロセス２５９を有する。

ＣＰＵ４２は、注視状況推定プロセス２５５を実行することで、図１に示す注視状況推定部２１５として動作する。またＣＰＵ４２は、視線構成状況算出プロセス２５６を実行することで、図１に示す視線構成状況算出部２１６として動作する。またＣＰＵ４２は、信頼度算出プロセス２５７を実行することで、図１に示す信頼度算出部２１７として動作する。またＣＰＵ４２は、使用可否決定プロセス２５８を実行することで、図１に示す使用可否決定部２１８として動作する。またＣＰＵ４２は、視認評価プロセス２５９を実行することで、図１に示す視認評価部２１９として動作する。他のプロセスについては、第１実施形態と同様である。これにより、運転支援プログラム２５０を実行した車載コンピュータ４０が、運転支援装置２１０として機能することになる。

なお、運転支援装置２１０は、例えば半導体集積回路、より詳しくはＡＳＩＣ等で実現することも可能である。

次に第２実施形態の作用について、第１実施形態と異なる点について説明する。

第２実施形態における運転支援処理では、図２８のステップＳ１３で、視線データ判定部１１が、左眼、右眼、及び両眼の各々の視線データについて有効性を判定する。そして、ステップＳ１４を経て、ステップＳ１５で、有効性の判定結果を含む視線データの種類と対応付けて、各視線データを視線データ格納部２０に格納する。

また、図２９に示す判定時間内処理のステップＳ２１３で、注視状況推定部２１５が、現在の視線データが、例えば図３０に示すようなテーブルに定められたいずれかのパターンに対応する種類Ａの視線データか否かを判定する。肯定判定の場合には、処理はステップＳ２１４へ移行し、否定判定の場合には、処理はステップＳ２１７へ移行する。ステップＳ２１４では、注視状況推定部２１５が、注視状況を示す値として、例えば上述の注視率１を、種類Ａの視線データと種類Ｂの視線データとのパターン毎に算出する。

また、ステップＳ２１７では、視線構成状況算出部２１６が、上記ステップＳ２１４で利用した種類Ａ視線データと種類Ｂの視線データとのパターンに対応する視線構成状況算出用の種類Ａ’の視線データと種類Ｂ’の視線データとを決定する。そして、視線構成状況算出部２１６が、視線構成状況を示す値として、例えば上述の含有率１を、種類Ａ’の視線データと種類Ｂ’の視線データとのパターン毎に算出する。

また、ステップＳ２１９で、信頼度算出部２１７は、上記ステップＳ２１７で算出されたパターン毎の含有率１を用いて、例えば（１２）式により、パターン毎の第２信頼度を算出する。また、信頼度算出部１７は、例えば（１０）式、（１１）式等により、パターン毎の第１信頼度を算出する。

次に、ステップＳ２２０で、図３２に示す使用可否決定処理が実行される。まず、ステップＳ２２０１で、使用可否決定部２１８が、上記ステップＳ２１９で算出されたパターン毎の第２信頼度群から、各第２信頼度に対応付けられた優先度が最も高い第２信頼度を選択する。次に、ステップＳ２２０２で、使用可否決定部２１８が、選択した第２信頼度が第２信頼度閾値以上か否かを判定する。第２信頼度が第２信頼度閾値以上の場合には、処理はステップＳ２２０３へ移行し、第２信頼度が第２信頼度閾値未満の場合には、処理はステップＳ２２０７へ移行する。

ステップＳ２２０３では、使用可否決定部２１８が、例えば図７に示すようなテーブルに定められた信頼度算出条件が、「構成」のみか否かを判定する。「構成」のみの場合には、処理はステップＳ２２０４へ移行し、使用可否決定部２１８が、対象の判定時間の注視状況の推定結果を使用可であると決定して、図２９に示す判定時間内処理へリターンする。一方、信頼度算出条件か「構成＋エリア」の場合には、処理はステップＳ２２０５へ移行する。

ステップＳ２２０５では、使用可否決定部２１８が、選択した第２信頼度とパターンが対応する第１信頼度を選択する。次に、ステップＳ２２０６で、使用可否決定部２１８が、選択した第１信頼度が第１信頼度閾値以上か否かを判定する。第１信頼度が第１信頼度閾値以上の場合には、処理はステップＳ２２０４へ移行し、第１信頼度が第１信頼度閾値未満の場合には、処理はステップＳ２２０７へ移行する。

ステップＳ２２０７では、使用可否決定部２１８が、第２信頼度群に未選択の第２信頼度が存在するか否かを判定し、存在する場合には、未選択の第２信頼度のうち、優先度が最も高い第２信頼度を選択して、処理はステップＳ２２０２へ戻る。未選択の第２信頼度が存在しない場合には、処理はステップＳ２２０８へ移行し、使用可否決定部２１８が、対象の判定時間の注視状況の推定結果を使用不可であると決定して、図２９に示す判定時間内処理へリターンする。そして、ステップＳ２２１を経て、運転支援処理へリターンする。

第２実施形態における運転支援処理では、図２８のステップＳ２３とステップＳ２４との間で、図３３に示す不連続対処処理が実行される。

不連続対処処理のステップＳ２３１で、視認評価部２１９が、使用可否が「使用不可」である注視状況の推定結果について、不連続の対処を行うための前提を満たすか否かを判定する。前提とは、上述したように、対象の判定時間内の運転シーンが限定シーンであって、注視状況の推定に利用した種類Ａの視線データの有効性が「有効」であり、さらに注視状況の推定結果の使用可否を、第２信頼度のみを用いて判定している場合である。前提を満たす場合には、処理はステップＳ２３２へ移行し、前提を満たさない場合いは、不連続対処処理を終了し、そのまま図２８に示す運転支援処理へリターンする。

ステップＳ２３２では、視認評価部２１９が、現時刻以前の任意時間分の各視線データの種類について、左眼及び右眼共に無効な視線データ、すなわち、両眼の視線データが無効か否かを確認する。任意時間内の全ての視線データが無効の場合には、不連続対処処理を終了し、そのまま図２８に示す運転支援処理へリターンする。任意時間内に有効の視線データが存在する場合には、処理はステップＳ２３３へ移行する。

ステップＳ２３３では、視認評価部２１９が、現時刻の視線データが無効か否かを判定する。現時刻の視線データが無効の場合には、処理はステップＳ２３４へ移行し、有効の場合には、処理はステップＳ２３５へ移行する。

ステップＳ２３４では、視認評価部２１９が、上記の任意時間分の視線データ群の中で、現時刻からみて初めて無効から有効になった右眼の視線データ及び左眼の視線データの各々を探索する。一方、ステップＳ２３５では、視認評価部２１９が、上記の任意時間分の視線データ群の中で、現時刻からみて初めて有効から無効になった右眼の視線データ及び左眼の視線データの各々を探索する。

次に、ステップＳ２３６で、視認評価部２１９が、上記ステップＳ２３４またはステップＳ２３５で、右眼の視線データ及び左眼の視線データの両方が探索できたか否かを判定する。探索できた場合には、処理はステップＳ２３７へ移行し、探索できなかった場合には、図２８に示す運転支援処理へリターンする。

ステップＳ２３７では、視認評価部２１９が、取得した右眼の視線データと左眼の視線データの取得時刻差が所定の閾値未満か否かを判定する。取得時刻差が閾値未満の場合には、処理はステップＳ２３８へ移行し、閾値以上の場合には、処理はステップＳ２３９へ移行する。

ステップＳ２３８では、視認評価部２１９が、対象の判定時間の推定結果について、連続中の推定結果と同じ推定結果が続行しているものと見做し、使用可否を「使用可」に変更すると共に、注視状況の推定結果を、前の判定時間と同じ推定結果に変更する。一方、ステップＳ２３９では、視認評価部２１９が、対象の判定時間の推定結果について、連続中の推定結果と異なる推定結果が生じているものと見做し、使用可否を「使用可」に変更すると共に、注視状況の推定結果を、前の判定時間と異なる推定結果に変更する。前の判定時間と異なる推定結果とは、前の判定時間の推定結果が、評価対象の注視状況を示す推定結果であった場合には、評価対象に該当しない注視状況を示す推定結果である。また、前の判定時間の推定結果が、評価対象に該当しない注視状況を示す推定結果であった場合には、評価対象の注視状況を示す推定結果である。そして、不連続対処処理を終了し、図２８に示す運転支援処理へリターンする。

図２８に示す運転支援処理のステップＳ２４では、上記ステップＳ２３８またはステップＳ２３９で推定結果が変更されている場合には、変更された推定結果を用いて、視認評価を行う。なお、上記ステップＳ２３１及びステップＳ２３６で否定判定された場合も、ステップＳ２５で、第１実施形態と同様の不連続の対処が行われる。

以上説明したように、第２実施形態に係る運転支援装置によれば、注視状況の推定、及び視線構成状況の算出の際に用いる視線データの種類のパターンを複数用意しておき、注視状況の推定、及び信頼度の算出をパターン毎に行う。そして、パターン毎の信頼度を段階的に利用して、注視状況の推定結果の使用可否を決定する。そのため、より現在の運転シーンに合致した視線構成で、視認状況を評価することができる。例えば、逆光や振動などのセンサ劣化条件の少ない環境下や任意の視線変化状況等、視線データに基づく視認評価を適切に行える場合について、意識的に見ている視線だけを厳選して算出した視認率に基づいて、視認評価を行うことができる。

特に、注視状況推定部２１５で用いる種類Ａの視線データを「サッカード」以外の視線データとする場合には、意識的に見た視線だけを用いて注視状況を推定することができる。一方で、移動を止めて安定したときの視線だけを用いるため、移動中の視線を示す視線データは、注視率１、注視率２、注視時間３、及び占有率４の算出に利用することができない。このような状況でも、判定時間内の過去の視線データの中に移動していない時の「サッカード」以外の視線データが存在する場合には、注視率１等を算出することができる。しかし、判定時間内の現時刻に近い時刻に「サッカード」の視線が含まれる場合には、過去の「サッカード」以外の視線データで算出した注視率１等は、最新の視線状況を敏感に反映した値とは言い難い。「サッカード」を完全に除外するよりも、最新の視線状況として、「サッカード」の視線の影響も適宜含む注視状況を推定したい場合もある。

このような場合には、例えば、種類Ａとして「サッカード」以外の視線データを用いるパターンを、種類Ａとして「サッカード」を含む有効な視線データを用いるパターンよりも優先度を高く設定しておくこと。これにより、視線構成状況算出部２１６により算出される視線構成状況を示す含有率１等を含む第２信頼度を用いた使用可否の判定を通して、視線構成上可能な場合は「サッカード」以外の視線データを用いて視認評価を実施する。また、視線構成上不可能な場合には「サッカード」を含む視線データを用いて視認評価を実施するように適宜切り替える。この結果、視線構成状況による信頼度が低い視線データから、より信頼度の高い他の視線データへと切り替えて注視状況を推定することで、可能な限りより視線状況に敏感に反応させつつ、意識的に見た視線での評価を可能とする。

なお、第２実施形態では、パターン毎に算出した複数の注視状況の推定結果（注視率１、注視率２、注視時間３、占有率４等）を、それぞれ後段の処理へ受け渡す場合について説明したが、これに限定されない。例えば、パターン毎に算出した複数の注視率１、注視率２、注視時間３、占有率４の平均値、中間値、最大値、最小値などの統計値を、最終的な注視率１、注視率２、注視時間３、及び占有率４として、後段の処理へ受け渡してもよい。下記（１３）式は、パターン毎の注視率１の平均値を、最終的な注視率１として算出する例、下記（１４）式は、パターン毎の注視率１の最小値を、最終的な注視率１として算出する例である。

また、第２実施形態のように、パターン毎に優先度を設定しておき、複数用意したパターンのうち、注視率１等を算出可能なパターンのうち、最も優先度が高いパターンが示す種類の視線データを用いて、注視率１等を算出してもよい。前述した種類Ａ及び種類Ｂの視線データとして、左眼及び右眼の視線データの両方が「有効」かつ「補間なし」の視線データを選択する場合のように、視線センサ９１の測定状況によっては用いる視線データが全く存在しない場合がある。そのような場合には、注視率１等を算出することができないため、注視率１等を算出可能な他のパターンに変更すればよい。

上記の最終的な注視率１等を算出する場合や、優先度が高く算出可能なパターンの注視率１等を算出する場合は、注視状況推定部２１５で注視状況の推定結果を示す値を１つ算出する例である。従って、後段の処理は、第１実施形態と同様に実施することができる。

また、第２実施形態では、使用可否決定部２１８で、第１信頼度と第２信頼度とが異なる場合に、第２信頼度及び第１信頼度を優先度順に判定する場合について説明したが、これに限定されない。例えば、第２信頼度閾値以上となる全ての第２信頼度の各々とパターンが対応する第１信頼度のうち、第１信頼度閾値以上となる第１信頼度を抽出する。そして、抽出した第１信頼度に対応するパターンの各々が示す種類の視線データを用いて算出された複数の注視率１等から最終的な注視率１等を算出して、視認評価に用いてもよい。最終的な注視率１等は、上記と同様、抽出した第１信頼度に対応するパターン毎に算出した複数の注視率１等の平均値、中間値、最大値、最小値などの統計値とすることができる。

注視状況の推定結果を示す値として、パターン毎の優先度に応じて選択した注視率１等ではなく、統計値を用いることで、様々な視線における注視率を総合的にみて、視認評価を行うことができる。

また、第２実施形態では、視線センサ９１で取得された視線データを用いて、顔向きが大きく変化したか否かを推定する場合について説明したが、視線センサ９１により顔向きも直接測定する構成としたり、顔向きを測定するためのセンサを設けたりしてもよい。この場合は、左眼及び右眼の視線データの有効及び無効状況を探索する代わりに、顔向き角度の変化から、連続性の変化を推定してもよい。すなわち、不連続となった現時刻の顔向き角度と、現時刻より任意時間前の顔向き角度とを比較し、角度差が所定の閾値以上の場合には、連続中の推定結果と異なる推定結果が発生したものと見做すことができる。一方、角度差が所定の閾値未満の場合には、連続中の推定結果と同じ推定結果が発生したものとし見做すことができる。

顔向きに比べて、視線は大目に移動しすぎた顔向きを微調整するために動きがやや複雑になる傾向があるため、顔向きを示すデータを用いた判断を行うことで、注視対象の移動に伴う注視状況の変化を、高精度に判断することができる。

また、上記では開示の技術に係る運転支援プログラムの一例である運転支援プログラム５０、２５０が記憶部４６に各々予め記憶（インストール）されている態様を説明した。しかし、開示の技術に係る運転支援プログラムは、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等の記録媒体に記録されている形態で提供することも可能である。

以上の各実施形態に関し、更に以下の付記を開示する。

（付記１）
ドライバの視線方向を示す視線データの種類を判定する視線データ判定部と、
自車両の状態を示す自車両状態情報、及び前記自車両周辺の状態を示す周辺状態情報に基づく運転シーンに応じて設定した注視対象領域と、前記運転シーンに応じて予め定められた判定時間に取得された複数の視線データが示す視線方向とに基づいて、前記注視対象領域に対する前記ドライバの注視状況を推定する推定部と、
前記注視対象領域の設定精度、及び前記判定時間に取得された複数の視線データの各々の種類に関する視線データの構成状況の少なくとも一方に基づいて、前記注視状況の推定結果の信頼度を算出する信頼度算出部と、
を含む運転支援装置。

（付記２）
前記判定時間に取得された複数の視線データのうち、所定種類の視線データの含有率に基づいて、前記視線データの構成状況を算出する構成状況算出部、及び
設定された前記注視対象領域の位置及び形状の少なくとも一方の誤差を、前記注視対象領域の精度として算出する誤差算出部の少なくとも一方
を含む付記１記載の運転支援装置。

（付記３）
前記構成状況算出部は、前記視線データの種類として、前記注視状況の推定に有効な視線データか否か、サッカード視線を示す視線データか否か、他の視線データを用いて値が補間された視線データか否か、及び前記注視状況の推定に有効な両眼の視線を示す視線データか否かの少なくとも１つを用いる付記２記載の運転支援装置。

（付記４）
前記構成状況算出部は、前記視線データの取得時刻と現在時刻との時間差を用いて算出した重みを用いる付記２または付記３記載の運転支援装置。

（付記５）
前記誤差算出部は、標準的なドライバを基準に設定された注視対象領域と、注視状況の推定対象のドライバの属性に応じた注視対象領域との差に基づいて、前記誤差を算出する付記２〜付記４のいずれか１項記載の運転支援装置。

（付記６）
前記推定部は、前記注視対象領域の形状を、前記ドライバの視点から所定距離にある注視対象を想定した二次元平面、または前記ドライバの視点を頂点、及び前記二次元平面を底面とする錐体とした付記１〜付記５のいずれか１項記載の運転支援装置。

（付記７）
前記推定部は、前記注視対象領域の形状を錐体とする場合に、前記ドライバの視点を基準として透視投影を用いて、前記二次元平面を三次元形状に変換する付記６記載の運転支援装置。

（付記８）
前記推定部は、前記自車両の右側または左側の視認が必要な運転シーンの場合に、前記ドライバの視点を基準とした前記二次元平面の水平方向の画角を、前記自車両の前方進行方向から、前記自車両が走行する道路と前方の交差道路との交差箇所における自車両側の端部までとした付記６または付記７記載の運転支援装置。

（付記９）
前記誤差算出部は、前記自車両の位置または前記ドライバの視点位置の位置精度を用いて前記誤差を算出する付記６〜付記８のいずれか１項記載の運転支援装置。

（付記１０）
前記誤差算出部は、設定された注視対象領域の二次元平面と、実際の注視対象物の形状とが重なる部分の面積、及び重ならない部分の面積の少なくとも一方を用いて、前記誤差を算出する付記６〜付記９のいずれか１項記載の運転支援装置。

（付記１１）
前記推定部は、前記注視対象領域を複数設定した場合に、設定した注視対象領域毎の注視状況の推定結果の各々から統計的に得られる値を最終的な推定結果とし、
前記信頼度算出部は、前記注視対象領域が複数設定された場合に、設定された注視対象領域毎の推定結果の信頼度の各々から統計的に得られる値を最終的な信頼度とする
付記１〜付記１０のいずれか１項記載の運転支援装置。

（付記１２）
前記推定部は、前記注視対象領域の部分毎に重みを設定し、各部分に対する視線方向を示す視線データの数に、前記部分毎の重みを乗じた値に基づいて、前記注視状況を推定する付記１〜付記１１のいずれか１項記載の運転支援装置。

（付記１３）
前記推定部は、前記判定時間の開始時刻と、終了時刻と、現在時刻のいずれかと、前記判定時間に含まれる視線データの取得時刻との時間差を用いて算出した重みに基づいて、前記注視状況を推定する付記１〜付記１２のいずれか１項の運転支援装置。

（付記１４）
前記推定部は、前記判定時間に含まれる視線データが示す視線方向と前記注視対象領域とが交差する交差位置の平均位置を中心とし、前記交差位置のばらつきに応じた大きさを持つ形状と、前記注視対象領域との重畳度合いに基づいて、前記注視状況を推定する付記１〜付記１３のいずれか１項記載の運転支援装置。

（付記１５）
連続する複数の判定時間の各々の注視状況の推定結果のうち、前記信頼度が予め定めた閾値以上となる判定時間の推定結果に基づいて、前記運転シーンに応じた前記ドライバの視認行動を評価する評価部を含む付記１〜付記１４のいずれか１項記載の運転支援装置。

（付記１６）
前記評価部は、連続する複数の判定時間の各々の信頼度の変化に基づいて、各判定時間の推定結果を前記ドライバの注視行動の評価に使用可能か否かを決定する付記１５記載の運転支援装置。

（付記１７）
前記評価部は、前の判定時間における推定結果が評価対象の注視状況を示しており、現在の判定時間における推定結果が、前記ドライバの視認行動の評価に使用できない推定結果の場合に、前記現在の判定時間の推定結果を、前記前の判定時間の推定結果が継続しているとみなすか、前記前の判定時間の推定結果が終了したとみなすか、または除外し、前記評価対象の注視状況を示す推定結果が所定回数連続して発生した場合に、対象の視認行動があったと評価する付記１５または付記１６記載の運転支援装置。

（付記１８）
前記推定部は、前記ドライバの注視状況の推定に用いる視線データの種類が異なる複数のパターンであって、該種類に応じた視線データの取得の容易さが段階的に異なる複数のパターンの各々について、前記ドライバの注視状況を推定する付記１〜付記１７のいずれか１項記載の運転支援装置。

（付記１９）
前記信頼度算出部は、前記注視状況の推定結果の信頼度を、前記パターン毎に算出する付記１８記載の運転支援装置。

（付記２０）
前記評価部は、前記視線データの取得の容易さに基づいて設定されたパターンの優先度に応じて、前記パターン毎の注視状況の推定結果から、評価に用いる推定結果を選択する付記１８または付記１９記載の運転支援装置。

（付記２１）
前記評価部は、前記パターン毎の注視状況の推定結果の各々から統計的に得られる値を最終的な注視状況として、評価に用いる付記１８または付記１９記載の運転支援装置。

（付記２２）
前記信頼度算出部は、前記注視対象領域の設定精度及び前記視線データの構成状況に基づく第１信頼度と、前記視線データの構成状況のみに基づく第２信頼度とを、前記パターン毎に算出し、
前記評価部は、前記第１信頼度及び前記第２信頼度が共に閾値以上の場合、または前記第２信頼度が閾値以上の場合に、前記第１信頼度または前記第２信頼度に対応するパターンが示す種類の視線データを用いて推定された注視状況に基づいて、前記ドライバの視認行動を評価する
付記１８〜付記２１のいずれか１項記載の運転支援装置。

（付記２３）
前記構成状況算出部は、前記所定の種類の視線データの含有率を、該種類に応じた視線データの取得の容易さが段階的に異なる複数のパターンの各々について算出し、パターン毎に、前記視線データの構成状況を算出する付記２〜付記２２のいずれか１項記載の運転支援装置。

（付記２４）
前記評価部は、前記注視状況の推定に有効な視線データと無効な視線データとの変化に基づいて、判定時間毎の注視状況の推定結果の連続性を判定する付記１５〜付記２３のいずれか１項記載の運転支援装置。

（付記２５）
コンピュータに、
ドライバの視線方向を示す視線データの種類を判定し、
自車両の状態を示す自車両状態情報、及び前記自車両周辺の状態を示す周辺状態情報に基づく運転シーンに応じて設定した注視対象領域と、前記運転シーンに応じて予め定められた判定時間に取得された複数の視線データが示す視線方向とに基づいて、前記注視対象領域に対する前記ドライバの注視状況を推定し、
前記注視対象領域の設定精度、及び前記判定時間に取得された複数の視線データの各々の種類に関する視線データの構成状況の少なくとも一方に基づいて、前記注視状況の推定結果の信頼度を算出する
ことを含む処理を実行させる運転支援方法。

（付記２６）
前記コンピュータに、
前記判定時間に取得された複数の視線データのうち、所定種類の視線データの含有率に基づいて、前記視線データの構成状況を算出する処理、及び
設定された前記注視対象領域の位置及び形状の少なくとも一方の誤差を、前記注視対象領域の精度として算出する処理の少なくとも一方
を含む処理を実行させる付記２５記載の運転支援方法。

（付記２７）
前記視線データの構成状況を算出する処理において、前記視線データの種類として、前記注視状況の推定に有効な視線データか否か、サッカード視線を示す視線データか否か、他の視線データを用いて値が補間された視線データか否か、及び前記注視状況の推定に有効な両眼の視線を示す視線データか否かの少なくとも１つを用いる付記２６記載の運転支援方法。

（付記２８）
前記視線データの構成状況を算出する処理において、前記視線データの取得時刻と現在時刻との時間差を用いて算出した重みを用いる付記２６または付記２７記載の運転支援方法。

（付記２９）
前記注視対象領域の誤差を算出する処理において、標準的なドライバを基準に設定された注視対象領域と、注視状況の推定対象のドライバの属性に応じた注視対象領域との差に基づいて、前記誤差を算出する付記２７または付記２８記載の運転支援方法。

（付記３０）
前記注視対象領域の形状を、前記ドライバの視点から所定距離にある注視対象を想定した二次元平面、または前記ドライバの視点を頂点、及び前記二次元平面を底面とする錐体とした付記２６〜付記２９のいずれか１項記載の運転支援方法。

（付記３１）
前記注視対象領域の形状を錐体とする場合に、前記ドライバの視点を基準として透視投影を用いて、前記二次元平面を三次元形状に変換する付記３０記載の運転支援方法。

（付記３２）
前記自車両の右側または左側の視認が必要な運転シーンの場合に、前記ドライバの視点を基準とした前記二次元平面の水平方向の画角を、前記自車両の前方進行方向から、前記自車両が走行する道路と前方の交差道路との交差箇所における自車両側の端部までとした付記３０または付記３１記載の運転支援方法。

（付記３３）
前記自車両の位置または前記ドライバの視点位置の位置精度を用いて前記誤差を算出する付記３０〜付記３２のいずれか１項記載の運転支援方法。

（付記３４）
設定された注視対象領域の二次元平面と、実際の注視対象物の形状とが重なる部分の面積、及び重ならない部分の面積の少なくとも一方を用いて、前記誤差を算出する付記３０〜付記３３のいずれか１項記載の運転支援方法。

（付記３５）
前記注視対象領域を複数設定した場合に、設定した注視対象領域毎の注視状況の推定結果の各々から統計的に得られる値を最終的な推定結果とし、
前記注視対象領域が複数設定された場合に、設定された注視対象領域毎の推定結果の信頼度の各々から統計的に得られる値を最終的な信頼度とする
付記２６〜付記３４のいずれか１項記載の運転支援方法。

（付記３６）
前記注視対象領域の部分毎に重みを設定し、各部分に対する視線方向を示す視線データの数に、前記部分毎の重みを乗じた値に基づいて、前記注視状況を推定する付記２６〜付記３５のいずれか１項記載の運転支援方法。

（付記３７）
前記判定時間の開始時刻と、終了時刻と、現在時刻のいずれかと、前記判定時間に含まれる視線データの取得時刻との時間差を用いて算出した重みに基づいて、前記注視状況を推定する付記２６〜付記３６のいずれか１項記載の運転支援方法。

（付記３８）
前記判定時間に含まれる視線データが示す視線方向と前記注視対象領域とが交差する交差位置の平均位置を中心とし、前記交差位置のばらつきに応じた大きさを持つ形状と、前記注視対象領域との重畳度合いに基づいて、前記注視状況を推定する付記２６〜付記３７のいずれか１項記載の運転支援方法。

（付記３９）
前記コンピュータに、連続する複数の判定時間の各々の注視状況の推定結果のうち、前記信頼度が予め定めた閾値以上となる判定時間の推定結果に基づいて、前記運転シーンに応じた前記ドライバの視認行動を評価することを含む処理を実行させる付記２６〜付記３８のいずれか１項記載の運転支援方法。

（付記４０）
連続する複数の判定時間の各々の信頼度の変化に基づいて、各判定時間の推定結果を前記ドライバの注視行動の評価に使用可能か否かを決定する付記３９記載の運転支援方法。

（付記４１）
前の判定時間における推定結果が評価対象の注視状況を示しており、現在の判定時間における推定結果が、前記ドライバの視認行動の評価に使用できない推定結果の場合に、前記現在の判定時間の推定結果を、前記前の判定時間の推定結果が継続しているとみなすか、前記前の判定時間の推定結果が終了したとみなすか、または除外し、前記評価対象の注視状況を示す推定結果が所定回数連続して発生した場合に、対象の視認行動があったと評価する付記３９または付記４０記載の運転支援方法。

（付記４２）
コンピュータに、
ドライバの視線方向を示す視線データの種類を判定し、
自車両の状態を示す自車両状態情報、及び前記自車両周辺の状態を示す周辺状態情報に基づく運転シーンに応じて設定した注視対象領域と、前記運転シーンに応じて予め定められた判定時間に取得された複数の視線データが示す視線方向とに基づいて、前記注視対象領域に対する前記ドライバの注視状況を推定し、
前記注視対象領域の設定精度、及び前記判定時間に取得された複数の視線データの各々の種類に関する視線データの構成状況の少なくとも一方に基づいて、前記注視状況の推定結果の信頼度を算出する
ことを含む処理を実行させるための運転支援プログラム。

（付記４３）
前記コンピュータに、
前記判定時間に取得された複数の視線データのうち、所定種類の視線データの含有率に基づいて、前記視線データの構成状況を算出する処理、及び
設定された前記注視対象領域の位置及び形状の少なくとも一方の誤差を、前記注視対象領域の精度として算出する処理の少なくとも一方
を含む処理を実行させるための付記４２記載の運転支援プログラム。

（付記４４）
前記視線データの構成状況を算出する処理において、前記視線データの種類として、前記注視状況の推定に有効な視線データか否か、サッカード視線を示す視線データか否か、他の視線データを用いて値が補間された視線データか否か、及び前記注視状況の推定に有効な両眼の視線を示す視線データか否かの少なくとも１つを用いる付記４３記載の運転支援プログラム。

（付記４５）
前記視線データの構成状況を算出する処理において、前記視線データの取得時刻と現在時刻との時間差を用いて算出した重みを用いる付記４３または付記４４記載の運転支援プログラム。

（付記４６）
前記注視対象領域の誤差を算出する処理において、標準的なドライバを基準に設定された注視対象領域と、注視状況の推定対象のドライバの属性に応じた注視対象領域との差に基づいて、前記誤差を算出する付記４４または付記４５記載の運転支援プログラム。

（付記４７）
前記注視対象領域の形状を、前記ドライバの視点から所定距離にある注視対象を想定した二次元平面、または前記ドライバの視点を頂点、及び前記二次元平面を底面とする錐体とした付記４３〜付記４６のいずれか１項記載の運転支援プログラム。

（付記４８）
前記注視対象領域の形状を錐体とする場合に、前記ドライバの視点を基準として透視投影を用いて、前記二次元平面を三次元形状に変換する付記４７記載の運転支援プログラム。

（付記４９）
前記自車両の右側または左側の視認が必要な運転シーンの場合に、前記ドライバの視点を基準とした前記二次元平面の水平方向の画角を、前記自車両の前方進行方向から、前記自車両が走行する道路と前方の交差道路との交差箇所における自車両側の端部までとした付記４７または付記４８記載の運転支援プログラム。

（付記５０）
前記自車両の位置または前記ドライバの視点位置の位置精度を用いて前記誤差を算出する付記４７〜付記４９のいずれか１項記載の運転支援プログラム。

（付記５１）
設定された注視対象領域の二次元平面と、実際の注視対象物の形状とが重なる部分の面積、及び重ならない部分の面積の少なくとも一方を用いて、前記誤差を算出する付記４７〜付記５０のいずれか１項記載の運転支援プログラム。

（付記５２）
前記注視対象領域を複数設定した場合に、設定した注視対象領域毎の注視状況の推定結果の各々から統計的に得られる値を最終的な推定結果とし、
前記注視対象領域が複数設定された場合に、設定された注視対象領域毎の推定結果の信頼度の各々から統計的に得られる値を最終的な信頼度とする
付記５０または付記５１記載の運転支援プログラム。

（付記５３）
前記注視対象領域の部分毎に重みを設定し、各部分に対する視線方向を示す視線データの数に、前記部分毎の重みを乗じた値に基づいて、前記注視状況を推定する付記４３〜付記５２のいずれか１項記載の運転支援プログラム。

（付記５４）
前記判定時間の開始時刻と、終了時刻と、現在時刻のいずれかと、前記判定時間に含まれる視線データの取得時刻との時間差を用いて算出した重みに基づいて、前記注視状況を推定する付記４３〜付記５３のいずれか１項記載の運転支援プログラム。

（付記５５）
前記判定時間に含まれる視線データが示す視線方向と前記注視対象領域とが交差する交差位置の平均位置を中心とし、前記交差位置のばらつきに応じた大きさを持つ形状と、前記注視対象領域との重畳度合いに基づいて、前記注視状況を推定する付記４３〜付記５３のいずれか１項記載の運転支援プログラム。

（付記５６）
前記コンピュータに、連続する複数の判定時間の各々の注視状況の推定結果のうち、前記信頼度が予め定めた閾値以上となる判定時間の推定結果に基づいて、前記運転シーンに応じた前記ドライバの視認行動を評価することを含む処理を実行させる付記４３〜付記５５のいずれか１項記載の運転支援プログラム。

（付記５７）
連続する複数の判定時間の各々の信頼度の変化に基づいて、各判定時間の推定結果を前記ドライバの注視行動の評価に使用可能か否かを決定する付記５６記載の運転支援プログラム。

（付記５８）
前の判定時間における推定結果が評価対象の注視状況を示しており、現在の判定時間における推定結果が、前記ドライバの視認行動の評価に使用できない推定結果の場合に、前記現在の判定時間の推定結果を、前記前の判定時間の推定結果が継続しているとみなすか、前記前の判定時間の推定結果が終了したとみなすか、または除外し、前記評価対象の注視状況を示す推定結果が所定回数連続して発生した場合に、対象の視認行動があったと評価する付記５６または付記５７記載の運転支援プログラム。

１０、２１０ 運転支援装置
１１ 視線データ判定部
１２ 運転シーン決定部
１３ 関心エリア設定部
１４ 関心エリア誤差算出部
１５、２１５ 注視状況推定部
１６、２１６ 視線構成状況算出部
１７、２１７ 信頼度算出部
１８、２１８ 使用可否決定部
１９、２１９ 視認評価部
２０ 視線データ格納部

Claims (20)

1. ドライバの視線方向を示す視線データの種類を判定する視線データ判定部と、
   自車両の状態を示す自車両状態情報、及び前記自車両周辺の状態を示す周辺状態情報に基づく運転シーンに応じて設定した注視対象領域と、前記運転シーンに応じて予め定められた判定時間に取得された複数の視線データが示す視線方向とに基づいて、前記注視対象領域に対する前記ドライバの注視状況を推定する推定部と、
   前記注視対象領域の設定精度、及び前記判定時間に取得された複数の視線データの各々の種類に関する視線データの構成状況の少なくとも一方に基づいて、前記注視状況の推定結果の信頼度を算出する信頼度算出部と、
   を含む運転支援装置。
2. 前記判定時間に取得された複数の視線データのうち、所定種類の視線データの含有率に基づいて、前記視線データの構成状況を算出する構成状況算出部、及び
   設定された前記注視対象領域の位置及び形状の少なくとも一方の誤差を、前記注視対象領域の精度として算出する誤差算出部の少なくとも一方
   を含む請求項１記載の運転支援装置。
3. 前記構成状況算出部は、前記視線データの種類として、前記注視状況の推定に有効な視線データか否か、サッカード視線を示す視線データか否か、他の視線データを用いて値が補間された視線データか否か、及び前記注視状況の推定に有効な両眼の視線を示す視線データか否かの少なくとも１つを用いる請求項２記載の運転支援装置。
4. 前記構成状況算出部は、前記視線データの取得時刻と現在時刻との時間差を用いて算出した重みを用いる請求項２または請求項３記載の運転支援装置。
5. 前記誤差算出部は、標準的なドライバを基準に設定された注視対象領域と、注視状況の推定対象のドライバの属性に応じた注視対象領域との差に基づいて、前記誤差を算出する請求項２〜請求項４のいずれか１項記載の運転支援装置。
6. 前記推定部は、前記注視対象領域の形状を、前記ドライバの視点から所定距離にある注視対象を想定した二次元平面、または前記ドライバの視点を頂点、及び前記二次元平面を底面とする錐体とした請求項１〜請求項５のいずれか１項記載の運転支援装置。
7. 前記推定部は、前記自車両の右側または左側の視認が必要な運転シーンの場合に、前記ドライバの視点を基準とした前記二次元平面の水平方向の画角を、前記自車両の前方進行方向から、前記自車両が走行する道路と前方の交差道路との交差箇所における自車両側の端部までとした請求項６記載の運転支援装置。
8. 前記誤差算出部は、前記自車両の位置または前記ドライバの視点位置の位置精度を用いて前記誤差を算出する請求項５記載の運転支援装置。
9. 前記誤差算出部は、設定された注視対象領域の二次元平面と、実際の注視対象物の形状とが重なる部分の面積、及び重ならない部分の面積の少なくとも一方を用いて、前記誤差を算出する請求項５記載の運転支援装置。
10. 前記推定部は、前記注視対象領域を複数設定した場合に、設定した注視対象領域毎の注視状況の推定結果の各々から統計的に得られる値を最終的な推定結果とし、
    前記信頼度算出部は、前記注視対象領域が複数設定された場合に、設定された注視対象領域毎の推定結果の信頼度の各々から統計的に得られる値を最終的な信頼度とする
    請求項１〜請求項９のいずれか１項記載の運転支援装置。
11. 前記推定部は、前記注視対象領域の部分毎に重みを設定し、各部分に対する視線方向を示す視線データの数に、前記部分毎の重みを乗じた値に基づいて、前記注視状況を推定する請求項１〜請求項１０のいずれか１項記載の運転支援装置。
12. 前記推定部は、前記判定時間の開始時刻と、終了時刻と、現在時刻のいずれかと、前記判定時間に含まれる視線データの取得時刻との時間差を用いて算出した重みに基づいて、前記注視状況を推定する請求項１〜請求項１１のいずれか１項記載の運転支援装置。
13. 前記推定部は、前記判定時間に含まれる視線データが示す視線方向と前記注視対象領域とが交差する交差位置の平均位置を中心とし、前記交差位置のばらつきに応じた大きさを持つ形状と、前記注視対象領域との重畳度合いに基づいて、前記注視状況を推定する請求項１〜請求項１２のいずれか１項記載の運転支援装置。
14. 連続する複数の判定時間の各々の注視状況の推定結果のうち、前記信頼度が予め定めた閾値以上となる判定時間の推定結果に基づいて、前記運転シーンに応じた前記ドライバの視認行動を評価する評価部を含む請求項１〜請求項１３のいずれか１項記載の運転支援装置。
15. 前記評価部は、連続する複数の判定時間の各々の信頼度の変化に基づいて、各判定時間の推定結果を前記ドライバの注視行動の評価に使用可能か否かを決定する請求項１４記載の運転支援装置。
16. 前記推定部は、前記ドライバの注視状況の推定に用いる視線データの種類が異なる複数のパターンであって、該種類に応じた視線データの取得の容易さが段階的に異なる複数のパターンの各々について、前記ドライバの注視状況を推定する請求項１〜請求項１５のいずれか１項記載の運転支援装置。
17. 前記信頼度算出部は、前記注視状況の推定結果の信頼度を、前記パターン毎に算出する請求項１６記載の運転支援装置。
18. 前記評価部は、前記注視状況の推定に有効な視線データと無効な視線データとの変化に基づいて、判定時間毎の注視状況の推定結果の連続性を判定する請求項１４または請求項１５記載の運転支援装置。
19. コンピュータに、
    ドライバの視線方向を示す視線データの種類を判定し、
    自車両の状態を示す自車両状態情報、及び前記自車両周辺の状態を示す周辺状態情報に基づく運転シーンに応じて設定した注視対象領域と、前記運転シーンに応じて予め定められた判定時間に取得された複数の視線データが示す視線方向とに基づいて、前記注視対象領域に対する前記ドライバの注視状況を推定し、
    前記注視対象領域の設定精度、及び前記判定時間に取得された複数の視線データの各々の種類に関する視線データの構成状況の少なくとも一方に基づいて、前記注視状況の推定結果の信頼度を算出する
    ことを含む処理を実行させる運転支援方法。
20. コンピュータに、
    ドライバの視線方向を示す視線データの種類を判定し、
    自車両の状態を示す自車両状態情報、及び前記自車両周辺の状態を示す周辺状態情報に基づく運転シーンに応じて設定した注視対象領域と、前記運転シーンに応じて予め定められた判定時間に取得された複数の視線データが示す視線方向とに基づいて、前記注視対象領域に対する前記ドライバの注視状況を推定し、
    前記注視対象領域の設定精度、及び前記判定時間に取得された複数の視線データの各々の種類に関する視線データの構成状況の少なくとも一方に基づいて、前記注視状況の推定結果の信頼度を算出する
    ことを含む処理を実行させるための運転支援プログラム。