JPWO2011064831A1 - 診断装置及び診断方法 - Google Patents

Abstract

自車両周辺の対象物に対する、運転者の認知度を診断する診断装置及び診断方法を提供することを目的とする。自車両周辺に存在する一又は複数の対象物を抽出する対象物抽出部１２３と、前記自車両の運転者の視線を中心とする視線空間に、前記対象物の少なくとも一領域が含まれるか否かを判定する視線判定部１２６と、前記判定結果に基づいて、前記対象物に対する前記運転者の認知度を診断する認知度診断部１２７と、を含む診断装置を提供する。

Description

本発明は、自車両周辺の対象物に対する、運転者の認知度を診断する診断装置及び診断方法に関する。

車社会において安全を促進させて事故数を減少させることが大きな課題となっており、様々な対策がなされている。例えば、運転者が事故に遭遇した場合であっても、運転者が事故により受ける影響を軽減するためのエアバックが車両に装備されている。エアバックは事故後の対策として設けられるが、事故を未然に防ぐ対策として、例えば車両周辺の障害物など認知すべき対象物を検知するシステムが開発されている。また、運転者が車両を運転している時の運行状態を記憶装置に記憶し、診断者が運行状態を診断して運転者に指導を行う安全指導サービスなども提案されている。その他、引用文献１には、運転者のブレーキ操作及びアクセル操作などから運転技量を判定し、運転者の技量に応じて車両を制御するシステムが開示されている。

特開平１１−１２９９２４号公報

ここで、運転者の対象物への認知不足が原因である車両事故が、車両事故全体の７０％以上であるとの分析もなされている。よって、運転者が対象物をどの程度認知しているかを示す認知度を評価し、認知度に基づいた安全対策を行うことが車両事故を軽減させるには効果的であると言える。

しかし、上述のような対象物を検知するシステム、安全指導サービス及び引用文献１の運転者の技量を判定するシステムなどにより、運転者に対象物を知らせる技術は開発されているものの、運転者が対象物を実際にどの程度認知しているかは診断されていない。

そこで、自車両周辺の対象物に対する、運転者の認知度を診断する診断装置及び診断方法を提供することを目的とする。

自車両周辺に存在する一又は複数の対象物を抽出する対象物抽出手段と、前記自車両の運転者の視線を中心とする視線空間に、前記対象物の少なくとも一領域が含まれるか否かを判定する視線判定手段と、前記判定結果に基づいて、前記対象物に対する前記運転者の認知度を診断する認知度診断手段と、を含む診断装置を提供する。

また、診断装置が実行する診断方法であって、自車両周辺に存在する一又は複数の対象物を抽出する対象物抽出ステップと、前記自車両の運転者の視線を中心とする視線空間に、前記対象物の少なくとも一領域が含まれるか否かを判定する視線判定ステップと、前記判定結果に基づいて、前記対象物に対する前記運転者の認知度を診断する認知度診断ステップと、を含む診断方法を提供する。

自車両周辺の対象物に対する、運転者の認知度を診断する診断装置及び診断方法を提供することができる。

第１実施形態例に係る、診断装置と情報取得装置との接続関係及びハードウェア構成を示すブロック図の一例。 周辺情報取得機器の取付位置と撮影範囲を示す説明図。 視線検出機器の取付位置を示す説明図（１）。 視線検出機器の取付位置を示す説明図（２）。 ミラーにより確認可能な領域の一例を示す説明図。 周辺映像が投影される三次元投影面を示す模式図。 図６の自車両と他車両との関係を示す斜視図。 第１実施形態例にかかる情報取得装置及び診断装置の機能構成を示すブロック図の一例。 視線原点Ｐ及び視線ベクトルの算出方法の一例を示す説明図。 周辺情報ＤＢの周辺情報の一例。 視線データＤＢの視線データの一例。 対象物の抽出方法の一例を示す説明図。 相対情報ＤＢの相対情報の一例。 相対距離Ｌの算出方法の一例を示す説明図。 ＴＴＣと危険度との関係を示す対応表の一例。 診断結果ＤＢの一例。 視線ベクトルと対象物ベクトルとの成す角Δθに基づいた視認の判定方法の一例を示す説明図。 ミラー視線ベクトルと対象物ベクトルとの成す角Δθに基づいた視認の判定方法の一例を示す説明図。 診断結果ＤＢが記憶する視認時間及び非視認時間の一例。 成す角ΔθＨ及びΔθＶと認知度との関係を示す対応表の一例。 視認頻度又は視認間隔に基づいて認知度を診断する方法を説明する説明図。 第１実施形態例にかかる診断装置が実行する全体処理の流れの一例を示すフローチャート。 第１実施形態例にかかる視線データのミラー処理の流れの一例を示すフローチャート。 第１実施形態例にかかる対象物抽出処理の流れの一例を示すフローチャート。 第１実施形態例にかかる相対情報算出処理の流れの一例を示すフローチャート。 第１実施形態例にかかる危険度算出処理の流れの一例を示すフローチャート。 第１実施形態例にかかる視線判定処理の流れの一例を示すフローチャート。 ＴＴＣの別の算出方法を示す説明図。 第２実施形態例に係る、診断装置のハードウェア構成を示すブロック図の一例。 第２実施形態例にかかる診断装置の機能構成を示すブロック図の一例。

＜第１実施形態例＞
第１実施形態例の診断装置１００は、自車両周辺の周辺情報及び運転者の視線を外部の情報取得装置から取得し、自車両周辺の対象物に対する運転者の認知度を、運転者の視線と対象物との位置関係に基づいて診断する。下記に、まず第１実施形態例の診断装置と、情報取得装置と、の関係及びそれぞれのハードウェア構成について説明する。

（１）診断装置及び情報取得装置の関係
図１は、第１実施形態例に係る、診断装置と情報取得装置との接続関係及びハードウェア構成を示すブロック図の一例である。

診断装置１００は、情報取得装置２００から各種情報を取得可能なように接続されておいる。例えば、診断装置１００は、ＳＣＳＩ（Small Computer System Interface）、ＵＳＢ（Universal Serial Bus）などのインターフェースなどを介して、情報取得装置２００と接続されている。また、診断装置１００は、インターネットなどのネットワークを介して情報取得装置２００と接続されていても良い。

（２）ハードウェア構成
（２−１）診断装置
診断装置１００は、例えば、ＣＰＵ（Central Processing Unit）１０１、ＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random Access Memory）１０３、入出力機器Ｉ／Ｆ１０４、通信Ｉ／Ｆ（InterFace）１０８を有している。これらは、バス１０９を介して互いに接続されている。

入出力機器Ｉ／Ｆ１０４は、ディスプレイ１０５、スピーカ１０６及びキーボード１０７などの入出力機器と接続されており、例えばＣＰＵ１０１からの指示に応じて入出力機器に診断結果を出力する。

ＲＯＭ１０２は、診断装置１００が行う後述の各種制御に関わる各種制御プログラムを記憶している。

ＲＡＭ１０３は、ＲＯＭ１０２内の各種制御プログラム、情報取得装置２００から取得した各種情報などを一時的に記憶する。各種情報には、例えば自車両周辺の周辺情報及び運転者の視線などが含まれる。また、ＲＡＭ１０３は、各種制御プログラムの実行に応じて各種フラグなどの情報を一時的に記憶する。

ＣＰＵ１０１は、ＲＯＭ１０２に記憶された各種制御プログラムをＲＡＭ１０３に展開し、後述の各種制御を行う。

通信Ｉ／Ｆ１０８は、ＣＰＵ１０１の制御に基づいて、例えば情報取得装置２００との間でコマンド又はデータの送受信などの通信を行う。

バス１０９は、例えばＰＣＩ（Peripheral Component Interconnect）バスやＩＳＡ（Industrial Standard Architecture）バス等からなり、上記構成を互いに接続する。

（２−２）情報取得装置
情報取得装置２００は、例えば、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、入出力機器Ｉ／Ｆ２０４、通信Ｉ／Ｆ２０７を有している。これらは、バス２０８を介して互いに接続されている。

（ａ）入出力機器Ｉ／Ｆ
入出力機器Ｉ／Ｆ２０４は、周辺情報取得機器２０５及び視線検出機器２０６などと接続されている。周辺情報取得機器２０５及び視線検出機器２０６により検出された情報は、入出力機器Ｉ／Ｆ２０４を介してＲＡＭ２０３、ＣＰＵ２０１及び通信Ｉ／Ｆなどに出力される。

（ｂ）周辺情報取得機器
周辺情報取得機器２０５は、自車両周辺に存在する一又は複数の対象物を含む周辺情報を取得する。周辺情報は、例えば自車両周辺の周辺映像、自車両周辺の対象物の位置、大きさなどの対象物情報などを言う。本実施形態例では、周辺情報取得機器２０５は、周辺情報として周辺映像を取得するものとする。例えば、周辺情報取得機器２０５は、ＣＣＤ（Charge Coupled Device）カメラ、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）カメラなどの撮像装置からなり、自車両周辺の周辺映像を取得する。

図２は、周辺情報取得機器の取付位置と撮影範囲を示す説明図である。周辺情報取得機器２０５は、例えば図２に示すように、例えば前方カメラ２０５ａ、右側カメラ２０５ｂ、左側カメラ２０５ｃ及び後方カメラ２０５ｄの４つのカメラから構成される。前方カメラ２０５ａは、車両３００の前部バンパの中央に取り付けられて、車両３００の前方を撮影する。後方カメラ２０５ｄは、車両３００の後部バンパの中央に取り付けられて、車両３００の後方を撮影する。右側カメラ２０５ｂは、車両３００の右側面の中央に取り付けられて、車両３００の右側方を撮影する。左側カメラ２０５ｃは、車両３００の左側面の中央に取り付けられて、車両３００の左側方を撮影する。

各カメラ２０５ａ〜２０５ｄは、例えばそれぞれが１８０度の画角を有する超広角レンズを用いたカメラである。このことから、図２に示すように、前方カメラ２０５ａは車両３００の前方領域２１０を撮影し、右側カメラ２０５ｂは車両３００の右側方領域２１１を撮影し、左側カメラ２０５ｃは車両３００の左側方領域２１２を撮影し、後方カメラ２０５ｄは、車両３００の後方領域２１３を撮影する。各カメラ２０５ａ〜２０５ｄの撮影する領域は、それぞれ隣接するカメラが撮影する領域と重複するように構成される。

なお、各カメラ２０５ａ〜２０５ｄで撮影された映像は、車両３００の中心点Ｏを原点とする後述の空間座標系に適合可能なように、各カメラ２０５ａ〜２０５ｄの取付位置、取付角度などに応じて補正される。

各カメラ２０５ａ〜２０５ｄは、図示したように、車両３００の前面、右側面、左側面、後面のそれぞれ中央に取り付けることが好ましい。しかし、各カメラ２０５ａ〜２０５ｄの撮影領域が、隣接するカメラの撮影領域と部分的に重複する位置であればよく、各カメラ２０５ａ〜２０５ｄの取付位置は特に限定されるものではない。例えば、右側カメラ２０５ｂ、左側カメラ２０５ｃは、車両３００の左右のドアミラーに取り付けることも可能である。また、各カメラの撮影領域が一部重複し、かつ車両の周囲３６０度の範囲を撮影することが可能であればよく、カメラの数は４つに限定されるものではない。

また、各カメラ２０５ａ〜２０５ｄは、例えば、１秒当たり３０枚のフレームを撮影する。カメラ２０５ａ〜２０５ｄからなる周辺情報取得機器２０５によって撮影された画像データは、入出力機器Ｉ／Ｆ２０４を介してＲＡＭ２０３に記憶される。

上記のように各カメラ２０５ａ〜２０５ｄにより映像を撮影することで、診断装置１００は、後述の画像処理部１２２により車両３００の全周囲の周辺映像を取得することができる。よって、診断装置１００は、車両３００の全周囲において対象物を抽出することができるため、車両３００の運転者が視認困難な死角であっても対象物を抽出することができる。

（ｃ）視線検出機器
次に、視線検出機器２０６は、運転者の顔、眼球、虹彩などの視線情報を検出する。

図３及び図４は、視線検出機器の取付位置を示す説明図である。視線検出機器２０６は、運転者の視線情報を取得可能な例えばＣＣＤカメラ、ＣＭＯＳカメラ、赤外線カメラなどの撮像装置からなる。

視線検出機器２０６は、図３、図４に示すように、例えば車両３００のダッシュボード３０１上に設けられる。このとき、視線検出機器２０６は、運転者の顔及び目等を前方から検出可能なように、またハンドル３０２により遮られずに顔及び目等を撮影可能なように、例えばハンドル３０２近傍のダッシュボード３０１上に所定の角度で取り付けられる。ただし、運転者の顔及び目等を検出可能であれは、取付位置及び取付角度等は限定されない。

なお、視線検出機器２０６が撮影した映像は、その映像から検出される視線原点Ｐなどが、車両３００の中心点Ｏを中心とする空間座標系の座標として定義可能なように、視線検出機器２０６の取付位置、取付角度などに応じて補正される。

また、視線検出機器２０６は、例えば１秒当たり３０枚の画像フレームを撮影し、撮影された画像データは、入出力機器Ｉ／Ｆ２０４を介してＲＡＭ２０３に記憶される。

視線検出機器２０６が検出した運転者の顔、眼球、虹彩などの映像に基づいて視線１５０を検出することが可能である。運転者の視線１５０が検出されると、視線１５０の方向により運転者がどの方向を視認していたのかが分かる。例えば、視線１５０の方向が前方であれば、運転者は前方を視認していたと推測できる。また、視線１５０の方向がミラー３０３に向かっていれば、ミラー３０３を介して車両３００の後方及び後側方などを視認していたと推測できる。

なお、車両３００に設けられるミラー３０３には、図４に示すように車両３００の左右のドア付近に設けられるドアミラー３０３Ｌ、３０３Ｒ、車両３００内部に設けられるバックミラー３０３Ｂ、車両３００のボンネット上に設けられるフェンダーミラー等が挙げられる。図５は、ミラーにより確認可能な領域の一例を示す説明図である。車両３００の運転者は、左のドアミラー３０３Ｌ、右のドアミラー３０３Ｒ及びバックミラー３０３Ｂによって、それぞれ左ミラー領域３０４Ｌ、右ミラー領域３０４Ｒ及びバックミラー領域３０４Ｂを視認可能である。

（ｄ）ＲＯＭ、ＲＡＭ、通信Ｉ／Ｆ
ＲＯＭ２０２は、情報取得装置２００が行う各種制御プログラムを記憶している。

ＲＡＭ２０３は、ＲＯＭ２０２内の各種制御プログラム、各種フラグ、周辺情報取得機器２０５及び視線検出機器２０６から受信した各種情報を一時的に記憶する。

通信Ｉ／Ｆ２０７は、ＣＰＵ２０１の制御に基づいて診断装置１００との間で、周辺情報取得機器２０５が取得した周辺映像、視線検出機器２０６が検出した視線情報、各種コマンドなどのデータの送受信を行う。

（ｅ）ＣＰＵ
ＣＰＵ２０１は、ＲＯＭ２０２に記憶された各種制御プログラムをＲＡＭ２０３に展開し、各種制御を行う。例えば、ＣＰＵ２０１は、各種制御プログラムの実行により周辺情報取得機器２０５及び視線検出機器２０６を制御し、周辺映像及び視線情報の取得を開始させる。また、ＣＰＵ２０１は、視線情報に基づいて、視線原点Ｐ及び視線１５０の方向を示す視線ベクトル１５０ａなどを検出する。なお、視線原点Ｐ及び視線ベクトル１５０ａは、図３に示すように、例えば車両３００の任意の中心点Ｏを原点とする空間座標系により定義される。中心点Ｏは、例えば一例えあるが、車両３００の車幅の半分及び車長の半分の位置により定義される。なお、空間座標系はＸ、Ｙ、Ｚ座標で表すものとし、中心点Ｏは（Ｘ、Ｙ、Ｚ）＝（０、０、０）で表される。

（３）処理の概要
図６〜図７を用いて診断装置１００による処理の概要を説明する。なお、以下では、自車両３００は、対象物の認知度を診断される運転者が運転する車両であり、他車両５００は自車両３００に対して対象物となり得る車両である。

図６は、周辺映像が投影される三次元投影面を示す模式図である。

診断装置１００は、まず自車両３００周辺の対象物を把握するために、情報取得装置２００のから自車両３００周辺の周辺映像を受信する。なお、対象物とは、自車両３００周辺に存在する障害物であり、詳細には、運転者が自車両３００を運転する際に認知すべき障害物である。対象物には、車、自転車、バイクなどの車両、人、動物、その他の走行の障害となり得る物体などが含まれる。

次に、診断装置１００は、図６に示すように三次元投影面４００に周辺映像を投影する。三次元投影面４００としては、一例として、自車両３００を中心にしたお椀形状の投影面を想定している。これにより、診断装置１００は、自車両３００の周辺の対象物を把握可能である。図６では、対象物である他車両５００は、自車両３００の左斜め前方に存在している。

図７は、図６の自車両と他車両との関係を示す斜視図である。他車両５００は、自車両３００が走行する車線６００に対して、左に隣接する車線６０１上を走行している。また、自車両３００の運転者の視線ベクトル１５０ａが他車両５００に向かっているため、診断装置１００は自車両３００の運転者が他車両５００を視認していると判定することができる。具体的には、例えば、診断装置１００は、自車両３００の運転者の視線１５０を中心とした視線空間１５１を設定し、視線空間１５１内に対象物である他車両５００の少なくとも一領域が含まれるか否かに基づいて視認しているか否かを判定する。より具体的には後述するが、診断装置１００は、視線ベクトル１５０ａと、自車両３００から他車両５００への対象物ベクトル１６０ａと、の成す角Δθに基づいて判定する。ここで、視線空間１５１とは、視線原点Ｐを始点とし、視線ベクトル１５０ａとの成す角θａが所定の閾値θｔｈ以下である視線空間線１５１ａの集合が構成する空間を言う。

（４）機能構成
次に情報取得装置２００及び診断装置１００の機能構成について説明する。

図８は、第１実施形態例にかかる情報取得装置及び診断装置の機能構成を示すブロック図の一例である。なお、図８に示す各機能部の接続線は、データの流れの一例を示したものであり、全てのデータの流れを記載したものではない。

まず情報取得装置２００の機能構成について説明する。

（４−１）情報取得装置
情報取得装置２００の各機能部による処理は、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、入出力機器Ｉ／Ｆ２０４、周辺情報取得機器２０５、視線検出機器２０６、通信Ｉ／Ｆ２０７等が相互に連携することにより実行される。

情報取得装置２００の機能部には、例えば、周辺情報取得部２２１、視線検出部２２２、送受信部２２３、各種データＤＢ２２４などが含まれる。

（４−１−１）周辺情報取得部
周辺情報取得部２２１は、前述の図２に示す前方カメラ２０５ａ、右側カメラ２０５ｂ、左側カメラ２０５ｃ及び後方カメラ２０５ｄからなる周辺情報取得機器２０５が撮影した周辺映像を取得し、各種データＤＢ２２４に格納する。

（４−１−２）視線検出部
視線検出部２２２は、視線検出機器２０６が検出した運転者の顔、眼球、虹彩などの映像に基づいて、視線原点Ｐ及び視線１５０の方向を示す視線ベクトル１５０ａを算出する。

図９は視線原点Ｐ及び視線ベクトルの算出方法の一例を示す説明図である。例えば、視線検出部２２２は、顔、眼球、虹彩などの映像に基づいて顔の特徴点を算出し、予め記憶している運転者の顔の特徴量と比較する。次に、視線検出部２２２は、比較結果及び顔、眼球、虹彩の映像などに基づいて顔の向きを抽出するとともに、同図（ａ）に示す左の眼球１５２Ｌと右の眼球１５２Ｒとの中心位置を視線原点Ｐとして検出する。さらに、視線検出部２２２は、虹彩１５３ａの中心位置、つまり瞳孔１５３ｂの中心位置を算出する。最後に、視線検出部２２２は、視線原点Ｐ及び瞳孔１５３ｂの中心位置に基づいて視線ベクトル１５０ａを算出する。なお、運転者は頭を前後左右及び上下などに変更し得るため、空間座標系の中心点Ｏに対する視線原点Ｐの位置は頭の位置及び向き等に応じて変更される。

視線ベクトル１５０ａは、車両３００の任意の中心点Ｏを原点とする空間座標系内の座標により定義され得る。その他、視線ベクトル１５０ａは、同図（ｂ）及び（ｃ）に示すように、視線ベクトル１５０ａとＸＹ平面との成す角であるピッチ角１５６ａと、視線ベクトル１５０ａとＹＺ平面との成す角である方位角１５６ｂと、により定義されても良い。

視線検出部２２２は、視線原点Ｐ及び視線ベクトル１５０ａを各種データＤＢ２２４に格納する。

（４−１−３）送受信部
情報取得装置２００の送受信部２２３は、診断装置１００の送受信部１２１との間で、各種データＤＢ２２４内の各種データ、各種コマンド等を送受信する。

（４−２）診断装置
診断装置１００の各機能部による処理は、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、入出力機器Ｉ／Ｆ１０４、ディスプレイ１０５、スピーカ１０６、キーボード１０７、通信Ｉ／Ｆ１０８等が相互に連携することにより実行される。

診断装置１００の機能部には、例えば、送受信部１２１、画像処理部１２２、対象物抽出部１２３、相対情報算出部１２４、危険度算出部１２５、視線判定部１２６、認知度診断部１２７、診断結果出力部１２８などが含まれる。さらに、診断装置１００の機能部には、例えば、各種情報を記憶するための、周辺情報ＤＢ１３１、相対情報ＤＢ１３２、視線データＤＢ１３３、診断結果ＤＢ１３４及び各種対応表ＤＢ１３５などが含まれる。

（４−２−１）送受信部
診断装置１００の送受信部１２１は、情報取得装置２００の送受信部２２３との間で、各種データ、各種コマンド等を送受信する。

（４−２−２）周辺情報ＤＢ
周辺情報ＤＢ１３１は、自車両周辺の対象物を含む周辺情報として、自車両周辺の周辺映像を情報取得装置２００から取得して記憶する。周辺映像には、前方カメラ２０５ａ、右側カメラ２０５ｂ、左側カメラ２０５ｃ及び後方カメラ２０５ｄからなる周辺情報取得機器２０５が撮影した映像が含まれる。

図１０は、周辺情報ＤＢの周辺情報の一例である。周辺情報ＤＢ１３１は、例えば、各フレームごとに、フレーム番号及び各カメラ２０５での映像データを記憶する。映像データには、前方カメラ２０５ａが撮影した前方映像、右側カメラ２０５ｂが撮影した右側映像、左側カメラ２０５ｃが撮影した左側映像及び後方カメラ２０５ｄが撮影した後方映像が含まれる。

（４−２−３）視線データＤＢ
視線データＤＢ１３３は、自車両の運転者の視線原点Ｐ及び視線ベクトル１５０ａを情報取得装置２００から取得し記憶する。また、視線データＤＢ１３３は、視線判定部１２６が判定した、ミラー３０３の視認の有無、ミラー視線原点Ｒ及びミラー視線ベクトル１５５ａなども記憶する。

なお、ミラー視線原点Ｒとは、視線ベクトル１５０ａとミラー３０３のミラー面の領域との交点の座標を言うものとする。また、運転者からの視線１５０はミラー３０３により反射され、ミラー視線１５５となる。ミラー視線ベクトル１５５ａとは、ミラー視線１５５の方向を示すベクトルである。なお、ミラー視線原点Ｒ及びミラー視線ベクトル１５５ａは、自車両３００の任意の中心点Ｏを中心とする空間座標系により定義される。

図１１は、視線データＤＢの視線データの一例である。視線データＤＢ１３３は、各フレームごとに、フレーム番号、視線原点Ｐ、視線ベクトル１５０ａ、ミラー視認のＹｅｓ／ＮＯ、ミラー視線原点Ｒ及びミラー視線ベクトル１５５ａを記憶する。例えば、視線データＤＢ１３３は、フレーム番号１のレコードにおいて、視線原点Ｐ（Ｘｖ０、Ｙｖ０、Ｚｖ０）、視線ベクトルＶｉｓｕａｌ１、ミラー３０５を視認していないことを示す“ＮＯ”を記憶している。また、視線データＤＢ１３３は、フレーム番号６のレコードにおいて、視線原点Ｐ（Ｘｖ１、Ｙｖ１、Ｚｖ１）、視線ベクトルＶｉｓｕａｌ４、ミラー３０３を視認していることを示す“ＹＥＳ”、ミラー視線原点Ｒ（Ｘｍ１、Ｙｍ１、Ｚｍ１）、ミラー視線ベクトルＶｍｉｒｒｏｒ１を記憶している。

（４−２−４）画像処理部
画像処理部１２２は、各カメラ２０５が撮影した映像データを周辺情報ＤＢ１３１から取得し、合成することで前述の図６に示すような三次元投影面４００に投影された周辺映像を生成する。具体的には、まず、画像処理部１２２は、各カメラ２０５ａ〜２０５ｄの各画素と、三次元投影面４００の各座標と、の対応関係を、後述の各種対応表ＤＢ１３５から取得する。次に、画像処理部１２２は、前記座標の対応関係に基づいて、各カメラ２０５ａ〜２０５ｄの映像データを三次元投影面４００に投影し、周辺映像を生成する。

（４−２−５）対象物抽出部
対象物抽出部１２３は、画像処理部１２２が生成した周辺映像から、自車両３００周辺に存在する一又は複数の対象物を抽出する。

図１２は、対象物の抽出方法の一例を示す説明図である。図１２では、車線６００上を自車両３００が走行しており、左に隣接する車線６０１上を対象物である他車両５００が走行している。まず、対象物抽出部１２３は、例えば周辺映像における輝度のコントラスト比に基づいてエッジを抽出し、車線表示ライン６０２ａ〜６０２ｄを検出する。次に、対象物抽出部１２３は、車線表示ライン６０２ａ〜６０２ｄの交点から消失点Ｄを検出し、消失点Ｄに基づいて対象物の検索範囲を確定する。例えば、検索範囲は、消失点Ｄと車線表示ライン６０２ａ〜６０２ｄとにより囲まれる範囲、又は前記範囲を含む所定範囲と確定することができる。

対象物抽出部１２３は、検索範囲内において自車両３００周辺の対象物候補を抽出する。対象物候補とは、対象物となり得る候補を言う。次に、対象物抽出部１２３は、対象物候補と、予め格納されている対象物の各種特徴を記憶したパターンデータと、を比較することで、対象物候補を対象物とするか否かを決定する。例えば、対象物抽出部１２３は、対象物候補が車両のパターンデータと一致する場合には、対象物候補を対象物と決定する。ただし、対象物は車両に限られず、例えば人等であっても良い。図１２の例では、対象物抽出部１２３は、対象物として他車両５００を抽出している。一方、対象物抽出部１２３は、対象物候補が対象物のパターンデータと一致しない場合、対象物候補を対象物ではないと決定する。

対象物抽出部１２３は、抽出した各対象物を識別するために、各対象物に対象物ＩＤ（IDentification）を付与し、自車両３００に対する対象物の相対位置を取得する。相対位置としては、例えば、対象物のうち、自車両３００に最も近接する一辺の中心座標と、対象物のうち、自車両３００に最も近接する部分の座標と、が挙げられる。図１２のように他車両５００が自車両３００に対して左前方を走行している場合は、対象物抽出部１２３は、相対位置として、他車両５００の後部の中心点Ｑ０と、他車両５００の右隅点Ｑ１と、を取得する。一方、他車両５００が自車両３００に対して右後方を走行している場合は、対象物抽出部１２３は、相対位置として、他車両５００の前部の中心点Ｑ０と、他車両５００の左隅点Ｑ１と、を取得する。

ここで、相対位置Ｑ０、Ｑ１は、車両３００の任意の中心点Ｏを原点とする空間座標系により定義される。なお、対象物抽出部１２３は、対象物の位置を把握できれば良く、対象物の相対位置は前述の相対位置Ｑ０、Ｑ１に限定されない。

対象物抽出部１２３は、対象物ＩＤ及び相対位置Ｑ０及びＱ１を相対情報ＤＢ１３２に格納する。

（４−２−６）相対情報算出部、相対情報ＤＢ
相対情報ＤＢ１３２は、対象物抽出部１２３から取得した対象物ＩＤ及び相対位置Ｑ０及び相対位置Ｑ１を、各フレーム及び各対象物ごとに記憶する。また、相対情報ＤＢ１３２は、相対情報算出部１２４が算出した相対距離Ｌ、相対速度Ｖ及び対象物ベクトル１６０ａなどを、各フレーム及び各対象物ごとに記憶する。

図１３は、相対情報ＤＢの相対情報の一例である。相対情報ＤＢ１３２は、例えば、フレーム番号、対象物ＩＤ、相対位置Ｑ０、相対位置Ｑ１、相対距離Ｌ、相対速度Ｖ及び対象物ベクトル１６０ａを記憶している。相対距離Ｌとしては、Ｘ方向の相対距離Ｌｘ及びＹ方向の相対距離Ｌｙがある。相対速度Ｖとしては、Ｘ方向の相対速度Ｖｘ及びＹ方向の相対速度Ｖｙがある。なお、対象物ベクトル１６０ａとは、視線原点Ｐ又はミラー視線原点Ｒから対象物への方向１６０を示すベクトルである。

相対情報算出部１２４は、自車両３００と一又は複数の対象物との相対距離Ｌ及び相対速度Ｖ、対象物ベクトル１６０ａなどの相対情報を算出する。相対情報の算出方法を再び図１２を用いて説明する。まず、相対情報算出部１２４は、相対情報ＤＢ１３２から対象物の相対位置Ｑ１を読み出す。また、相対情報算出部１２４は、自車両３００の中心点Ｏと対象物の相対位置Ｑ１との距離に基づいて、Ｘ方向の相対距離Ｌｘ’及びＹ方向の相対距離Ｌｙ’を算出する。なお、相対位置Ｑ１とは、対象物が他車両５００であるとすると、他車両５００の車体のうち、自車両３００に最も近接する部分の座標である。図１３の相対情報ＤＢ１３２を参照すると、フレーム番号１及び対象物ＩＤ２の場合、相対位置Ｑ０は（Ｘ２１、Ｙ２１、Ｚ２１）である。中心点Ｏの座標は（０、０、０）であるので、Ｘ方向の相対距離Ｌｘ’はＬｘ’＝Ｘ２１−０＝Ｘ２１と算出される。同様に、Ｙ方向の相対距離Ｌｙ’はＬｙ’＝Ｙ２１−０＝Ｙ２１と算出される。ここで、相対距離Ｌｘ’及びＹ方向の相対距離Ｌｙ’は、自車両３００の車幅の半分及び車長の半分を含む距離である。よって、相対情報算出部１２４は、自車両３００のＸ方向の車幅の半分であるＬｘｃａｒを、相対距離Ｌｘ’から減算することで、相対距離Ｌｘを算出する。同様に、相対情報算出部１２４は、自車両３００のＹ方向の車長の半分であるＬｙｃａｒを、相対距離Ｌｙ’から減算することで、相対距離Ｌｙを算出する。

より具体的な相対距離Ｌの算出方法として、カメラ２０５の設置高さ及び焦点距離等を考慮した相対距離の算出方法の一例を次に説明する。図１４は、相対距離Ｌの算出方法の一例を示す説明図である。自車両３００の周辺映像を撮影するカメラ２０５は、自車両３００の中心点Ｏの上部の車体上に設けられているものとする。また、カメラ２０５の地面からの高さはＨであり、カメラ２０５のレンズの焦点距離はｆであり、消失点Ｄの座標は（ＸＤ、ＹＤ、ＺＤ）であるとする。ここで、対象物である他車両５００の相対位置Ｑ０を（ＸＱ０、ＹＱ０、ＺＱ０）とすると、相対情報算出部１２４は、次式（１）、（２）に基づいて相対距離Ｌｘ’及び相対距離Ｌｙ’を算出する。

相対距離Ｌｙ’＝ｆ×Ｈ／│ＹＱ０−ＹＤ│ ・・・（１）
相対距離Ｌｘ’＝Ｌｙ’×ｆ／│ＸＱ０−ＸＤ│ ・・・（２）
相対情報算出部１２４は、相対距離Ｌｘ’及び相対距離Ｌｙ’と、Ｌｘｃａｒ及びＬｙｃａｒと、に基づいて、前述と同様に相対距離Ｌｘ及び相対距離Ｌｙを算出し、相対情報ＤＢ１３２に格納する。これにより、現在着目している現フレームにおける、相対距離Ｌｘ及び相対距離Ｌｙを算出することができる。

次に、相対情報算出部１２４は、現フレームに対して１つ前の前フレームにおいて、着目している対象物の相対距離Ｌｙ及び相対距離Ｌｘを取得する。つまり、相対情報算出部１２４は、同一の対象物ＩＤについて、前フレームと現フレームとの相対距離Ｌの差を算出する。次に、相対情報算出部１２４は、現フレームと前フレームとの相対距離Ｌｙの差分と、フレーム間の時間と、に基づいてＹ方向の相対速度Ｖｙを算出する。同様に、相対情報算出部１２４は、現フレームと前フレームとの相対距離Ｌｘの差分と、フレーム間の時間と、に基づいてＸ方向の相対速度Ｖｘを算出する。

さらに、相対情報算出部１２４は、視線データＤＢ１３３から視線原点Ｐ又はミラー視線原点Ｒを取得する。具体的には、相対情報算出部１２４は、視線データＤＢ１３３においてミラー視認の結果が“ＮＯ”であれば視線原点Ｐを取得し、ミラー視認の結果が“ＹＥＳ”であればミラー視線原点Ｒを取得する。また、相対情報算出部１２４は、相対情報ＤＢ１３２から、対象物ベクトルの算出対象である対象物の相対位置Ｑ０を取得する。次に、相対情報算出部１２４は、視線原点Ｐ又はミラー視線原点Ｒから対象物への方向１６０を示す対象物ベクトル１６０ａを算出する。

フレーム番号１及び対象物ＩＤが２について、対象物ベクトル１６０ａは次のように算出される。相対情報算出部１２４は、視線データＤＢ１３３において、ミラー視認の結果が“ＮＯ”であるので視線原点Ｐ（Ｘｖ０、Ｙｖ０、Ｚｖ０）を取得する。また、相対情報算出部１２４は、相対情報ＤＢ１３２から相対位置Ｑ０（Ｘ２１、Ｙ２１、Ｚ２１）を取得する。次に、相対情報算出部１２４は、視線原点Ｐ（Ｘｖ０、Ｙｖ０、Ｚｖ０）と、相対位置Ｑ０（Ｘ２１、Ｙ２１、Ｚ２１）と、に基づいて対象物ベクトルＶｏｂｊｅｃｔ２１を算出する。

また、フレーム番号６及び対象物ＩＤが２について、対象物ベクトル１６０ａは次のように算出される。相対情報算出部１２４は、視線データＤＢ１３３において、ミラー視認の結果が“ＹＥＳ”であるのでミラー視線原点Ｒ（Ｘｍ１、Ｙｍ１、Ｚｍ１）を取得する。ここで、フレーム番号６及び対象物ＩＤが１についての相対位置Ｑ０が（Ｘ２６、Ｙ２６、Ｚ２６）であるとする。相対情報算出部１２４は、ミラー視線原点Ｒ（Ｘｍ１、Ｙｍ１、Ｚｍ１）と、相対位置Ｑ０（Ｘ２６、Ｙ２６、Ｚ２６）と、に基づいて対象物ベクトルＶｏｂｊｅｃｔ２６を算出する。

なお、対象物ベクトル１６０ａは、空間座標系内の座標により定義されても良いし、対象物ベクトル１６０ａとＸＹ平面及びＹＺ平面との成す角によって定義されても良い。

相対情報算出部１２４は、上記の算出結果を相対情報ＤＢ１３２に格納する。

なお、対象物は自車両３００に近づいたり、離れたりするため、対象物数は増加又は減少する。例えば、図１３のフレーム番号１のフレームでの対象物数は“Ｎ”であり、フレーム番号２のフレームでの対象物数は“Ｍ”であり異なる。また、対象物ＩＤが“１”〜“４”の対象物は、フレーム番号１のフレームで存在していたが、フレーム番号ｉのフレームでは存在していない。

（４−２−７）危険度算出部、診断結果ＤＢ
危険度算出部１２５は、相対情報ＤＢ１３２内の相対情報などに基づいて、対象物と自車両３００との衝突の危険度を算出する。例えば、危険度算出部１２５は、次のようにして危険度を算出する。

危険度算出部１２５は、相対距離Ｌ及び相対速度Ｖに基づいてＴＴＣ（Time To Collision）を求め、ＴＴＣに基づいて危険度を算出する。ここで、ＴＴＣとは、対象物と自車両３００とが衝突するまでに要する予測時間である。対象物及び自車両３００が等速運動すると仮定すると、ＴＴＣは次式（３）に基づいて算出できる。

ＴＴＣ＝相対距離／相対速度 ・・・（３）
Ｘ方向及びＹ方向のそれぞれについてＴＴＣを算出するため、まず、危険度算出部１２５は、相対情報ＤＢ１３２から相対距離Ｌｘ、Ｌｙ及び相対速度Ｖｘ、Ｖｙを取得する。危険度算出部１２５は、前記式（３）に基づいてＸ方向のＴＴＣｘ及びＹ方向のＴＴＣｙを算出する。次に、危険度算出部１２５は、各種対応表ＤＢ１３５に格納されているＴＴＣと危険度との対応表を読み出し、ＴＴＣｘ及びＴＴＣｙを前記対応表に照らし合わせて危険度を算出する。

図１５は、ＴＴＣと危険度との関係を示す対応表の一例である。図１５では、例えばＴＴＣは危険度に応じて１０段階に分類されている。危険度算出部１２５は、例えばＴＴＣｘが３０秒である場合にはＸ方向の危険度を３と判定し、ＴＴＣｙが６秒であるとするとＹ方向の危険度を９と算出する。さらに、危険度算出部１２５は、ＴＴＣｘ及びＴＴＣｙのそれぞれの危険度を対象物の危険度としても良いが、一例としてＸ方向及びＹ方向の危険度のうち高い方の危険度を、対象物の現フレームでの危険度に設定しても良い。

なお、危険度算出部１２５は、対象物及び自車両３００が等速運動すると仮定して前記式（３）に基づいてＴＴＣを算出しているが、相対加速度などをさらに考慮してＴＴＣを算出しても良い。

危険度算出部１２５は、上記の算出結果を後述の診断結果ＤＢ１３４に格納する。

図１６は診断結果ＤＢの一例である。診断結果ＤＢ１３４は、危険度算出部１２５が算出したＴＴＣｘ、ＴＴＣｙ及び危険度を各フレーム及び各対象物ごとに記憶する。さらに、診断結果ＤＢ１３４は、後述の視線判定部１２６での判定結果及び認知度診断部１２７での診断結果などを記憶する。視線判定部１２６での判定結果としては、視線ベクトル１５０ａ又はミラー視線ベクトル１５５ａと、対象物ベクトル１６０ａと、成す角ΔθＨ、ΔθＶ及び視認の有無が挙げられる。また、認知度診断部１２７での診断結果としては、自車両３００の運転者の対象物に対する認知度が挙げられる。

また、診断結果ＤＢ１３４は、さらに後述の図１９に示す視認時間及び非視認時間の算出結果を記憶する。

（４−２−８）視線判定部
視線判定部１２６は、情報取得装置２００から取得した視線原点Ｐ及び視線ベクトル１５０ａに基づいて、視線ベクトル１５０ａがミラー３０３上にあるか否かを判定する。ここで、視線判定部１２６は、自車両３００に設けられた左右のドアミラー３０３Ｌ、３０３Ｒ及びバックミラー３０３Ｂなどの各ミラー面の領域を例えば情報取得装置２００から取得するなどして把握しているものとする。ミラー面の領域とは、入射光を反射する反射面の領域であり、例えば空間座標系を基準とした座標の集合により定義される。視線判定部１２６は、視線原点Ｐから延在する視線ベクトル１５０ａと、ミラー面の領域と、が交差するかに基づいて、視線ベクトル１５０ａがミラー３０３上にあるか否かを判定する。

視線判定部１２６は、視線ベクトル１５０ａとミラー面の領域とが交差する場合には、その交点をミラー視線原点Ｒに設定する。さらに、視線判定部１２６は、視線ベクトル１５０aをミラー視線原点Ｒを起点としてミラー３０３により反射させてミラー視線ベクトル１５５ａを求める。視線判定部１２６は、これらのミラー３０３の視認の有無、ミラー視線原点Ｒ及びミラー視線ベクトル１５５ａを、前述の図１１に示すように視線データＤＢ１３３に格納する。なお、各ミラー３０３が微調整されるなどして位置が変更された場合には、視線判定部１２６は、変更後のミラー面の領域を例えば情報取得装置２００から取得するものとする。

また、視線判定部１２６は、自車両３００の運転者の視線１５０を中心とした視線空間１５１を設定し、視線空間１５１内に対象物の少なくとも一領域が含まれるか否かを判定し、視認しているか否かを判定する。ここでは、視線判定部１２６は、視線ベクトル１５０ａ又はミラー視線ベクトル１５５ａと、対象物ベクトル１６０ａと、の成す角Δθに基づいて、運転者が対象物を視認しているか否かを判定する。判定方法について以下に図１７、図１８を用いて説明する。

図１７は視線ベクトルと対象物ベクトルとの成す角Δθに基づいた視認の判定方法の一例を示す説明図である。自車両３００は車線６００上を走行しており、対象物である他車両５００は、車線６００の左に隣接する車線６０１上を走行しており、自車両３００に対して左前方に位置している。視線判定部１２６は、視線データＤＢ１３３を参照し、判定対象のフレームにおいてミラー視認がＮＯであると判断すると、視線原点Ｐ及び視線ベクトル１５０ａを読み出す。また、視線判定部１２６は、相対情報ＤＢ１３２を参照し、判定対象のフレーム及び判定対象の対象物について、対象物ベクトル１６０ａを読み出す。次に、視線判定部１２６は、視線原点Ｐを起点とする運転者の視線ベクトル１５０ａと、視線原点Ｐを起点とする対象物ベクトル１６０ａと、の成す角Δθを算出する。ここでは、視線判定部１２６は、同図（ａ）に示すように、ＸＹ平面内での視線ベクトル１５０ａと対象物ベクトル１６０ａとの成す角ΔθＨを算出する。さらに、視線判定部１２６は、同図（ｂ）に示すように、ＹＺ平面内での視線ベクトル１５０ａと対象物ベクトル１６０ａとの成す角ΔθＶを算出する。

次に、視線判定部１２６は、視認しているか否かを判定するための所定の閾値θｔｈと、算出したΔθと、を比較し、運転者が対象物を視認しているか否かを判定する。閾値θｔｈには、ＸＹ面内での成す角ΔθＨを判定するための所定の閾値θＨｔｈと、ＹＺ面内での成す角ΔθＶを判定するための所定の閾値θＶｔｈと、がある。よって、視線判定部１２６は、成す角ΔθＨが所定の閾値θＨｔｈ以下か否かを判定し、さらに成す角ΔθＶが所定の閾値θＶｔｈ以下か否かを判定する。視線判定部１２６は、成す角ΔθＨが所定の閾値θＨｔｈ以下であり、かつ、成す角ΔθＶが所定の閾値θＶｔｈ以下である場合は、自車両３００の運転者が対象物である他車両５００を視認していたと判定する。一方、視線判定部１２６は、成す角ΔθＨが所定の閾値θＨｔｈより大きいか、あるいは、成す角ΔθＶが所定の閾値θＶｔｈより大きい場合は、運転者が他車両５００を視認していなかったと判定する。

図１８はミラー視線ベクトルと対象物ベクトルとの成す角Δθに基づいた視認の判定方法の一例を示す説明図である。自車両３００は車線６００上を走行しており、対象物である他車両５００は、車線６００の右に隣接する車線６０３上を走行しており、自車両３００に対して右後方に位置している。視線判定部１２６は、視線データＤＢ１３３を参照し、判定対象のフレームにおいてミラー視認がＹＥＳであると判断すると、ミラー視線原点Ｒ及びミラー視線ベクトル１５５ａを読み出す。例えば、運転者は、自車両３００の右のドアミラー３０３Ｒを視認しているものとする。よって、図１８に示すように、視線原点Ｐを起点とする視線ベクトル１５０ａは、ミラー３０３Ｒにより反射され、ミラー視線原点Ｒを起点とするミラー視線ベクトル１５５ａとなっている。また、視線判定部１２６は、相対情報ＤＢ１３２を参照し、判定対象のフレーム及び判定対象の対象物について、対象物ベクトル１６０ａを読み出す。視線判定部１２６は、ミラー視線原点Ｒを起点とするミラー視線ベクトル１５５ａと、ミラー視線原点Ｒを起点とする対象物ベクトル１６０ａと、の成す角Δθを算出する。つまり、視線判定部１２６は、同図（ａ）、（ｂ）に示すように、ＸＹ平面内でのミラー視線ベクトル１５５ａと対象物ベクトル１６０ａとの成す角ΔθＨ、及びＹＺ平面内でのミラー視線ベクトル１５５ａと対象物ベクトル１６０ａとの成す角ΔθＶを算出する。さらに、視線判定部１２６は、前述と同様に、成す角ΔθＨ及びΔθＶと、閾値θＨｔｈ及びθＶｔｈと、を比較することで、自車両３００の運転者がミラー３０３を介して他車両５００を視認していたか否かを判定する。

なお、上記では、ΔθＨ及びΔθＶの両方に基づいて視認の有無を判定しているが、例えばいずれか一方のΔθＨに基づいて視認の有無を判定することもできる。

視線判定部１２６は、判定結果として、成す角ΔθＨ、ΔθＶ及び視認の有無を診断結果ＤＢ１３４に格納する。

さらに、視線判定部１２６は、後述の認知度の判定に用いるために、各対象物の視認時間及び非視認時間を算出しても良い。図１９は、診断結果ＤＢが記憶する視認時間及び非視認時間の一例である。図１９では、各対象物ＩＤについて、各フレームでの視認の有無がＹＥＳ、ＮＯにより示されている。視線判定部１２６は、連続するフレームにおいて着目している対象物が視認されている場合は、連続するフレーム数分だけフレーム時間Δｔｆを加算して視認時間を算出する。視線判定部１２６は、非視認時間についても同様に、視認されていないフレーム数分だけフレーム時間Δｔｆを加算して非視認時間を算出する。なお、１フレームのフレーム時間をΔｔｆとしている。

例えば図１９において対象物ＩＤが“１”の対象物は、例えばフレーム番号２〜７までの６フレームでは連続して視認されているため、視線判定部１２６はフレーム番号７の時点で視認時間を６Δｔｆと算出する。また、視線判定部１２６は、フレーム１２〜１５までの４フレームでは対象物は視認されていないため、視線判定部１２６はフレーム番号１５の時点で非視認時間を４Δｔｆと算出する。なお、視線判定部１２６は、視認及び非視認が入れ替わると、視認時間及び非視認時間をリセットする。

（４−２−９）認知度診断部
認知度診断部１２７は、自車両３００の運転者の対象物に対する認知度を診断し、診断結果ＤＢ１３４に格納する。

ここで、運転者が対象物を認知しているとは、対象物がどこに存在するのか、対象物がどの方向に進行しているのか、又は対象物が何であるかなど、対象物に関する情報を運転者が把握している状態を言う。また、対象物に対する認知度とは、対象物をどの程度認知しているかを表す指標である。なお、対象物を単に視認しているだけでは、前述のような対象物に関する情報を運転者が把握しているかどうかは不明であるため、ここでは視認と認知とを区別している。

認知度の診断方法には種々考えられるが、認知度診断部１２７は例えば以下の方法（ｉ）〜（ｖｉ）により認知度を診断することができる。ただし診断方法は一例であり、以下に限定されない。

（ｉ）
例えば、認知度診断部１２７は、図７に示す視線空間１５１と対象物である他車両５００との位置関係に基づいて認知度を診断する。例えば、認知度診断部１２７は、対象物が視線空間１５１の中央部に位置しているか否かを判断し、対象物が視線空間の中央部に位置していれば視線１５０と対象物とが交差しており、対象物の認知度が高いと診断する。また、認知度診断部１２７は、対象物のうち何％が視線空間１５１を占有しているかを判断し、対象物全領域が視線空間１５１を占有していれば、その対象物の認知度が高いと診断する。なお、認知度診断部１２７は、視線空間１５１に対する対象物の位置と、認知度と、の関係、視線空間１５１に含まれる対象物の割合と、認知度と、の関係などを予め保持しているものとする。

（ｉｉ）
例えば、認知度診断部１２７は、視線ベクトル１５０ａ又はミラー視線ベクトル１５５ａと、対象物ベクトル１６０ａと、の成す角Δθの大きさに応じて、認知度を診断する。図２０は、成す角ΔθＨ及びΔθＶと認知度との関係を示す対応表の一例である。ΔθＨ及びΔθＶの所定範囲に対して０〜５の６段階の認知度が対応付けられている。認知度診断部１２７は、診断結果ＤＢ１３４からΔθＨ及びΔθＶを取得し、図２０に示す対応表を参照して認知度を診断する。

例えば、認知度診断部１２７は、ΔθＨが０°でΔθＶが１°である場合は、認知度を最も高いレベルの“５”と診断する。このとき、運転者の視線１５０は対象物に直接向けられており、運転者は確実に対象物を認知していると考えられる。また、認知度診断部１２７は、ΔθＨに基づく認知度とΔθＶに基づく認知度とが異なる場合は、低い方のレベルに基づいて認知度を判断する。例えば、ΔθＨが５°に基づく認知度が５で、ΔθＶが１°に基づく認知度が３である場合は、認知度は“３”と診断しても良い。一方、認知度診断部１２７は、成す角ΔθＨが所定の閾値θＨｔｈより大きいか、あるいは、成す角ΔθＶが所定の閾値θＶｔｈより大きい場合は、認知度を最も低いレベルの“０”と診断する。

（ｉｉｉ）
視認時間が短く対象物を一瞬しか視認していない場合、運転者は対象物を認知できていない。そこで、認知度診断部１２７は視認時間の長さに応じて認知度を診断する。ここで、各種対応表ＤＢ１３５は視認時間の長さと認知度との対応表を記憶しており、前記対応表では例えば視認時間が長くなるほど認知度が高く設定されているものとする。認知度診断部１２７は、診断結果ＤＢ１３４から視認時間を読み出し、前記対応表に基づいて認知度を診断する。

（ｉｖ）
対象物についての非視認時間が長い場合、運転者は対象物を認知できていない。そこで、認知度診断部１２７は、非視認時間の長さに基づいて認知度を診断する。ここで、各種対応表ＤＢ１３５は非視認時間の長さと認知度との対応表を記憶しており、前記対応表では例えば非視認時間が長くなるほど認知度が低く設定されているものとする。認知度診断部１２７は、診断結果ＤＢ１３４から非視認時間を読み出し、前記対応表に基づいて認知度を診断する。

また、認知度診断部１２７は、視認時間及び非視認時間の両方に応じて認知度を診断しても良い。例えば、認知度診断部１２７は、視認時間が長いことに基づいて一旦認知度を高く診断しても、視認時間が終了した後の非視認時間が長い場合には非視認時間に応じて認知度を低く診断する。

また、認知度診断部１２７は、非視認時間が、自車両と各対象物とが衝突するまでの予測時間であるＴＴＣ未満か否かに基づいて、各対象物に対する認知度を診断しても良い。

対象物に対する非視認時間がＴＴＣ以上であると、自車両と対象物とが衝突する可能性がある。よって、認知度診断部１２７は、非視認時間がＴＴＣ以上である場合、対象物に対する認知度を小さくする。一方、認知度診断部１２７は、非視認時間がＴＴＣよりも小さい場合、対象物に対する認知度を大きくする。

また、認知度診断部１２７は、視線１５０が複数の視線空間１５１を移動する際の移動速度に基づいて認知度を診断しても良い。例えば、認知度診断部１２７は、移動速度が所定値Ｖａ以上の場合は認知度を高くし、移動速度が所定値Ｖａ未満の場合は認知度を低くする。

（ｖ）
認知度診断部１２７は、複数の対象物の各視認時間が所定時間Ｔａ内において占める視認頻度に基づいて、各対象物に対する認知度を診断しても良い。また、診断装置は、複数の対象物それぞれに対する視認間隔に基づいて、各対象物に対する認知度を診断しても良い。

図２１は、視認頻度又は視認間隔に基づいて認知度を診断する方法を説明する説明図である。対象物として対象物Ａ、対象物Ｂ及び対象物Ｃが抽出されており、自車両３００の運転者は対象物Ａ〜Ｃを交互に視認しているものとする。図２１では、時間軸ｔ上に、各対象物Ａ〜Ｃの視認時間ｔａ、ｔｂ、ｔｃがそれぞれ示されている。認知度診断部１２７は、所定時間Ｔａ内において各対象物Ａ〜Ｃが視認されている視認頻度を計数する。認知度診断部１２７は、例えば各対象物に対する視認頻度が高いほど、認知度を高く診断する。

また、認知度診断部１２７は、各対象物Ａ〜Ｃの視認間隔ΔＴ１、ΔＴ２、ΔＴ３を算出し、視認間隔ΔＴ１〜ΔＴ３に基づいて認知度を診断する。例えば、認知度診断部１２７は、視認間隔ΔＴ１〜ΔＴ３が、各対象物Ａ〜Ｃを視認可能な適切な時間間隔であるか否かに基づいて認知度を診断する。視認間隔は、例えば各視認時間の中間点のあいだの時間により算出される。

以上により、診断装置１００は、運転者が複数の対象物を認知できているかどうかを診断することができる。

（ｖｉ）
認知度診断部１２７は、自車両３００周辺の対象物数と、自車両３００周辺の対象物のうち視認されていると判定された対象物数と、の比に基づいて、運転者の認知度を診断しても良い。自車両３００周辺に存在する複数の対象物に対する認知度を全体として診断することができる。

（４−２−１０）診断結果出力部
診断結果出力部１２８は、診断結果ＤＢ１３４から、現在のフレームでの各対象物の認知度を取得し、ディスプレイ１０５、スピーカ１０６等の出力機器に出力する。

また、診断結果出力部１２８は、診断結果ＤＢ１３４から取得した認知度と所定値とを比較し、認知度が所定値以下の対象物に関する情報を出力しても良い。対象物に関する情報とは、例えば認知度、衝突の危険度及びＴＴＣなどが挙げられる。また、認知度が所定値以下の対象物とは、視認時間が短い対象物及び視線空間に含まれず視認されていない対象物などが挙げられる。運転者が対象物に関する情報を受け取った場合、運転者は、衝突の危険度が高いにも関わらず認知度が低いなどの情報を取得し、それに応じて運転の改善などを行うことができる。

（４−２−１１）各種対応表ＤＢ
各種対応表ＤＢ１３５は、各カメラ２０５ａ〜２０５ｄの各画素と、三次元投影面４００の各座標と、の対応関係を、記憶している。

また、各種対応表ＤＢ１３５は、前記図１５のＴＴＣと危険度との関係を示す対応表、前記図２０の成す角ΔθＨ及びΔθＶと認知度との関係を示す対応表を記憶している。さらに、各種対応表ＤＢ１３５は、視認時間又は非視認時間と認知度との対応表などを記憶している。

（５）処理の流れ
以下に、第１実施形態例にかかる診断装置が実行する処理の流れを説明する。まず全体の処理の流れを説明し、次に全体処理を構成する各処理の流れについて説明する。

（５−１）全体処理
図２２は、第１実施形態例にかかる診断装置が実行する全体処理の流れの一例を示すフローチャートである。全体処理は各フレームごとに実行される。

ステップＳ１：診断装置１００は、周辺情報と、視線原点Ｐ及び視線ベクトル１５０ａを含む視線データと、を情報取得装置２００から取得し、それぞれ周辺情報ＤＢ１３１及び視線データＤＢ１３３に格納する。

ステップＳ２：運転者がミラーを視認しているか否かに応じて、視線判定部１２６は、視線データのミラー処理を行う。

ステップＳ３：画像処理部１２２は周辺情報に基づいて自車両３００の周辺映像を生成し、対象物抽出部１２３は、周辺映像から、自車両３００周辺に存在する一又は複数の対象物を抽出する。

ステップＳ４：相対情報算出部１２４は、自車両３００と一又は複数の対象物との相対距離Ｌ及び相対速度Ｖ、自車両３００に対する対象物の方向を示す対象物ベクトル１６０ａなどの相対情報を算出する。

ステップＳ５：危険度算出部１２５は、相対情報ＤＢ１３２内の相対情報などに基づいて、対象物と自車両３００との衝突の危険度を算出する。

ステップＳ６：視線判定部１２６は、視線ベクトル１５０ａ又はミラー視線ベクトル１５５ａと、対象物ベクトル１６０ａと、の成す角Δθに基づいて、運転者が対象物を視認しているか否かを判定する。

ステップＳ７：認知度診断部１２７は、自車両３００の運転者の対象物に対する認知度を診断し、診断結果ＤＢ１３４に格納する。

ステップＳ８：診断結果出力部１２８は、現在のフレームでの各対象物について、認知度、衝突の危険度及び／又はＴＴＣなどを含む情報を、ディスプレイ１０５、スピーカ１０６等の出力機器に出力する。

（５−２）視線データのミラー処理
図２３は、第１実施形態例にかかる視線データのミラー処理の流れの一例を示すフローチャートである。以下に、前述の全体処理のうち、視線データのミラー処理の流れについて説明する。

ステップＳ２ａ：視線判定部１２６は、視線原点Ｐ及び視線ベクトル１５０ａに基づいて、視線ベクトル１５０ａがミラー３０３上にあるか否かを判定する。視線ベクトル１５０ａがミラー３０３上にある場合にはステップＳ２ｂに進み、そうでない場合は終了する。

ステップＳ２ｂ、Ｓ２ｃ：視線判定部１２６は、ミラー視線原点Ｒを設定するとともに（Ｓ２ｂ）、ミラー視線ベクトル１５５ａを算出する（Ｓ２ｃ）。

（５−３）対象物抽出処理
図２４は、第１実施形態例にかかる対象物抽出処理の流れの一例を示すフローチャートである。

ステップＳ３ａ：画像処理部１２２は、各カメラ２０５ａ〜２０５ｄの映像データを三次元投影面４００に投影し、周辺映像を生成する。

ステップＳ３ｂ、Ｓ３ｃ：対象物抽出部１２３は、画像処理部１２２が生成した周辺映像においてエッジを抽出し（Ｓ３ｂ）、車線表示ライン６０２ａ〜６０２ｄを検出する（Ｓ３ｃ）。

ステップＳ３ｄ、Ｓ３ｅ：次に、対象物抽出部１２３は、車線表示ライン６０２ａ〜６０２ｄの交点から消失点Ｄを検出し（Ｓ３ｄ）、消失点Ｄに基づいて対象物の検索範囲を確定する（Ｓ３ｅ）。

ステップＳ３ｆ：対象物抽出部１２３は、検索範囲内から対象物候補を抽出する。

ステップＳ３ｇ、Ｓ３ｈ：対象物抽出部１２３は、対象物候補についてパターンマッチングを行い（Ｓ３ｇ）、対象物を抽出する（Ｓ３ｈ）。

ステップＳ３ｉ：対象物抽出部１２３は、抽出した対象物にＩＤを付与するとともに、自車両３００に対する対象物の相対位置Ｑ０及びＱ１を取得し、相対情報ＤＢ１３２に格納する。

（５−４）相対情報算出処理
図２５は、第１実施形態例にかかる相対情報算出処理の流れの一例を示すフローチャートである。

ステップＳ４ａ：相対情報算出部１２４は、現フレームにおいて一の対象物を選択し、相対情報ＤＢ１３２から位置情報を取得する。位置情報には、自車両３００に対する対象物の相対位置Ｑ０、相対位置Ｑ１が含まれる。

ステップＳ４ｂ、Ｓ４ｃ：相対情報算出部１２４は、自車両３００の中心点Ｏと対象物の相対位置Ｑ１との距離に基づいて、Ｙ方向の相対距離Ｌｙを算出し（Ｓ４ｂ）、Ｘ方向の相対距離Ｌｘ算出する（Ｓ４ｃ）。

ステップＳ４ｄ：次に、相対情報算出部１２４は、現フレームの１つ前の前フレームにおいて、前記一の対象物の相対距離Ｌｙ及び相対距離Ｌｘを取得する。

ステップＳ４ｅ、Ｓ４ｆ：相対情報算出部１２４は、現フレームと前フレームとの相対距離Ｌの差分と、フレーム間の時間と、に基づいてＹ方向の相対速度Ｖｙ及びＸ方向の相対速度Ｖｘを算出する。

ステップＳ４ｇ：相対情報算出部１２４は、視線ベクトル１５０ａがミラー３０３上にあり自車両３００の運転者がミラーを視認しているか否かを判定する。

ステップＳ４ｈ：相対情報算出部１２４は、視線ベクトル１５０ａがミラー３０３上にある場合は、視線データＤＢ１３３からミラー視線原点Ｒを取得する。

ステップＳ４ｉ：一方、相対情報算出部１２４は、運転者がミラーを視認していなければ、視線データＤＢ１３３から視線原点Ｐを取得する。

ステップＳ４ｊ：相対情報算出部１２４は、視線原点Ｐ又はミラー視線原点Ｒから対象物への方向１６０を示す対象物ベクトル１６０ａを算出する。

ステップＳ４ｋ、Ｓ４ｌ：相対情報算出部１２４は、現フレームの全ての対象物について相対情報を算出していれば（Ｓ４ｋ）、処理を終了する。そうでない場合は、次の対象物を選択して位置情報を取得するとともに（Ｓ４ｌ）、ステップＳ４ｂに戻る。

（５−５）危険度算出処理
図２６は、第１実施形態例にかかる危険度算出処理の流れの一例を示すフローチャートである。

ステップＳ５ａ：危険度算出部１２５は、Ｘ方向の相対距離Ｌｘ及び相対速度Ｖｘを相対情報ＤＢ１３２から取得する。

ステップＳ５ｂ：危険度算出部１２５は、Ｘ方向の相対距離Ｌｘ及び相対速度Ｖｘに基づいて、Ｘ方向において自車両３００と対象物とが衝突するまでのＴＴＣｘを算出する。

ステップＳ５ｃ、Ｓ５ｄ：危険度算出部１２５は、相対情報ＤＢ１３２から取得したＹ方向の相対距離Ｌｙ及び相対速度Ｖｙに基づいて（Ｓ５ｃ）、Ｙ方向において自車両３００と対象物とが衝突するまでのＴＴＣｙを算出する（Ｓ５ｄ）。

ステップＳ５ｅ：危険度算出部１２５は、ＴＴＣｘ及びＴＴＣｙに基づいてＸ方向及びＹ方向それぞれについて危険度を算出し、高い方の危険度を現フレームでの対象物の危険度とする。

ステップＳ５ｆ、Ｓ５ｇ：危険度算出部１２５は、現フレームの全ての対象物について危険度を算出していれば（Ｓ５ｆ）、処理を終了する。そうでない場合は、次の対象物を選択して（Ｓ５ｇ）、ステップＳ５ａに戻る。

（５−６）視線判定処理
図２７は、第１実施形態例にかかる視線判定処理の流れの一例を示すフローチャートである。

ステップＳ６ａ：視線判定部１２６は、視線データＤＢ１３３を参照し、現フレームにおいて、視線ベクトルがミラー３０３上にあるか否かに基づいてミラー３０３の視認の有無を判断する。ミラー３０３を視認している場合はステップＳ６ｄに進み、そうで無い場合はステップＳ６ｂに進む。

ステップＳ６ｂ：視線判定部１２６は、ミラー３０３を視認していない場合は、視線データＤＢ１３３から視線原点Ｐ及び視線ベクトル１５０ａを読み出す。

ステップＳ６ｃ：視線判定部１２６は、判定対象の対象物を選択し、相対情報ＤＢ１３２から対象物ベクトル１６０ａを読み出す。次に、視線判定部１２６は、視線原点Ｐを起点とする視線ベクトル１５０ａと、視線原点Ｐを起点とする対象物ベクトル１６０ａと、の成す角ΔθＨ及びΔθＶを算出する。

ステップＳ６ｄ：視線判定部１２６は、ミラー３０３を視認している場合は、視線データＤＢ１３３からミラー視線原点Ｒ及びミラー視線ベクトル１５５ａを読み出す。

ステップＳ６ｅ：視線判定部１２６は、判定対象の対象物を選択し、相対情報ＤＢ１３２から対象物ベクトル１６０ａを読み出す。次に、視線判定部１２６は、視線原点Ｒを起点とするミラー視線ベクトル１５５ａと、ミラー視線原点Ｒを起点とする対象物ベクトル１６０ａと、の成す角ΔθＨ及びΔθＶを算出する。

ステップＳ６ｆ：視線判定部１２６は、成す角ΔθＨ及びΔθＶが、閾値θＨｔｈ及びθＶｔｈ以下か否かを判定する。

ステップＳ６ｇ：視線判定部１２６は、成す角ΔθＨが所定の閾値θＨｔｈ以下であり、かつ、成す角ΔθＶが所定の閾値θＶｔｈ以下である場合は、自車両３００の運転者が対象物を視認していたと判定する。

ステップＳ６ｈ：一方、視線判定部１２６は、成す角ΔθＨが所定の閾値θＨｔｈより大きいか、あるいは、成す角ΔθＶが所定の閾値θＶｔｈより大きい場合は、運転者が対象物を視認していなかったと判定する。

ステップＳ６ｉ：さらに、視線判定部１２６は、各対象物の視認時間及び非視認時間を算出する。

ステップＳ６ｊ、Ｓ６ｋ：危険度算出部１２５は、現フレームの全ての対象物について上記判定が終了していれば（Ｓ６ｊ）、処理を終了する。そうでない場合は、次の対象物を選択して（Ｓ６ｋ）、ステップＳ６ａに戻る。

上記本実施形態例に係る診断装置１００は、自車両３００の運転者の実際の視線方向と、自車両３００周辺の対象物と、の位置関係によって対象物に対する認知度を診断するため、認知度の診断精度を向上することができる。

（６）変形例
以下に本実施形態例の変形例を説明する。

（６−１）変形例１
上記実施形態例では、診断装置１００は、様々な対象物の各種特徴を記憶したパターンデータに基づいて対象物を抽出し、危険度等に関係なく抽出された対象物について認知度の診断を行う。しかし、診断装置１００は、抽出した対象物のうち、危険度が所定値以上の危険対象物についてのみ認知度の診断を行うようにしても良い。

例えば、視線判定部１２６は、図１６に示す診断結果ＤＢ１３４を参照し、危険度が所定値以上であり衝突の可能性が高い危険対象物を選択し、運転者が危険対象物を視認しているか否かを判定する。また、認知度診断部１２７は、危険対象物について認知度を診断する。視認の有無の判定方法及び認知度の判定方法等は上記実施形態と同様である。

対象物の中には、例えば自車両から遠ざかる方向に進行する車など、自車両との衝突の危険度が低い対象物が含まれる。上記構成によれば、対象物の中でも衝突の危険度の高い危険対象物に対する認知度を選択的に診断することができる。

また、例えば自車両３００の運転者に危険を報知する場合において、衝突の危険度が小さい対象物よりも、衝突の危険度が大きい対象物についての情報を報知する必要性の方が高い。上記構成によれば、対象物の中でも、報知の必要性が高い危険対象物について選択的に認知度を診断することができる。

（６−２）変形例２
上記実施形態例では、診断装置１００は、画像処理部１２２が生成した周辺映像から、自車両３００周辺に存在する一又は複数の対象物を抽出する。しかし、診断装置１００は、例えば自車両３００に取り付けた障害物検出センサにより対象物を検出しても良い。障害物検出センサは、例えば自車両３００の前部バンパ、後部バンパなどに埋め込まれて、障害物との距離を検出するものであって、光学センサ、超音波センサなどで構成することができる。診断装置１００の対象物抽出部１２３は、これらの障害物検出センサが検出したセンサ信号に基づいて自車両３００周辺の対象物を検出し、対象物の自車両３００に対する相対位置Ｑ０、Ｑ１等を取得する。また、相対情報算出部１２４は、センサ信号に基づいて、相対距離Ｌ、相対速度Ｖ及び対象物ベクトル１６０ａなどを算出する。

また、診断装置１００は、自車両３００と対象物との間の通信に基づいて、対象物を検出しても良い。前記通信には、例えば車両間の通信である車車間通信が挙げられる。診断装置１００の対象物抽出部１２３は、前記通信に基づいて自車両３００周辺の対象物を検出し、対象物の自車両３００に対する相対位置Ｑ０、Ｑ１等を取得する。また、相対情報算出部１２４は、前記通信に基づいて、相対距離Ｌ、相対速度Ｖ及び対象物ベクトル１６０ａなどを算出する。

（６−３）変形例３
上記実施形態例では、危険度算出部１２５は、自車両３００と対象物との相対距離Ｌ及び相対速度Ｖに基づいてＴＴＣを算出し、ＴＴＣに基づいて危険度を算出している。しかし、ＴＴＣ及び危険度の算出方法はこれに限定されない。例えば、一例として、自車両３００及び対象物それぞれの位置、速度、加速度を考慮して次のようにＴＴＣ及び危険度を算出することもできる。図２８は、ＴＴＣの別の算出方法を示す説明図である。

例えば、時刻ｔでの自車両３００のＸ方向の速度をVx(t)、Ｙ方向の速度をVy(t)とする。Vx(t)及びVy(t)は、自車両３００の左右の駆動輪に設けた回転速度検出センサなどにより測定可能である。また、時刻ｔでの自車両３００の位置座標をＸ(t)、Y(t)とする。Ｘ(t)、Y(t)は、上記実施形態例と同様に自車両３００の周辺映像に基づいて特定可能である。Ｘ(t)、Y(t)は、例えば任意の点Ｏ１を原点にした場合において、自車両３００の中心点Ｏ２の座標により表される。

危険度算出部１２５は、時刻ｔ＋Δｔでの自車両３００の位置座標Ｘ(t+Δt)、Y(t+Δt)を、次式（４）、（５）から算出する。

Ｘ(t+Δt)=Ｘ(t)+Vy(t)×Δt×sin(α(t))+Vx(t)×Δt×cos(α(t)) ・・・（４）
Y(t+Δt)=Y(t)+Vy(t)×Δt×cos(α(t))-Vx(t)×Δt×sin(α(t)) ・・・（５）
ここで、加速度α(t)=(φ(t)+φ(t-Δt))/2であり、φは自車両３００のハンドル３０２の操舵角である。操舵角φは、例えばハンドル３０２に設けられたセンサにより検出可能である。

次に、危険度算出部１２５は、対象物である他車両５００について、時刻ｔ＋Δｔでの位置座標Ｘoi(t+Δt)、Yoi(t+Δt)を次式（６）、（７）から算出する。

Ｘoi(t+Δt)=Ｘoi(t)+Vxoi(t)×Δt+(1/2)×αxoi(t)×Δt² ・・・（６）
Yoi(t+Δt)=Yoi(t)+Vyoi(t)×Δt+(1/2)×αyoi(t)×Δt² ・・・（７）
ここで、Ｘoi(t)及びYoi(t)は、時刻ｔでの他車両５００の位置座標であり、上記実施形態例と同様に自車両３００の周辺映像に基づいて特定可能である。Ｘoi(t)及びYoi(t)は、任意の点Ｏ１を原点にした場合において、他車両５００の中心点Ｑ２の座標により表される。また、Vxoi(t)及びVyoi(t)は時刻ｔでの他車両５００のＸ方向及びＹ方向の速度であり、αxoi(t)及びαyoi(t)は時刻ｔでの他車両５００のＸ方向及びＹ方向の加速度である。他車両５００の速度及び加速度は、例えば自車両３００に設けられた障害物検出センサ及び車車間通信等により取得可能である。

危険度算出部１２５は、上記式（４）及び（６）に基づいて、自車両３００のＸ(t+Δt)と対象物のＸoi(t+Δt)との座標が一致するまでの時間として、Ｘ方向の衝突までの時間ＴＴＣｘを算出する。同様に、上記式（５）及び（７）に基づいて、自車両３００のY(t+Δt)と対象物のYoi(t+Δt)との座標が一致するまでの時間として、Ｙ方向の衝突までの時間ＴＴＣｙを算出する。診断装置１００は、このように算出されたＴＴＣｘ、ＴＴＣｙに基づいて危険度を算出する。

（６−４）変形例４
上記実施形態例では、診断装置１００は、自車両３００の任意の中心点Ｏを原点とする空間座標系により、対象物の相対位置Ｑ０、Ｑ１、視線原点Ｐ、ミラー視線原点Ｒなどを定義している。しかし、座標系はこれに限定されない。

例えば、診断装置１００は、前述の消失点Ｄを原点とする空間座標系により、自車両３００の中心点Ｏ、対象物の位置、視線原点Ｐ、ミラー視線原点Ｒなどを定義してもよい。よって、例えば、対象物の相対距離Ｌは、自車両３００の中心点Ｏの座標と、対象物の位置と、の差分により検出される。

また、座標系は１つに限られず、自車両３００の運転者の頭のいずれかの点に固定された頭座標系と、自車両３００の任意の中心点Ｏを原点とする空間座標系と、の２つの座標系を用いても良い。例えば、診断装置１００は、視線原点Ｐ、視線ベクトル１５０ａ、ミラー視線原点Ｒ、ミラー視線ベクトル１５５ａ等の視線データを、頭座標系内の座標で定義する。一方、診断装置１００は、対象物の相対位置Ｑ０、Ｑ１等を空間座標系内で定義する。次に、診断装置１００は、頭座標系の座標を空間座標系内の座標に変換することで、空間座標系に視線原点Ｐ、視線ベクトル１５０ａ、ミラー視線原点Ｒ、ミラー視線ベクトル１５５ａ等を取り込む。このような処理によっても、診断装置１００は、視線ベクトル１５０ａ又はミラー視線ベクトル１５５ａと、対象物ベクトル１６０ａとの関係を求めることもできる。

（６−５）その他の変形例
上記実施形態例では、診断装置１００は、対象物のうち自車両３００に最も近接する一辺の中心座標であるＱ０と、視線原点Ｐと、に基づいて対象物ベクトル１６０ａを算出している。しかし、対象物ベクトル１６０ａを算出するための座標はＱ０に限定されず、例えば、対象物の縦方向及び横方向の中心位置、つまり対象物の中央の座標と、視線原点Ｐと、に基づいて対象物ベクトル１６０ａを算出しても良い。

上記実施形態では、情報取得装置２００の視線検出部２２２が、運転者の顔、眼球、虹彩などの映像に基づいて、視線原点Ｐ及び視線ベクトル１５０ａを算出する。しかし、診断装置１００の視線判定部１２６が前記映像に基づいて視線原点Ｐ及び視線ベクトル１５０ａを算出しても良い。

＜第２実施形態例＞
第１実施形態例の診断装置１００は、自車両周辺の周辺情報及び運転者の視線を外部の情報取得装置２００から取得する。一方、第２実施形態例の診断装置１７０は、自車両３００周辺の周辺情報及び運転者の視線を自ら取得する。以下に、第１実施形態例と異なる点について説明する。

第２実施形態例の診断装置１７０の構成について以下に説明する。図２９は、第２実施形態例に係る、診断装置のハードウェア構成を示すブロック図の一例である。

診断装置１７０は、例えば、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、入出力機器Ｉ／Ｆ１０４、通信Ｉ／Ｆ１０８を有している。これらは、バス１０９を介して互いに接続されている。

入出力機器Ｉ／Ｆ１０４は、ディスプレイ１０５、スピーカ１０６、キーボード１０７、周辺情報取得機器２０５及び視線検出機器２０６などの入出力機器と接続されている。周辺情報取得機器２０５は自車両３００の周辺映像を含む周辺情報を取得し、視線検出機器２０６は、運転者の顔、眼球、虹彩などの情報を検出する。これらの情報はＲＡＭ１０３に記憶される。診断装置１７０のＣＰＵ１０１などは、自装置内の周辺情報取得機器２０５及び視線検出機器２０６が取得した情報に基づいて、上記第１実施形態例と同様の処理を行う。

次に診断装置１７０の機能構成について説明する。図３０は、第２実施形態例にかかる診断装置の機能構成を示すブロック図の一例である。第２実施形態例にかかる診断装置１７０は、第２実施形態例にかかる診断装置１００の機能構成に加えて、周辺情報取得部２２１及び視線検出部２２２を備える。また、第２実施形態例にかかる診断装置１７０は、第１実施形態例にかかる診断装置１００とは異なり、情報取得装置２００とのデータ、コマンドなどの送受信は不要であるため、送受信部１２１、２２３及び各種データＤＢ２２４は省略した。

周辺情報取得部２２１は、周辺情報取得機器２０５が撮影した周辺映像を取得し、周辺情報ＤＢ１３１に格納する。また、視線検出部２２２は、視線検出機器２０６が検出した運転者の顔、眼球、虹彩などの映像に基づいて、視線原点Ｐ及び視線１５０の方向を示す視線ベクトル１５０ａを算出し、視線データＤＢ１３３に格納する。

第２実施形態例の診断装置１７０は自ら周辺情報、運転者の顔、眼球、虹彩などの情報を取得する点を除いて、その他の機能構成及び処理の流れについては第１実施形態例の診断装置１００と同様である。また、第１実施形態例での変形例もまた本実施形態例に組み込み可能である。

上記本実施形態例に係る診断装置１７０においても、自車両３００の運転者の実際の視線方向と、自車両３００周辺の対象物と、の位置関係によって対象物に対する認知度を診断するため、認知度の診断精度を向上することができる。

＜その他の実施形態例＞
また、前述の方法をコンピュータに実行させるコンピュータプログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体は、本発明の範囲に含まれる。ここで、コンピュータ読み取り可能な記録媒体としては、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ（Compact Disc−Read Only Memory）、ＭＯ（Magneto Optical disk）、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ（ＤＶＤ−Random Access Memory）、ＢＤ（Blue-ray Disc）、ＵＳＢメモリ、半導体メモリなどを挙げることができる。前記コンピュータプログラムは、前記記録媒体に記録されたものに限られず、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク等を経由して伝送されるものであってもよい。

１００、１７０：診断装置
１２２：画像処理部
１２３：対象物抽出部
１２４：相対情報算出部
１２５：危険度算出部
１２６：視線判定部
１２７：認知度診断部
１２８：診断結果出力部
１３１：周辺情報ＤＢ
１３２：相対情報ＤＢ
１３３：視線データＤＢ
１３４：診断結果ＤＢ
１３５：各種対応表ＤＢ
１５０ａ：視線ベクトル
１５１：視線空間
１５５ａ：ミラー視線ベクトル
１６０ａ：対象物ベクトル
２００：情報取得装置
２２１：周辺情報取得部
２２２：視線検出部
３００：自車両
３０１：ダッシュボード
３０２：ハンドル
３０３：ミラー
４００：三次元投影面
５００：他車両
６００、６０１：車線
６０２ａ〜６０２ｄ：車線表示ライン

Claims (16)

1. 自車両周辺に存在する一又は複数の対象物を抽出する対象物抽出手段と、
   前記自車両の運転者の視線を中心とする視線空間に、前記対象物の少なくとも一領域が含まれるか否かを判定する視線判定手段と、
   前記判定結果に基づいて、前記対象物に対する前記運転者の認知度を診断する認知度診断手段と、
   を含む診断装置。
2. 前記視線判定手段は、前記視線空間と前記対象物との位置関係を判定し、
   前記認知度診断手段は、前記視線空間と前記対象物との位置関係に基づいて前記認知度を診断する、請求項１に記載の診断装置。
3. 前記視線判定手段は、前記運動者の視線の方向を示す視線ベクトルと、前記運転者から前記対象物への対象物ベクトルと、の成す角に基づいて、前記視線空間に前記対象物の少なくとも一領域が含まれるか否かを判定する、請求項２に記載の診断装置。
4. 前記視線判定手段は、各対象物について、前記視線空間に前記対象物の少なくとも一領域が含まれる視認時間をさらに算出し、
   前記認知度診断手段は、前記視認時間に基づいて各対象物に対する前記認知度を診断する、請求項１〜３のいずれかに記載の診断装置。
5. 前記視線判定手段は、各対象物が前記視線空間の外に存在する非視認時間をさらに算出し、
   前記認知度診断手段は、前記非視認時間に基づいて各対象物に対する前記認知度を診断する、請求項１〜４のいずれかに記載の診断装置。
6. 前記認知度診断手段は、前記非視認時間が、前記自車両と各対象物とが衝突するまでの衝突時間であるＴＴＣ（Time to collision）未満か否かに基づいて、各対象物に対する前記認知度を診断する、請求項５に記載の診断装置。
7. 前記認知度診断手段は、前記自車両周辺の対象物数と、前記自車両周辺の対象物のうち前記視線判定手段により前記視線空間に含まれると判定された対象物数と、の比に基づいて、前記運転者の認知度を診断する、請求項１に記載の診断装置。
8. 前記視線判定手段は、前記運転者の視線の延長線上に、前記自車両に設けられた１又は複数のミラーがあると判断すると、前記視線の方向を前記ミラーに応じて補正し、補正された視線を中心とする視線空間に、前記対象物の少なくとも一領域が含まれるか否かを判定する、請求項１に記載の診断装置。
9. 前記認知度診断手段が診断した前記認知度が所定値以下の対象物に関する情報を出力する診断結果出力手段をさらに含む請求項１に記載の診断装置。
10. 各対象物ごとに、前記自車両に対する相対速度及び／又は相対距離含む相対情報を算出する相対情報算出手段と、
    前記相対情報に基づいて、前記自車両と各対象物の衝突の危険度を算出する危険度算出手段と、をさらに含み、
    前記診断結果出力手段は、前記認知度が所定値以下の対象物について、前記衝突の危険度を出力する、請求項９に記載の診断装置。
11. 各対象物ごとに、前記自車両に対する相対速度及び／又は相対距離含む相対情報を算出する相対情報算出手段と、
    前記相対情報に基づいて、前記自車両と各対象物の衝突の危険度を算出する危険度算出手段と、をさらに含み、
    前記視線判定手段は、前記対象物のうち前記自車両との衝突の危険度が所定の閾値以上の危険対象物について、前記危険対象物の少なくとも一領域が前記視線空間に含まれるか否かを判定し、
    前記認知度診断手段は、前記判定結果に基づいて、前記危険対象物に対する前記運転者の認知度を診断する、請求項１に記載の診断装置。
12. 診断装置が実行する診断方法であって、
    自車両周辺に存在する一又は複数の対象物を抽出する対象物抽出ステップと、
    前記自車両の運転者の視線を中心とする視線空間に、前記対象物の少なくとも一領域が含まれるか否かを判定する視線判定ステップと、
    前記判定結果に基づいて、前記対象物に対する前記運転者の認知度を診断する認知度診断ステップと、
    を含む診断方法。
13. 自車両周辺に存在する一又は複数の対象物を含む周辺情報を取得する周辺情報取得手段と、
    前記周辺情報から前記一又は複数の対象物を抽出する対象物抽出手段と、
    前記自車両の運転者の視線を検出する視線検出手段と、
    前記自車両の運転者の視線を中心とする視線空間に、前記対象物の少なくとも一領域が含まれるか否かを判定する視線判定手段と、
    前記判定結果に基づいて、前記対象物に対する前記運転者の認知度を診断する認知度診断手段と、
    を含む診断装置。
14. 前記周辺情報取得手段は、前記自車両の周辺を撮像する１又は複数の撮像装置を含み、
    前記撮像装置で撮影された映像から前記自車両の周辺映像を生成する画像処理手段をさらに含み、
    前記対象物抽出手段は、前記周辺映像から前記一又は複数の対象物を抽出する、請求項１３に記載の診断装置。
15. 前記対象物抽出手段は、前記自車両周辺に存在する一又は複数の対象物を検知する対象物センサから検知結果を取得し、前記検知結果にもとづいて前記一又は複数の対象物を抽出する、請求項１３に記載の診断装置。
16. 前記対象物抽出手段は、前記自車両周辺に存在する一又は複数の対象物から送信される、前記対象物の位置、速度、加速度及び／又は進行方向を含む対象物情報を取得し、前記対象物情報にもとづいて前記一又は複数の対象物を抽出する、請求項１３に記載の診断装置。

Images