WO2011132313A1

WO2011132313A1 - 映像処理装置、映像処理方法及び映像処理プログラム

Info

Publication number: WO2011132313A1
Application number: PCT/JP2010/057259
Authority: WO
Inventors: 尾崎一幸; 濱口慎吾; 山影譲
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2010-04-23
Filing date: 2010-04-23
Publication date: 2011-10-27
Anticipated expiration: 2012-10-23

Abstract

　車両の運転者を教育するための映像を生成する映像処理装置、映像処理方法及び映像処理プログラムを提供することを目的とする。自車両の運転者が観察可能な、前記自車両に対して前方と右側及び／又は左側とにおける観察映像を、前記自車両の周辺映像に基づいて生成する車窓映像生成部１２１及びミラー映像生成部１２２と、前記観察映像に対する、前記運転者の視線軌跡を生成する視線軌跡生成部１２３と、前記観察映像に前記視線軌跡を重畳し、表示映像を生成する表示映像生成部１２４と、を含む、映像処理装置を提供する。これにより、車両の運転者を教育するための映像を生成する映像処理装置を得ることができる。

Description

映像処理装置、映像処理方法及び映像処理プログラム

　本発明は、車両の運転者を教育するための映像を生成する映像処理装置、映像処理方法及び映像処理プログラムに関する。

　車社会において安全を促進させて事故数を減少させることが大きな課題となっており、様々な対策がなされている。例えば、対策の１つとして、どのような場合に事故が生じやすいのかを映像を用いて運転者に学習させる方法がある。具体的には、例えば、特許文献１に記載のシステムのように、車両に搭載したドライブレコーダにより事故映像を取得し、その事故映像を再生して交通安全教育に役立てる。例えば、ドライブレコーダは、衝突事故における衝撃、あるいは、急ブレーキ及び急なハンドル操作などの危険運転を検出すると、自車両の前方映像及び自車両の走行状態を記録する。

特開2007-011148号公報

　しかし、上記のようなドライブレコーダが取得した映像を交通安全教育に用いる場合、運転者は、危険運転が生じた状況について、自車両の前方映像しか確認することができない。

　図４３は運転の様子の一例であり、図４４はドライブレコーダが取得した図４３の運転の映像である。図４３では、自車両３００が車線６００上を走行している。他車両５００は、車線６００に隣接する車線６０１上を走行しており、自車両３００の右斜め後ろに位置している。例えば、自車両３００の運転者が他車両５００に気がつかずに車線６０１に車線変更すると、自車両３００と他車両５００とが衝突してしまう可能性がある。このとき、自車両３００のドライブレコーダが記録した映像が図４４であり、図４４には、自車両３００の前方映像が表示されている。しかし、交通安全教育において図４４の前方映像が視聴者に提示されても、視聴者は、図４３のような状況で危険運転が生じたことを学習することはできない。なぜなら、危険運転は自車両３００の右後方で生じており、ドライブレコーダには記録されていないからである。

　ここで、運転者の危険運転に対する認知不足が原因である車両事故が、車両事故全体の７０％以上であるとの分析もなされている。よって、あらゆる危険運転がどのような場合に生じているのかを、運転者に学習させるのが交通安全教育には効果的である。

　そこで、車両の運転者を教育するための映像を生成する映像処理装置、映像処理方法及び映像処理プログラムを提供することを目的とする。

　自車両の運転者が観察可能な、前記自車両に対して前方と右側及び／又は左側とにおける観察映像を、前記自車両の周辺映像に基づいて生成する観察映像生成手段と、
　前記観察映像に対する、前記運転者の視線軌跡を生成する視線軌跡生成手段と、
　前記観察映像に前記視線軌跡を重畳し、表示映像を生成する表示映像生成手段と、
　を含む、映像処理装置を提供する。

　また、上記映像処理装置が実行する映像処理方法及び映像処理プログラムを提供する。

　車両の運転者を教育するための映像を生成する映像処理装置、映像処理方法及び映像処理プログラムを提供することができる。

第１実施形態例に係る、運転映像処理装置、情報取得装置及び運転教育用端末の接続関係の一例。運転映像処理装置、情報取得装置及び運転教育用端末のハードウェア構成を示すブロック図の一例。周辺情報取得機器の取付位置と撮影範囲を示す説明図。視線検出機器の取付位置を示す説明図。視線検出機器の取付位置を示す説明図。ミラーにより確認可能な領域の一例を示す説明図。運転教育用端末のディスプレイの一例。第１実施形態例にかかる各装置の機能構成を示すブロック図の一例。（ａ）は視線原点Ｐ及び視線ベクトルの算出方法の一例を示す説明図（１）であり、（ｂ）はピッチ角θβを示す説明図であり、（ｃ）は位角θαを示す説明図である。周辺情報ＤＢの一例。視線データＤＢの一例。周辺映像が投影される三次元投影面と、車窓映像及びミラー映像と、の関係を示す説明図。三次元投影面上の車窓映像及びミラー映像と、各ディスプレイの表示領域と、の関係を示す説明図。車窓映像ＤＢの一例。ミラー映像ＤＢの一例。表示映像の一例。第１実施形態例にかかる運転映像処理装置が実行する処理の流れの一例を示すフローチャート。ミラーの角度に応じて運転者の視線方向が変更される様子を示す模式図。三次元投影面上の車窓映像及びミラー映像と、各ディスプレイの表示領域と、の関係を示す説明図。自車両と他車両との関係を示す斜視図。第２実施形態例にかかる各装置の機能構成を示すブロック図の一例。周辺映像が投影される三次元投影面を示す模式図。対象物の抽出方法の一例を示す説明図。相対情報ＤＢの一例。視線データＤＢの一例。（ａ）は視線ベクトルと対象物ベクトルとの成す角Δθの算出方法の一例を示す説明図（１）であり、（ｂ）は視線ベクトルと対象物ベクトルとの成す角Δθの算出方法の一例を示す説明図（２）である。（ａ）はミラー視線ベクトルと対象物ベクトルとの成す角Δθの算出方法の一例を示す説明図（１）であり、（ｂ）はミラー視線ベクトルと対象物ベクトルとの成す角Δθの算出方法の一例を示す説明図（２）である。認知結果ＤＢの一例。表示映像の一例。第２実施形態例にかかる運転映像処理装置が実行する全体処理の流れの一例を示すフローチャート。第２実施形態例にかかる認知判定処理の流れの一例を示すフローチャート。第２実施形態例にかかる視線データのミラー処理の流れの一例を示すフローチャート。第２実施形態例にかかる対象物抽出処理の流れの一例を示すフローチャート。第２実施形態例にかかる認知有無判定処理の流れの一例を示すフローチャート。相対情報ＤＢの一例。相対距離Ｌの算出方法の一例を示す説明図。認知結果ＤＢの一例。認知結果ＤＢが記憶する視認時間及び非視認時間の一例。ＴＴＣと危険度との関係を示す対応表の一例。成す角ΔθＨ及びΔθＶと認知度との関係を示す対応表の一例。視認頻度又は視認間隔に基づいて認知度を判定する方法を説明する説明図。第３実施形態例に係る、運転映像処理装置のハードウェア構成を示すブロック図の一例。運転の様子の一例。ドライブレコーダが取得した図４３の運転の映像。

　＜第１実施形態例＞
　第１実施形態例の運転映像処理装置１００は、自車両３００の運転者が観察したと推測される観察映像を、自車両３００の周辺情報に基づいて生成する。なお、自車両３００の周辺情報には、少なくとも自車両周辺の映像が含まれ、例えば自車両３００周辺の他車両などの対象物及び道路などの映像が含まれる。観察映像は、自車両３００の前方と右側及び／又は左側とにおいて運転者が観察可能な映像であり、運転者が自車両３００の窓を介して観察する車窓映像及び／又はミラーを介して観察するミラー映像が含まれる。また、観察映像には、自車両３００の後方において運転者が観察可能な映像が含まれていても良い。

　ここで、運転映像処理装置１００は、観察映像にさらに運転者の視線軌跡を重畳して表示映像を生成する。視線軌跡は、運転者が観察映像において最も着目していると推測される着目点の軌跡である。

　下記に、まず第１実施形態例の運転映像処理装置１００と、各種情報を取得する情報取得装置２００と、運転教育用端末２５０と、の関係及びそれぞれのハードウェア構成について説明する。

　（１）運転映像処理装置、情報取得装置及び運転教育用端末の関係
　図１は、第１実施形態例に係る、運転映像処理装置、情報取得装置及び運転教育用端末の接続関係の一例である。図２は、運転映像処理装置、情報取得装置及び運転教育用端末のハードウェア構成を示すブロック図の一例である。

　運転映像処理装置１００は、上述の通り、自車両３００の運転者の観察映像を周辺情報に基づいて生成し、観察映像と運転者の視線軌跡とを重畳して表示映像を生成する。情報取得装置２００は、自車両３００の周辺情報及び自車両３００の運転者の視線データをなどの各種情報を取得する。運転教育用端末２５０は、安全運転教育の対象者である運転者などの視聴者が、運転映像処理装置１００が生成した表示映像を視聴するための端末である。

　運転映像処理装置１００、情報取得装置２００及び運転教育用端末２５０は、各種情報を送受信可能なように接続されておいる。接続方法として、例えば、ＳＣＳＩ（Small Computer System Interface）、ＵＳＢ（Universal Serial Bus）などのインターフェースなど、また、インターネットなどのネットワークなどが挙げられる。

　（２）ハードウェア構成
　（２－１）運転映像処理装置
　運転映像処理装置１００は、例えば、ＣＰＵ（Central Processing Unit）１０１、ＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random Access Memory）１０３、入出力機器Ｉ／Ｆ１０４、通信Ｉ／Ｆ（InterFace）１０８を有している。これらは、バス１０９を介して互いに接続されている。

　入出力機器Ｉ／Ｆ１０４は、ディスプレイ１０５、マウス１０６及びキーボード１０７などの入出力機器と接続されている。

　ＲＯＭ１０２は、運転映像処理装置１００が行う後述の各種制御に関わる各種制御プログラムを記憶している。

　ＲＡＭ１０３は、ＲＯＭ１０２内の各種制御プログラム、情報取得装置２００から取得した周辺情報及び視線データなどの各種情報を一時的に記憶する。また、ＲＡＭ１０３は、各種制御プログラムの実行に応じて各種フラグなどの情報を一時的に記憶する。

　ＣＰＵ１０１は、ＲＯＭ１０２に記憶された各種制御プログラムをＲＡＭ１０３に展開し、後述の各種制御を行う。

　通信Ｉ／Ｆ１０８は、ＣＰＵ１０１の制御に基づいて、例えば情報取得装置２００及び運転教育用端末２５０との間でコマンド又はデータの送受信などの通信を行う。

　バス１０９は、例えばＰＣＩ（Peripheral Component Interconnect）バスやＩＳＡ（Industrial Standard Architecture）バス等からなり、上記構成を互いに接続する。

　（２－２）情報取得装置
　情報取得装置２００は、例えば、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、入出力機器Ｉ／Ｆ２０４、通信Ｉ／Ｆ２０７を有している。これらは、バス２０８を介して互いに接続されている。

　　（ａ）入出力機器Ｉ／Ｆ
　入出力機器Ｉ／Ｆ２０４は、周辺情報取得機器２０５及び視線検出機器２０６などと接続されている。周辺情報取得機器２０５及び視線検出機器２０６により検出された情報は、入出力機器Ｉ／Ｆ２０４を介してＲＡＭ２０３、ＣＰＵ２０１及び通信Ｉ／Ｆ２０７などに出力される。

　　（ｂ）周辺情報取得機器
　周辺情報取得機器２０５は、自車両３００周辺の周辺情報を取得する。周辺情報は、自車両３００周辺に存在する一又は複数の対象物を含んでいても良い。対象物とは、自車両３００周辺に存在する障害物であり、詳細には、運転者が自車両３００を運転する際に認知すべき障害物である。対象物には、車、自転車、バイクなどの車両、人、動物、その他の走行の障害となり得る物体などが含まれる。

　本実施形態例では、周辺情報取得機器２０５は、周辺情報として周辺映像を取得するものとする。例えば、周辺情報取得機器２０５は、ＣＣＤ（Charge Coupled Device）カメラ、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）カメラなどの撮像装置からなり、自車両３００周辺の周辺映像を取得する。

　図３は、周辺情報取得機器の取付位置と撮影範囲を示す説明図である。周辺情報取得機器２０５は、例えば図３に示すように、例えば前方カメラ２０５ａ、右側カメラ２０５ｂ、左側カメラ２０５ｃ及び後方カメラ２０５ｄの４つのカメラから構成される。前方カメラ２０５ａは、車両３００の前部バンパの中央に取り付けられて、車両３００の前方を撮影する。後方カメラ２０５ｄは、車両３００の後部バンパの中央に取り付けられて、車両３００の後方を撮影する。右側カメラ２０５ｂは、車両３００の右側面の中央に取り付けられて、車両３００の右側方を撮影する。左側カメラ２０５ｃは、車両３００の左側面の中央に取り付けられて、車両３００の左側方を撮影する。

　各カメラ２０５ａ～２０５ｄは、例えばそれぞれが１８０度の画角を有する超広角レンズを用いたカメラである。このことから、図３に示すように、前方カメラ２０５ａは車両３００の前方領域２１０を撮影し、右側カメラ２０５ｂは車両３００の右側方領域２１１を撮影し、左側カメラ２０５ｃは車両３００の左側方領域２１２を撮影し、後方カメラ２０５ｄは、車両３００の後方領域２１３を撮影する。各カメラ２０５ａ～２０５ｄの撮影領域は、それぞれ隣接するカメラが撮影する領域と重複するように構成される。

　なお、各カメラ２０５ａ～２０５ｄの取付位置、取付角度、その他カメラのレンズの歪み補正値及び焦点距離などのカメラの特性は、車両３００の中心点Ｏを原点とする空間座標系に適合可能なように補正、いわゆるキャリブレーションされる。このキャリブレーションの実行により、各カメラ２０５ａ～２０５ｄで撮影された映像は、車両３００の中心点Ｏを原点とする空間座標系に組み込み可能となる。なお、空間座標系はＸ、Ｙ、Ｚ座標で表すものとし、例えば中心点Ｏは、自車両３００の中心である、自車両３００の車幅の半分及び車長の半分の位置により定義され、（Ｘ、Ｙ、Ｚ）＝（０、０、０）で表される。Ｙは車両の前進方向、Ｘは前進方向と交差する方向、Ｚは高さ方向である。

　各カメラ２０５ａ～２０５ｄは、図示したように、車両３００の前面、右側面、左側面、後面のそれぞれ中央に取り付けることが好ましい。しかし、各カメラ２０５ａ～２０５ｄの撮影領域が、隣接するカメラの撮影領域と部分的に重複する位置であればよく、各カメラ２０５ａ～２０５ｄの取付位置は特に限定されるものではない。例えば、右側カメラ２０５ｂ、左側カメラ２０５ｃは、車両３００の左右のドアミラーに取り付けることも可能である。また、各カメラの撮影領域が一部重複し、かつ車両３００の周囲３６０度の範囲を撮影することが可能であればよく、カメラの数は４つに限定されるものではない。

　また、各カメラ２０５ａ～２０５ｄは、例えば、１秒当たり３０枚のフレームを撮影する。カメラ２０５ａ～２０５ｄからなる周辺情報取得機器２０５によって撮影された映像データは、入出力機器Ｉ／Ｆ２０４を介してＲＡＭ２０３に記憶される。

　上記のように各カメラ２０５ａ～２０５ｄにより映像を撮影することで、運転映像処理装置１００は、車両３００の全周囲の周辺映像に基づいて観察映像を生成することができる。

　周辺情報取得機器２０５は、周辺情報を運転中に常に取得するのではなく、危険運転が検出された場合、例えば前方車両への追従走行が検出された場合など特定の場合にのみ周辺情報を記録するようにしても良い。

　　（ｃ）視線検出機器
　視線検出機器２０６は、運転者の顔、眼球、虹彩などの視線情報を検出する。

　図４及び図５は、視線検出機器の取付位置を示す説明図である。視線検出機器２０６は、運転者の視線情報を取得可能な例えばＣＣＤカメラ、ＣＭＯＳカメラ、赤外線カメラなどの撮像装置からなる。

　視線検出機器２０６は、図４、図５に示すように、例えば車両３００のダッシュボード３０１上に設けられる。このとき、視線検出機器２０６は、運転者の顔及び目等を前方から検出可能なように、またハンドル３０２により遮られずに顔及び目等を撮影可能なように、例えばハンドル３０２近傍のダッシュボード３０１上に所定の角度で取り付けられる。ただし、運転者の顔及び目等を検出可能であれは、取付位置及び取付角度等は限定されない。

　なお、視線検出機器２０６の取付位置、取付角度などの視線検出機器の特性は、車両３００の中心点Ｏを原点とする空間座標系に適合可能なように補正、いわゆるキャリブレーションされる。

　また、視線検出機器２０６は、例えば１秒当たり３０枚の映像フレームを撮影し、撮影された映像データは、入出力機器Ｉ／Ｆ２０４を介してＲＡＭ２０３に記憶される。

　視線検出機器２０６が検出した運転者の顔、眼球、虹彩などの映像に基づいて視線１５０を検出することが可能である。運転者の視線１５０が検出されると、視線１５０の方向により運転者がどの方向を視認していたのかが分かる。

　ここで、図４、図５に示すように、車両は、前方窓３０６Ｆ、右側窓３０６Ｒ、左側窓３０６Ｌ、後方窓（図示せず）などの窓を有しており、各窓はピラーにより支持されている。ピラーには、例えば、前方の窓３０６Ｆの上方に位置する前側ピラー３０７Ｆ、前方の窓３０６Ｆの右側及び左側に位置する右側ピラー３０７Ｒ及び左側ピラー３０７Ｌ、車体後側の後側ピラー３０７Ｂ（図示せず）等が含まれる。検出された視線１５０の方向が前方であれば、例えば運転者は前方窓３０６Ｆを介して自車両３００の周辺を視認していたと推測できる。また、視線１５０の方向がミラー３０３に向かっていれば、ミラー３０３を介して車両３００の後方及び後側方などを視認していたと推測できる。

　なお、車両３００に設けられるミラー３０３には、図５に示すように車両３００の左右のドア付近に設けられるドアミラー３０３Ｌ、３０３Ｒ、車両３００内部に設けられるバックミラー３０３Ｂ、車両３００のボンネット上に設けられるフェンダーミラー等が挙げられる。図６は、ミラーにより確認可能な領域の一例を示す説明図である。車両３００の運転者は、左のドアミラー３０３Ｌを介して左ミラー領域３０４Ｌを視認可能である。また、運転者は、右のドアミラー３０３Ｒを介して右ミラー領域３０４Ｒを視認可能である。また、運転者は、バックミラー３０３Ｂを介してバックミラー領域３０４Ｂを視認可能である。

　　（ｄ）ＲＯＭ、ＲＡＭ、通信Ｉ／Ｆ
　ＲＯＭ２０２は、情報取得装置２００が行う各種制御プログラムを記憶している。

　ＲＡＭ２０３は、ＲＯＭ２０２内の各種制御プログラム、各種フラグ、周辺情報取得機器２０５及び視線検出機器２０６から受信した各種情報を一時的に記憶する。

　通信Ｉ／Ｆ２０７は、ＣＰＵ２０１の制御に基づいて運転映像処理装置１００との間で、周辺情報及び各種コマンドなどのデータの送受信を行う。

　　（ｅ）ＣＰＵ
　ＣＰＵ２０１は、ＲＯＭ２０２に記憶された各種制御プログラムをＲＡＭ２０３に展開し、各種制御を行う。例えば、ＣＰＵ２０１は、各種制御プログラムの実行により周辺情報取得機器２０５及び視線検出機器２０６などを制御し、周辺映像などの各種情報の取得を開始させる。

　（２－３）運転教育用端末
　運転教育用端末２５０は、安全運転教育を受けるユーザが使用する端末であり、この端末では、運転映像処理装置１００が生成した表示映像を視聴可能である。

　運転教育用端末２５０は、例えば、ＣＰＵ２５１、ＲＯＭ２５２、ＲＡＭ２５３、入出力機器Ｉ／Ｆ２５４、通信Ｉ／Ｆ２５８を有している。これらは、バス２５９を介して互いに接続されている。

　　（ａ）入出力機器Ｉ／Ｆ
　入出力機器Ｉ／Ｆ２５４は、ディスプレイ２５５、マウス２５６及びキーボード２５７などの入出力機器と接続されている。また、入出力機器Ｉ／Ｆ２５４は、マウス２５６及びキーボード２５７を介してユーザから前記表示映像の表示指示を受け付ける。入出力機器Ｉ／Ｆ２５４には、音声を出力するためのスピーカ等が接続されていても良い。

　　（ｂ）ディスプレイ
　以下に、ディスプレイ２５５の構成について説明する。

　図７は運転教育用端末のディスプレイの一例である。ディスプレイ２５５は、例えば、前方ディスプレイ２５５Ｆ、右側ディスプレイ２５５Ｒ及び左側ディスプレイ２５５Ｌを含む表示装置から構成されている。前方ディスプレイ２５５Ｆは、図７に示すように視聴者に対向するように視聴者の前方に配置されている。右側ディスプレイ２５５Ｒ及び左側ディスプレイ２５５Ｌは、前方ディスプレイ２５５Ｆに対してそれぞれ向かって右側及び左側に配置されている。また、右側ディスプレイ２５５Ｒ及び左側ディスプレイ２５５Ｌは、中央の視聴者を取り囲むように、前方ディスプレイ２５５Ｆに対して所定の角度を有するように配置されている。

　ディスプレイ２５５は、図７の構成に限定されず、さらに視聴者を取り囲むように、追加の右側ディスプレイ２５５Ｒ’及び左側ディスプレイ２５５Ｌ’を含んでも良い。また、ディスプレイ２５５は、図７に示すように平面表示装置の組み合わせにより構成されても良いし、あるいは、湾曲又は屈曲可能な１の表示装置により視聴者を取り囲むように形成されても良い。また、ディスプレイ２５５は、必ずしも視聴者を取り囲むように形成される必要はなく、１つの平面表示装置から構成されていても良い。ただし、図７のように所定の角度を有して視聴者を取り囲むようにディスプレイ２５５が構成されることで、視聴者はあたかも自身が運転しているような感覚で表示映像を視聴することができる。

　以下に、図７の前方ディスプレイ２５５Ｆ、右側ディスプレイ２５５Ｒ及び左側ディスプレイ２５５Ｌの各表示領域と、各表示領域に表示される映像と、について説明する。

　　　（ｂ－１）表示領域及びその映像
　　　　（ｂ－１－１）前方ディスプレイ
　前方ディスプレイ２５５Ｆの画面の表示領域は、前方車窓映像領域２６１Ｆと、バックミラー映像領域２６２Ｂと、を含む。前方車窓映像領域２６１Ｆに表示される前方車窓映像には、自車両３００の運転者が図５の前方窓３０６Ｆを介して観察する車窓映像が含まれる。また、前方車窓映像には、自車両３００の前側ピラー３０７F及びダッシュボード３０１などの車体構造が含まれても良い。なお、前方車窓映像は、主に前方車窓映像から構成されるが、右側窓３０６Ｒ及び左側窓３０６Ｌを介して運転者が観察する右側車窓映像及び左側車窓映像の一部が含まれても良い。

　バックミラー映像領域２６２Ｂには、運転者が図５のバックミラー３０３Ｂを介して観察するバックミラー映像が含まれる。バックミラー映像は、図６のバックミラー領域３０４Ｂに相当する映像である。

　なお、前方車窓映像領域２６１Ｆとバックミラー映像領域２６２Ｂとの位置関係は、各種対応表ＤＢ１３０が記憶している。

　　　　（ｂ－１－２）右側ディスプレイ
　右側ディスプレイ２５５Ｒの画面の表示領域は、右側車窓映像領域２６１Ｒと、右側ミラー映像領域２６２Ｒと、を含む。右側車窓映像領域２６１Ｒに表示される右側車窓映像には、自車両３００の運転者が図５の右側窓３０６Ｒを介して観察する車窓映像が含まれる。また、右側車窓映像には、自車両３００の右側ピラー３０７Ｒなどの車体構造が含まれても良い。なお、右側車窓映像は、主に右側車窓映像から構成されるが、前方車窓映像の一部が含まれても良い。

　右側ミラー映像領域２６２Ｒには、運転者が図５の右側のドアミラー３０３Ｒを介して観察する右側ミラー映像が含まれる。右側ミラー映像は、図６の右側ミラー領域３０４Ｒに相当する映像である。

　なお、右側車窓映像領域２６１Ｒと右側ミラー映像領域２６２Ｒとの位置関係は、各種対応表ＤＢ１３０が記憶している。

　　　　（ｂ－１－３）左側ディスプレイ
　左側ディスプレイ２５５Ｌの画面の表示領域は、左側車窓映像領域２６１Ｌと、左側ミラー映像領域２６２Ｌと、を含む。左側車窓映像領域２６１Ｌに表示される左側車窓映像には、自車両３００の運転者が図５の左側窓３０６Ｌを介して観察する車窓映像が含まれる。また、左側車窓映像には、自車両３００の左側ピラー３０７Ｌなどの車体構造が含まれても良い。なお、左側車窓映像は、主に左側車窓映像から構成されるが、前方車窓映像の一部が含まれても良い。

　左側ミラー映像領域２６２Ｌには、運転者が図５の左側のドアミラー３０３Ｌを介して観察する左側ミラー映像が含まれる。左側ミラー映像は、図６の左側ミラー領域３０４Ｌに相当する映像である。

　なお、左側車窓映像領域２６１Ｌと左側ミラー映像領域２６２Ｌとの位置関係は、各種対応表ＤＢ１３０が記憶している。

　　（ｃ）その他
　ＣＰＵ２５１は、ＲＯＭ２５２に記憶された各種制御プログラムをＲＡＭ２５３に展開し、運転映像処理装置１００から表示映像のデータを取得してディスプレイ２５５等に出力する。その他の構成は、運転映像処理装置１００と概ね同様であるので、説明を省略する。

　（３）機能構成
　次に運転映像処理装置１００、情報取得装置２００及び運転教育用端末２５０の機能構成について説明する。

　図８は、第１実施形態例にかかる各装置の機能構成を示すブロック図の一例である。なお、図８に示す各機能部の接続線は、データの流れの一例を示したものであり、全てのデータの流れを記載したものではない。

　まず情報取得装置２００の機能構成について説明する。

　（３－１）情報取得装置
　情報取得装置２００の各ハードウェア構成が相互に連携してプログラムを実行することにより、情報取得装置２００は、後述の各機能部として機能する。

　情報取得装置２００の機能部には、例えば、周辺情報取得部２２０、視線検出部２２１、送受信部２２２及び取得データＤＢ２２３などが含まれる。

　　（３－１－１）周辺情報取得部
　周辺情報取得部２２０は、前述の図３に示す前方カメラ２０５ａ、右側カメラ２０５ｂ、左側カメラ２０５ｃ及び後方カメラ２０５ｄからなる周辺情報取得機器２０５が撮影した周辺映像を取得し、取得データＤＢ２２３に格納する。

　　（３－１－２）視線検出部
　視線検出部２２１は、視線検出機器２０６が検出した運転者の顔、眼球、虹彩などの映像に基づいて、視線原点Ｐ及び視線１５０の方向を示す視線ベクトル１５０ａを算出する。

　図９は視線原点Ｐ及び視線ベクトルの算出方法の一例を示す説明図である。例えば、視線検出部２２１は、顔、眼球、虹彩などの映像に基づいて顔の特徴点を算出し、予め記憶している運転者の顔の特徴量と比較する。次に、視線検出部２２１は、比較結果及び顔、眼球、虹彩の映像などに基づいて顔の向きを抽出するとともに、同図（ａ）に示す左の眼球１５２Ｌと右の眼球１５２Ｒとの中心位置を視線原点Ｐとして検出する。さらに、視線検出部２２１は、虹彩１５３ａの中心位置、つまり瞳孔１５３ｂの中心位置を算出する。最後に、視線検出部２２１は、視線原点Ｐ及び瞳孔１５３ｂの中心位置に基づいて視線ベクトル１５０ａを算出する。なお、運転者は頭を前後左右及び上下などに変更し得るため、空間座標系の中心点Ｏに対する視線原点Ｐの位置は頭の位置及び向き等に応じて変更される。

　視線ベクトル１５０ａは、同図（ｂ）及び（ｃ）に示すように、視線ベクトル１５０ａとＸＹ平面との成す角であるピッチ角θβと、視線ベクトル１５０ａとＹＺ平面との成す角である方位角θαと、により定義され得る。その他、視線ベクトル１５０ａは、車両３００の任意の中心点Ｏを原点とする空間座標系内の座標により定義され得る。

　視線検出部２２１は、視線原点Ｐ及び視線ベクトル１５０ａを取得データＤＢ２２３に格納する。

　　（３－１－３）送受信部
　情報取得装置２００の送受信部２２４は、運転映像処理装置１００の送受信部１２０との間で、各種コマンド及び取得データＤＢ２２５内の各種データ等を送受信する。

　　（３－１－４）取得データＤＢ
　取得データＤＢ２２３は、周辺情報及び視線検出部２２６が検出した視線データなどを記憶する。

　（３－２）運転映像処理装置
　運転映像処理装置１００の各ハードウェア構成が相互に連携してプログラムを実行することにより、運転映像処理装置１００は後述の各機能部として機能する。

　運転映像処理装置１００の機能部には、例えば、送受信部１２０、車窓映像生成部１２１、ミラー映像生成部１２２、視線軌跡生成部１２３、表示映像生成部１２４などが含まれる。さらに、運転映像処理装置１００は、各種情報を記憶するために、周辺情報ＤＢ１２５、車窓映像ＤＢ１２６、ミラー映像ＤＢ１２７、車体構造ＤＢ１２８、視線データＤＢ１２９及び各種対応表ＤＢ１３０などを含む。

　　（３－２－１）送受信部
　運転映像処理装置１００の送受信部１２０は、情報取得装置２００の送受信部２２２との間で、各種データ及び各種コマンド等を送受信する。

　　（３－２－２）周辺情報ＤＢ
　周辺情報ＤＢ１２５は、自車両周辺の周辺情報として、自車両周辺の周辺映像を情報取得装置２００から取得して記憶する。周辺映像には、前方カメラ２０５ａ、右側カメラ２０５ｂ、左側カメラ２０５ｃ及び後方カメラ２０５ｄからなる周辺情報取得機器２０５が撮影した映像が含まれる。

　図１０は、周辺情報ＤＢの一例である。周辺情報ＤＢ１２５は、例えば、各フレームごとに、フレーム番号及び各カメラ２０５での映像データを記憶する。映像データには、前方カメラ２０５ａが撮影した前方映像、右側カメラ２０５ｂが撮影した右側映像、左側カメラ２０５ｃが撮影した左側映像及び後方カメラ２０５ｄが撮影した後方映像が含まれる。

　　（３－２－３）視線データＤＢ
　視線データＤＢ１２９は、自車両の運転者の視線原点Ｐ及び視線ベクトル１５０ａを情報取得装置２００から取得し記憶する。

　図１１は、視線データＤＢの一例である。視線データＤＢ１２９は、各フレームごとに、フレーム番号、視線原点Ｐ及び視線ベクトル１５０ａを情報取得装置２００から取得し記憶している。視線ベクトル１５０ａは、ピッチ角θβ及び方位角θαにより定義されている。なお、視線原点Ｐは、車両３００の任意の中心点Ｏを原点とする空間座標系内の座標により定義されても良い。

　視線データＤＢ１２９は、さらに、後述の視線軌跡生成部１２３が算出した視線軌跡を各フレームごとに記憶している。視線軌跡は、運転者が観察映像において最も着目していると推測される着目点の軌跡であり、ディスプレイ２５５Ｆ、２５５Ｒ及び２５５Ｌの表示領域上の座標により定義されている。

　　（３－２－４）車体構造ＤＢ
　車体構造ＤＢ１２８は、例えば車種毎に、前側ピラー３０７F、ダッシュボード３０１、右側ピラー３０７Ｒ及び左側ピラー３０７Ｌなどの車体構造を記憶している。車体構造ＤＢ１２８は、例えば、車体構造を構成する各画素の映像データを、各ディスプレイ２５５Ｆ、２５５Ｒ及び２５５Ｌの表示領域の各座標に対応付けて記憶している。

　　（３－２－５）車窓映像生成部、ミラー映像生成部
　　　（ａ）三次元投影面上の周辺映像とディスプレイの各表示領域との関係
　まず、三次元投影面４００に投影された周辺映像と、各前方ディスプレイ２５５Ｆ、右側ディスプレイ２５５Ｒ及び左側ディスプレイ２５５Ｌの各表示領域と、の関係について説明する。

　図１２は、周辺映像が投影される三次元投影面と、車窓映像及びミラー映像と、の関係を示す説明図である。図１３は、三次元投影面上の車窓映像及びミラー映像と、各ディスプレイの表示領域と、の関係を示す説明図である。

　各カメラ２０５が撮影した映像データを処理して合成することで、図１２に示すような三次元投影面４００に投影された周辺映像が生成される。三次元投影面４００としては、一例として、自車両３００を中心にしたお椀形状の投影面を想定している。なお、各カメラ２０５ａ～２０５ｄの各画素の座標と、三次元投影面４００の各座標と、の対応付けは予め定義されている。各カメラ２０５ａ～２０５ｄの各画素の映像データが、前記対応付けに基づいて三次元投影面４００に座標変換されることで、三次元投影面４００に投影された周辺映像を生成可能である。

　図１２に示すように、三次元投影面４００は、自車両３００の前方側において、前方車窓映像４００Ｆと、右側車窓映像４００Ｒと、左側車窓映像４００Ｌと、を含む。前方車窓映像４００Ｆは、自車両３００の運転者が図５の前方窓３０６Ｆを介して観察する車窓映像である。右側車窓映像４００Ｒ及び左側車窓映像４００Ｌは、運転者が右側窓３０６Ｒ及び左側窓３０６Ｌを介して観察する車窓映像である。三次元投影面４００上のどの領域の映像が、前方車窓映像４００Ｆ、右側車窓映像４００Ｒ及び左側車窓映像４００Ｌに対応するかは、予め定められているものとする、
　また、三次元投影面４００は、自車両３００の斜め後方側において、運転者が右側のドアミラー３０３Ｒを介して観察する右側ミラー映像４００ＭＲと、左側のドアミラー３０３Ｌを介して観察する左側ミラー映像４００ＭＬと、を含む。また、三次元投影面４００は、自車両３００の後方側において、運転者がバックミラー３０３Ｂを介して観察するバックミラー映像４００ＭＢを含む。前述と同様に、三次元投影面４００上のどの領域の映像が、右側ミラー映像４００ＭＲ、左側ミラー映像４００ＭＬ及びバックミラー映像４００ＭＢに対応するかは、予め定められているものとする。

　次に、図１３に示すように、上記車窓映像４００Ｆ、４００Ｒ、４００Ｌ及びミラー映像４００ＭＢ、４００ＭＲ、４００ＭＬと、各ディスプレイ２５５Ｆ、２５５Ｒ、２５５Ｌの表示領域と、が対応づけられている。

　例えば、前方車窓映像４００Ｆは前方車窓映像領域２６１Ｆに対応づけられている。具体的には、三次元投影面４００上の前方車窓映像４００Ｆの各画素の座標と、前方ディスプレイ２５５Ｆ上の前方車窓映像領域２６１Ｆの各座標と、が対応付けられている。つまり、図１３に示すように前方車窓映像４００Ｆの座標Ｐａは前方車窓映像領域２６１Ｆの座標Ｐａ’に対応付けられている。言い換えれば、各カメラ２０５ａ～２０５ｄが取得した映像データのうち前方車窓映像４００Ｆについて、その映像の各画素の座標と、前方ディスプレイ２５５Ｆ上の前方車窓映像領域２６１Ｆの各座標と、が対応付けられている。この対応付けは、車両を運転している運転者の所定の視点に基づいて予め定義されている。よって、前記対応付けに基づいた座標変換により映像を生成することで、運転者に視点に基づいて映像を生成可能である。なお、各カメラ２０５ａ～２０５ｄが取得した映像データは複数の画素で構成されており、これらの複数の画素には、車窓映像４００Ｆ、４００Ｒ及び４００Ｌと、ミラー映像４００ＭＲ、４００ＭＬ及び４００ＭＢと、を構成する各画素が含まれる。また、前述の各種対応付けは、各種対応表ＤＢ１３０に格納されている。

　同様に、右側車窓映像４００Ｒは右側車窓映像領域２６１Ｒに対応づけられ、左側車窓映像４００Ｌは左側車窓映像領域２６１Ｌに対応づけられている。例えば、左側車窓映像４００Ｌの座標Ｐｂは左側車窓映像領域２６１Ｌの座標Ｐｂ’に対応付けられている。

　また、右側ミラー映像４００ＭＲは右側ミラー映像領域２６２Ｒに対応づけられ、左側ミラー映像４００ＭＬは左側ミラー映像領域２６２Ｌに対応づけられている。例えば、右側ミラー映像４００ＭＲの座標Ｐｅは右側ミラー映像領域２６２Ｒの座標Ｐｅ’に対応付けられている。また、例えば、左側ミラー映像４００ＭＬの座標Ｐｄは左側ミラー映像領域２６２Ｌの座標Ｐｄ’に対応付けられている。

　また、バックミラー映像４００ＭＢはバックミラー映像領域２６２Ｂに対応づけられている。例えば、バックミラー映像４００ＭＢの座標Ｐｃはバックミラー映像領域２６２Ｂの座標Ｐｃ’に対応付けられている。

　　　（ｂ）車窓映像及びミラー映像の生成
　　　　（ｂ－１）車窓映像の生成
　車窓映像生成部１２１は、図１２及び図１３に示す各車窓映像４００Ｆ、４００Ｒ、４００Ｌと、ディスプレイ２５５上の各車窓映像領域２６１Ｆ、２６１Ｒ及び２６１Ｌと、の対応付けに基づいて、各車窓映像４００Ｆ、４００Ｒ、４００Ｌを生成する。さらに、車窓映像生成部１２１は、車体構造ＤＢ１２８を参照し、該当する車種の車体構造を読み出す。車窓映像生成部１２１は、車体構造をさらに組み込むことで各車窓映像４００Ｆ、４００Ｒ、４００Ｌを生成する。

　具体的には、車窓映像生成部１２１は、図１０の周辺情報ＤＢ１２５から、各カメラ２０５ａ～２０５ｄが取得した映像データからなる周辺情報を読み出す。また、車窓映像生成部１２１は、前記周辺情報のうち各車窓映像を構成する各画素の座標と、ディスプレイ２５５上の各車窓映像領域の各座標と、の対応付けを各種対応表ＤＢ１３０から読み出す。例えば、車窓映像生成部１２１は、前方車窓映像４００Ｆの各画素の座標と、前方ディスプレイ２５５Ｆの前方車窓映像領域２６１Ｆの各座標と、の対応付けを各種対応表ＤＢ１３０から読み出す。

　次に、車窓映像生成部１２１は、前記周辺情報のうち各車窓映像を構成する各画素の映像データを、前記対応付けに基づいてディスプレイ２５５上の各車窓映像領域上に座標変換する。例えば、車窓映像生成部１２１は、前方車窓映像４００Ｆの各画素の映像データを、前記対応付けに基づいて前方車窓映像領域２６１Ｆ上に座標変換する。

　さらに、車窓映像生成部１２１は、前記周辺情報の取得が行われた車両の車種に基づいて、車体構造ＤＢ１２８の車体構造を参照する。例えば、車窓映像生成部１２１は、車体構造を構成する各画素の映像データと、各ディスプレイ２５５Ｆ、２５５Ｒ及び２５５Ｌの表示領域上の各座標との対応付けを読み出す。また、車窓映像生成部１２１は、車体構造を構成する各画素の映像データを、前記対応付けに基づいて各ディスプレイ２５５の表示領域の各座標に組み込むことで、前方車窓映像４００Ｆ、右側車窓映像４００Ｒ及び左側車窓映像４００Ｌを生成する。つまり、窓を介して観察される映像と車体構造とが合成された車窓映像４００Ｆ、４００Ｒ、４００Ｌが生成される。

　　　　（ｂ－２）ミラー映像の生成
　ミラー映像生成部１２２は、図１２及び図１３に示す各ミラー映像４００ＭＲ、４００ＭＬ及び４００ＭＢと、ディスプレイ２５５上の各ミラー映像領域２６２Ｒ、２６２Ｌ及び２６２Ｂと、の対応付けに基づいてミラー映像を生成する。さらに、ミラー映像生成部１２２は、車体構造ＤＢ１２８から読み出した車体構造をさらに組み込むことで各ミラー映像４００ＭＢ、４００ＭＲ、４００ＭＢを生成する。

　具体的には、ミラー映像生成部１２２は、周辺情報ＤＢ１２５から周辺情報を読み出す。また、ミラー映像生成部１２２は、前記周辺情報のうち各ミラー映像を構成する各画素の座標と、ディスプレイ２５５上の各ミラー映像領域の各座標と、の対応付けを各種対応表ＤＢ１３０から読み出す。

　次に、ミラー映像生成部１２２は、前記周辺情報のうち各ミラー映像を構成する各画素の映像データを、前記対応付けに基づいてディスプレイ２５５上の各ミラー映像量領域上に座標変換する。

　さらに、ミラー映像生成部１２２は、車体構造ＤＢ１２８の車体構造に基づいて、車体構造を組み込んだ右側ミラー映像４００ＭＲ、左側ミラー映像４００ＭＬ及びバックミラー映像４００ＭＢを生成する。つまり、ミラー３０３を介して観察される映像と車体構造とが合成されたミラー映像４００ＭＲ、４００ＭＬ、４００ＭＢが生成される。

　なお、車体構造を車窓映像及びミラー映像に組み込む処理は必ずしも必要ではない。ただし、車体構造を車窓映像及びミラー映像に組み込むことで、ピラーなどにより運転者の視線が遮蔽されている領域を再現することができる。つまり、実際に運転者が視認していると推測される映像をより正確に生成することができる。よって、視聴者は、車体構造が組み込まれた車窓映像を運転教育用端末２５０で視聴することで、ピラーなどの車体構造によりどのような領域が死界となっているのか、死界によりどのような危険運転が生じたのかなどを把握することができる。これにより、安全運転教育を効果的に行うことができる。

　　（３－２－６）車窓映像ＤＢ、ミラー映像ＤＢ
　図１４は、車窓映像ＤＢの一例である。車窓映像ＤＢ１２６は、車窓映像生成部１２１が生成した車窓映像を記憶する。車窓映像ＤＢ１２６は、例えば、各フレームごとに、フレーム番号と、前方車窓映像４００Ｆ、右側車窓映像４００Ｒ及び左側車窓映像４００Ｌと、を記憶する。

　図１５は、ミラー映像ＤＢの一例である。ミラー映像ＤＢ１２７は、ミラー映像生成部１２２が生成したミラー映像を記憶する。ミラー映像ＤＢ１２７は、例えば、各フレームごとに、フレーム番号と、バックミラー映像４００ＭＢ、右側ミラー映像４００ＭＲ及び左側ミラー映像４００ＭＬと、を記憶する。

　　（３－２－７）視線軌跡生成部
　視線軌跡生成部１２３は、図１１の視線データＤＢ１２９の視線原点Ｐ及び視線ベクトル１５０ａに基づいて、前方ディスプレイ２５５Ｆ、右側ディスプレイ２５５Ｒ及び左側ディスプレイ２５５Ｌの表示領域上での運転者の視線軌跡を算出する。

　概念的には、次のように視線軌跡が導出される。前述の図１２に示すように、視線原点Ｐを起点とする視線ベクトル１５０ａは三次元投影面４００と点ＶＰで交差する。この点ＶＰが、ディスプレイ２５５の表示領域上の点である視線軌跡に変換される。

　実際には、例えば、視線原点Ｐ及び視線ベクトルと、ディスプレイ２５５の表示領域上の座標である視線軌跡と、の対応付けが予め各種対応表ＤＢ１３０に格納されている。視線軌跡生成部１２３は、視線データＤＢ１２９の視線原点Ｐ及び視線ベクトル１５０ａを読み出し、読み出した視線原点Ｐ及び視線ベクトル１５０ａと前記対応付けとに基づいて視線軌跡を算出する。視線軌跡生成部１２３は、算出した視線軌跡を図１１に示すように視線データＤＢ１２９に格納する。

　　（３－２－８）表示映像生成部
　表示映像生成部１２４は、表示映像の生成対象のフレームについて、車窓映像ＤＢ１２６の車窓映像及びミラー映像ＤＢ１２７のミラー映像を読み出す。また、表示映像生成部１２４は、視線データＤＢ１２９から該当フレームの視線軌跡を読み出す。さらに、表示映像生成部１２４は、各車窓映像領域と各ミラー映像領域との位置関係を各種対応表ＤＢ１３０から読み出す。例えば、表示映像生成部１２４は、前方車窓映像領域２６１Ｆとバックミラー映像領域２６２Ｂとの位置関係を各種対応表ＤＢ１３０から読み出す。

　表示映像生成部１２４は、各車窓映像領域と各ミラー映像領域との位置関係に基づいて、該当フレームの車窓映像とミラー映像とを合成し合成映像を生成する。また、表示映像生成部１２４は、前記合成映像に該当フレームの視線軌跡を重畳して表示映像を生成する。

　図１６は表示映像の一例である。図１６には、前方ディスプレイ２５５Ｆの前方車窓映像領域２６１Ｆ及びバックミラー映像領域２６２Ｂに表示される表示映像の一例が示されている。

　表示映像は、前方車窓映像、バックミラー映像及び視線軌跡２８３を含む。前方車窓映像は、前方車窓映像領域２６１Ｆに表示されており、前方窓３０６Ｆを介した車窓映像２８０と、前側ピラー３０７Fの車体映像２８１と、ダッシュボード３０１の車体映像２８２と、を含む。バックミラー映像はバックミラー映像領域２６２Ｂに表示され、視線軌跡２８３は前方車窓映像領域２６１Ｆ及びバックミラー映像領域２６２Ｂに表示されている。

　同様に、右側ディスプレイ２５５Ｒには右側車窓映像、右側ミラー映像及び視線軌跡が表示され、及び左側ディスプレイ２５５Ｌには左側車窓映像、左側ミラー映像及び視線軌跡が表示される。

　上述のように表示映像には、自車両の前方車窓映像だけでなく、自車両の右側及び左側の車窓映像も含まれる。よって、視聴者は、表示映像を運転教育用端末２５０のディスプレイ２５５で視聴することで、運転者が実際にどのような状況を観察しながら運転を行っているかを把握することができる。例えば、視聴者は、車両前方で生じた危険運転だけでなく、右側及び左側において生じた危険運転なども学習することができる。このように視聴者が、運転者に対して様々な方向で生じた危険運転を視聴することで、種々の危険運転がどのような状況で発生しているかを学習することができ、安全運転教育を効果的に行うことができる。

　また、上述のように表示映像には、車窓映像だけでなく、運転者がミラーを介して観察するミラー映像が含まれる。よって、表示映像の視聴者は、運転者がミラーを介して確認した後方及び後側方の状況も把握することができる。

　また、表示映像には運転者の視線軌跡も重畳されるため、表示映像の視聴者は、車両の走行中に運転者が自車両以外のどのような対象物を認知していたのか、あるいは認知していなかったのかを把握することができる。これにより、例えば自車両に対して後方車両を認知していなかったため危険運転が生じたなど、危険運転の原因を解析し、安全運転教育に役立てることができる。

　さらに、各カメラ２０５ａ～２０５ｄが取得した周辺情報は、運転者の視点に基づいた表示映像に変換される。このように表示映像は、運転者の視点に基づいた映像であるため、視聴者は自身が車両を運転しているような感覚で視聴を行うことができる。特に、視聴者が危険運転時の表示映像を視聴する場合には、視聴者はあたかも危険運転に遭遇しているような感覚で視聴を行うことができる。そのため、どのような状況で危険運転が生じたかを視聴者に強く印象付けて、実際の運転時に役立たせることができるなど、効果的な安全運転教育を行うことができる。

　　（３－２－９）各種対応表ＤＢ
　各種対応表ＤＢ１３０は、運転映像処理装置１００が演算及び判定に用いるあらゆるデータを記憶している。その一例を以下に説明する。

　例えば、各種対応表ＤＢ１３０は、前方車窓映像領域２６１Ｆとバックミラー映像領域２６２Ｂとの位置関係を記憶している。同様に、各種対応表ＤＢ１３０は、右側車窓映像領域２６１Ｒと右側ミラー映像領域２６２Ｒとの位置関係を記憶している。また、各種対応表ＤＢ１３０は、左側車窓映像領域２６１Ｌと左側ミラー映像領域２６２Ｌとの位置関係を記憶している。

　各種対応表ＤＢ１３０は、各カメラ２０５ａ～２０５ｄが取得した映像データのうち、各車窓映像及び各ミラー映像を構成する各画素の座標と、ディスプレイ２５５上の各映像領域の各座標と、の対応付けを記憶している。その他、各種対応表ＤＢ１３０は、各カメラ２０５ａ～２０５ｄの各画素の座標と三次元投影面４００の各座標との対応付けを記憶していても良い。また、各種対応表ＤＢ１３０は、各車窓映像及び各ミラー映像を構成する映像データの三次元投影面４００上の各座標と、ディスプレイ２５５上の各映像領域の各座標と、の対応付けを記憶していても良い。

　また、各種対応表ＤＢ１３０は、視線原点Ｐ及び視線ベクトルと、ディスプレイ２５５の表示領域上の座標である視線軌跡と、の対応付けを記憶している。

　また、各種対応表ＤＢ１３０のこれらの対応付けは、例えばカメラで撮影した映像をディスプレイ２５５上の映像に変換する際に行う歪み補正も考慮して行われているものとする。

　また、各種対応表ＤＢ１３０は、前述の各種対応付けを、例えば数式により記憶していても良い。例えば、前方車窓映像領域２６１Ｆとバックミラー映像領域２６２Ｂとの位置関係は、数式により規定されて格納されている。

　（３－３）運転教育用端末
　図８の運転教育用端末２５０の機能部には、例えば送受信部２７０及び表示制御部２７１が含まれる。運転教育用端末２５０は、マウス２５６及びキーボード２５７を介して、視聴者から所望の表示映像の表示指示を受け付ける。送受信部２７０は、表示映像の表示指示を運転映像処理装置１００の表示映像生成部１２４に出力する。また、送受信部２７０は、表示映像生成部１２４から所望の表示映像を受信し、表示制御部２７１は前記表示映像をディスプレイ２５５に表示する。

　（４）処理の流れ
　以下に、第１実施形態例にかかる運転映像処理装置１００が実行する処理の流れを説明する。

　図１７は、第１実施形態例にかかる運転映像処理装置が実行する処理の流れの一例を示すフローチャートである。この処理は例えば各フレームごとに実行される。

　ステップＳ１：運転映像処理装置１００は、周辺情報及び視線データを情報取得装置２００から取得し、周辺情報ＤＢ１２５及び視線データＤＢ１２９に格納する。

　ステップＳ２：車窓映像生成部１２１は、周辺情報ＤＢ１２５から周辺情報を読み出す。車窓映像生成部１２１は、各車窓映像４００Ｆ、４００Ｒ、４００Ｌと、ディスプレイ２５５上の各車窓映像領域２６１Ｆ、２６１Ｒ及び２６１Ｌと、の対応付けに基づいて、周辺情報から各車窓映像４００Ｆ、４００Ｒ、４００Ｌを生成する。さらに、車窓映像生成部１２１は、車体構造ＤＢ１２８を参照し、該当する車種の車体構造を読み出す。車窓映像生成部１２１は、車体構造をさらに組み込むことで各車窓映像４００Ｆ、４００Ｒ、４００Ｌを生成し、車窓映像ＤＢ１２６に格納する。

　ステップＳ３：ミラー映像生成部１２２は、周辺情報ＤＢ１２５から周辺情報を読み出す。ミラー映像生成部１２２は、各ミラー映像４００ＭＲ、４００ＭＬ及び４００ＭＢと、ディスプレイ２５５上の各ミラー映像領域２６２Ｒ、２６２Ｌ及び２６２Ｂと、の対応付けに基づいて、周辺情報からミラー映像を生成する。さらに、ミラー映像生成部１２２は、車体構造ＤＢ１２８から読み出した車体構造をさらに組み込むことで各ミラー映像４００ＭＢ、４００ＭＲ、４００ＭＢを生成、ミラー映像ＤＢ１２７に格納する。

　ステップＳ４：視線軌跡生成部１２３は、視線データＤＢ１２９の視線原点Ｐ及び視線ベクトル１５０ａに基づいて、前方ディスプレイ２５５Ｆ、右側ディスプレイ２５５Ｒ及び左側ディスプレイ２５５Ｌの表示領域上での運転者の視線軌跡を算出する。

　ステップＳ５：表示映像生成部１２４は、各車窓映像領域と各ミラー映像領域との位置関係に基づいて、車窓映像ＤＢ１２６の車窓映像とミラー映像ＤＢ１２７のミラー映像とを合成し、さらに視線軌跡を重畳して表示映像を生成する。

　（５）変形例
　（５－１）変形例１
　上記第１実施形態例では、ミラー３０３の角度などは固定である。またミラー３０３を介して運転者が観察するミラー映像の、三次元投影面４００上の領域も固定されている。しかし、ミラー３０３の角度に応じて、ミラー映像の三次元投影面４００上の領域も変更されても良い。

　図１８はミラーの角度に応じて運転者の視線方向が変わる様子を示す模式図である。図１８には、一例として右のドアミラー３０３Ｒの角度が変更される例が示されている。ドアミラー３０３Ｒ１は初期設定の状態にあり、このときのミラー角度を０°とする。運転者のドアミラー３０３Ｒ１への視線ベクトル１５０ａは、ドアミラー３０３Ｒ１によりミラー視線ベクトル１５５ａ１となる。一方、ドアミラー３０３Ｒ２は、初期設定の状態からθ_ＭＲ°分だけ角度がプラス（＋）方向に変更されている。運転者のドアミラー３０３Ｒ２への視線ベクトル１５０ａは、ドアミラー３０３Ｒ２によりミラー視線ベクトル１５５ａ２となる。つまり、ミラー角度の変更により、ミラー視線ベクトルは、ミラー視線ベクトル１５５ａ１からミラー視線ベクトル１５５ａ２に変更されている。

　図１９は、三次元投影面上の車窓映像及びミラー映像と、各ディスプレイの表示領域と、の関係を示す説明図である。右のドアミラー３０３Ｒ１において、ミラー視線ベクトル１５５ａ１の方向に視認可能な三次元投影面４００上のミラー映像は、図１９の右側ミラー映像４００ＭＲ１である。一方、右のドアミラー３０３Ｒ２において、ミラー視線ベクトル１５５ａ２の方向に視認可能な三次元投影面４００上のミラー映像は、図１９の右側ミラー映像４００ＭＲ２である。そのため、運転映像処理装置１００は、ミラー角度に応じて、三次元投影面４００上の各ミラー映像の各画素の座標と、各ミラー映像領域２６２の座標と、の対応付けを異ならせる。このとき、右側ミラー映像４００ＭＲ１の座標Ｐｅ１は右側ミラー映像領域２６２Ｒの座標Ｐｅ１’に対応付けられている。一方、右側ミラー映像４００ＭＲ２の座標Ｐｅ２は右側ミラー映像領域２６２Ｒの座標Ｐｅ２’に対応付けられている。このように、ミラー角度の変更により視認可能な映像も異なる。

　例えば、情報取得装置２００はミラー３０３のミラー角度の変更を検出し、運転映像処理装置１００に出力する。ミラー角度が変更されると、ミラー映像生成部１２２は、ミラー映像４００ＭＲ、４００ＭＬ及び４００ＭＢと、ディスプレイ２５５上の各ミラー映像領域２６２Ｒ、２６２Ｌ及び２６２Ｂと、の対応付けを、ミラー角度に応じて変更する。各種対応表ＤＢ１３０は前記対応付けを更新する。ミラー映像生成部１２２は、ミラー映像４００ＭＲ、４００ＭＬ及び４００ＭＢを生成する際には、更新後の対応付けに基づいて、各ミラー映像を構成する各画素の映像データを、ディスプレイ２５５上の各ミラー映像領上に座標変換する。

　（５－２）変形例２
　上記実施形態例では、表示映像に車窓映像及びミラー映像がともに含まれる。しかし、表示映像は、車窓映像及びミラー映像のいずれかと、視線軌跡と、の合成により生成されても良い。

　（５－３）変形例３
　上記実施形態例では、各種対応付けＤＢ１３０内の対応付けに基づいて各種の座標変換等を行っている。しかし、座標変換等はこのような対応付けに基づいた演算に限定されず、例えば変換関数などを用いて行われても良い。

　＜第２実施形態例＞
　第２実施形態例の運転映像処理装置１００は、第１実施形態例の運転映像処理装置１００と同様に、車窓映像、ミラー映像及び視線軌跡を含む表示映像を生成する。第２実施形態例の運転映像処理装置１００は、前記表示映像に含まれる対象物を自車両の運転者が認知しているか否かの認知結果を、前記表示映像に反映する。以下では、上記第１実施形態例と異なる構成について説明する。まず、処理の概要について説明する。なお、第１実施形態例の変形例もまた第２実施形態例に適用可能である。

　（１）処理の概要
　運転映像処理装置１００は、視線検出機器２０６が取得した視線１５０に基づいて、自車両３００の運転者が危険運転の対象である対象物を認知していたか否かを判断する。図２０を用いて運転映像処理装置１００による処理の概要を説明する。

　図２０は、自車両と他車両との関係を示す斜視図である。他車両５００は、自車両３００が走行する車線６００に対して、左に隣接する車線６０１上を走行している。また、自車両３００の運転者の視線ベクトル１５０ａが他車両５００に向かっているため、運転映像処理装置１００は自車両３００の運転者が他車両５００を認知していると判定することができる。具体的には、例えば、運転映像処理装置１００は、自車両３００の運転者の視線１５０を中心とした視線空間１５１を設定し、視線空間１５１内に対象物である他車両５００の少なくとも一領域が含まれるか否かに基づいて認知しているか否かを判定する。より具体的には後述するが、運転映像処理装置１００は、視線ベクトル１５０ａと、自車両３００から他車両５００への対象物ベクトル１６０ａと、の成す角Δθに基づいて判定する。ここで、視線空間１５１とは、視線原点Ｐを始点とし、視線ベクトル１５０ａとの成す角θａが所定の閾値θｔｈ以下である視線空間線１５１ａの集合が構成する空間を言う。

　（２）機能構成
　図２１は、第２実施形態例にかかる各装置の機能構成を示すブロック図の一例である。第１実施形態例の機能構成に加えて、運転映像処理装置１００の映像処理部１３１、対象物抽出部１３２、相対情報算出部１３３、視線判定部１３４、認知判定部１３５、相対情報ＤＢ１３６及び認知結果ＤＢ１３７が設けられている。以下に各機能構成について説明する。その他の構成は第１実施形態例と同様である。

　　（２－１）映像処理部
　映像処理部１３１は、各カメラ２０５が撮影した映像データを周辺情報ＤＢ１２５から取得し、合成することで図２２に示すような三次元投影面４００に投影された周辺映像を生成する。図２２は、周辺映像が投影される三次元投影面を示す模式図である。

　具体的には、まず、映像処理部１３１は、各カメラ２０５ａ～２０５ｄの各画素と、三次元投影面４００の各座標と、の対応関係を、各種対応表ＤＢ１３０から取得する。次に、映像処理部１３１は、前記座標の対応関係に基づいて、各カメラ２０５ａ～２０５ｄの映像データを三次元投影面４００に投影し、周辺映像を生成する。

　　（２－２）対象物抽出部
　対象物抽出部１３２は、映像処理部１３１が生成した周辺映像から、自車両３００周辺に存在する一又は複数の対象物を抽出する。

　図２３は、対象物の抽出方法の一例を示す説明図である。図２３では、車線６００上を自車両３００が走行しており、左に隣接する車線６０１上を対象物である他車両５００が走行している。まず、対象物抽出部１３２は、例えば周辺映像における輝度のコントラスト比に基づいてエッジを抽出し、車線表示ライン６０２ａ～６０２ｄを検出する。次に、対象物抽出部１３２は、車線表示ライン６０２ａ～６０２ｄの交点から消失点Ｄを検出し、消失点Ｄに基づいて対象物の検索範囲を確定する。例えば、検索範囲は、消失点Ｄと車線表示ライン６０２ａ～６０２ｄとにより囲まれる範囲、又は前記範囲を含む所定範囲と確定することができる。

　対象物抽出部１３２は、検索範囲内において自車両３００周辺の対象物候補を抽出する。対象物候補とは、対象物となり得る候補を言う。次に、対象物抽出部１３２は、対象物候補と、予め格納されている対象物の各種特徴を記憶したパターンデータと、を比較することで、対象物候補を対象物とするか否かを決定する。例えば、対象物抽出部１３２は、対象物候補が車両のパターンデータと一致する場合には、対象物候補を対象物と決定する。図２３の例では、対象物抽出部１３２は、対象物として他車両５００を抽出している。一方、対象物抽出部１３２は、対象物候補が対象物のパターンデータと一致しない場合、対象物候補を対象物ではないと決定する。

　また、対象物抽出部１３２は、抽出した各対象物を識別するために、各対象物に対象物番号を付与し、自車両３００に対する対象物の相対位置Ｑを取得する。相対位置Ｑとしては、例えば、対象物のうち、自車両３００に最も近接する部分の座標が挙げられる。図２３のように他車両５００が自車両３００に対して左前方を走行している場合は、対象物抽出部１３２は、相対位置として他車両５００の右隅点Ｑを取得する。一方、他車両５００が自車両３００に対して右後方を走行している場合は、対象物抽出部１３２は、相対位置として他車両５００の左隅点を取得する。

　ここで、相対位置Ｑは、車両３００の任意の中心点Ｏを原点とする空間座標系により定義される。なお、対象物抽出部１３２は、対象物の位置を把握できれば良く、対象物の相対位置は前述の相対位置Ｑに限定されない。

　対象物抽出部１３２は、対象物番号及び相対位置Ｑを相対情報ＤＢ１３６に格納する。

　　（２－３）相対情報ＤＢ
　相対情報ＤＢ１３６は、対象物抽出部１３２から取得した対象物番号及び相対位置Ｑを、各フレーム及び各対象物ごとに記憶する。また、相対情報ＤＢ１３６は、後述の相対情報算出部１３３が算出した対象物ベクトルをフレーム及び各対象物ごとに記憶する。

　図２４は、相対情報ＤＢの一例である。相対情報ＤＢ１３６は、例えば、フレーム番号、対象物番号、相対位置Ｑ及び対象物ベクトルを記憶している。

　対象物は自車両３００に近づいたり、離れたりするため、対象物数は増加又は減少する。例えば、図２４のフレーム番号＝１のフレームでの対象物数は“Ｎ”であり、フレーム番号＝２のフレームでの対象物数は“Ｍ”であり異なる。また、対象物番号が“１”、“２”の対象物は、フレーム番号＝１、２のフレームで存在しているが、別のフレームでは存在していない場合もある。

　　（２－４）視線データＤＢ
　視線データＤＢ１２９は、自車両の運転者の視線原点Ｐ及び視線ベクトル１５０ａを情報取得装置２００から取得し記憶する。また、視線データＤＢ１２９は、後述の視線判定部１３４が判定した、ミラー３０３の視認の有無、ミラー視線原点Ｒ及びミラー視線ベクトル１５５ａを記憶する。さらに、視線データＤＢ１２９は、視線軌跡生成部１２３が生成した視線軌跡なども記憶する。

　なお、ミラー視線原点Ｒとは、視線ベクトル１５０ａとミラー３０３のミラー面の領域との交点の座標を言うものとする。また、運転者からの視線１５０はミラー３０３により反射され、ミラー視線１５５となる。ミラー視線ベクトル１５５ａとは、ミラー視線１５５の方向を示すベクトルである。なお、ミラー視線原点Ｒ及びミラー視線ベクトル１５５ａは、自車両３００の任意の中心点Ｏを中心とする空間座標系により定義される。

　図２５は、視線データＤＢの一例である。視線データＤＢ１２９は、各フレームごとに、フレーム番号、視線原点Ｐ、視線ベクトル１５０ａ、ミラー視認のＹｅｓ／ＮＯ、ミラー視線原点Ｒ、ミラー視線ベクトル１５５ａ及び視線軌跡を記憶する。例えば、視線データＤＢ１２９は、フレーム番号＝１のレコードにおいて、視線原点Ｐ（Ｘｖ０、Ｙｖ０、Ｚｖ０）、視線ベクトルＶｉｓｕａｌ＿１、ミラー３０５を視認していないことを示す“ＮＯ”を記憶している。また、視線軌跡としては、（ＸＤ＿１、ＹＤ＿１、ＺＤ＿１）が記憶されている。また、視線データＤＢ１２９は、フレーム番号＝６のレコードにおいて、視線原点Ｐ（Ｘｖ１、Ｙｖ１、Ｚｖ１）、視線ベクトルＶｉｓｕａｌ＿６、ミラー３０３を視認していることを示す“ＹＥＳ”、ミラー視線原点Ｒ（Ｘｍ１、Ｙｍ１、Ｚｍ１）、ミラー視線ベクトルＶｍｉｒｒｏｒ＿６を記憶している。また、視線軌跡としては、（ＸＤ＿６、ＹＤ＿６、ＺＤ＿６）が記憶されている。

　　（２－５）相対情報算出部
　相対情報算出部１３３は対象物ベクトルを算出する。対象物ベクトルは、視線原点Ｐ又はミラー視線原点Ｒから対象物への方向を示すベクトルである。

　相対情報算出部１３３は、視線データＤＢ１２９から視線原点Ｐ又はミラー視線原点Ｒを取得する。具体的には、相対情報算出部１３３は、視線データＤＢ１２９においてミラー視認の結果が“ＮＯ”であれば視線原点Ｐを取得し、ミラー視認の結果が“ＹＥＳ”であればミラー視線原点Ｒを取得する。また、相対情報算出部１３３は、相対情報ＤＢ１３６から、対象物ベクトルの算出対象である対象物の相対位置Ｑを取得する。次に、相対情報算出部１３３は、視線原点Ｐ又はミラー視線原点Ｒから対象物への方向１６０を示す対象物ベクトル１６０ａを算出する。

　フレーム番号＝１及び対象物番号＝２の対象物について、対象物ベクトル１６０ａは次のように算出される。相対情報算出部１３３は、視線データＤＢ１２９において、フレーム番号＝１のミラー視認の結果が“ＮＯ”であるので視線原点Ｐ（Ｘｖ０、Ｙｖ０、Ｚｖ０）を取得する。また、相対情報算出部１３３は、相対情報ＤＢ１３６から相対位置Ｑ（Ｘ＿２１、Ｙ＿２１、Ｚ＿２１）を取得する。次に、相対情報算出部１３３は、視線原点Ｐと相対位置Ｑとに基づいて対象物ベクトルＶｏｂｊｅｃｔ＿２１を算出する。

　また、フレーム番号＝６及び対象物番号＝２の対象物について、対象物ベクトル１６０ａは次のように算出される。相対情報算出部１３３は、視線データＤＢ１２９において、フレーム番号＝６のミラー視認の結果が“ＹＥＳ”であるのでミラー視線原点Ｒ（Ｘｍ１、Ｙｍ１、Ｚｍ１）を取得する。ここで、対象物の相対位置Ｑが（Ｘ＿２６、Ｙ＿２６、Ｚ＿２６）であるとする。相対情報算出部１３３は、ミラー視線原点Ｒと相対位置Ｑとに基づいて対象物ベクトルＶｏｂｊｅｃｔ＿２６を算出する。

　なお、対象物ベクトル１６０ａは、空間座標系内の座標により定義されても良いし、対象物ベクトル１６０ａとＸＹ平面及びＹＺ平面との成す角によって定義されても良い。

　相対情報算出部１３３は、上記の算出結果を相対情報ＤＢ１３６に格納する。

　　（２－６）視線判定部
　視線判定部１３４は、自車両の運転者による対象物の認知の有無を判定可能なように、視線ベクトル１５０ａ又はミラー視線ベクトル１５５ａと、対象物ベクトル１６０ａと、の成す角を算出する。

　まず、ミラー視線ベクトルの算出方法について説明する。

　視線判定部１３４は、視線データＤＢ１２９の視線原点Ｐ及び視線ベクトル１５０ａに基づいて、視線ベクトル１５０ａがミラー３０３上にあるか否かを判定する。ここで、視線判定部１３４は、自車両３００に設けられた左右のドアミラー３０３Ｌ、３０３Ｒ及びバックミラー３０３Ｂなどの各ミラー面の領域を例えば情報取得装置２００から取得して把握しているものとする。ミラー面の領域とは、入射光を反射する反射面の領域であり、例えば空間座標系を基準とした座標の集合により定義される。視線判定部１３４は、視線原点Ｐから延在する視線ベクトル１５０ａと、ミラー面の領域と、が交差するか否かに基づいて、視線ベクトル１５０ａがミラー３０３上にあるか否かを判定する。

　視線判定部１３４は、視線ベクトル１５０ａとミラー面の領域とが交差する場合には、その交点をミラー視線原点Ｒに設定する。さらに、視線判定部１３４は、視線ベクトル１５０aをミラー視線原点Ｒを起点としてミラー３０３により反射させてミラー視線ベクトル１５５ａを求める。視線判定部１３４は、これらのミラー３０３の視認の有無、ミラー視線原点Ｒ及びミラー視線ベクトル１５５ａを、前述の図２５に示すように視線データＤＢ１２９に格納する。なお、各ミラー３０３が微調整されるなどして位置が変更された場合には、視線判定部１３４は、変更後のミラー面の領域を例えば情報取得装置２００から取得するものとする。

　次に、視線判定部１３４は、視線ベクトル１５０ａ又はミラー視線ベクトル１５５ａと、対象物ベクトル１６０ａと、の成す角を算出する。算出方法について以下に図２６、図２７を用いて説明する。

　図２６は視線ベクトルと対象物ベクトルとの成す角Δθの算出方法の一例を示す説明図である。自車両３００は車線６００上を走行しており、対象物である他車両５００は、車線６００の左に隣接する車線６０１上を走行しており、自車両３００に対して左前方に位置している。視線判定部１３４は、視線データＤＢ１２９を参照し、判定対象のフレームにおいてミラー視認がＮＯであると判断すると、視線原点Ｐ及び視線ベクトル１５０ａを読み出す。また、視線判定部１３４は、相対情報ＤＢ１３６を参照し、判定対象のフレーム及び判定対象の対象物について、対象物ベクトル１６０ａを読み出す。次に、視線判定部１３４は、視線原点Ｐを起点とする運転者の視線ベクトル１５０ａと、視線原点Ｐを起点とする対象物ベクトル１６０ａと、の成す角Δθを算出する。ここでは、視線判定部１３４は、同図（ａ）に示すように、ＸＹ平面内での視線ベクトル１５０ａと対象物ベクトル１６０ａとの成す角ΔθＨを算出する。さらに、視線判定部１３４は、同図（ｂ）に示すように、ＹＺ平面内での視線ベクトル１５０ａと対象物ベクトル１６０ａとの成す角ΔθＶを算出する。

　図２７はミラー視線ベクトルと対象物ベクトルとの成す角Δθの算出方法の一例を示す説明図である。自車両３００は車線６００上を走行しており、対象物である他車両５００は、車線６００の右に隣接する車線６０３上を走行しており、自車両３００に対して右後方に位置している。視線判定部１３４は、視線データＤＢ１２９を参照し、判定対象のフレームにおいてミラー視認がＹＥＳであると判断すると、ミラー視線原点Ｒ及びミラー視線ベクトル１５５ａを読み出す。例えば、運転者は、自車両３００の右のドアミラー３０３Ｒを視認しているものとする。よって、図２７に示すように、視線原点Ｐを起点とする視線ベクトル１５０ａは、ミラー３０３Ｒにより反射され、ミラー視線原点Ｒを起点とするミラー視線ベクトル１５５ａとなっている。また、視線判定部１３４は、相対情報ＤＢ１３６を参照し、判定対象のフレーム及び判定対象の対象物について、対象物ベクトル１６０ａを読み出す。視線判定部１３４は、ミラー視線原点Ｒを起点とするミラー視線ベクトル１５５ａと、ミラー視線原点Ｒを起点とする対象物ベクトル１６０ａと、の成す角Δθを算出する。つまり、視線判定部１３４は、同図（ａ）、（ｂ）に示すように、ＸＹ平面内でのミラー視線ベクトル１５５ａと対象物ベクトル１６０ａとの成す角ΔθＨ、及びＹＺ平面内でのミラー視線ベクトル１５５ａと対象物ベクトル１６０ａとの成す角ΔθＶを算出する。

　視線判定部１３４は、判定結果として、成す角ΔθＨ及びΔθＶを認知結果ＤＢ１３７に格納する。

　　（２－７）認知結果ＤＢ
　図２８は、認知結果ＤＢの一例である。認知結果ＤＢ１３７は、例えば、フレームごとの各対象物について、フレーム番号、対象物番号、視線と対象物との成す角及び認知判定部１３５が判定した認知の有無を記憶している。

　例えば、フレーム番号＝１及び対象物番号＝２では、ΔθＨ＝５°及びΔθＶ＝３°であり、認知の有無は、認知していることを示す“ＹＥＳ”である。なお、認知判定部１３５が、運転者が対象物を認知していないと判定した場合は“ＮＯ”が格納される。

　　（２－８）認知判定部
　認知判定部１３５は、自車両３００の運転者が対象物を認知しているか否かを判定する。例えば、認知判定部１３５は、前述の図２０に示す視線空間１５１と対象物である他車両５００との位置関係に基づいて認知の有無を判定する。例えば、認知判定部１３５は、対象物が視線空間１５１の中央部に位置しているか否かを判断し、対象物が視線空間の中央部に位置していれば視線１５０と対象物とが交差しており、対象物を認知していると判定する。また、認知判定部１３５は、対象物のうち何％が視線空間１５１を占有しているかを判断し、対象物領域が視線空間１５１を占有している程度に応じて、その対象物認知の有無を判定しても良い。判定方法をさらに詳細に説明する。

　まず、認知判定部１３５は、認知結果ＤＢから判定対象のフレームの対象物について、成す角ΔθＨ及びΔθＶを読み出す。

　次に、認知判定部１３５は、対象物を認知しているか否かを判定するための所定の閾値θＨｔｈ及びθＶｔｈと、成す角ΔθＨ及びΔθＶと、を比較し、運転者が対象物を認知しているか否かを判断する。なお、閾値θｔｈには、ＸＹ面内での成す角ΔθＨを判定するための所定の閾値θＨｔｈと、ＹＺ面内での成す角ΔθＶを判定するための所定の閾値θＶｔｈと、がある。よって、認知判定部１３５は、成す角ΔθＨが所定の閾値θＨｔｈ以下か否かを判定し、さらに成す角ΔθＶが所定の閾値θＶｔｈ以下か否かを判定する。認知判定部１３５は、成す角ΔθＨが所定の閾値θＨｔｈ以下であり、かつ、成す角ΔθＶが所定の閾値θＶｔｈ以下である場合は、自車両３００の運転者が対象物を視認していることから、対象物を認知していたと判定する。一方、認知判定部１３５は、成す角ΔθＨが所定の閾値θＨｔｈより大きいか、あるいは、成す角ΔθＶが所定の閾値θＶｔｈより大きい場合は、運転者が対象物を視認していないことから、対象物を認知していなかったと判定する。

　なお、上記では、認知判定部１３５は、成す角ΔθＨ及びΔθＶの両方に基づいて認知の有無を判定しているが、例えば成す角ΔθＨ及びΔθＶのいずれか一方の成す角に基づいて認知の有無を判定することもできる。

　認知判定部１３５は、図２８の認知結果ＤＢ１３７に判定結果を格納する。

　　（２－９）表示映像生成部
　表示映像生成部１２４は、表示映像の生成対象のフレームについて、車窓映像ＤＢ１２６の車窓映像及びミラー映像ＤＢ１２７のミラー映像を読み出す。また、表示映像生成部１２４は、視線データＤＢ１２９から該当フレームの視線軌跡を読み出す。さらに、表示映像生成部１２４は、各車窓映像領域と各ミラー映像領域との位置関係を各種対応表ＤＢ１３０から読み出す。

　表示映像生成部１２４は、各車窓映像領域と各ミラー映像領域との位置関係に基づいて、該当フレームの車窓映像とミラー映像とを合成し、さらに視線軌跡を重畳して表示映像を生成する。

　さらに、表示映像生成部１２４は、相対情報ＤＢ１３６から該当フレームに存在する各対象物の相対位置Ｑを読み出し、認知結果ＤＢ１３７から該当フレームの各対象物に対する認知の有無を読み出す。表示映像生成部１２４は、車窓映像、ミラー映像及び視線軌跡を合成した表示映像に、その表示映像内の各対象物の相対位置Ｑに基づいて認知の有無を反映する。ここで、相対位置Ｑは、車両３００の任意の中心点Ｏを原点とする空間座標系により定義されている。よって、表示映像生成部１２４は、相対位置Ｑをディスプレイ２５５上の表示領域の座標に変換する。なお、空間座標系内の各座標と、ディスプレイ２５５上の表示領域の座標と、の対応付けは各種対応表ＤＢ１３０が記憶している。

　次に、表示映像生成部１２４は、各対象物の表示領域の座標に基づいて、各対象物の認知の有無に応じた映像処理を施す。例えば、表示映像生成部１２４は、対象物を認知していなければ対象物を囲む枠内に“×”を表示し、対象物を認知していれば対象物を単に枠で囲む処理を施す。あるいは、“認知有り”又は“認知無し”との表示を施しても良い。

　図２９は表示映像の一例である。図２９には、前述の図１６の表示映像に加えて、対象物である他車両に枠及び“×”が表示されている。

　具体的に図２９を参照すると、表示映像は、前方車窓映像、バックミラー映像及び視線軌跡２８３を含む。前方車窓映像は前方車窓映像領域２６１Ｆに表示されており、前方窓３０６Ｆを介した車窓映像２８０と、前側ピラー３０７Fの車体映像２８１と、ダッシュボード３０１の車体映像２８２と、を含む。バックミラー映像はバックミラー映像領域２６２Ｂに表示され、視線軌跡２８３は前方車窓映像領域２６１Ｆ及びバックミラー映像領域２６２Ｂに表示されている。

　ここで、図２９には、対象物として、自車両３００の前方を走行する２台の他車両５００ａ、５００ｂが表示されている。他車両５００ａには、他車両５００ａを囲む枠が表示され、他車両５００ｂには枠内に“×”が表示されている。なお、他車両５００ａの一部に視線軌跡２８３が掛かっており、自車両３００の運転者は他車両５００ａを認知している可能性がある。一方、他車両５００ｂには視線軌跡２８３は掛かっていないため、運転者は他車両５００ｂを認知していない可能性がある。

　同様に、右側ディスプレイ２５５Ｒには右側車窓映像、右側ミラー映像、視線軌跡及び認知の有無が表示され、及び左側ディスプレイ２５５Ｌには左側車窓映像、左側ミラー映像、視線軌跡及び認知の有無が表示される。

　上述のように表示映像には、対象物を認知していたか否かが反映されるため、表示映像の視聴者は運転者が対象物を認知していたか否かを即座に判断することができる。また、認知の有無に基づいて、危険運転が生じた原因などを解析し、安全運転教育に役立てることができる。

　また、上記本実施形態例に係る運転映像処理装置１００は、自車両３００の運転者の実際の視線方向と、自車両３００周辺の対象物と、の位置関係によって対象物に対する認知の有無を判定するため、判定の精度を向上することができる。

　（３）処理の流れ
　以下に、第２実施形態例にかかる運転映像処理装置１００が実行する処理の流れを説明する。まず全体の処理の流れを説明し、次に全体処理を構成する各処理の流れについて説明する。

　（３－１）全体処理
　図３０は、第２実施形態例にかかる運転映像処理装置が実行する全体処理の流れの一例を示すフローチャートである。この全体処理は例えば各フレームごとに実行される。

　ステップＳ１１：運転映像処理装置１００は、周辺情報及び視線データを情報取得装置２００から取得し、周辺情報ＤＢ１２５及び視線データＤＢ１２９に格納する。

　ステップＳ１２：運転映像処理装置１００は後述の認知判定処理を行う。

　ステップＳ１３～Ｓ１５：運転映像処理装置１００は、第１実施形態例の図１７のステップＳ２～ＳＳ４と同様に、車窓映像、ミラー映像及び視線軌跡をそれぞれ生成する。

　ステップＳ１６：表示映像生成部１２４は、各車窓映像領域と各ミラー映像領域との位置関係に基づいて、車窓映像ＤＢ１２６の車窓映像とミラー映像ＤＢ１２７のミラー映像とを合成し、さらに視線軌跡を重畳する。また、表示映像生成部１２４は、相対情報ＤＢ１３６の各対象物の相対位置Ｑに基づいて、車窓映像、ミラー映像及び視線軌跡を合成した表示映像に、認知結果ＤＢ１３７の対象物の認知の有無を反映する。

　以下に、認知判定処理について説明する。

　（３－２）認知判定処理
　図３１は、第２実施形態例にかかる認知判定処理の流れの一例を示すフローチャートである。まず、認知判定処理の全体を説明し、次に認知判定処理の各処理について説明する。

　ステップＳ２０：運転映像処理装置１００は、運転者がミラーを視認しているか否かに応じて、視線データのミラー処理を行う。

　ステップＳ２１：運転映像処理装置１００は、自車両３００周辺に存在する一又は複数の対象物を抽出する対象物抽出処理を行う。

　ステップＳ２２：運転映像処理装置１００は、運転者が対象物を認知しているか否かを判定する認知有無判定処理を行う。

　（３－２－１）視線データのミラー処理
　図３２は、第２実施形態例にかかる視線データのミラー処理の流れの一例を示すフローチャートである。

　ステップＳ２０ａ：視線判定部１３４は、視線原点Ｐ及び視線ベクトル１５０ａに基づいて、視線ベクトル１５０ａがミラー３０３上にあるか否かを判定する。視線ベクトル１５０ａがミラー３０３上にある場合にはステップＳ２０ｂに進み、そうでない場合は終了する。

　ステップＳ２０ｂ、Ｓ２０ｃ：視線判定部１３４は、ミラー視線原点Ｒを設定するとともに（Ｓ２０ｂ）、ミラー視線ベクトル１５５ａを算出する（Ｓ２０ｃ）。

　（３－２－２）対象物抽出処理
　図３３は、第２実施形態例にかかる対象物抽出処理の流れの一例を示すフローチャートである。

　ステップＳ２１ａ：映像処理部１３１は、現フレームについて、各カメラ２０５ａ～２０５ｄの映像データを三次元投影面４００に投影し、周辺映像を生成する。

　ステップＳ２１ｂ、Ｓ２１ｃ：対象物抽出部１３２は、映像処理部１３１が生成した周辺映像においてエッジを抽出し（Ｓ２１ｂ）、車線表示ライン６０２ａ～６０２ｄを検出する（Ｓ２１ｃ）。

　ステップＳ２１ｄ、Ｓ２１ｅ：次に、対象物抽出部１３２は、車線表示ライン６０２ａ～６０２ｄの交点から消失点Ｄを検出し（Ｓ２１ｄ）、消失点Ｄに基づいて対象物の検索範囲を確定する（Ｓ２１ｅ）。

　ステップＳ２１ｆ：対象物抽出部１３２は、検索範囲内から対象物候補を抽出する。

　ステップＳ２１ｇ、Ｓ２１ｈ：対象物抽出部１３２は、対象物候補についてパターンマッチングを行い（Ｓ２１ｇ）、対象物を抽出する（Ｓ２１ｈ）。

　ステップＳ２１ｉ：対象物が抽出された場合はステップＳ２１ｊに進み、対象物が抽出されなかった場合は終了する。

　ステップＳ２１ｊ：対象物抽出部１３２は、１フレーム前の対象物との同一性を確認し、対象物番号を付与する。同一性は例えば次のようにして確認する。対象物抽出部１３２は、１フレーム前と現フレームとの周辺映像を比較して、類似性の高い対象物はフレーム間で同一の対象物であると判断する。また、対象物抽出部１３２は、１フレーム前に検出された対象物について、速度、距離及び進行方向などに基づいて現フレームでの位置を予測する。対象物抽出部１３２は、現フレームにおいて前記予測された位置に存在する対象物は、１フレーム前の対象物と同一であると判断する。

　ステップＳ２１ｋ：対象物抽出部１３２は、自車両３００に対する各対象物のそれぞれの相対位置Ｑを取得し、相対情報ＤＢ１３６に格納する。また、相対情報算出部１３３は、視線原点Ｐ又はミラー視線原点Ｒから対象物への方向１６０を示す対象物ベクトル１６０ａを算出し、相対情報ＤＢ１３６に格納する。

　（３－２－３）認知有無判定処理
　図３４は、第２実施形態例にかかる認知有無判定処理の流れの一例を示すフローチャートである。

　ステップＳ２２ａ：視線判定部１３４は、視線データＤＢ１２９を参照し、現フレームにおいて、視線ベクトルがミラー３０３上にあるか否かに基づいてミラー３０３の視認の有無を判断する。ミラー３０３を視認している場合はステップＳ２２ｄに進み、そうで無い場合はステップＳ２２ｂに進む。

　ステップＳ２２ｂ：視線判定部１３４は、ミラー３０３を視認していない場合は、視線データＤＢ１２９から視線原点Ｐ及び視線ベクトル１５０ａを読み出す。

　ステップＳ２２ｃ：視線判定部１３４は、判定対象の対象物を選択し、相対情報ＤＢ１３６から対象物ベクトル１６０ａを読み出す。次に、視線判定部１３４は、視線原点Ｐを起点とする視線ベクトル１５０ａと、視線原点Ｐを起点とする対象物ベクトル１６０ａと、の成す角ΔθＨ及びΔθＶを算出し、認知結果ＤＢ１３７に格納する。

　ステップＳ２２ｄ：視線判定部１３４は、ミラー３０３を視認している場合は、視線データＤＢ１２９からミラー視線原点Ｒ及びミラー視線ベクトル１５５ａを読み出す。

　ステップＳ２２ｅ：視線判定部１３４は、判定対象の対象物を選択し、相対情報ＤＢ１３６から対象物ベクトル１６０ａを読み出す。次に、視線判定部１３４は、視線原点Ｒを起点とするミラー視線ベクトル１５５ａと、ミラー視線原点Ｒを起点とする対象物ベクトル１６０ａと、の成す角ΔθＨ及びΔθＶを算出し、認知結果ＤＢ１３７に格納する。

　ステップＳ２２ｆ：認知判定部１３５は、成す角ΔθＨ及びΔθＶが、閾値θＨｔｈ及びθＶｔｈ以下か否かを判定する。

　ステップＳ２２ｇ：認知判定部１３５は、成す角ΔθＨが所定の閾値θＨｔｈ以下であり、かつ、成す角ΔθＶが所定の閾値θＶｔｈ以下である場合は、自車両３００の運転者が対象物を視認し、認知していたと判定する。

　ステップＳ２２ｈ：一方、認知判定部１３５は、成す角ΔθＨが所定の閾値θＨｔｈより大きいか、あるいは、成す角ΔθＶが所定の閾値θＶｔｈより大きい場合は、運転者が対象物を認知していなかったと判定する。

　ステップＳ２２ｉ、２２ｊ：認知判定部１３５は、現フレームの全ての対象物について上記判定が終了していれば（Ｓ２２ｉ）、処理を終了する。そうでない場合は、次の対象物を選択して（Ｓ２２ｊ）、ステップＳ２２ａに戻る。

　（４）変形例
　以下に本実施形態例の変形例を説明する。

　（４－１）変形例１
　本変形例では、運転映像処理装置１００は、対象物の認知度及び／又は衝突の危険度などを反映した表示映像を生成する。対象物の認知度とは、運転者が対象物をどの程度認知しているかを示す指標である。なお、対象物を単に視認しているだけでは、前述のような対象物に関する情報を運転者が把握しているかどうかは不明であるため、ここでは視認と認知とを区別している。また、危険度とは、自車両３００と対象物との衝突の危険性の程度を示す指標である。以下に、上記第２実施形態例と異なる点及び追加された点を主に説明する。

　本変形例の機能構成について、再び図２１の機能構成を示すブロック図を用いて説明する。

　　（４－１－１）相対情報ＤＢ
　相対情報ＤＢ１３６は、対象物抽出部１３２から取得した対象物番号及び相対位置Ｑを、各フレーム及び各対象物ごとに記憶する。また、相対情報ＤＢ１３６は、相対情報算出部１３３が算出した相対距離Ｌ、相対速度Ｖ、ＴＴＣ（Time To Collision）及び対象物ベクトル１６０ａなどを、各フレーム及び各対象物ごとに記憶する。

　図３５は、相対情報ＤＢの一例である。相対情報ＤＢ１３６は、例えば、フレーム番号、対象物番号、相対位置Ｑ、相対距離Ｌ、相対速度Ｖ、ＴＴＣ及び対象物ベクトル１６０ａを記憶している。相対距離Ｌとしては、Ｘ方向の相対距離Ｌｘ及びＹ方向の相対距離Ｌｙがある。相対速度Ｖとしては、Ｘ方向の相対速度Ｖｘ及びＹ方向の相対速度Ｖｙがある。ここで、ＴＴＣとは、対象物と自車両３００とが衝突するまでに要する予想時間であり、Ｘ方向のＴＴＣｘ及びＹ方向のＴＴＣｙがある。

　　（４－１－２）相対情報算出部
　相対情報算出部１３３は、自車両３００と一又は複数の対象物との相対距離Ｌ、相対速度Ｖ、ＴＴＣ及び対象物ベクトル１６０ａなどの相対情報を算出する。相対距離Ｌ、相対速度Ｖ及びＴＴＣの算出方法を再び図２３を用いて説明する。

　　　（ａ）相対距離Ｌの算出方法
　まず、相対情報算出部１３３は、相対情報ＤＢ１３６から対象物の相対位置Ｑを読み出す。また、相対情報算出部１３３は、自車両３００の中心点Ｏと対象物の相対位置Ｑとの距離に基づいて、Ｘ方向の相対距離Ｌｘ’及びＹ方向の相対距離Ｌｙ’を算出する。図３５の相対情報ＤＢ１３６を参照すると、フレーム番号＝１及び対象物番号＝２の場合、相対位置Ｑは（Ｘ＿２１、Ｙ＿２１、Ｚ＿２１）である。中心点Ｏの座標は（０、０、０）であるので、Ｘ方向の相対距離Ｌｘ’はＬｘ’＝Ｘ＿２１と算出される。同様に、Ｙ方向の相対距離Ｌｙ’はＬｙ’＝Ｙ＿２１と算出される。ここで、相対距離Ｌｘ’及びＹ方向の相対距離Ｌｙ’は、自車両３００の車幅の半分及び車長の半分を含む距離である。よって、相対情報算出部１３３は、自車両３００のＸ方向の車幅の半分であるＬｘｃａｒを、相対距離Ｌｘ’から減算することで、相対距離Ｌｘを算出する。同様に、相対情報算出部１３３は、自車両３００のＹ方向の車長の半分であるＬｙｃａｒを、相対距離Ｌｙ’から減算することで、相対距離Ｌｙを算出する。

　より具体的な相対距離Ｌの算出方法として、カメラ２０５の設置高さ及び焦点距離等を考慮した相対距離の算出方法の一例を次に説明する。図３６は、相対距離Ｌの算出方法の一例を示す説明図である。自車両３００の周辺映像を撮影するカメラ２０５は、自車両３００の中心点Ｏの上部の車体上に設けられているものとする。また、カメラ２０５の地面からの高さはＨであり、カメラ２０５のレンズの焦点距離はｆであり、消失点Ｄの座標は（ＸＤ、ＹＤ、ＺＤ）であるとする。ここで、対象物である他車両５００の相対位置Ｑを（ＸＱ、ＹＱ、ＺＱ）とすると、相対情報算出部１３３は、次式（１）、（２）に基づいて相対距離Ｌｘ’及び相対距離Ｌｙ’を算出する。

　相対距離Ｌｙ’＝ｆ×Ｈ／│ＹＱ－ＹＤ│　　　・・・（１）
　相対距離Ｌｘ’＝Ｌｙ’×ｆ／│ＸＱ－ＸＤ│　　　・・・（２）
　相対情報算出部１３３は、相対距離Ｌｘ’及び相対距離Ｌｙ’と、Ｌｘｃａｒ及びＬｙｃａｒと、に基づいて、前述と同様に相対距離Ｌｘ及び相対距離Ｌｙを算出し、相対情報ＤＢ１３６に格納する。これにより、現在着目している現フレームにおける、相対距離Ｌｘ及び相対距離Ｌｙを算出することができる。

　　　（ｂ）相対速度Ｖの算出方法
　次に、相対情報算出部１３３は、相対速度Ｖを算出するために、現フレームに対して１つ前の前フレームにおいて、着目している対象物の相対距離Ｌｙ及び相対距離Ｌｘを取得する。つまり、相対情報算出部１３３は、同一の対象物番号について、前フレームと現フレームとの相対距離Ｌの差を算出する。次に、相対情報算出部１３３は、現フレームと前フレームとの相対距離Ｌｙの差分と、フレーム間の時間と、に基づいてＹ方向の相対速度Ｖｙを算出する。同様に、相対情報算出部１３３は、現フレームと前フレームとの相対距離Ｌｘの差分と、フレーム間の時間と、に基づいてＸ方向の相対速度Ｖｘを算出する。

　　　（ｃ）ＴＴＣの算出方法
　さらに、相対情報算出部１３３は、対象物と自車両３００とが衝突するまでに要するＴＴＣを、相対距離Ｌ及び相対速度Ｖに基づいて算出する。例えば、対象物及び自車両３００が等速運動すると仮定すると、ＴＴＣは次式（３）に基づいて算出できる。

　ＴＴＣ＝相対距離／相対速度　　　・・・（３）
　Ｘ方向及びＹ方向のそれぞれについてＴＴＣを算出するため、まず、相対情報算出部１３３は、相対情報ＤＢ１３６から相対距離Ｌｘ、Ｌｙ及び相対速度Ｖｘ、Ｖｙを取得する。相対情報算出部１３３は、前記式（３）に基づいてＸ方向のＴＴＣｘ及びＹ方向のＴＴＣｙを算出する。

　なお、相対情報算出部１３３は、対象物及び自車両３００が等速運動すると仮定して前記式（３）に基づいてＴＴＣを算出しているが、相対加速度などをさらに考慮してＴＴＣを算出しても良い。

　　（４－１－３）視線判定部、認知結果ＤＢ
　視線判定部１３４は、上記第２実施形態例と同様にミラー視線原点Ｒ、ミラー視線ベクトル１５５ａを算出する。また、視線判定部１３４は、視線ベクトル１５０ａ又はミラー視線ベクトル１５５ａと、対象物ベクトル１６０ａと、の成す角ΔθＶ及びΔθＨを算出する。

　さらに、本変形例の視線判定部１３４は、成す角ΔθＶ及びΔθＨに基づいて対象物の視認の有無を判定する。この視認の有無の判定方法は、上記第２実施形態例において認知判定部１３５が対象物の認知の有無を判定した方法と同様である。なお、認知判定部１３５は、衝突の危険度及び／又は対象物の認知度などを判定する。

　視線判定部１３４は、成す角ΔθＨが所定の閾値θＨｔｈ以下であり、かつ、成す角ΔθＶが所定の閾値θＶｔｈ以下である場合は、自車両３００の運転者が対象物である他車両５００を視認していたと判定する。一方、視線判定部１３４は、成す角ΔθＨが所定の閾値θＨｔｈより大きいか、あるいは、成す角ΔθＶが所定の閾値θＶｔｈより大きい場合は、運転者が他車両５００を視認していなかったと判定する。なお、前記では、ΔθＨ及びΔθＶの両方に基づいて視認の有無を判定しているが、例えばいずれか一方のΔθＨに基づいて視認の有無を判定することもできる。

　視線判定部１３４は、判定結果として、成す角ΔθＨ、ΔθＶ及び視認の有無の有無を認知結果ＤＢ１３７に格納する。

　図３７、図３８は認知結果ＤＢの一例である。特に、図３８は、認知結果ＤＢが記憶する視認時間及び非視認時間の一例である。図３７の認知結果ＤＢ１３７は、相対情報算出部１３３が算出したＴＴＣｘ、ＴＴＣｙ、視線判定部１３４が算出した成す角ΔθＨ、ΔθＶ及び視認の有無を、各フレーム及び各対象物ごとに記憶している。さらに、認知結果ＤＢ１３７は、後述の認知判定部１３５による危険度及び認知度などの判定結果を記憶する。

　図３８の認知結果ＤＢ１３７は、視認時間及び非視認時間の算出結果を記憶する。ここで、本変形例の視線判定部１３４は、後述の認知度の判定に用いるために、さらに、各対象物の視認時間及び非視認時間を算出しても良い。視線判定部１３４は、図３７の認知結果ＤＢ１３７を参照し、同一の対象物に対する視認時間及び非視認時間を算出する。

　図３８を参照すると、認知結果ＤＢ１３７は、各対象物番号について、各フレームでの視認の有無がＹＥＳ、ＮＯにより示されている。視線判定部１３４は、連続するフレームにおいて着目している対象物が視認されている場合は、連続するフレーム数分だけフレーム時間Δｔｆを加算して視認時間を算出する。視線判定部１３４は、非視認時間についても同様に、視認されていないフレーム数分だけフレーム時間Δｔｆを加算して非視認時間を算出する。なお、１フレームのフレーム時間をΔｔｆとしている。

　例えば図３８において対象物番号＝１の対象物は、例えばフレーム番号２～７の６フレームでは連続して視認されているため、視線判定部１３４はフレーム番号７の時点で視認時間を６Δｔｆと算出する。また、視線判定部１３４は、フレーム１２～１５までの４フレームでは対象物は視認されていないため、視線判定部１３４はフレーム番号１５の時点で非視認時間を４Δｔｆと算出する。なお、視線判定部１３４は、視認及び非視認が入れ替わると、視認時間及び非視認時間をリセットする。

　　（４－１－４）認知判定部
　認知判定部１３５は、衝突の危険度及び／又は対象物の認知度など算出する。

　　　（ａ）衝突の危険度
　認知判定部１３５は、相対情報ＤＢ１３６内の相対情報などに基づいて、対象物と自車両３００との衝突の危険度を算出する。例えば、認知判定部１３５は、次のようにして危険度を算出する。

　認知判定部１３５は、相対情報ＤＢ１３６内のＴＴＣに基づいて危険度を算出する。

　図３９は、ＴＴＣと危険度との関係を示す対応表の一例である。図３９では、例えばＴＴＣは危険度に応じて１０段階に分類されている。認知判定部１３５は、例えばＴＴＣｘが３０秒である場合にはＸ方向の危険度を“３”と判定し、ＴＴＣｙが６秒であるとするとＹ方向の危険度を“９”と算出する。さらに、認知判定部１３５は、ＴＴＣｘ及びＴＴＣｙのそれぞれの危険度を対象物の危険度としても良いが、一例としてＸ方向及びＹ方向の危険度のうち高い方の危険度を、対象物の現フレームでの危険度に設定しても良い。

　　　（ｂ）対象物の認知度
　認知判定部１３５は、自車両３００の運転者の対象物に対する認知度を算出し、認知結果ＤＢ１３７に格納する。

　認知度の算出方法には種々考えられるが、認知判定部１３５は例えば以下の方法（ｉ）～（ｖｉ）により認知度を算出することができる。ただし算出方法は一例であり、以下に限定されない。

　　　（ｉ）
　例えば、認知判定部１３５は、図２０に示す視線空間１５１と対象物である他車両５００との位置関係に基づいて認知度を判定する。例えば、認知判定部１３５は、対象物が視線空間１５１の中央部に位置しているか否かを判断し、対象物が視線空間の中央部に位置していれば視線１５０と対象物とが交差しており、対象物の認知度が高いと判定する。また、認知判定部１３５は、対象物のうち何％が視線空間１５１を占有しているかを判断し、対象物領域が視線空間１５１を占有していれば、その対象物の認知度が高いと判定する。なお、各種対応表ＤＢ１３０は、視線空間１５１に対する対象物の位置と、認知度と、の関係、視線空間１５１に含まれる対象物の割合と、認知度と、の関係などを予め保持しているものとする。

　　　（ｉｉ）
　例えば、認知判定部１３５は、視線ベクトル１５０ａ又はミラー視線ベクトル１５５ａと、対象物ベクトル１６０ａと、の成す角Δθの大きさに応じて、認知度を判定する。図４０は、成す角ΔθＨ及びΔθＶと認知度との関係を示す対応表の一例である。ΔθＨ及びΔθＶの所定範囲に対して０～５の６段階の認知度が対応付けられている。認知判定部１３５は、図３７の認知結果ＤＢ１３７からΔθＨ及びΔθＶを取得し、図４０に示す対応表を参照して認知度を判定する。

　例えば、認知判定部１３５は、ΔθＨが０°でΔθＶが１°である場合は、認知度を最も高いレベルの“５”と判定する。このとき、運転者の視線１５０は対象物に直接向けられており、運転者は確実に対象物を認知していると考えられる。また、認知判定部１３５は、ΔθＨに基づく認知度とΔθＶに基づく認知度とが異なる場合は、低い方のレベルに基づいて認知度を判断する。例えば、ΔθＨが５°に基づく認知度が５で、ΔθＶが１°に基づく認知度が３である場合は、認知度は“３”と判定しても良い。一方、認知判定部１３５は、成す角ΔθＨが所定の閾値θＨｔｈより大きいか、あるいは、成す角ΔθＶが所定の閾値θＶｔｈより大きい場合は、認知度を最も低いレベルの“０”と判定する。

　　　（ｉｉｉ）
　視認時間が短く対象物を一瞬しか視認していない場合、運転者は対象物を認知できていない。そこで、認知判定部１３５は視認時間の長さに応じて認知度を判定する。ここで、各種対応表ＤＢ１３０は視認時間の長さと認知度との対応表を記憶しており、前記対応表では例えば視認時間が長くなるほど認知度が高く設定されているものとする。認知判定部１３５は、図３８の認知結果ＤＢ１３７から視認時間を読み出し、前記対応表に基づいて認知度を判定する。

　　　（ｉｖ）
　対象物についての非視認時間が長い場合、運転者は対象物を認知できていない。そこで、認知判定部１３５は、非視認時間の長さに基づいて認知度を判定する。ここで、各種対応表ＤＢ１３０は非視認時間の長さと認知度との対応表を記憶しており、前記対応表では例えば非視認時間が長くなるほど認知度が低く設定されているものとする。認知判定部１３５は、認知結果ＤＢ１３７から非視認時間を読み出し、前記対応表に基づいて認知度を判定する。

　また、認知判定部１３５は、視認時間及び非視認時間の両方に応じて認知度を判定しても良い。例えば、認知判定部１３５は、視認時間が長いことに基づいて一旦認知度を高く判定しても、視認時間が終了した後の非視認時間が長い場合には非視認時間に応じて認知度を低く判定する。

　また、認知判定部１３５は、非視認時間が、自車両と各対象物とが衝突するまでの予測時間であるＴＴＣ未満か否かに基づいて、各対象物に対する認知度を判定しても良い。

　対象物に対する非視認時間がＴＴＣ以上であると、自車両と対象物とが衝突する可能性がある。よって、認知判定部１３５は、非視認時間がＴＴＣ以上である場合、対象物に対する認知度を小さくする。一方、認知判定部１３５は、非視認時間がＴＴＣよりも小さい場合、対象物に対する認知度を大きくする。

　また、認知判定部１３５は、視線１５０が複数の視線空間１５１を移動する際の移動速度に基づいて認知度を判定しても良い。例えば、認知判定部１３５は、移動速度が所定値Ｖａ以上の場合は認知度を高くし、移動速度が所定値Ｖａ未満の場合は認知度を低くする。

　　　（ｖ）
　認知判定部１３５は、複数の対象物の各視認時間が所定時間Ｔａ内において占める視認頻度に基づいて、各対象物に対する認知度を判定しても良い。また、認知判定部１３５は、複数の対象物それぞれに対する視認間隔に基づいて、各対象物に対する認知度を判定しても良い。

　図４１は、視認頻度又は視認間隔に基づいて認知度を判定する方法を説明する説明図である。対象物として対象物Ａ、対象物Ｂ及び対象物Ｃが抽出されており、自車両３００の運転者は対象物Ａ～Ｃを交互に視認しているものとする。図３６では、時間軸ｔ上に、各対象物Ａ～Ｃの視認時間ｔａ、ｔｂ、ｔｃがそれぞれ示されている。認知判定部１３５は、所定時間Ｔａｌｌ内において各対象物Ａ～Ｃが視認されている視認頻度を計数する。認知判定部１３５は、例えば各対象物に対する視認頻度が高いほど、認知度を高く判定する。

　また、認知判定部１３５は、各対象物Ａ～Ｃの視認間隔ΔＴ１、ΔＴ２、ΔＴ３を算出し、視認間隔ΔＴ１～ΔＴ３に基づいて認知度を判定する。例えば、認知判定部１３５は、視認間隔ΔＴ１～ΔＴ３が、各対象物Ａ～Ｃを視認可能な適切な時間間隔であるか否かに基づいて認知度を判定する。視認間隔は、例えば各視認時間の中間点のあいだの時間により算出される。

　以上により、認知判定部１３５は、運転者が複数の対象物を認知できているかどうかを判定することができる。

　　　（ｖｉ）
　認知判定部１３５は、自車両３００周辺の対象物数と、自車両３００周辺の対象物のうち視認されていると判定された対象物数と、の比に基づいて、運転者の認知度を判定しても良い。自車両３００周辺に存在する複数の対象物に対する認知度を全体として判定することができる。

　　（４－１－５）表示映像生成部
　表示映像生成部１２４は、上記第２実施形態例と同様に、車窓映像、ミラー映像、視線軌跡を合成する。さらに、表示映像生成部１２４は、相対情報ＤＢ１３６から該当フレームに存在する各対象物の相対位置Ｑを読み出し、認知結果ＤＢ１３７から該当フレームの各対象物に対する認知度及び／又は危険度を読み出す。表示映像生成部１２４は、車窓映像、ミラー映像及び視線軌跡を合成した表示映像に、各対象物の相対位置Ｑに基づいて認知度及び／又は危険度を反映する。

　つまり、表示映像生成部１２４は、相対位置Ｑをディスプレイ２５５の表示領域上の座標に変換し、各対象物の座標に基づいて各対象物の認知度及び／又は危険度に応じた映像処理を施す。例えば、表示映像生成部１２４は、認知度が低いほど、及び／又は、危険度が高いほど、対象物そのものを強調表示したり、あるいは、対象物に追加の強調表示を施すなどする。また、認知度及び／又は危険度の数値を映像に組み込んでも良い。これにより、表示映像の視聴者は、各対象物の認知度及び／又は危険度が高いのかあるいは低いのかを即座に判断することができる。また、認知度及び／又は危険度の高さに基づいて危険運転が生じた原因などを解析し、安全運転教育に役立てることができる。

　また、認知度及び危険度の両方が表示映像に反映される場合には、視聴者は、認知度の判定結果と、危険度が高く視認すべき対象物であるか否かの表示結果と、を総合的に判断することができる。よって、危険度が高く視認すべき対象物を運転者が認知していたか否かも即座に判断することができる。このような判断結果は、危険運転が生じた原因などを解析するのに役立ち、効果的な安全運転教育を行うことができる。

　（４－２）変形例２
　表示映像生成部１２４は、自車両３００の死角に存在する対象物と、自車両３００の死角以外に存在する対象物と、の表示を異ならせて表示映像を生成しても良い。ここで、死角とは、運転者が、自車両３００の周辺の状況を確認するのが困難な領域を言い、例えば、自車両３００の車体に遮られて視認困難な領域、ミラー３０３等に映らない斜め後方の領域などである。よって、運転者は、死角に対象物が存在する場合には、対象物を認知することができなかったり、認知するのが遅れてしまったりする。そこで、表示映像生成部１２４は、対象物が死角に存在するか否か応じて対象物の表示を異ならせる。これにより、運転者が注意を払うべき対象物であるなどの運転映像の解析に役立てることができる。

　まず、相対情報算出部１３３は、自車両周辺の対象物が、自車両３００の死角に存在するか否かをさらに判定する。なお、相対情報算出部１３３は、自車両３００の周辺のうちどの範囲が死角であるかについての情報を予め保持しているものとする。死角の領域は、例えば空間座標系の座標の集合などにより定義され得る。相対情報算出部１３３は、判定対象のフレーム及び対象物について、相対情報ＤＢ１３６から相対位置Ｑを取得し、前記死角の領域と比較することで対象物が死角に存在するか否かを判定する。

　表示映像生成部１２４は、表示映像において、死角に存在する対象物と、死角以外に存在する対象物と、の表示を異ならせる。例えば、表示映像生成部１２４は、死角に存在する対象物そのものを強調表示したり、あるいは、対象物に追加の強調表示を施すなどする。これにより、例えば、表示映像の視聴者は、対象物が死角に存在し、運転者が注意をはらうべきであるか否かを即座に判断することができる。

　対象物の認知の有無の表示結果と、死角に存在する対象物であるか否かの表示結果と、がともに表示映像に反映される場合には、視聴者は、これらの表示結果を総合的に判断することで、死角の対象物を運転者が認知していたか否かも即座に判断することができる。このような判断結果は、危険運転が生じた原因などを解析するのに役立つ。

　（４－３）変形例３
　上記実施形態例では、運転映像処理装置１００は、映像処理部１３１が生成した周辺映像から、自車両３００周辺に存在する一又は複数の対象物を抽出する。しかし、運転映像処理装置１００は、例えば自車両３００に取り付けた障害物検出センサにより対象物を検出しても良い。障害物検出センサは、例えば自車両３００の前部バンパ、後部バンパなどに埋め込まれて、障害物との距離を検出するものであって、光学センサ、超音波センサなどで構成することができる。運転映像処理装置１００の対象物抽出部１３２は、これらの障害物検出センサが検出したセンサ信号に基づいて自車両３００周辺の対象物を検出し、対象物の自車両３００に対する相対位置Ｑ等を取得する。また、相対情報算出部１３３は、センサ信号に基づいて、相対距離Ｌ、相対速度Ｖ及び対象物ベクトル１６０ａなどを算出する。

　また、運転映像処理装置１００は、自車両３００と対象物との間の通信に基づいて、対象物を検出しても良い。前記通信には、例えば車両間の通信である車車間通信が挙げられる。運転映像処理装置１００の対象物抽出部１３２は、前記通信に基づいて自車両３００周辺の対象物を検出し、対象物の自車両３００に対する相対位置Ｑ等を取得する。また、相対情報算出部１３３は、前記通信に基づいて、相対距離Ｌ、相対速度Ｖ及び対象物ベクトル１６０ａなどを算出する。

　その他、２眼レンズのステレオカメラを用いて、対象物の検出及び相対距離Ｌ及び相対速度Ｖなどの算出を行うこともできる。

　＜第３実施形態例＞
　第１実施形態例の運転映像処理装置１００は、自車両周辺の周辺情報及び視線データを外部の情報取得装置２００から取得する。一方、第３実施形態例の運転映像処理装置１００は、これらの情報を自ら取得する。以下に、第１実施形態例と異なる点について説明する。

　第３実施形態例の運転映像処理装置１００の構成について以下に説明する。図４２は、第３実施形態例に係る、運転映像処理装置のハードウェア構成を示すブロック図の一例である。

　運転映像処理装置１００は、例えば、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、入出力機器Ｉ／Ｆ１０４、通信Ｉ／Ｆ１０８を有している。これらは、バス１０９を介して互いに接続されている。

　入出力機器Ｉ／Ｆ１０４は、ディスプレイ１０５、マウス１０６、キーボード１０７、周辺情報取得機器２０５及び視線検出機器２０６などの入出力機器と接続されている。

　その他の構成は第１実施形態例と同様である。また、第２実施形態例においても、第３実施形態例を適用可能である。

　＜その他の実施形態例＞
　また、前述の方法をコンピュータに実行させるコンピュータプログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体は、本発明の範囲に含まれる。ここで、コンピュータ読み取り可能な記録媒体としては、例えば、フレキシブルディスク、ハードディスク、ＣＤ－ＲＯＭ（Compact Disc－Read Only Memory）、ＭＯ（Magneto Optical disk）、ＤＶＤ、ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭ（ＤＶＤ－Random Access Memory）、ＢＤ（Blue-ray Disc）、ＵＳＢメモリ、半導体メモリなどを挙げることができる。前記コンピュータプログラムは、前記記録媒体に記録されたものに限られず、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク等を経由して伝送されるものであってもよい。

１００：運転映像処理装置
１２１：車窓映像生成部
１２２：ミラー映像生成部
１２３：視線軌跡生成部
１２４：表示映像生成部
１２５：周辺情報ＤＢ
１２６：車窓映像ＤＢ
１２７：ミラー映像ＤＢ
１２８：車体構造ＤＢ
１２９：視線データＤＢ
１３０：各種対応表ＤＢ
１３１：映像処理部
１３２：対象物抽出部
１３３：相対情報算出部
１３４：視線判定部
１３５：認知判定部
１３６：相対情報ＤＢ
１３７：認知結果ＤＢ
１５０a：視線ベクトル
１５１：視線空間
１５５ａ：ミラー視線ベクトル
１６０ａ：対象物ベクトル
２００：情報取得装置
２０５：周辺情報取得機器
２０６：視線検出機器
２５０：運転教育用端末
２５５：ディスプレイ
２６１Ｆ：前方車窓映像領域
２６１Ｒ：右側車窓映像領域
２６１Ｌ：左側車窓映像領域
２６２Ｒ：右側ミラー映像領域
２６２Ｌ：左側ミラー映像領域
２６２Ｂ：バックミラー映像領域
２８０：車窓映像
２８１、２８２：車体映像
４００：三次元投影面
４００ＭＲ：右側ミラー映像
４００ＭＬ：左側ミラー映像
４００ＭＢ：バックミラー映像
４００Ｆ：前方車窓映像
４００Ｒ：右側車窓映像
４００Ｌ：左側車窓映像

Claims

　自車両の前方側方後方を含む周囲を撮影する撮像部で撮影された周辺映像と、前記自車両の運転者の視線情報とを取得する取得ステップと、
　前記周辺映像に基づいて前方および側方の観察映像を生成する観察映像生成ステップと、
　前記観察映像に対する、前記運転者の視線軌跡を生成する視線軌跡生成ステップと、
　前記観察映像に前記視線軌跡を重畳し、表示映像を生成する表示映像生成ステップと、
　を含む、映像処理方法。
　前記観察映像生成ステップは、
　前記運転者が、前記自車両の前方の窓と、側方の窓と、を介して観察した車窓映像を、前記自車両の周辺映像に基づいて生成する車窓映像生成ステップを有する、請求項１に記載の映像処理方法。
　前記観察映像生成ステップは、
　前記運転者が、前記自車両に備えられたミラーを介して観察したミラー映像を、前記自車両の周辺映像に基づいて生成するミラー映像生成ステップをさらに有する、請求項２に記載の映像処理方法。
　前記観察映像において、前記自車両周辺に存在する一又は複数の対象物を抽出する対象物抽出ステップと、
　前記自車両の運転者の視線を中心とする視線空間に、前記対象物の少なくとも一領域が含まれるか否かに基づいて、前記運転者が前記対象物を認知しているか否かを判定する認知判定ステップと、をさらに含み、
　前記表示映像生成ステップでは、前記観察映像及び前記視線軌跡に加えて、前記観察映像に含まれる各対象物に対して前記判定結果をさらに反映した表示映像を生成する、請求項１～３のいずれかに記載の映像処理方法。
　前記認知判定ステップでは、各対象物に対する運転者の認知度を判定し、
　前記表示映像生成ステップでは、前記認知度に応じて各対象物の表示を異ならせる、請求項４に記載の映像処理方法。
　前記自車両と前記自車両の周辺に存在する各対象物とが衝突するまでの衝突予想時間であるＴＴＣ（Time to collision）を算出する相対情報算出ステップをさらに含み、
　前記表示映像生成ステップでは、前記表示映像において、前記ＴＴＣが所定値以下の対象物と、前記ＴＴＣが前記所定値より大きい対象物と、の表示を異ならせる、請求項４に記載の映像処理方法。
　前記自車両の周辺に存在する各対象物が、前記自車両の死角に存在するか否かを判定する相対情報算出ステップをさらに含み、
　前記表示映像生成ステップでは、前記自車両の死角に存在する対象物と、前記自車両の死角以外に存在する対象物と、の表示を異ならせる、請求項４に記載の映像処理方法。
　自車両周辺に存在する一又は複数の対象物を含む周辺情報を取得する周辺情報取得ステップと、
　前記自車両の運転者の視線を検出する視線検出ステップと、をさらに含み、
　前記観察映像生成ステップでは、前記周辺情報取得ステップで取得した周辺情報に基づいて前記観察映像を生成し、
　前記視線軌跡生成ステップでは、前記視線検出ステップが検出した前記視線に基づいて前記視線軌跡を生成する、請求項１～７のいずれかに記載の映像処理方法。
　前記対象物抽出ステップでは、前記周辺情報取得ステップが取得した周辺情報から、前記一又は複数の対象物を抽出する、請求項８に記載の映像処理方法。
　自車両の前方側方後方を含む周囲を撮影する撮像部で撮影された周辺映像と、前記自車両の運転者の視線情報とを取得し、
　自車両の運転者が観察可能な、前記自車両に対して前方と右側及び／又は左側とにおける観察映像を、前記自車両の周辺映像に基づいて生成し、
　前記観察映像に対する、前記運転者の視線軌跡を生成し、
　前記観察映像に前記視線軌跡を重畳し、表示映像を生成する、
　処理をコンピュータに実行させる映像処理プログラム。
　自車両の前方側方後方を含む周囲を撮影する撮像部で撮影された周辺映像と、前記自車両の運転者の視線情報とを取得する取得部と、
　前記周辺映像に基づいて前方および側方の観察映像を生成する観察映像生成手段と、
　前記観察映像に対する、前記運転者の視線軌跡を生成する視線軌跡生成手段と、
　前記観察映像に前記視線軌跡を重畳し、表示映像を生成する表示映像生成手段と、
　を含む、映像処理装置。