JP4738314B2 - 映像処理方法及び装置 - Google Patents

Description

本発明は、自動車の運転者に対して提示するための映像データを生成する技術に関する。

従来から、見通しの悪い交差点には、車両や歩行者などを相互に確認させ、注意を促すために道路反射鏡が設置されている。しかし、道路反射鏡には左右が逆に映るため位置関係や方向を混乱させたり、凸面鏡のために反射像が歪んだり、設置位置や向きの制約により映し出せない死角があったりといった問題がある。

このような道路反射鏡の問題を解決するため、例えば特開２００１−１５５２９７号公報には、道路上の死角位置の映像を移動体に伝送して死角位置を減少させ、運転者が道路状況をより迅速且つ必要な時間中確認できるようにするための技術が開示されている。具体的には、太陽電池と撮影手段とを装備し、道路交差点等の監視エリアに設置され、撮影手段からの映像信号を無線送信する送信手段と、移動体に装備され送信手段からの映像信号を受信する受信手段とを備える。そして、移動体が映像信号の受信範囲に進入すると移動体の受信手段が自動的にその映像信号を受信することにより運転者は道路死角位置の状況を確認して運行することができる。しかし、運転者に提示される映像の内容については特に工夫はない。

また、特開２００３−１０９１９９号公報には、交差点近傍にて道路状況を撮影した画像を、車両の搭乗者へ提供することにより、特に見通しの悪い交差点における、車両対車両、車両対自転車、車両対人などの車両事故を防止し、交通の利便を図ることができる車両事故防止システムが開示されている。具体的には、優先道路及び非優先道路からなる交差点において、優先道路を撮影すべくカメラＣ１，Ｃ２が設置され、非優先道路にて交差点へ進入する車両へ映像情報を提供すべく投受光器が設置されている。カメラＣ１，Ｃ２が撮影した映像は、画像提供装置を介して投受光器から映像情報として送信され、車両が搭載する車載装置にて受信された映像情報が図３１に示すように表示部で単に並べて表示される。図３１においてハッチングが付された四角は車両を模式的に示したものである。本公報においても、表示内容について特に工夫はない。
特開２００１−１５５２９７号公報 特開２００３−１０９１９９号公報

しかしながら、上記公報開示の技術では、道路の映像をそのまま車内のモニタに表示するだけであるから、運転者が通り慣れていない交差点では、映像がどの方向の道路を写しているのか瞬時に判断できないという問題がある。すなわち、道路反射鏡の場合には運転者は道路反射鏡を基準に自分と反射像の位置関係を把握することができるが、上記公報開示の技術では基準となるものがなく、運転者と映像の道路との位置関係を把握しづらくなっている。

従って、本発明の目的は、自動車の運転者が表示画面において自車と映像で示される道路等との位置関係を把握しやすくするための映像処理技術を提供することである。

本発明の第１の態様に係る映像処理方法は、自車両の走行道路と交差する交差道路の映像データを受信する受信ステップと、受信した映像データに係る交差道路と走行道路との交差角に基づき決定される剪断角で映像データに対して剪断変換を実施し、記憶装置に格納する変換ステップと、記憶装置に格納された剪断変換後の映像データから表示映像データを生成し、表示装置に表示する表示ステップとを含む。このように交差道路と走行道路との交差角に基づき決定される剪断角で映像を傾けることによって、運転者はどの方向の交差道路についての映像かを容易に把握することができるようになり、安全運転につながる。

また、上で述べた変換ステップが、受信した映像データに係る交差道路と走行道路との交差角を算出する交差角算出ステップと、受信した映像データにおいて当該映像データに係る交差道路の傾き角を算出する傾き角算出ステップと、交差角と傾き角とに基づき剪断角に関するデータを算出する剪断角算出ステップと、算出された剪断角に関するデータを用いて映像データに対して剪断変換を実施し、記憶装置に格納するステップとを含むようにしてもよい。このように傾き角を導入することによってより適切な剪断角を導き出すことができるようになる。

さらに、上で述べた表示ステップが、走行道路の両側に交差道路が存在する場合には、左側の交差道路に係る表示映像データを左側に配置し、右側の交差道路に係る表示映像データを右側に配置するステップを含むようにしてもよい。このようにすれば、例えば十字路の交差点については、右側には右側に道路が傾いた映像が、左側には左側に道路が傾いた映像が提示されるようになり、運転者はより容易に自車両との位置関係を把握できるようになる。

本発明の第２の態様に係る映像処理方法は、自車両の走行道路の対向車線を含む、自車両の走行方向の映像データを受信するステップと、受信した映像データの座標系における自車両位置を決定するステップと、映像データと自車両を表すためのマークとを上記座標系における位置関係を保持しつつ配置することによって表示画像データを生成し、表示装置に表示する表示ステップとを含む。これによって、例えば交差点で右折する際に、自車両の位置をマークで把握しつつ対向車を映像で確認して、安全に右折できるようになる。

本発明の第２の態様において、受信した前記映像データの座標系における自車両の走行方向を特定するステップをさらに含むようにしてもよい。その際、上で述べた表示ステップが、走行方向に向いているマークを生成するステップを含むようにしてもよい。

また、本発明の第２の態様において、上で述べた表示ステップが、表示画像データにおける自車両位置から、自車両の走行道路と交わる当該自車両の右側の道路の所定位置への右折矢印を生成し、表示画像データ上に配置するステップを含むようにしてもよい。このようにすれば、右折時に進行方向などを把握しやすくなる。
なお、本映像処理方法をコンピュータに実行させるためのプログラムを作成することができ、このプログラムは、例えばフレキシブルディスク、ＣＤ−ＲＯＭ、光磁気ディスク、半導体メモリ、ハードディスク等の記憶媒体又は記憶装置に格納される。また、ネットワークなどを介してデジタル信号として配信される場合もある。尚、中間的な処理結果はメインメモリ等の記憶装置に一時保管される。

本発明によれば、自動車の運転者が表示画面において自車と映像で示される道路等との位置関係を把握しやすくすることができる。

［実施の形態１］
図１に本発明の第１の実施の形態に係る道路及びシステム概要を示す。図１では、非優先道路Ｒ１００（非優先道路Ｒ１００の下側部分Ｒ１００ａ及び上側部分Ｒ１００ｂを含む）と優先道路Ｒ１０１（優先道路Ｒ１０１の左側部分Ｒ１０１ａ及び右側部分Ｒ１０１ｂを含む）とが交差している状態を示している。優先道路Ｒ１０１では、左側部分Ｒ１０１ａを左から右に車両Ｃ３が走行しており、右側部分Ｒ１０１ｂを右から左に車両Ｃ４が走行している。また、非優先道路Ｒ１００では、下側部分Ｒ１００ａを下から上に車両Ｃ２が走行しており、上側部分Ｒ１００ｂを上から下に車両Ｃ１が走行している。車両Ｃ１乃至Ｃ４には、以下で説明する車載端末１００が搭載されている。

優先道路Ｒ１０１の右側部分Ｒ１０１ｂには、左側部分Ｒ１０１ａを撮影するためのカメラ４が設置されており、左側部分Ｒ１０１ａには、右側部分Ｒ１０１ｂを撮影するためのカメラ５が設置されている。カメラ４及び５は映像伝送装置３に接続されており、映像伝送装置３は映像データなどを無線で送信するためのアンテナ１及び２に接続されている。このようなカメラ４及び５、映像伝送装置３並びにアンテナ１及び２で構成される道路側システムは、その送信データの内容を除き従来と同じである。

図２に車両Ｃ１乃至Ｃ４に搭載される車載端末１００の機能ブロック図を示す。車載端末１００は、車両位置を検出するＧＰＳ（Global Positioning System）などの位置検出部１１と、位置検出部１１により検出された位置データを格納する位置データ格納部１２と、当該車載端末１００に搭載されている車両の速度計などから速度データを取得する速度検出部１３と、速度検出部１３が取得した速度データを格納する速度データ格納部１４と、位置データ格納部１２に格納された位置データに基づき車両の進行方向を決定する進行方向決定部１５と、進行方向決定部１５により決定された進行方向のデータを格納する進行方向データ格納部１６と、アンテナ１又は２などから映像データなどを受信する映像データ受信部１７と、映像データ受信部１７により受信された映像データなどを格納する映像データ格納部１８と、位置データ格納部１２と進行方向データ格納部１６と映像データ格納部１８とに格納されたデータに基づき映像に対して実施する剪断変換の角度（剪断角）を算出する剪断角算出部１９と、剪断角算出部１９により算出された剪断角のデータを格納する剪断角データ格納部２０と、剪断角データ格納部２０と映像データ格納部１８とに格納されたデータを用いて映像に対して剪断角に応じた剪断変換を実施する映像変換部２１と、剪断変換後の映像データを格納する変換後映像データ格納部２２と、変換後映像データ格納部２２に格納されている映像データを表示用に処理する映像表示処理部２３と、映像表示処理部２３の出力を表示する表示装置２４とを有する。

本実施の形態では、例えば非優先道路Ｒ１００を下から上に移動する車両Ｃ２では、表示装置２４に図３に示すような画面が表示される。図３の例では、表示画面上に、２つの映像２０１及び２０２が表示される。左側の映像２０１においては、優先道路Ｒ１０１の左側部分Ｒ１０１ａ及び当該優先道路Ｒ１０１を走行中の車両Ｃ３が示されている。図２５に示した従来技術による映像（左側）と比較すると、本実施の形態では、優先道路Ｒ１０１の左側部分Ｒ１０１ａが左側に傾けられていることが分かる。同様に、右側の映像２０２においては、優先道路Ｒ１０１の右側部分Ｒ１０１ｂ及び当該優先道路Ｒ１０１を走行中の車両Ｃ４が示されている。図２５に示した従来技術による映像（右側）と比較すると、本実施の形態では、優先道路Ｒ１０１の右側部分Ｒ１０１ｂが右側に傾けられていることが分かる。

また、例えば非優先道路Ｒ１００を上から下に移動する車両Ｃ１では、表示装置２４に図４に示すような画面が表示される。図４の例では、表示画面上に、２つの映像２０３及び２０４が表示される。左側の映像２０３においては、優先道路Ｒ１０１の右側部分Ｒ１０１ｂ及び当該優先道路Ｒ１０１を走行中の車両Ｃ４が示されている。そして、優先道路Ｒ１０１の右側部分Ｒ１０１ｂが左側に傾けられていることが分かる。同様に、右側の映像２０４においては、優先道路Ｒ１０１の左側部分Ｒ１０１ａ及び当該優先道路Ｒ１０１を走行中の車両Ｃ３が示されている。また、優先道路Ｒ１０１の左側部分Ｒ１０１ａが右側に傾けられていることが分かる。このように図３と図４では、映像は左右逆転しており、さらに走行方向が逆方向であるから傾ける方向も逆となっている。

このように映像中の道路を、優先道路Ｒ１０１と非優先道路Ｒ１００との交差角度に応じて傾けることによって、自車両が走行する道路と交差する道路の方向及び道路の位置関係を把握しやすくしている。図１では優先道路Ｒ１０１と非優先道路Ｒ１００とが直交していたが、例えば図５の中央に示すように、優先道路Ｒ１０１と非優先道路Ｒ１００とが、左側では左手側の交差角θで交差し、右側では右手側の交差角Φで交差しているものとする。なお、Φ＞θである。ここで、図５の左側に示すように、車両Ｃ２の車載端末１００では、カメラ４で撮影された映像データ２１１を受信し、当該映像に対して左手側の交差角θに応じた角度だけ左側に剪断変換を行って映像データ２１２を生成し、表示装置に表示する。同様に、図５の右側に示すように、カメラ５で撮影された映像データ２１３を受信し、当該映像に対して右側の交差角Φに応じた角度だけ右側に剪断変換を行って映像データ２１４を生成し、表示装置に表示する。映像データ２１２と映像データ２１４とを比較すれば、Φ＞θであるから、映像中の優先道路Ｒ１０１の左側部分Ｒ１０１ａより、映像中の優先道路Ｒ１０１の右側部分Ｒ１０１ｂの方が、傾きが大きくなっている。また、図３及び図４のように左右並べて表示することによって、道路の交差状態を含めて交差点の状況を容易に把握できるようになる。これによって安全運転が促進される。なお、図２５のような表示を行っても道路の方向及び道路の位置関係を瞬時に把握することはできず、表示する効果が薄れている。

また、図６の左側に示すような交差点の場合には、並べればより差が出るような映像が表示される。すなわち、車両Ｃ２が走行している非優先道路Ｒ１００は、車両Ｃ４が走行している優先道路Ｒ１０１の右側部分Ｒ１０１ｂと比較的大きな交差角で交差しており、車両Ｃ５が走行している道路Ｒ１０２とは比較的小さな交差角で交差している。但し、両方とも車両Ｃ２の右手側の道路である。従って、カメラ４で撮影され且つ車両Ｃ５及び道路Ｒ１０２が含まれる映像は、比較的小さな交差角に応じた比較的小さな角度、すなわち道路の中心線が垂直から表示角θとなるように剪断変換される。一方、カメラ５で撮影され且つ車両Ｃ４及び道路Ｒ１０１ｂが含まれる映像は、比較的大きな交差角に応じた比較的大きな角度、すなわち道路の中心線が垂直から表示角Φとなるように剪断変換される。Φ＞θであるから、運転者は図６の右側に示すような映像が表示されれば、同じ右側の交差道路であっても、容易に区別して判断することができるようになる。

以下、図７乃至図１８を用いて図１及び図２に示したシステムの処理内容について説明する。まず、速度検出部１３は、自車両の速度計などから所定時間間隔で自車速度を検出し、速度データ格納部１４に格納する（ステップＳ１）。速度データ格納部１４では、自車速度が時系列的に保存されている。また、位置検出部１１は、所定の時間間隔で自車位置を検出し、自車位置のデータを位置データ格納部１２に格納し、進行方向決定部１５は、位置データ格納部１２に格納されている、現時点ｔにおける位置Ｐ_Vtのデータと時刻（ｔ−１）における位置Ｐ_Vt-1のデータとを用いて、進行方向ベクトルを決定し、進行方向データ格納部１６に格納する（ステップＳ３）。位置データ格納部１２及び進行方向データ格納部１６では、自車位置及び進行方向のデータが例えば計測時刻と共に時系列的に保存されている。

例えば、映像データ受信部１７は、速度データ格納部１４に格納されている現時点の自車速度のデータから、自車両が停止又は所定の速度以下で走行している徐行状態であるか判断する（ステップＳ５）。もし、通常走行中であれば、映像を表示装置２４に表示してしまうと運転者に不要な情報を与えることになり、危険なので、ステップＳ１に戻る。

一方、自車両が停止又は徐行していると判断された場合には、映像データ受信部１７は、カメラ４又は５により撮影され且つアンテナ１又は２により送信される道路映像データを受信し、映像データ格納部１８に格納する（ステップＳ７）。また、撮影パラメータを受信し、映像データ格納部１８に格納する（ステップＳ９）。

映像データ格納部１８には例えば図８乃至図１０に示すような道路映像及び撮影パラメータが格納される。映像データ格納部１８では、道路映像（例えば図９又は図１０のような映像データ）及び撮影パラメータは時系列的に格納される。図８の例では、時刻ｔ−１のデータ及び時刻ｔのデータしか示されていないが、これ以外の時刻のデータが保持される場合もある。各時刻のデータは、各カメラのデータを含む。ここでは第１及び第２のカメラのデータが含まれる。各カメラのデータは、映像データと、カメラの設置位置、カメラの撮影方向、画角、撮影時刻、注視点位置等、例えば撮影された道路の中央線上の２点の実座標Ｐ_RnS及びＰ_RnE、及び２点の実座標のそれぞれに対応する映像上の座標Ｉ_RnS及びＩ_RnEを含む撮影パラメータとを含む。なお、撮影パラメータには、撮影している道路が優先道路か否かのフラグを含む場合もある。ここでｎはカメラ番号を表す。

次に、剪断角算出部１９は、受信した映像データに係る撮影パラメータに含まれるカメラの設置位置と進行方向データ格納部１６に格納されている現時点における自車両の進行方向のデータとから、受信した映像データが自車両の進行方向において直近交差点の交差道路の映像であるか判断する（ステップＳ１１）。進行方向データ格納部１６に格納された進行方向の先の所定領域にカメラの設置位置が存在するか否かで判断できる。直近か否かは例えばステップＳ７乃至１１を何回か実行して、最も近いものを特定するようにしても良いし、例えばナビゲーションシステムなどが保持する地図のデータを用いることができれば、カメラの設置位置から直近の交差点に設置されているのか否かを判断する。さらに、撮影パラメータに、撮影している道路が優先道路か否かを表すフラグが存在している場合には当該フラグに基づき、映像データに係る道路が優先道路か否かを判断し、優先道路であれば映像データを使用するように判断するようにしても良い。

もし、自車両の進行方向において直近交差点の交差道路の映像でないと判断された場合には、ステップＳ７に戻る。一方、自車両の進行方向において直近交差点の交差道路の映像であると判断されれば、剪断角算出部１９及び映像変換部２１は、映像変換処理を実施し、処理結果を剪断角データ格納部２０及び変換後映像データ格納部２２に格納する（ステップＳ１３）。映像変換処理については後に詳しく説明する。映像変換処理を実施することによって、図３の映像２０１又は２０２、図４の映像２０３又は２０４が生成される。

そして、剪断角算出部１９は、自車両の進行方向において直近交差点で必要な全ての映像データを受信したか判断する（ステップＳ１５）。基本的には左右の２方向のデータが存在するものと仮定するが、実際には２以上の場合もあれば１の場合もある。従って、例えば同一交差点に設置されたカメラが複数の場合には、映像データの配信タイミングをカメラ毎にずらせば、ステップＳ７乃至１１を複数回実施して、設置位置が同じカメラによって撮影された異なる時刻の映像データなどを受信した場合には、全ての映像データを受信したものと判断できる。

ステップＳ１５で、自車両の進行方向において直近交差点で必要な全ての映像データを受信していないと判断された場合には、ステップＳ７に戻る。一方、自車両の進行方向において直近交差点で必要な全ての映像データを受信したと判断された場合には、映像表示処理部２３は、変換後映像データ格納部２２に格納された変換後の映像データを、走行道路と交差道路との交差関係に応じて配置し（ステップＳ１７）、表示装置２４に表示する（ステップＳ１９）。例えば図３又は図４のような表示データを生成し、表示装置２４に表示する。すなわち、優先道路の左側部分を含む変換後の映像データについては左側に、優先道路の右側部分を含む変換後の映像データについては右側に配置する。

以上の処理を終了が指示されるまで実施する（ステップＳ２１）。なお、ステップＳ７乃至Ｓ１１で、使用すべき映像データを受信する前に車両が走行を開始してしまったり、所定時間待っても使用すべき映像を受信できない場合には、タイムアウトとしてステップＳ１に戻るようにする。

以上のような処理を実施すれば、交差点で直接見ることが難しい交差道路の様子を、その道路の交差状態、位置関係などを容易に把握可能な態様で運転者に提示することができるようになる。

次にステップＳ１３の映像変換処理について図１１乃至図１８を用いて詳しく述べる。剪断角算出部１９は、進行方向データ格納部１６に格納されている、自車両の進行方向Ｖ_Vのデータと、映像データ格納部１８に格納されている、道路上の２点の実座標Ｐ_RnS及びＰ_RnE（ｎは正の整数）とから、走行道路と交差道路との交差角を算出し、例えばメインメモリなどの記憶装置に格納する（ステップＳ３１）。

進行方向ベクトルＶ_Vは、図１２に示すように、進行方向決定部１５により、時刻ｔ−１における車両位置Ｐ_Vt-1から時刻ｔにおける車両位置Ｐ_Vtへのベクトルとなる。また、優先道路Ｒ１０１の右側部分Ｒ１０１ｂを含む映像データに付随する撮影パラメータである２つの実座標Ｐ_R1S及びＰ_R1Eによって、実座標Ｐ_R1Sから実座標Ｐ_R1Eへの第１の道路流出方向ベクトルＶ_R1を特定する。同様に、優先道路Ｒ１０１の左側部分Ｒ１０１ａを含む映像データに付随する撮影パラメータである２つの実座標Ｐ_R2S及びＰ_R2Eから、実座標Ｐ_R2Sから実座標Ｐ_R2Eへの第２の道路流出方向ベクトルＶ_R2を特定する。

そして進行方向ベクトルＶ_VとＶ_R1又はＶ_R2とのベクトル演算により交差角を算出する。具体的には、以下の式に基づきθを算出する。
ｃｏｓθ＝Ｖ_V・Ｖ_Ri／（｜Ｖ_V｜｜Ｖ_Ri｜）

なお、進行方向ベクトルＶ_Vを基準に左回りを正とし、図１３（ａ）に示すように、進行方向ベクトルＶ_Vと第２の道路流出ベクトルＶ_R2との間の交差角θ₂は、０＜θ₂＜１８０であって、優先道路Ｒ１０１の左側部分Ｒ１０１ａは、自車両の左手に存在していることが分かる。また、図１３（ｂ）に示すように、進行方向ベクトルＶ_Vと第１の道路流出ベクトルＶ_R1との間の交差角θ₁は、０＞θ₁＞−１８０であって、優先道路Ｒ１０１の右側部分Ｒ１０１ｂは、自車両の右手に存在していることが分かる。

次に、剪断角算出部１９は、交差角θに基づき表示角βを算出し、例えばメインメモリなどの記憶装置に格納する（ステップＳ３３）。この際、例えば図１４（ａ）に示すような変換直線を用いて交差角θを表示角βに変換する。表示角βは、最終的な映像中の中央線の傾き角である。図１４（ａ）のグラフは、横軸は交差角θ（°）を表し、縦軸は表示角β（°）を表しており、本実施の形態では、表示角βは、交差角θに比例するようになっている。但し、表示角βが大きすぎると映像が歪むので、比例係数を小さめに設定する。なお、上でも述べたが、角度は左回りが正であるから、図１４（ａ）のグラフの横軸の右半分は、交差角としては左手を示している。また、グラフの横軸の左半分は、交差角としては右手を示している。

このような変換直線による変換を行えば、図１４（ｂ）に示されているように、交差角θが正の方向に大きくなれば、映像中の表示角βは左手方向に大きくなる。但し、上でも述べたように表示角βを大きくしすぎると歪みが大きくなるので、表示角βは交差角θに比してそれほど大きくならない。同様に、交差角θが負の方向に大きくなれば、映像中の表示角βは右手方向に大きくなる。

図１１の説明に戻って、剪断角算出部１９は、映像データ格納部１８に格納されている映像中の道路画像座標Ｉ_RiS及びＩ_RiEから、映像内の道路の傾き角αを算出し、例えばメインメモリなどの記憶装置に格納する（ステップＳ３５）。図１５に示すように、中央線上の道路画像座標Ｉ_RiSから道路画像座標Ｉ_RiEへのベクトルＶ_IVを特定し、映像中垂直線３０１とベクトルＶ_IVとの間の傾き角αを算出する。

そして、剪断角算出部１９は、ステップＳ３３で格納された表示角βとステップＳ３５で格納された表示角αとから剪断角γ又はｔａｎγを算出し、剪断角データ格納部２０に格納する（ステップＳ３６）。図１６（ａ）に示すように、撮影された映像では傾き角αだけ道路が傾いている場合、図１６（ｂ）に示すように、道路が表示角βだけ傾くように、剪断角γを決定する。

剪断角γの算出法については、図１７を用いて説明する。図１７において、変換前の映像の外形を表す細実線の長方形の高さをｈとし、細点線４０１により映像中の道路の中央線を表す。中央線は傾き角αだけ傾いている。この細実線の長方形を剪断角γだけ傾けると、太線平行四辺形となる。結果として、映像中の道路の中央線４０１は、太点線４０２に変換される。太点線４０２は、表示角βだけ傾いている。なお、剪断変換であるから、水平方向の長さは変化しないので、変換前のａは、変換後もａとなる。具体的には、高さｈにおける、変換後の平行四辺形の側辺と太点線４０２との間の長さａは、高さｈにおける、変換前の長方形の側辺と細点線４０１との間の長さａとなる。

このような場合、以下の式が成立する。
ａ＝ｈ×ｔａｎα
ｂ＝ｈ×ｔａｎβ
ｔａｎγ＝ｃ／ｈ＝（ｂ−ａ）／ｈ
＝（ｈ×ｔａｎβ−ｈ×ｔａｎα）／ｈ
＝ｔａｎβ−ｔａｎα
γ＝ａｔａｎ（ｔａｎβ−ｔａｎα）

そして、映像変換部２１は、映像データ格納部１８に格納された映像データと剪断角データ格納部２０に格納されている剪断角γ又はｔａｎγとを用いて、映像データに対して剪断変換を実施し、剪断変換後の映像データを変換後映像データ格納部２２に格納する（ステップＳ３７）。以下のような行列変換を実施する。

上記の式において、ｈは映像の高さを表し、横方向をｘ方向、縦方向をｙ方向とする。

そして、映像変換部２１は、変換後映像データ格納部２２に格納された剪断変換後の映像データから、道路部分を最大限含む矩形領域を切り出し、表示領域に併せて拡大する（ステップＳ３９）。なお、切り出しの際には、映像データ格納部１８に格納されているＩ_RnS及びＩ_RnEを含み且つ剪断変換後の映像に内接する最大の矩形領域を特定する。本ステップの処理を模式的に表せば図１８（ａ）乃至（ｃ）のようになる。図１８（ａ）では、剪断変換後の映像の中で、Ｉ_RnS及びＩ_RnEを含む特定の領域６０１を切り出し、図１８（ｂ）に示すような中間映像を生成する。そして、図１８（ｃ）に示すように、予め定められている表示領域のサイズに拡大する。そして元の処理に戻る。

以上のような処理を実施することによって表示すべき変換後の映像データが生成される。図３又は図４に示したような配置を行えば、運転者に安全について重要な情報をわかりやすく提示することができるようになる。

［実施の形態２］
次に、第２の実施の形態について説明する。第２の実施の形態では、右折時における車載端末の処理に関係する。図１９（ａ）及び（ｂ）に示すように、十字路などで自車Ｃ５０２が位置Ｃ５０２ａから位置Ｃ５０２ｂに移動して右折する際に、対向車Ｃ５０１が走行している状況をカメラ５０３により撮影する。カメラ５０３により撮影された映像データは、図示しない映像伝送装置により自車Ｃ５０２に無線で通知される。この際、カメラ５０３により撮影された映像は図１９（ａ）の上段のような映像となるが、これでは映像中自車がどこに位置するのかが運転者には分かりにくいという問題がある。そこで、車載端末が、位置Ｃ５０２ａの場合には、図１９（ａ）中段に示すような映像に変換し、さらに位置Ｃ５０２ｂの場合には、図１９（ａ）下段に示すような映像に変換する。マーク５１１は、自車位置及び進行方向を示すマーカであり、以下で説明する変換後の映像上にオーバーレイ表示される。

このように図１９（ａ）における中段及び下段のような映像を車載端末の表示装置に表示することにより、運転者は映像の中における相対的な位置関係を容易に把握できるようになる。

次に、このような映像を表示させる車載端末５００の機能ブロック図を図２０に示す。車載端末５００は、車両位置を検出するＧＰＳ（Global Positioning System）などの位置検出部５２１と、位置検出部５２１により検出された位置データを格納する位置データ格納部５２２と、当該車載端末５００に搭載されている車両の速度計などから速度データを取得する速度検出部５２５と、速度検出部５２５が取得した速度データを格納する速度データ格納部５３５と、位置データ格納部５２２に格納された位置データに基づき車両の進行方向を決定する進行方向決定部５２３と、進行方向決定部５２３により決定された進行方向のデータを格納する進行方向データ格納部５２４と、方向指示器により右折又は左折が指示されているか否かについてのデータを取得する方向指示器状態取得部５２６と、方向指示器状態取得部５２６により取得された方向指示器状態データを格納する方向指示器状態データ格納部５２７と、カメラ５０３が撮影した映像データなどを受信する映像データ受信部５２８と、映像データ受信部５２８により受信された映像データなどを格納する映像データ格納部５２９と、進行方向データ格納部５２４と映像データ格納部５２９と位置データ格納部５２２に格納されたデータを用いて透視変換を実施し、映像データ格納部５２９に格納されている映像内における自車位置及び進行方向角度を算出する透視変換部５３０と、透視変換部５３０により算出された位置及び角度のデータを格納する位置及び角度データ格納部５３１と、位置及び角度データ格納部５３１と映像データ格納部５２９とに格納されたデータを用いて受信した映像に対してアフィン変換を実施するアフィン変換部５３２と、アフィン変換部５２３によりアフィン変換された映像データを格納するアフィン変換映像データ格納部５３３と、アフィン変換後の映像データに対して自車位置及び角度を表すマーカのオーバーレイ表示を実施するオーバーレイ表示処理部５３４と、オーバーレイ表示処理部５３４の処理結果を表示する表示装置５３６とを有する。

次に、図２１乃至図２４を用いて図２０に示した車載端末５００の処理について説明する。まず、方向指示器状態取得部５２６は、方向指示器などから右折又は左折が指示されているか否かについてのデータを方向指示器状態データとして取得し、方向指示器状態データを方向指示器状態データ格納部５２７に格納する（ステップＳ４１）。方向指示器状態データ格納部５２７には、左折ＯＮ又はＯＦＦ、若しくは右折ＯＮ又はＯＦＦのデータが保持されている。また、速度検出部５２５は、自車両の速度計などから所定時間間隔で自車速度を検出し、速度データ格納部５３５に格納する（ステップＳ４３）。速度データ格納部５３５では、自車速度が時系列的に例えば計測時刻と共に保存されている。また、位置検出部５２１は、所定の時間間隔で自車位置を検出し、自車位置のデータを位置データ格納部５２２に格納し、進行方向決定部５２３は、位置データ格納部５２２に格納されている、現時点ｔにおける位置Ｐ_Vtのデータと時刻（ｔ−１）における位置Ｐ_Vt-1のデータとを用いて、進行方向ベクトルを決定し、進行方向データ格納部５２４に格納する（ステップＳ４５）。位置データ格納部５２２及び進行方向データ格納部５２４では、自車位置及び進行方向のデータが時系列的に例えば計測時刻と共に保存されている。

そして、例えば、映像データ受信部５２８は、方向指示器状態データ格納部５２７に格納されている方向指示器状態データが右折指示ＯＮを示しているか判断する（ステップＳ４７）。右折指示ＯＮという状態ではない場合には、ステップＳ４１に戻る。一方、右折指示ＯＮという状態であれば、速度データ格納部５３５に格納されている現時点の自車速度のデータから、自車両が停止又は所定の速度以下で走行している徐行状態であるか判断する（ステップＳ４９）。もし、通常走行中であれば、映像を表示装置５３６に表示してしまうと運転者に不要な情報を与えることになり、危険なので、ステップＳ４１に戻る。

一方、自車両が停止又は徐行していると判断された場合には、映像データ受信部５２８は、カメラ５０３により撮影された道路映像データを受信し、映像データ格納部５２９に格納する（ステップＳ５１）。また、撮影パラメータを受信し、映像データ格納部５２９に格納する（ステップＳ５３）。映像データ格納部５２９に格納されるデータについては、図８に示したものと同様である。

そして、例えば透視変換部５３０は、位置データ格納部５２２に格納されている自車の現在位置と進行方向データ格納部５２４に格納されている進行方向と映像データ格納部５２９に格納されているカメラの設置位置及び道路実座標Ｐ_RnS及びＰ_RnEとから、ステップＳ５１で受信した道路映像データが進行方向直近の対向車線の映像か否かを判断する（ステップＳ５５）。自車の現在自動車位置とカメラの設置位置とから所定の閾値以下の距離であることが分かる。なお、複数のカメラについての設置映像データを受信した場合には、最も近いカメラについて上記の判断を行う。さらに、道路実座標Ｐ_RnS及びＰ_RnEと自車の現在位置と自車の進行方向とから、道路実座標Ｐ_RnS及びＰ_RnEで特定される道路ベクトルと自車の進行方向のベクトルとが平行又はほぼ平行であり、且つ道路実座標Ｐ_RnS及びＰ_RnEが自車の現在位置より進行方向の先の領域に位置するか確認する。上で述べたような条件を満たすような映像データを受信していなければステップＳ４１に戻る。

上で述べたような条件を満たしていると判断された場合には、透視変換部５３０は、映像データ格納部５２９に格納されているカメラ位置、撮影方向、画角及び注視点位置に基づき、位置データ格納部５２２に格納された自車位置Ｐ_Vtに対する座標変換（周知の透視変換）を行い、映像データにおける座標系における座標値Ｉ_Vtを取得する。さらに、時刻ｔ−１の時点での自車位置Ｐ_Vt-1についても同様に座標変換を実施し、映像データにおける座標系における座標値Ｉ_Vt-1を取得して、Ｉ_Vt-1からＩ_Vtへのベクトルが映像データ内における水平方向となす角δを算出する（ステップＳ５７）。座標位置Ｉ_Vt及び角度δのデータは、位置及び角度データ格納部５３１に格納する。

このステップの処理については図２２を用いて説明する。実座標系ＸＹでは、自車Ｃ５０２は、位置Ｐ_Vtに存在する。対向車Ｃ５０１とカメラ５０３との位置関係は図１９（ｂ）と同じである。この状態において、上で述べたようなデータに基づき位置Ｐ_Vtに対して周知の透視変換を実施すれば、映像データの座標系ｘｙにおける自車の座標値Ｉ_Vtを取得できる。さらに、位置Ｐ_Vt-1にも周知の透視変換を実施すれば、映像データの座標系ｘｙにおける自車の座標値Ｉ_Vt-1を取得できる。そして、図２２（ｂ）に示すように、この座標値Ｉ_Vt-1からＩ_Vtへのベクトルと画像データにおける水平線とが成す角δを特定できる。

次に、アフィン変換部５３２は、映像データ格納部５２９に格納された映像データに対して自車位置Ｉ_Vtを基準にアフィン変換を実施し、変換後の映像データをアフィン変換映像データ格納部５３３に格納する（ステップＳ５９）。具体的には、図２３（ａ）に示すように、映像データ６０１と自車位置Ｉ_Vtとをそのままの縮尺で表示させようとしても、表示画面７０１のサイズを超えてしまう。そこで、映像データ６０１と自車位置Ｉ_Vtとの位置関係を維持しつつ自車位置Ｉ_Vtが表示画面７０１の下部にくるように映像データ６０１を平行移動させる。その後、図２３（ｂ）に示すように、表示画面７０１に入るように映像データ６０１を縮小し、当該縮小に合わせて自車位置Ｉ_Vtに対応する、表示画面７０１上の位置Ｉ_Vt'を算出する。変換後の映像データ６０１'及び位置Ｉ_Vt'のデータをアフィン変換映像データ格納部５３３に格納する。

その後、オーバーレイ表示処理部５３４は、アフィン変換映像データ格納部５３３に格納されたアフィン変換後の映像データに対して、位置及び角度データ格納部５３１に格納された角度δだけ傾けた自車マークを位置Ｉ_Vt'にオーバーレイさせて、表示装置５３６に表示する（ステップＳ６１）。これによって、図２４に示すように、カメラ５０３から受信された映像データ内の空間における位置関係を表すための自車マーク６１１を角度δだけ傾けた形で表示している。その後、処理終了までステップＳ４１に戻り処理を行う（ステップＳ６３）。

以上のような処理により図２４のような表示を行うと、運転者は自車位置と対向車の位置関係をより正確に且つ容易に表示内容だけで把握することができるようになる。マークを付さなければ、運転者は自車位置把握まで時間がかかるかもしれないが、本実施の形態によれば瞬時に把握可能である。また、自車の向いている方向も示されているので、進行方向をも道路の状態及び対向車との関係で把握しやすくなっている。但し、マークの角度を変更しなくとも良い。

［実施の形態３］
第２の実施の形態では、自車マーク６１１をオーバーレイ表示する例を示したが、運転者が、その交差点付近の地理に不案内である場合には、自車マーク６１１だけでは、表示内容と実際の地理との対応関係を把握しづらい場合もある。このような場合に対処するため、右折先の道路への矢印や、ランドマーク等を適切にオーバーレイ表示することにより、表示内容から実際の道路状況やランドマーク等の位置関係を把握しやすくするものである。さらに、行き先などを把握できるようにすれば、慣れない土地でも右折時に戸惑わずに済むようにする。

本実施の形態における主要な処理内容は、第２の実施の形態に類似している。但し、図２１のステップＳ５３でカメラ５０３から受信するデータは、図８に示されたデータではなく、図２５に示したようなデータとなる。図２５においてデータ１００１は、本実施の形態において追加配信される第１カメラからのデータであって、第１カメラ右折ポイント画像座標Ｉ_pin1と、第１カメラマーク画像１と、第１カメラマーク画像１画像座標Ｉ_m1と、第１カメラマーク画像２と、第１カメラマーク画像２画像座標Ｉ_m2とを含む。第１カメラ右折ポイント画像座標Ｉ_pin1は、映像における、右折先の道路の特定の点（例えば中心）の座標である。第１カメラマーク画像１及び２は、それぞれのランドマークや行き先及び道路名などを表す画像データである。第１カメラマーク画像１画像座標Ｉ_m1は、第１カメラマーク画像１を配置すべき、映像上の座標である。同様に、第１カメラマーク画像２画像座標Ｉ_m2は、第１カメラマーク画像２を配置すべき、映像上の座標である。データ１００２については、第２カメラについての同様のデータであり、データ１００３についてはデータ１００１と同じであり、データ１００４についてはデータ１００２と同じである。マーク画像についてのデータは２セットに限定されず、より多い場合もあれば少ない場合もある。

また、図２１のステップＳ５７乃至Ｓ６１については、図２６に示すような処理フローに置換される。ステップＳ５７及びＳ６１については、図２１と同じである。ステップＳ５７の後に、アフィン変換部５３２は、映像データ格納部５２９に格納された映像データ等に対して自車位置Ｉ_Vtを基準にアフィン変換を実施し、変換後の映像データをアフィン変換映像データ格納部５３３に格納すると共に、アフィン変換後の自車位置Ｉ_Vt'、アフィン変換後の右折ポイント位置Ｉ_pin'及びアフィン変換後のマーク位置Ｉ_m1'等を特定し、アフィン変換映像データ格納部５３３に格納する（ステップＳ７１）。

例えば図２７（ａ）に示すように、映像データ６０１、自車位置Ｉ_Vt、右折ポイント画像座標Ｉ_pin、マーク画像１画像座標Ｉ_m1及びマーク画像２画像座標Ｉ_m2が配置されているとすると、映像データ６０１及び自車位置Ｉ_Vtなどの位置関係を維持しつつ、表示画面７０１に入るように映像データ６０１を縮小し、当該縮小に合わせて各座標を算出する。すなわち、自車位置Ｉ_Vtに対応する、表示画面７０１上の位置Ｉ_Vt'、右折ポイント画像座標Ｉ_pinに対応する、表示画面７０１上の位置Ｉ_pin'、マーク画像１画像座標Ｉ_m1に対応する、表示画面７０１上の位置Ｉ_m1'、及びマーク画像２画像座標Ｉ_m2に対応する、表示画面７０１上の位置Ｉ_m2'を得る。結果的に、図２７（ｂ）のような位置関係が得られるようになる。なお、マーク画像１画像座標Ｉ_m1及びマーク画像２画像座標Ｉ_m2については、存在しない場合もあるので、その場合には変換は行われない。

次に、オーバーレイ表示処理部５３４は、アフィン変換後の自車位置Ｉ_Vt'からアフィン変換後の右折ポイントＩ_pin'へのカーブを例えばベジエ曲線やスプライン曲線で生成し、さらに当該カーブに基づく矢印を生成してアフィン変換後の映像にオーバーレイさせて、表示装置５３６に表示させる（ステップＳ７３）。具体的には、図２８に示すようにカーブを生成して、当該カーブに沿った矢印６２１を生成し、図２９に示すようにアフィン変換後の映像にオーバーレイ表示させる。

さらに、オーバーレイ表示処理部５３４は、アフィン変換後の映像に、アフィン変換後のマーク位置Ｉ_m1'及びＩ_m2'に対応するマーク画像をオーバーレイさせて、表示装置５３６に表示させる（ステップＳ７５）。すなわち、図３０に示すように、アフィン変換後のマーク位置Ｉ_m1'には、マーク６２３をオーバーレイさせ、アフィン変換後のマーク位置Ｉ_m2'には、マーク６２４をオーバーレイさせる。

最後に、オーバーレイ表示処理部５３４は、第２の実施の形態と同様に、ステップＳ６１を実施する。そうすれば、図３０に示すような画像が生成され、表示装置５３６に表示される。なお、オーバーレイは上で述べたような順番で行うと、表示が正しく行われる。

図３０のような表示を行うことによって、自らの位置を自車マーク６１１で把握できる上に、右折方向を矢印６２１で、ランドマークをマーク６２４で、右折方向の行き先や道路名をマーク６２３で把握できるため、初めての道であっても右折時とまどうことなく、運転することができるようになる。但し、ランドマークや行き先及び道路名などについては、存在しない場合もある。

以上本発明の実施の形態を説明したが、本発明はこれに限定されるものではない。例えば、機能ブロック図については一例であって、必ずしもプログラム・モジュールと機能ブロックとは対応しない。

また、処理フローについても処理結果が変わらない限りにおいて変更可能である。例えば、図７及び図２１において道路映像データ及び撮影パラメータの受信を条件が成立した場合に行うようにしていたが、常に受信するようにしても良い。

（付記１）
自車両の走行道路と交差する交差道路の映像データを受信する受信ステップと、
受信した前記映像データに係る交差道路と前記走行道路との交差角に基づき決定される剪断角で前記映像データに対して剪断変換を実施し、記憶装置に格納する変換ステップと、
前記記憶装置に格納された前記剪断変換後の前記映像データから表示映像データを生成し、表示装置に表示する表示ステップと、
を含む映像処理方法。

（付記２）
前記変換ステップが、
受信した前記映像データに係る交差道路と前記走行道路との交差角を算出する交差角算出ステップと、
受信した前記映像データにおいて当該映像データに係る交差道路の傾き角を算出する傾き角算出ステップと、
前記交差角と前記傾き角とに基づき剪断角に関するデータを算出する剪断角算出ステップと、
算出された前記剪断角に関するデータを用いて前記映像データに対して剪断変換を実施し、記憶装置に格納するステップと、
を含む付記１記載の映像処理方法。

（付記３）
前記剪断角算出ステップが、
前記交差角に応じた表示角を算出する表示角算出ステップと、
前記表示角と前記傾き角とから剪断角に関するデータを算出するステップと、
を含む付記２記載の映像処理方法。

（付記４）
前記受信ステップにおいて前記映像データと共に当該映像データに係る交差道路の流出方向を表すデータをさらに受信し、
前記交差角算出ステップが、
前記自車両の走行方向を特定するステップと、
前記走行方向と前記交差道路の流出方向とから交差角を算出するステップと、
を含む付記２記載の映像処理方法。

（付記５）
前記受信ステップにおいて前記映像データと共に当該映像データに係る交差道路の、当該映像における方向を表すデータをさらに受信し、
前記傾き角算出ステップにおいて、前記映像における方向を表すデータから前記傾き角を算出する
付記２記載の映像処理方法。

（付記６）
前記表示角算出ステップにおいて、所定の関数に従って前記交差角を表示角に変換することを特徴とする付記３記載の映像処理方法。

（付記７）
前記表示ステップが、
前記走行道路の両側に前記交差道路が存在する場合には、左側の前記交差道路に係る前記表示映像データを左側に配置し、右側の前記交差道路に係る前記表示映像データを右側に配置するステップ
を含む付記１記載の映像処理方法。

（付記８）
前記表示ステップが、
前記剪断変換後の前記映像データを長方形又は正方形に切り出し、拡大又は縮小処理を実施するステップ
を含む付記１記載の映像処理方法。

（付記９）
前記受信ステップ又は前記変換ステップ以降の処理を自車両速度が閾値以下である場合に実行する付記１記載の映像処理方法。

（付記１０）
前記走行道路が非優先道路である場合に前記受信ステップ又は前記変換ステップ以降の処理を実行する付記１記載の映像処理方法。

（付記１１）
自車両の走行道路と交差する交差道路の映像データを受信する受信手段と、
受信した前記映像データに係る交差道路と前記走行道路との交差角に基づき決定される剪断角で前記映像データに対して剪断変換を実施し、記憶装置に格納する変換手段と、
前記記憶装置に格納された前記剪断変換後の前記映像データから表示映像データを生成し、表示装置に表示する表示手段と、
を有する映像処理装置。

（付記１２）
自車両の走行道路の対向車線を含む、前記自車両の走行方向の映像データを受信するステップと、
受信した前記映像データの座標系における自車両位置を特定するステップと、
前記映像データと前記自車両を表すためのマークとを前記座標系における位置関係を保持しつつ配置することによって表示画像データを生成し、表示装置に表示する表示ステップと、
を含む映像処理方法。

（付記１３）
受信した前記映像データの座標系における自車両の走行方向を特定するステップ
をさらに含み、
前記表示ステップが、
前記走行方向に向いているマークを生成するステップ
を含む付記１２記載の映像処理方法。

（付記１４）
前記表示ステップが、
前記表示画像データにおける前記自車両位置から、前記自車両の走行道路と交わる当該自車両の右側の道路の所定位置への右折矢印を生成し、前記表示画像データ上に配置するステップ
を含む付記１２記載の映像処理方法。

（付記１５）
前記表示ステップが、
前記映像データと前記自車両位置と前記自車両の走行道路と交わる当該自車両の右側の道路の所定位置とに関する、前記座標系における位置関係を保持するように、前記映像データと前記自車両位置と前記所定位置とに対してアフィン変換を実施するステップと、
前記アフィン変換後の前記自車両位置と前記アフィン変換後の前記所定位置との間を結ぶ曲線から右折矢印を生成し、当該右折矢印を前記表示画像データ上で前記曲線の位置に配置するステップと、
を含む付記１２記載の映像処理方法。

（付記１６）
自車両の走行道路の対向車線を含む、前記自車両の走行方向の映像データを受信する手段と、
受信した前記映像データの座標系における自車両位置を特定する手段と、
前記映像データと前記自車両を表すためのマークとを前記座標系における位置関係を保持しつつ配置することによって表示画像データを生成し、表示装置に表示する表示手段と、
を有する映像処理装置。

本発明の第１の実施の形態における道路及びシステム概要を表す図である。 本発明の第１の実施の形態における車載端末の機能ブロック図である。 本発明の第１の実施の形態における第１の表示画面例を示す図である。 本発明の第１の実施の形態における第２の表示画面例を示す図である。 本発明の第１の実施の形態における、道路の交差態様の一例と対応する映像変換について説明した模式図である。 本発明の第１の実施の形態における、道路の交差態様の他の例と対応する映像変換について説明した模式図である。 本発明の第１の実施の形態におけるメイン処理の処理フローを示す図である。 映像データ格納部に格納されたデータの一例を示す図である。 道路設置のカメラによって撮影された映像の一例を示す図である。 道路設置のカメラによって撮影された映像の他の例を示す図である。 本発明の第１の実施の形態における映像変換処理の処理フローを示す図である。 道路流出ベクトルなどを説明するための図である。 （ａ）及び（ｂ）は、進行方向ベクトルと道路流出ベクトルとの交差角を説明するための図である。 （ａ）は、交差角から表示角βを算出する際の変換関数を表す図であり、（ｂ）は交差角と表示角の関係を模式的に示す図である。 傾き角αについて説明するための図である。 （ａ）は傾き角αを表す図であり、（ｂ）は表示角βと剪断角γとの関係を表す図である。 剪断角γの算出を説明するための図である。 （ａ）乃至（ｃ）は、映像の切り出し及び拡大の処理を説明するための図である。 （ａ）及び（ｂ）は、本発明の第２の実施の形態を説明するための図である。 本発明の第２の実施の形態における車載端末の機能ブロック図である。 本発明の第２の実施の形態における処理フローを示す図である。 （ａ）及び（ｂ）は、本発明の第２の実施の形態における座標変換を説明するための図である。 （ａ）及び（ｂ）は、本発明の第２の実施の形態におけるアフィン変換を説明するための図である。 本発明の第２の実施の形態における画面例を示す図である。 本発明の第３の実施の形態における受信データの一例を示す図である。 本発明の第３の実施の形態における処理フローを示す図である。 （ａ）及び（ｂ）は、本発明の第３の実施の形態における処理を説明するための図である。 本発明の第３の実施の形態における処理を説明するための図である。 本発明の第３の実施の形態における処理を説明するための図である。 本発明の第３の実施の形態における画面例を示す図である。 従来技術を説明するための図である。

符号の説明

Ｃ１，Ｃ２，Ｃ３，Ｃ４，Ｃ５ 車両 １，２ アンテナ
３ 映像伝送装置 ４，５ カメラ
１１，５２１ 位置検出部 １２，５２２ 位置データ格納部
１３，５２５ 速度検出部 １４，５３５ 速度データ格納部
１５．５２３ 進行方向決定部 １６，５２４ 進行方向データ格納部
１７，５２８ 映像データ受信部 １８，５２９ 映像データ格納部
１９ 剪断角算出部 ２０ 剪断角データ格納部
２１ 映像変換部 ２２ 変換後映像データ格納部
２３ 映像表示処理部 ２４ 表示装置
５２６ 方向指示器状態取得部 ５２７ 方向指示器状態データ格納部
５３０ 透視変換部 ５３１ 位置及び角度データ格納部
５３２ アフィン変換部 ５３３ アフィン変換映像データ格納部
５３４ オーバーレイ表示処理部 ５３６ 表示装置

Claims (8)

1. 自車両の走行道路と交差する交差道路の映像データを受信する受信ステップと、
   受信した前記映像データに係る交差道路と前記走行道路との交差角に基づき決定される剪断角で前記映像データに対して剪断変換を実施し、記憶装置に格納する変換ステップと、
   前記記憶装置に格納された前記剪断変換後の前記映像データから表示映像データを生成し、表示装置に表示する表示ステップと、
   を含む映像処理方法。
2. 前記変換ステップが、
   受信した前記映像データに係る交差道路と前記走行道路との交差角を算出する交差角算出ステップと、
   受信した前記映像データにおいて当該映像データに係る交差道路の傾き角を算出する傾き角算出ステップと、
   前記交差角と前記傾き角とに基づき剪断角に関するデータを算出する剪断角算出ステップと、
   算出された前記剪断角に関するデータを用いて前記映像データに対して剪断変換を実施し、記憶装置に格納するステップと、
   を含む請求項１記載の映像処理方法。
3. 前記表示ステップが、
   前記走行道路の両側に前記交差道路が存在する場合には、左側の前記交差道路に係る前記表示映像データを左側に配置し、右側の前記交差道路に係る前記表示映像データを右側に配置するステップ
   を含む請求項１記載の映像処理方法。
4. 自車両の走行道路と交差する交差道路の映像データを受信する受信手段と、
   受信した前記映像データに係る交差道路と前記走行道路との交差角に基づき決定される剪断角で前記映像データに対して剪断変換を実施し、記憶装置に格納する変換手段と、
   前記記憶装置に格納された前記剪断変換後の前記映像データから表示映像データを生成し、表示装置に表示する表示手段と、
   を有する映像処理装置。
5. 自車両の走行道路の対向車線を含む、前記自車両の走行方向の映像データを受信するステップと、
   受信した前記映像データの座標系における自車両位置を特定するステップと、
   前記映像データと前記自車両を表すためのマークとを前記座標系における位置関係を保持しつつ配置することによって表示画像データを生成し、表示装置に表示する表示ステップと、
   を含む映像処理方法。
6. 受信した前記映像データの座標系における自車両の走行方向を特定するステップ
   をさらに含み、
   前記表示ステップが、
   前記走行方向に向いているマークを生成するステップ
   を含む請求項５記載の映像処理方法。
7. 前記表示ステップが、
   前記表示画像データにおける前記自車両位置から、前記自車両の走行道路と交わる当該自車両の右側の道路の所定位置への右折矢印を生成し、前記表示画像データ上に配置するステップ
   を含む請求項５記載の映像処理方法。
8. 自車両の走行道路の対向車線を含む、前記自車両の走行方向の映像データを受信する手段と、
   受信した前記映像データの座標系における自車両位置を特定する手段と、
   前記映像データと前記自車両を表すためのマークとを前記座標系における位置関係を保持しつつ配置することによって表示画像データを生成し、表示装置に表示する表示手段と、
   を有する映像処理装置。

Images