JP5405809B2 - 車両周辺監視装置およびカメラ位置・姿勢判定方法 - Google Patents

Description

本発明は、車両周辺監視装置およびカメラ位置・姿勢判定方法に係り、特に、カメラの取付け位置および取付け姿勢の適否を判定するのに好適な車両周辺監視装置およびカメラ位置・姿勢判定方法に関する。

従来から、駐車場等における自車両の安全かつ円滑な運転操作を支援するシステムとして、自車両に取付けられた複数個の車載カメラによって自車両の周辺の路面等の撮影領域を撮影し、撮影映像に基づいて、図５に示すように、自車両の周辺を自車両の上方の仮想視点Ｐ（図６参照）から俯瞰したような画像である車両周辺俯瞰画像１を生成して車内のディスプレイに表示することにより、自車両の周辺の状況を監視可能とされた車両周辺監視装置が採用されていた。

ここで、図５に示すように、車両周辺俯瞰画像１は、その中央部に、自車両を仮想視点Ｐから俯瞰したような自車両を模したイラスト画像２を有している。

また、図５に示すように、車両周辺俯瞰画像１は、自車両の前方の撮影領域を撮影した撮影映像における所定の使用範囲（画素範囲）内の映像を、仮想視点Ｐから俯瞰するように視点変換した画像である前方側視点変換画像３を有している。この前方側視点変換画像３は、その後端部（図５における下端部）がイラスト画像２の前端部（図５における上端部）に連接されているとともに、前方に向かうにしたがって画像１上における車幅方向（図５における横方向）の寸法が大きくなるような等脚台形状に形成されている。このような前方側視点変換画像３は、自車両の前部（例えば、エンブレム部）に、自車両の前方を向く（捕捉する）ような姿勢で取り付けられた車載カメラとしてのフロントカメラの撮影映像に基づいて生成されるようになっている。

さらに、図５に示すように、車両周辺俯瞰画像１は、自車両の左側方の撮影領域を撮影した撮影映像における所定の使用範囲内の映像を、仮想視点Ｐから俯瞰するように視点変換した画像である左側方側視点変換画像４を有している。この左側方側視点変換画像４は、その右端部がイラスト画像２の左端部に連接されているとともに、左方に向かうにしたがって画像１上における車両全長方向（図５における縦方向）の寸法が大きくなるような等脚台形状に形成されている。また、この左側方側視点変換画像４と前述した前方側視点変換画像３とは、図５に示すように、左側方側視点変換画像４における前端部と前方側視点変換画像３における左端部とを区画する境界線５を挟んで互いに隣接している。このような左側方側視点変換画像４は、自車両の左側部（例えば、左ドアミラー部）に、自車両の左側方を斜め上方から見下ろすような姿勢で取り付けられた車載カメラとしての左サイドカメラの撮影映像に基づいて生成されるようになっている。

さらにまた、図５に示すように、車両周辺俯瞰画像１は、自車両の右側方の撮影領域を撮影した撮影映像における所定の使用範囲内の映像を、仮想視点Ｐから俯瞰するように視点変換した画像である右側方側視点変換画像６を有している。この右側方側視点変換画像６は、その左端部がイラスト画像２の右端部に連接されているとともに、右方に向かうにしたがって画像上における車両全長方向の寸法が大きくなるような等脚台形状に形成されている。また、この右側方側視点変換画像６と前述した前方側視点変換画像３とは、図５に示すように、右側方側視点変換画像６における前端部と前方側視点変換画像３における右端部とを区画する境界線７を挟んで互いに隣接している。このような右側方側視点変換画像６は、自車両の右側部（例えば、右ドアミラー部）に、自車両の右側方を斜め上方から見下ろすような姿勢で取り付けられた車載カメラとしての右サイドカメラの撮影映像に基づいて生成されるようになっている。

また、図５に示すように、車両周辺俯瞰画像１は、自車両の後方の撮影領域を撮影した撮影映像における所定の使用範囲内の映像を、仮想視点Ｐから俯瞰するように視点変換した画像である後方側視点変換画像８を有している。この後方側視点変換画像８は、その前端部がイラスト画像２の後端部に連接されているとともに、後方に向かうにしたがって画像上における車幅方向の寸法が大きくなるような等脚台形状に形成されている。また、この後方側視点変換画像８と前述した左側方側視点変換画像４とは、図５に示すように、後方側視点変換画像８における左端部と左側方側視点変換画像４における後端部とを区画する境界線１０を挟んで互いに隣接している。さらに、この後方側視点変換画像８と前述した右側方側視点変換画像６とは、図５に示すように、後方側視点変換画像８における右端部と右側方側視点変換画像６における後端部とを区画する境界線１１を挟んで互いに隣接している。このような後方側視点変換画像８は、自車両の後部（例えば、リアライセンスガーニッシュ部）に、自車両の後方を斜め上方から見下ろすような姿勢で取り付けられた車載カメラとしてのバックカメラの撮影映像に基づいて生成されるようになっている。

なお、各視点変換画像３，４，６，８に対応する各車載カメラとしては、自車両の周囲３６０°の方向を監視可能とする観点から、魚眼レンズ等の超広角レンズを備えたカメラを用いることが多かった。

このような車両周辺監視装置においては、例えば、図７に示すように、車載カメラの撮像面（例えば、ＣＣＤやＣＭＯＳ等の撮像素子のセンサ面）１２に結像された車載カメラの撮影映像１４における所定の使用範囲（画素領域）１５内の映像を、この映像と車両周辺俯瞰画像１との座標の対応関係が記述された所謂マッピングテーブルを用いて座標変換（すなわち視点変換）することによって車両周辺俯瞰画像１を生成するのが一般的であった。

ここで、マッピングテーブルは、車載カメラの外部パラメータを用いて作成されるようになっており、この外部パラメータとしては、三次元ワールド座標系における車載カメラの方向（光軸の方向）を規定する回転行列および三次元ワールド座標系における車載カメラの位置を規定する平行移動ベクトルが知られている。

なお、マッピングテーブルによる視点変換が歪み補正をともなわないものであれば、視点変換によって得られた視点変換画像に対してさらに歪み補正を行った上で、歪み補正後の各視点変換画像を繋ぎ合わせて車両周辺俯瞰画像１を生成するようになっていた。

このようなマッピングテーブルは、自車両における車載カメラの取付け位置および取付け姿勢（換言すれば、車載カメラの光軸の方向）が設計通りに適切であれば正しく機能し、各車載カメラの撮影映像１４に基づいて、各視点変換画像３，４，６，８同士が境界線５，７，１０，１１において適切に繋ぎ合わされた良好な車両周辺俯瞰画像１を生成することが可能とされていた。

しかしながら、必ずしも、車載カメラを設計通りに高精度に自車両に取り付けることができない場合があり、そのような場合には、境界線５，７，１０，１１の位置において各視点変換画像３，４，６，８同士のずれが確認されるような粗悪な車両周辺俯瞰画像１が生成される虞があった。

そこで、従来から、車両周辺監視装置に対しては、その製造時やカメラの交換時等において、例えば、キャリブレーション用のターゲットボードに描かれた複数の円形パターンを撮影した撮影映像を用いることによって、車載カメラの取付け位置および取付け姿勢を車載カメラの外部パラメータとして算出することが行われていた。そして、算出された外部パラメータが設計値からずれている場合には、ずれが解消されるように外部パラメータの補正およびこれにともなうマッピングテーブルの補正を行うようになっていた。

さらに、従来は、このようなマッピングテーブルの補正を行った後に、車載カメラの取付け位置および取付け姿勢の適否を実使用の前に最終的に判定するために、補正後のマッピングテーブルを用いて判定用の車両周辺俯瞰画像１を表示するようになっていた。

この判定用の車両周辺俯瞰画像１としては、例えば、図８に示すように、画像１上における車幅方向に長尺な第１のパターン（例えば、白線）の画像１７が境界線５を跨ぐようにして互いに隣接する２つの視点変換画像３，４中に表示されるような画像１と、図９に示すように、画像１上における車両全長方向に長尺な第２のパターン（例えば、白線）の画像１８が境界線５を跨ぐようにして２つの視点変換画像３，４中に表示されるような画像１とがある。

なお、図８における第１のパターンの画像１７と図９における第２のパターンの画像１８とを同時に表示することもある。

また、第１のパターンの画像１７は、自車両の載置面（例えば、路面等）上に実際に配置された自車両の車幅方向に平行な第１のパターンを撮影し、この撮影された映像をマッピングテーブルを用いて視点変換することによって得られたものである。

同様に、第２のパターンの画像１８は、自車両の載置面上に実際に配置された自車両の車両全長方向に平行な第２のパターンを撮影し、この撮影された映像をマッピングテーブルを用いて視点変換することによって得られたものである。

そして、従来は、このような判定用の車両周辺俯瞰画像１を目視確認することにより、各車載カメラの取付け位置および取付け姿勢の適否を、各パターンの画像１７，１８の車両周辺俯瞰画像１上における車幅方向および車両全長方向への直進性（平行な度合い）と、境界線５の位置における各パターンの画像１７，１８のずれの有無とを確認することによって判定するようになっていた。

ここで、各パターンの画像１７，１８の直進性についての説明は割愛して各パターン１７，１８のずれの有無についてさらに説明すると、図８の判定用の車両周辺俯瞰画像１においては、境界線５の位置における２つの視点変換画像３，４中の第１のパターンの画像１７同士の車両全長方向のずれの有無を確認するようになっていた。

また、図９の判定用の車両周辺俯瞰画像１においては、境界線５の位置における２つの視点変換画像３，４中のパターンの画像１８同士の車幅方向のずれの有無を確認するようになっていた。

そして、境界線５の位置における２つの視点変換画像３，４中の第１のパターンの画像１７同士の車両全長方向のずれおよび境界線５の位置における２つの視点変換画像３，４中の第２のパターンの画像１８同士の車幅方向のずれがいずれも生じていない場合には、第１のパターンの画像１７が車幅方向に平行かつ第２のパターン１８の画像１８が車両全長方向に平行である（すなわち直進性がある）ことを前提に、車載カメラの取付け位置および取付け姿勢が適切であると判定していた。

逆に、境界線５の位置における２つの視点変換画像３，４中の第１のパターンの画像１７同士の車両全長方向のずれ、または、境界線５の位置における２つの視点変換画像３，４中の第２のパターンの画像１８同士の車幅方向のずれが生じている場合には、車載カメラの取付け位置および取付け姿勢が不適切であると判定するようになっていた。

そして、このような判定の結果、車載カメラの取付け位置および取付け姿勢が不適切である場合には、境界線５の位置における２つの視点変換画像３，４中の第１のパターンの画像１７同士の車両全長方向のずれおよび境界線５の位置における２つの視点変換画像３，４中の第２のパターンの画像１８同士の車幅方向のずれがいずれも生じなくなるように、さらにマッピングテーブルを再補正するようになっていた。

特許第３３００３３４号

しかしながら、従来は、図８および図９に示したように、車両周辺俯瞰画像１上における車両全長方向および車幅方向に対して傾きを有するような境界線５の位置において、車幅方向または車両全長方向に長尺なパターンの画像１７，１８のずれを目視確認していたため、傾きを有する境界線５を間に挟むことによる人間の目の錯覚によって、実際にはずれが生じていない場合においてもずれが生じていると誤認されてしまう場合があった。

この結果、従来は、車載カメラの取付け位置および取付け姿勢の適否を正確に判定することが困難であるといった問題が生じていた。

そこで、本発明は、このような問題点に鑑みなされたものであり、カメラの取付け位置および取付け姿勢の適否を容易かつ正確に判定することができる車両周辺監視装置およびカメラ位置・姿勢判定方法を提供することを目的とするものである。

前述した目的を達成するため、本発明に係る車両周辺監視装置は、車両における互いに異なる取付け位置に、当該取付け位置に対応する所定の撮影方向を向くような取付け姿勢で取り付けられ、前記車両の周辺における前記撮影方向に対応する撮影領域をそれぞれ撮影可能とされた複数個のカメラと、これら複数個のカメラの撮影画像における各カメラにそれぞれ対応する使用範囲内の映像を、当該使用範囲内の映像が前記車両の上方の仮想視点から俯瞰されるように視点変換された画像である視点変換画像へとそれぞれ変換して境界線を挟んで互いに隣接するように繋ぎ合わせた前記車両の周辺を前記仮想視点から俯瞰したような画像である車両周辺俯瞰画像を生成し、前記車両周辺俯瞰画像を任意のカメラに対応する視点変換画像が、車両周辺俯瞰画像上における車両全長方向に平行な第１の境界線と車両周辺俯瞰画像上における車幅方向に平行な第２の境界線とを挟んで他のカメラに対応する視点変換画像に隣接するような当該車両周辺俯瞰画像とするとともに、前記車両周辺俯瞰画像を表示部に表示する画像表示処理手段とを備えた車両周辺監視装置であって、前記画像表示処理手段は、実使用時の表示モードと、前記カメラの取付け位置および取付け姿勢の適否を車両周辺俯瞰画像を目視確認することによって判断するための判定時の表示モードとが選択的に設定可能とされており、前記判定時の表示モードの設定状態においては、前記任意のカメラに対応する視点変換画像が、前記第１の境界線および前記第２の境界線を挟んで前記他のカメラに対応する視点変換画像に隣接するような車両周辺俯瞰画像を表示し、前記実使用時の表示モードの設定状態においては、前記任意のカメラに対応する視点変換画像が、前記車両全長方向および前記車幅方向に対して傾斜された第３の境界線のみを挟んで前記他のカメラに対応する視点変換画像に隣接するような車両周辺俯瞰画像を表示することを特徴とする。

そして、このような構成によれば、画像表示処理手段により、任意のカメラに対応する視点変換画像が、車両周辺俯瞰画像上における車両全長方向に平行な第１の境界線と車両周辺俯瞰画像上における車幅方向に平行な第２の境界線とを挟んで他のカメラに対応する視点変換画像に隣接するような車両周辺俯瞰画像を表示することにより、第１の境界線を用いて任意のカメラに対応する視点変換画像と他のカメラに対応する視点変換画像との車両全長方向のずれの有無を簡便かつ適切に確認することができるとともに、第２の境界線を用いて任意のカメラに対応する視点変換画像と他のカメラに対応する視点変換画像との車幅方向のずれの有無を簡便かつ適切に確認することができるので、カメラの取付け位置および取付け姿勢の適否を容易かつ正確に判定することができる。
さらに、このような構成によれば、実使用時においては、各カメラの解像度に基づく視認性を重視した車両周辺俯瞰画像の表示を行うことができる。

さらに、本発明に係るカメラ位置・姿勢判定方法は、車両における互いに異なる取付け位置に、当該取付け位置に対応する所定の撮影方向を向くような取付け姿勢で取り付けられ、前記車両の周辺における前記撮影方向に対応する撮影領域をそれぞれ撮影可能とされた複数個のカメラについて、それぞれの取付け位置および取付け姿勢の適否を判定する際に、前記複数個のカメラの撮影映像における各カメラにそれぞれ対応する使用範囲内の画像を、当該使用範囲内の画像が前記車両の上方の仮想視点から俯瞰されるように視点変換された画像である視点変換画像へとそれぞれ変換して境界線を挟んで互いに隣接するように繋ぎ合わせた前記車両の周辺を前記仮想視点から俯瞰したような画像である車両周辺俯瞰画像を生成するとともに、前記車両周辺俯瞰画像を任意のカメラに対応する視点変換画像が、車両周辺俯瞰画像上における車両全長方向に平行な第１の境界線と車両周辺俯瞰画像上における車幅方向に平行な第２の境界線とを挟んで他のカメラに対応する視点変換画像に隣接するような当該車両周辺俯瞰画像とするとともに、前記車両周辺俯瞰画像を表示部に表示し、表示された前記車両周辺俯瞰画像を目視確認することにより、前記カメラの取付け位置および取付け姿勢の適否を判定するカメラ位置・姿勢判定方法であって、実使用時の表示モードと、前記カメラの取付け位置および取付け姿勢の適否を車両周辺俯瞰画像を目視確認することによって判断するための判定時の表示モードを選択可能とし、前記実使用時の表示モードにおいては、前記任意のカメラに対応する視点変換画像が、前記車両全長方向および前記車幅方向に対して傾斜された第３の境界線のみを挟んで前記他のカメラに多凹する視点変換画像に隣接するような車両周辺俯瞰画像を表示し、前記判定時の表示モードにおいては、前記任意のカメラに対応する視点変換画像が前記第１の境界線および前記第２の境界線を挟んで前記他のカメラに対応する視点変換画像に隣接するような車両周辺俯瞰画像を表示し、前記第１の境界線を用いて前記任意のカメラに対応する視点変換画像と前記他のカメラに対応する視点変換画像との前記車両全長方向のずれの有無を有無を確認するとともに、前記第２の境界線を用いて、前記任意のカメラに対応する視点変換画像と前記他のカメラに対応する視点変換画像との前記車幅方向のずれの有無を確認することによって、前記カメラの取付け位置および取付け姿勢の適否を判定するようにされていることを特徴とする。

そして、このような方法によれば、第１の境界線を用いて任意のカメラに対応する視点変換画像と他のカメラに対応する視点変換画像との車両全長方向のずれの有無を簡便かつ適切に確認することができるとともに、第２の境界線を用いて任意のカメラに対応する視点変換画像と他のカメラに対応する視点変換画像との車幅方向のずれの有無を簡便かつ適切に確認することができるので、カメラの取付け位置および取付け姿勢の適否を容易かつ正確に判定することができる。

さらにまた、前記車両周辺俯瞰画像として、前記車幅方向に長尺な第１のパターンの画像が前記第１の境界線を跨ぐようにして前記任意のカメラに対応する視点変換画像中および前記他のカメラに対応する視点変換画像中に表示されるとともに、前記車両全長方向に長尺な第２のパターンの画像が前記第２の境界線を跨ぐようにして前記任意のカメラに対応する視点変換画像中および前記他のカメラに対応する視点変換画像中に表示されるような車両周辺俯瞰画像を表示した上で、前記第１の境界線の位置における前記任意のカメラに対応する視点変換画像中の前記第１のパターンの画像と前記他のカメラに対応する視点変換画像中の前記第１のパターンの画像との前記車両全長方向のずれの有無を確認することによって、前記第１の境界線を用いた前記任意のカメラに対応する視点変換画像と前記他のカメラに対応する視点変換画像との前記車両全長方向のずれの有無の確認を行い、前記第２の境界線の位置における前記任意のカメラに対応する視点変換画像中の前記第２のパターンの画像と前記他のカメラに対応する視点変換画像中の前記第２のパターンの画像との前記車幅方向のずれの有無を確認することによって、前記第２の境界線を用いた前記任意のカメラに対応する視点変換画像と前記他のカメラに対応する視点変換画像との前記車幅方向のずれの有無の確認を行うようにしてもよい。

そして、このような方法によれば、第１のパターンの画像および第２のパターンの画像を用いることによって任意のカメラに対応する視点変換画像と他のカメラに対応する視点変換画像との車両全長方向および車幅方向のずれの有無を簡便かつ適切に確認することができるので、カメラの取付け位置および取付け姿勢の適否をさらに簡便かつ適切に判定することができる。

本発明に係る車両周辺監視装置およびカメラ位置・姿勢判定方法によれば、カメラの取付け位置および取付け姿勢の適否を容易かつ正確に判定することができる。

以下、本発明に係る車両周辺監視装置の実施形態について、図１および図２をを参照して説明する。

なお、従来と基本的構成が同一もしくはこれに類する箇所については、同一の符号を用いて説明する。

図１に示すように、本実施形態における車両周辺監視装置２０は、自車両に搭載された４台の車載カメラ２１，２２，２３，２４として、魚眼レンズ等の超広角レンズおよびＣＣＤまたはＣＭＯＳ等の撮像素子がそれぞれ内蔵された車載カメラ２１，２２，２３，２４を備えている。

これら４台の車載カメラ２１，２２，２３，２４のうちの１台２１は、自車両の前部に、自車両の前方を向くような姿勢で取付けられたフロントカメラ２１とされており、このフロントカメラ２１は、自車両の前方の広視野角にわたる所定範囲の撮影領域を撮影するようになっている。また、残りの３台の車載カメラ２２，２３，２４のうちの１台２２は、自車両の左側部に、自車両の左側方を斜め上方から見下ろすような姿勢で取付けられた左サイドカメラ２２とされており、この左サイドカメラ２２は、自車両の左側方の広視野角にわたる所定範囲の撮影領域を撮影するようになっている。さらに、残りの２台の車載カメラ２３，２４のうちの１台２３は、自車両の右側部に、自車両の右側方を斜め上方から見下ろすような姿勢で取付けられた右サイドカメラ２３とされており、この右サイドカメラ２３は、自車両の右側方の広視野角にわたる所定範囲の撮影領域を撮影するようになっている。さらにまた、残りの１台の車載カメラ２４は、自車両の後部に、自車両の後方を斜め上方から見下ろすような姿勢で取付けられたバックカメラ２４とされており、このバックカメラ２４は、自車両の後方の広視野角にわたる所定範囲の撮影領域を撮影するようになっている。

また、図１に示すように、本実施形態における車両周辺監視装置２０は、画像表示処理手段としての画像表示処理部２６を有しており、この画像表示処理部２６には、各車載カメラ２１，２２，２３，２４がそれぞれ接続されている。

画像表示処理部２６は、図示しないメモリに格納されたプログラムを実行することによって、車両周辺俯瞰画像の表示のための各種の処理を行うようになっている。

すなわち、画像表示処理部２６は、各車載カメラ２１，２２，２３，２４の撮影映像を取得し、取得された各車載カメラ２１，２２，２３，２４の撮影映像から、各車載カメラ２１，２２，２３，２４ごとに個別に設定された所定の使用範囲（画素領域）内の映像をそれぞれ抽出するようになっている。さらに、画像表示処理部２６は、抽出された各車載カメラ２１，２２，２３，２４ごとの使用範囲内の映像を、当該使用範囲内の映像が自車両の上方の仮想視点Ｐ（図６参照）から俯瞰されるように視点変換された画像である視点変換画像へとそれぞれ変換するようになっている。なお、この視点変換は、各車載カメラ２１，２２，２３，２４ごとの使用範囲内の映像の歪み（ディストーション）を除去する歪み補正をともなうこともある。視点変換が歪み補正をともなわない場合には、画像表示処理部２６は、視点変換に前後して歪み補正を行う。そして、画像表示処理部２６は、視点変換によって得れた歪みも除去された各載カメラ２１，２２，２３，２４ごとの視点変換画像を境界線を挟んで互いに隣接するように繋ぎ合わせることによって、自車両の周辺を自車両の上方の仮想視点Ｐ（図６参照）から俯瞰したような画像である車両周辺俯瞰画像を生成するようになっている。

さらに、図１に示すように、本実施形態における車両周辺監視装置２０は、表示部としてのディスプレイ２７を有している。ディスプレイ２７には、前述した画像表示処理部２６が接続されており、画像表示処理部２６は、生成された車両周辺俯瞰画像をディスプレイ２７に表示するようになっている。

そして、本実施形態において、画像表示処理部２６は、図２に示すような車両周辺俯瞰画像（以下、判定モード時車両周辺俯瞰画像と称する）２８を表示可能とされており、この判定モード時車両周辺俯瞰画像２８を目視確認することによって、各車載カメラ２１，２２，２３，２４の取付け位置および取付け姿勢の適否を判定可能とされている。

図２に示すように、判定モード時車両周辺俯瞰画像２８は、その中央部に、自車両を仮想視点Ｐから俯瞰したような自車両を模した略長方形状のイラスト画像２を有している。このイラスト画像２は、車載カメラ２１，２２，２３，２４の撮影映像に基づいてではなく、画像表示処理部２６が実行するプログラムによって独自に作成されるようになっている。

また、図２に示すように、判定モード時車両周辺俯瞰画像２８は、自車両の前方の撮影領域を撮影したフロントカメラ２１の撮影映像における使用範囲内の映像を、仮想視点Ｐから俯瞰するように視点変換した画像である判定モード時前方側視点変換画像３０を有している。

この判定モード時前方側視点変換画像３０は、四角形状の中央側部位３０ａと、この中央側部位３０ａの左側に位置する直角三角形状の左側部位３０ｂと、中央側部位３０ａの右側に位置する直角三角形状の右側部位３０ｃとによって構成されている。

より具体的には、中央側部位３０ａは、その後端部（図２における下端部）がイラスト画像２の前端部（図２における上端部）に連接されているとともに、画像２８上における車幅方向（図２における横方向）の寸法および当該車幅方向における表示位置が、イラスト画像２と一致している。

また、左側部位３０ｂは、その後端部（直角三角形の底辺に相当）が中央側部位３０ａの後端部と同一直線上に位置し、その左端部（直角三角形の高さに相当）が、その後端部における左端から前方に向かって中央側部位３０ａにおける前端部と画像２８上における車両全長方向の位置が同一となる位置まで直角に延び、その後端部における右端からその左端部における前端まで延びる斜辺を有するような直角三角形状に形成されている。このような形状を有する左側部位３０ｂは、その後端部における右端が、中央側部位３０ａの後端部における左端に接している。

さらに、右側部位３０ｃは、その後端部（直角三角形の底辺に相当）が中央側部位３０ａの後端部と同一直線上に位置し、その右端部（直角三角形の高さに相当）が、その後端部における右端から前方に向かって中央側部位３０ａにおける前端部と画像２８上における車両全長方向の位置が同一となる位置まで直角に延び、その後端部における左端からその右端部における前端まで延びる斜辺を有するような直角三角形状に形成されている。このような形状を有する右側部位３０ｃは、その後端部における左端が、中央側部位３０ａの後端部における右端に接している。

さらに、図２に示すように、判定モード時車両周辺俯瞰画像２８は、自車両の左側方の撮影領域を撮影した左サイドカメラ２２の撮影映像における使用範囲内の映像を、仮想視点Ｐから俯瞰するように視点変換した画像である判定モード時左側方側視点変換画像３１を有している。この判定モード時左側方側視点変換画像３１は、四角形状の中央側部位３１ａと、この中央側部位３１ａの前側に位置する直角三角形状の前側部位３１ｂと、中央側部位３１ａの後側に位置する直角三角形状の後側部位３１ｃとによって構成されている。

より具体的には、中央側部位３１ａは、その右端部がイラスト画像２の左端部に連接されているとともに、画像２８上における車両全長方向（図２における縦方向）の寸法および当該車両全長方向における表示位置が、イラスト画像２と一致している。そして、本実施形態において、中央側部位３１ａの前端部には、判定モード時前方側視点変換画像３０における左側部位３０ｂの後端部が、第２の境界線としての画像２８上における車幅方向に平行な前方／左側方第２境界線Ｌ_ＦＬ２を挟むようにして隣接している。なお、中央側部位３１ａの前端部は、判定モード時前方側視点変換画像３０における左側部位３０ｂの後端部と同寸に形成されている。

また、前側部位３１ｂは、その右端部（直角三角形の底辺に相当）が中央側部位３１ａの右端部と同一直線上に位置し、その前端部（直角三角形の高さに相当）が、その右端部における前端から左方に向かって中央側部位３１ａにおける左端部と画像２８上における車幅方向の位置が同一となる位置まで直角に延び、その右端部における後端からその前端部における左端まで延びる斜辺を有するような直角三角形状に形成されている。このような形状を有する前側部位３１ｂは、その右端部における後端が、中央側部位３１ａの右端部における前端に接している。そして、本実施形態において、前側部位３１ｂの右端部には、判定モード時前方側視点変換画像３０における中央側部位３０ａの左端部が、第１の境界線としての画像２８上における車両全長方向に平行な前方／左側方第１境界線Ｌ_ＦＬ１を挟むようにして隣接している。なお、前側部位３１ｂの右端部は、判定モード時前方側視点変換画像３０における中央側部位３０ａの左端部と同寸に形成されている。さらに、本実施形態において、前側部位３１ｂの斜辺には、判定モード時前方側視点変換画像３０における左側部位３０ｂの斜辺が、画像２８上における車両全長方向および車幅方向に対して傾斜された前方／左側方第３境界線Ｌ_ＦＬ３を挟むようにして隣接している。なお、前側部位３１ｂの斜辺は、判定モード時前方側視点変換画像３０における左側部位３０ｂの斜辺と同寸に形成されている。

さらに、後側部位３１ｃは、その右端部（直角三角形の底辺に相当）が中央側部位３１ａの右端部と同一直線上に位置し、その後端部（直角三角形の高さに相当）が、その右端部における後端から左方に向かって中央側部位３１ａにおける左端部と画像２８上における車幅方向の位置が同一となる位置まで直角に延び、その右端部における前端からその後端部における左端まで延びる斜辺を有するような直角三角形状に形成されている。このような形状を有する後側部位３１ｃは、その右端部における前端が、中央側部位３１ａの右端部における後端に接している。

さらにまた、図２に示すように、判定モード時車両周辺俯瞰画像２８は、自車両の右側方の撮影領域を撮影した右サイドカメラ２３の撮影映像における使用範囲内の映像を、仮想視点Ｐから俯瞰するように視点変換した画像である判定モード時右側方側視点変換画像３２を有している。この判定モード時右側方側視点変換画像３２は、四角形状の中央側部位３２ａと、この中央側部位３２ａの前側に位置する直角三角形状の前側部位３２ｂと、中央側部位３２ａの後側に位置する直角三角形状の後側部位３２ｃとによって構成されている。

より具体的には、中央側部位３２ａは、その左端部がイラスト画像２の右端部に連接されているとともに、画像２８上における車両全長方向の寸法および当該車両全長方向における表示位置が、イラスト画像２と一致している。そして、本実施形態において、中央側部位３２ａの前端部には、判定モード時前方側視点変換画像３０における右側部位３０ｃの後端部が、第２の境界線としての画像２８上における車幅方向に平行な前方／右側方第２境界線Ｌ_ＦＲ２を挟むようにして隣接している。なお、中央側部位３２ａの前端部は、判定モード時前方側視点変換画像３０における右側部位３０ｃの後端部と同寸に形成されている。

また、前側部位３２ｂは、その左端部（直角三角形の底辺に相当）が中央側部位３２ａの左端部と同一直線上に位置し、その前端部（直角三角形の高さに相当）が、その左端部における前端から右方に向かって中央側部位３２ａにおける右端部と画像２８上における車幅方向の位置が同一となる位置まで直角に延び、その左端部における後端からその前端部における右端まで延びる斜辺を有するような直角三角形状に形成されている。このような形状を有する前側部位３２ｂは、その左端部における後端が、中央側部位３２ａにおける左端部の前端に接している。そして、本実施形態において、前側部位３２ｂの左端部には、判定モード時前方側視点変換画像３０における中央側部位３０ａの右端部が、第１の境界線としての画像２８上における車両全長方向に平行な前方／右側方第１境界線Ｌ_ＦＲ１を挟むようにして隣接している。なお、前側部位３２ｂの左端部は、判定モード時前方側視点変換画像３０における中央側部位３０ａの右端部と同寸に形成されている。さらに、本実施形態において、前側部位３２ｂの斜辺には、判定モード時前方側視点変換画像３０における右側部位３０ｃの斜辺が、画像２８上における車両全長方向および車幅方向に対して傾斜された前方／右側方第３境界線Ｌ_ＦＲ３を挟むようにして隣接している。なお、前側部位３２ｂの斜辺は、判定モード時前方側視点変換画像３０における右側部位３０ｃの斜辺と同寸に形成されている。

さらに、後側部位３２ｃは、その左端部（直角三角形の底辺に相当）が中央側部位３２ａの左端部と同一直線上に位置し、その後端部（直角三角形の高さに相当）が、その左端部における後端から右方に向かって中央側部位３２ａにおける右端部と画像２８上における車幅方向の位置が同一となる位置まで直角に延び、その左端部における前端からその後端部における右端まで延びる斜辺を有するような直角三角形状に形成されている。このような形状を有する後側部位３２ｃは、その左端部における前端が、中央側部位３２ａにおける左端部の後端に接している。

また、図２に示すように、判定モード時車両周辺俯瞰画像２８は、自車両の後方の撮影領域を撮影したバックカメラ２４の撮影映像における使用範囲内の映像を、仮想視点Ｐから俯瞰するように視点変換した画像である判定モード時後方側視点変換画像３３を有している。この判定モード時後方側視点変換画像３３は、四角形状の中央側部位３３ａと、この中央側部位３３ａの左側に位置する直角三角形状の左側部位３３ｂと、中央側部位３３ａの右側に位置する直角三角形状の右側部位３３ｃとによって構成されている。

より具体的には、中央側部位３３ａは、その前端部がイラスト画像２の後端部に連接されているとともに、画像２８上における車幅方向の寸法および当該車幅方向における表示位置が、イラスト画像２と一致している。そして、本実施形態において、中央側部位３３ａの左端部には、判定モード時左側方側視点変換画像３１における後側部位３１ｃの右端部が、第１の境界線としての画像２８上における車両全長方向に平行な後方／左側方第１境界線Ｌ_ＢＬ１を挟むようにして隣接している。なお、中央側部位３３ａの左端部は、判定モード時左側方側視点変換画像３１における後側部位３１ｃの右端部と同寸に形成されている。さらに、本実施形態において、中央側部位３３ａの右端部には、判定モード時右側方側視点変換画像３２における後側部位３２ｃの左端部が、第１の境界線としての画像２８上における車両全長方向に平行な後方／右側方第１境界線Ｌ_ＢＲ１を挟むようにして隣接している。なお、中央側部位３３ａの右端部は、判定モード時右側方側視点変換画像３２における後側部位３２ｃの左端部と同寸に形成されている。

また、左側部位３３ｂは、その前端部（直角三角形の底辺に相当）が中央側部位３３ａの前端部と同一直線上に位置し、その左端部（直角三角形の高さに相当）が、その前端部における左端から後方に向かって中央側部位３３ａにおける後端部と画像２８上における車両全長方向の位置が同一となる位置まで直角に延び、その前端部における右端からその左端部における後端まで延びる斜辺を有するような直角三角形状に形成されている。このような形状を有する左側部位３３ｂは、その前端部における右端が、中央側部位３３ａにおける左端部の前端に接している。そして、本実施形態において、左側部位３３ｂの前端部には、判定モード時左側方側視点変換画像３１における中央側部位３１ａの後端部が、第２の境界線としての画像２８上における車幅方向に平行な後方／左側方第２境界線Ｌ_ＢＬ２を挟むようにして隣接している。なお、左側部位３３ｂの前端部は、判定モード時左側方側視点変換画像３１における中央側部位３１ａの後端部と同寸に形成されている。さらに、本実施形態において、左側部位３３ｂの斜辺には、判定モード時左側方側視点変換画像３１における後側部位３１ｃの斜辺が、画像２８上における車両全長方向および車幅方向に対して傾斜された後方／左側方第３境界線Ｌ_ＢＬ３を挟むようにして隣接している。なお、左側部位３３ｂの斜辺は、判定モード時左側方側視点変換画像３１における後側部位３１ｃの斜辺と同寸に形成されている。

さらに、右側部位３３ｃは、その前端部（直角三角形の底辺に相当）が中央側部位３３ａの前端部と同一直線上に位置し、その右端部（直角三角形の高さに相当）が、その前端部における右端から後方に向かって中央側部位３３ａにおける後端部と画像２８上における車両全長方向の位置が同一となる位置まで直角に延び、その前端部における左端からその右端部における後端まで延びる斜辺を有するような直角三角形状に形成されている。このような形状を有する右側部位３３ｃは、その前端部における左端が、中央側部位３３ａにおける右端部の前端に接している。そして、本実施形態において、右側部位３３ｃの前端部には、判定モード時右側方側視点変換画像３２における中央側部位３２ａの後端部が、第２の境界線としての画像２８上における車幅方向に平行な後方／右側方第２境界線Ｌ_ＢＲ２を挟むようにして隣接している。なお、右側部位３３ｃの前端部は、判定モード時右側方側視点変換画像３２における中央側部位３２ａの後端部と同寸に形成されている。さらに、本実施形態において、右側部位３３ｃの斜辺には、判定モード時右側方側視点変換画像３２における後側部位３２ｃの斜辺が、画像２８上における車両全長方向および車幅方向に対して傾斜された後方／右側方第３境界線Ｌ_ＢＲ３を挟むようにして隣接している。なお、右側部位３３ｃの斜辺は、判定モード時右側方側視点変換画像３２における後側部位３２ｃの斜辺と同寸に形成されている。

すなわち、判定モード時車両周辺俯瞰画像２８は、任意の１台のカメラ２１，２２，２３，２４に対応する視点変換画像３０，３１，３２，３３が、画像２８上における車両全長方向に平行な第１の境界線Ｌ_ＦＬ１，Ｌ_ＦＲ１，Ｌ_ＢＬ１，Ｌ_ＢＲ１と、画像２８上における車幅方向に平行な第２の境界線Ｌ_ＦＬ２，Ｌ_ＦＲ２，Ｌ_ＢＬ２，Ｌ_ＢＲ２とを挟んで他の２台のカメラ２１，２２，２３，２４に対応する視点変換画像３０，３１，３２，３３に隣接するような画像２８とされている。

ここで、画像２８上における車両全長方向に平行な第１の境界線Ｌ_ＦＬ１，Ｌ_ＦＲ１，Ｌ_ＢＬ１，Ｌ_ＢＲ１は、図５に示した車両周辺監視画像１における境界線５，７，１０，１１に比べて、視点変換画像３０，３１，３２，３３同士の当該車両全長方向のずれの有無を確認する際における目の錯覚が生じ難い形状となっている。

したがって、本実施形態においては、第１の境界線Ｌ_ＦＬ１，Ｌ_ＦＲ１，Ｌ_ＢＬ１，Ｌ_ＢＲ１を用いて任意の１台の車載カメラ２１，２２，２３，２４に対応する視点変換画像３０，３１，３２，３３と他の車載カメラ２１，２２，２３，２４に対応する視点変換画像３０，３１，３２，３３との画像２８上における車両全長方向のずれの有無を簡便かつ適切に確認することができる。

また、車幅方向に平行な第２の境界線Ｌ_ＦＬ２，Ｌ_ＦＲ２，Ｌ_ＢＬ２，Ｌ_ＢＲ２は、図５に示した車両周辺監視画像１における境界線５，７，１０，１１に比べて、視点変換画像３０，３１，３２，３３同士の画像２８上における車幅方向のずれの有無を確認する際における目の錯覚が生じ難い形状となっている。

したがって、本実施形態においては、第２の境界線Ｌ_ＦＬ２，Ｌ_ＦＲ２，Ｌ_ＢＬ２，Ｌ_ＢＲ２を用いて任意の１台の車載カメラ２１，２２，２３，２４に対応する視点変換画像３０，３１，３２，３３と他の車載カメラ２１，２２，２３，２４に対応する視点変換画像３０，３１，３２，３３との画像２８上における車幅方向のずれの有無を簡便かつ適切に確認することができる。

なお、図２のように、例えば、判定モード時左側方側視点変換画像３１における前側部位３１ａを、判定モード時前方側視点変換画像３０における左側部位３０ｂよりも前方に表示することができるのは、左サイドカメラ２２とフロントカメラ２１との間で、撮影領域に重なり部分があることによるものである。このことは、他のカメラについても同様である。

また、図２においては、各視点変換画像３０，３１，３２，３３の配置状態を分かりやすくするために、便宜上、各視点変換画像３０，３１，３２，３３ごとに異なるハッチングが施されている。

図１に戻って、画像表示処理部２６には、記憶部３５が接続されており、この記憶部３５には、各車載カメラ２１，２２，２３，２４ごとの使用範囲内の映像と、判定モード時車両周辺俯瞰画像２８との座標の対応関係が記述されたマッピングテーブル（以下、判定モード時マッピングテーブルと称する）が記憶されている。

画像表示処理部２６は、この判定モード時マッピングテーブルを用いて、車載カメラ２１，２２，２３，２４の撮影映像からの使用範囲内の映像の抽出および抽出された使用範囲内の映像の視点変換画像３０，３１，３２，３３への視点変換を行うことによって、判定モード時車両周辺俯瞰画像２８を生成するようになっている。

上記構成に加えて、さらに、本実施形態において、画像表示処理部２６には入力操作部３６が接続されており、この入力操作部３６は、画像表示処理部２６に対して、実使用時の表示モードと、車載カメラ２１，２２，２３，２４の取付け位置および取付け姿勢の適否を判定するための判定時の表示モードとを選択的に設定可能とされている。

また、本実施形態において、記憶部３５には、判定モード時マッピングテーブルの他にも、車載カメラ２１，２２，２３，２４ごとの使用範囲内の映像と、図５に示したものと同様の車両周辺俯瞰画像（以下、実使用モード時車両周辺俯瞰画像と称する）１との座標の対応関係が記述されたマッピングテーブル（以下、実使用モード時マッピングテーブルと称する）が記憶されている。

そして、画像表示処理部２６は、入力操作部３６によって判定時の表示モードが設定された状態においては、記憶部３５に記憶された判定モード時マッピングテーブルを用いて図２に示したような判定モード時車両周辺俯瞰画像２８を表示するようになっている。

また、画像表示処理部２６は、入力操作部３６によって実使用時の表示モードが設定された状態においては、自車両の車速パルスが所定速度以下を示すことを条件として、記憶部３５に記憶された実使用モード時マッピングテーブルを用いて図５に示したような実使用モード時車両周辺俯瞰画像１を表示するようになっている。

ここで、各車載カメラ２１，２２，２３，２４の解像度に基づく車両周辺俯瞰画像の視認性の観点からは、判定モード時車両周辺俯瞰画像２８よりも実使用モード時車両周辺俯瞰画像１の方が好ましい。このため、本実施形態においては、用途に応じて好ましい車両周辺俯瞰画像１，２８を選択的に表示するようになっている。

なお、本実施形態において、実使用モード時車両周辺俯瞰画像１における境界線５，７，１０，１１は、判定モード時車両周辺俯瞰画像２８における各第３境界線Ｌ_ＦＬ３，Ｌ_ＦＲ３，Ｌ_ＢＬ３，Ｌ_ＢＲ３と一致している。また、本実施形態において、判定モード時車両周辺俯瞰画像２８と実使用モード時車両周辺俯瞰画像１とは、判定モード時車両周辺俯瞰画像２８における視点変換画像３０，３１，３２，３３の中央部位３０ａ，３１ａ，３２ａ，３３ａ，３４ａに相当する画像が互いに共通している。したがって、判定モード時マッピングテーブルは、実使用モード時マッピングテーブルの一部を変更することによって簡便に作成されたものとなっている。

また、判定モード時マッピングテーブルと実使用モード時マッピングテーブルとは、車両周辺俯瞰画像の生成に用いる使用範囲の映像に一部相違点があるだけで、マッピングテーブルの作成に用いられている車載カメラ２１，２２，２３，２４の外部パラメータは互いに一致していることは言うまでもない。

次に、本発明に係るカメラ位置・姿勢判定方法の実施形態について、図３および図４を新たに参照して説明する。

本実施形態においては、図３に示すように、実世界上の自車両３７の載置面（例えば、路面）３８上における自車両３７の前後の位置に、実世界上における自車両３７の車幅方向に平行な白線からなる一対の第１のパターン４１を配置する。

また、本実施形態においては、図３に示すように、載置面３８上における自車両３７の左右の位置に、自車両３７の車両全長方向に平行な白線からなる一対の第２のパターン４２を配置する。

次いで、このような状態において、入力操作部３６によって画像表示処理部２６に対して判定時の表示モードを設定する。

次いで、この判定時の表示モードの設定状態において、画像表示処理部２６は、各車載カメラ２１，２２，２３，２４から、第１のパターン４１および第２のパターン４２が配置された自車両３７の周辺の撮影領域を撮影した撮影映像を取得する。

次いで、画像表示処理部２６は、車載カメラ２１，２２，２３，２４の撮影映像を、記憶部３５に記憶された判定モード時マッピングテーブルを用いて視点変換することによって、図４に示すような判定モード時車両周辺俯瞰画像２８を生成してディスプレイ２７に表示する。

この判定モード時車両周辺俯瞰画像２８における自車両のイラスト画像２の前後の位置には、画像２８上における車幅方向（すなわち、イラスト画像２の車幅方向）に平行な第１のパターン４１の画像４１’がそれぞれ含まれている。

なお、各第１のパターン４１の画像４１’が画像２８上における車幅方向に対して平行ではなく傾きを有していれば、その時点で、車載カメラ２１，２２，２３，２４の取付け姿勢が不適切であると判定することができるが、便宜上、本実施形態においては、このような第１のパターン４１の画像４１’の傾きは生じていないものとする。

ここで、本実施形態において、イラスト画像２に対する前方側の第１のパターン４１の画像４１’は、前方／左側方第１境界線Ｌ_ＦＬ１を跨ぐようにして判定モード時前方側視点変換画像３０と判定モード時左側方側視点変換画像３１との双方の画像３０，３１中に表示されている。また、この前方側の第１のパターン４１の画像４１’は、前方／右側方第１境界線Ｌ_ＦＲ１を跨ぐようにして判定モード時前方側視点変換画像３０と判定モード時右側方側視点変換画像３２との双方の画像３０，３２中に表示されている。

さらに、本実施形態において、イラスト画像２に対する後方側の第１のパターン４１の画像４１’は、後方／左側方第１境界線Ｌ_ＢＬ１を跨ぐようにして判定モード時後方側視点変換画像３３と判定モード時左側方側視点変換画像３１との双方の画像３３，３１中に表示されている。また、この後方側の第１のパターン４１の画像４１’は、後方／右側方第１境界線Ｌ_ＢＲ１を跨ぐようにして判定モード時後方側視点変換画像３３と判定モード時右側方側視点変換画像３２との双方の画像３３，３２中に表示されている。

また、判定モード時車両周辺俯瞰画像２８における自車両のイラスト画像２の左右の位置には、画像２８上における車両全長方向（すなわち、イラスト画像２の車両全長方向）に平行な第２のパターン４２の画像４２’がそれぞれ含まれている。

なお、各第２のパターン４２の画像４２’が画像２８上における車両全長方向に対して平行ではなく傾きを有していれば、その時点で、車載カメラ２１，２２，２３，２４の取付け姿勢が不適切であると判定することができるが、便宜上、本実施形態においては、このような第２のパターン４２の画像４２’の傾きは生じていないものとする。

ここで、本実施形態において、イラスト画像２に対する左側方側の第２のパターン４２の画像４２’は、前方／左側方第２境界線Ｌ_ＦＬ２を跨ぐようにして判定モード時前方側視点変換画像３０と判定モード時左側方側視点変換画像３１との双方の画像３０，３１中に表示されている。また、この左側方側の第２のパターン４２の画像４２’は、後方／左側方第２境界線Ｌ_ＢＬ２を跨ぐようにして判定モード時後方側視点変換画像３３と判定モード時左側方側視点変換画像３１との双方の画像３３，３１中に表示されている。

さらに、本実施形態において、イラスト画像２に対する右側方側の第２のパターン４２の画像４２’は、前方／右側方第２境界線Ｌ_ＦＲ２を跨ぐようにして判定モード時前方側視点変換画像３０と判定モード時右側方側視点変換画像３２との双方の画像３０，３２中に表示されている。また、この右側方側の第２のパターン４２の画像４２’は、後方／右側方第２境界線Ｌ_ＢＲ２を跨ぐようにして判定モード時後方側視点変換画像３３と判定モード時右側方側視点変換画像３２との双方の画像３３，３２中に表示されている。

そして、このような判定モード時車両周辺俯瞰画像２８の表示状態において、ユーザは、第１の境界線Ｌ_ＦＬ１，Ｌ_ＦＲ１，Ｌ_ＢＬ１，Ｌ_ＢＲ１の位置における互いに隣接する視点変換画像３０，３１，３２，３３同士の画像２８上における車両全長方向のずれの有無を、第１の境界線Ｌ_ＦＬ１，Ｌ_ＦＲ１，Ｌ_ＢＬ１，Ｌ_ＢＲ１の位置における第１のパターン４１の画像４１’の車両全長方向のずれの有無として簡便かつ適切に目視確認することができる。

また、同時に、ユーザは、第２の境界線Ｌ_ＦＬ２，Ｌ_ＦＲ２，Ｌ_ＢＬ２，Ｌ_ＢＲ２の位置における互いに隣接する視点変換画像３０，３１，３２，３３同士の画像２８上における車幅方向のずれの有無を、第２の境界線Ｌ_ＦＬ２，Ｌ_ＦＲ２，Ｌ_ＢＬ２，Ｌ_ＢＲ２の位置における第２のパターン４２の画像４２’の車幅方向のずれの有無として簡便かつ適切に目視確認することができる。

そして、この結果、ずれが一切確認されなかった場合には、各車載カメラ２１，２２，２３，２４の取付け位置および取付け姿勢が適切であると判定する。この場合には、実使用モード時マッピングテーブルの補正は行わない。

一方、ずれが確認された場合には、車載カメラ２１，２２，２３，２４の取付け位置および取付け姿勢が不適切であると判定した上で、確認されたずれが解消されるように、判定モード時マッピングテーブルにおける外部パラメータを補正する。

そして、この補正後の外部パラメータを、記憶部３５に記憶された実使用モード時マッピングテーブルに適用することによって、実使用モード時マッピングテーブルを補正する。

以上述べたように、本実施形態によれば、第１の境界線Ｌ_ＦＬ１，Ｌ_ＦＲ１，Ｌ_ＢＬ１，Ｌ_ＢＲ１を用いて任意の１台の車載カメラ２１，２２，２３，２４に対応する視点変換画像３０，３１，３２，３３と他の車載カメラ２１，２２，２３，２４に対応する視点変換画像３０，３１，３２，３３との車両全長方向のずれの有無を簡便かつ適切に確認することができる。また、第２の境界線Ｌ_ＦＬ２，Ｌ_ＦＲ２，Ｌ_ＢＬ２，Ｌ_ＢＲ２を用いて任意の１台の車載カメラ２１，２２，２３，２４に対応する視点変換画像３０，３１，３２，３３と他の車載カメラ２１，２２，２３，２４に対応する視点変換画像３０，３１，３２，３３との車幅方向のずれの有無を簡便かつ適切に確認することができる。この結果、車載カメラ２１，２２，２３，２４の取付け位置および取付け姿勢の適否を容易かつ正確に判定することができる。

なお、本発明は、前述した実施の形態に限定されるものではなく、必要に応じて種々の変更が可能である。

本発明に係る車両周辺監視装置の実施形態を示すブロック図 本発明に係る車両周辺監視装置の実施形態において、判定モード時車両周辺俯瞰画像の表示状態を示す図 本発明に係るカメラ位置・姿勢判定方法の実施形態において、載置面上への第１のパターンおよび第２のパターンの配置状態を示す図 本発明に係るカメラ位置・姿勢判定方法の実施形態において、第１のパターンの画像および第２のパターンの画像を含む判定モード時車両周辺俯瞰画像の表示状態を示す図 従来から採用されていた車両周辺俯瞰画像の一例を示す図 車両周辺俯瞰画像の仮想視点を説明するための説明図 車載カメラの撮影映像を示す図 従来のカメラ位置・姿勢判定方法において、第１のパターンの画像が含まれた車両周辺俯瞰画像の表示状態を示す図 従来のカメラ位置・姿勢判定方法において、第２のパターンの画像が含まれた車両周辺俯瞰画像の表示状態を示す図

符号の説明

２０ 車両周辺監視装置
２１ フロントカメラ
２２ 左サイドカメラ
２３ 右サイドカメラ
２４ バックカメラ
２６ 画像表示処理部
２７ ディスプレイ
２８ 判定モード時車両周辺俯瞰画像
３０ 判定モード時前方側視点変換画像
３１ 判定モード時左側方側視点変換画像
３２ 判定モード時右側方が視点変換画像
３３ 判定モード時後方側視点変換画像

Claims (3)

1. 車両における互いに異なる取付け位置に、当該取付け位置に対応する所定の撮影方向を向くような取付け姿勢で取り付けられ、前記車両の周辺における前記撮影方向に対応する撮影領域をそれぞれ撮影可能とされた複数個のカメラと、
   これら複数個のカメラの撮影画像における各カメラにそれぞれ対応する使用範囲内の映像を、当該使用範囲内の映像が前記車両の上方の仮想視点から俯瞰されるように視点変換された画像である視点変換画像へとそれぞれ変換して境界線を挟んで互いに隣接するように繋ぎ合わせた前記車両の周辺を前記仮想視点から俯瞰したような画像である車両周辺俯瞰画像を生成し、
   前記車両周辺俯瞰画像を任意のカメラに対応する視点変換画像が、車両周辺俯瞰画像上における車両全長方向に平行な第１の境界線と車両周辺俯瞰画像上における車幅方向に平行な第２の境界線とを挟んで他のカメラに対応する視点変換画像に隣接するような当該車両周辺俯瞰画像とするとともに、
   前記車両周辺俯瞰画像を表示部に表示する画像表示処理手段と
   を備えた車両周辺監視装置であって、
   前記画像表示処理手段は、実使用時の表示モードと、前記カメラの取付け位置および取付け姿勢の適否を車両周辺俯瞰画像を目視確認することによって判断するための判定時の表示モードとが選択的に設定可能とされており、
   前記判定時の表示モードの設定状態においては、前記任意のカメラに対応する視点変換画像が、前記第１の境界線および前記第２の境界線を挟んで前記他のカメラに対応する視点変換画像に隣接するような車両周辺俯瞰画像を表示し、
   前記実使用時の表示モードの設定状態においては、前記任意のカメラに対応する視点変換画像が、前記車両全長方向および前記車幅方向に対して傾斜された第３の境界線のみを挟んで前記他のカメラに対応する視点変換画像に隣接するような車両周辺俯瞰画像を表示する
   ことを特徴とする車両周辺監視装置。
2. 車両における互いに異なる取付け位置に、当該取付け位置に対応する所定の撮影方向を向くような取付け姿勢で取り付けられ、前記車両の周辺における前記撮影方向に対応する撮影領域をそれぞれ撮影可能とされた複数個のカメラについて、それぞれの取付け位置および取付け姿勢の適否を判定する際に、
   前記複数個のカメラの撮影映像における各カメラにそれぞれ対応する使用範囲内の画像を、当該使用範囲内の画像が前記車両の上方の仮想視点から俯瞰されるように視点変換された画像である視点変換画像へとそれぞれ変換して境界線を挟んで互いに隣接するように繋ぎ合わせた前記車両の周辺を前記仮想視点から俯瞰したような画像である車両周辺俯瞰画像を生成するとともに、
   前記車両周辺俯瞰画像を任意のカメラに対応する視点変換画像が、車両周辺俯瞰画像上における車両全長方向に平行な第１の境界線と車両周辺俯瞰画像上における車幅方向に平行な第２の境界線とを挟んで他のカメラに対応する視点変換画像に隣接するような当該車両周辺俯瞰画像とするとともに、前記車両周辺俯瞰画像を表示部に表示し、表示された前記車両周辺俯瞰画像を目視確認することにより、前記カメラの取付け位置および取付け姿勢の適否を判定するカメラ位置・姿勢判定方法であって、
   実使用時の表示モードと、前記カメラの取付け位置および取付け姿勢の適否を車両周辺俯瞰画像を目視確認することによって判断するための判定時の表示モードを選択可能とし、
   前記実使用時の表示モードにおいては、前記任意のカメラに対応する視点変換画像が、前記車両全長方向および前記車幅方向に対して傾斜された第３の境界線のみを挟んで前記他のカメラに多凹する視点変換画像に隣接するような車両周辺俯瞰画像を表示し、
   前記判定時の表示モードにおいては、前記任意のカメラに対応する視点変換画像が前記第１の境界線および前記第２の境界線を挟んで前記他のカメラに対応する視点変換画像に隣接するような車両周辺俯瞰画像を表示し、
   前記第１の境界線を用いて前記任意のカメラに対応する視点変換画像と前記他のカメラに対応する視点変換画像との前記車両全長方向のずれの有無を有無を確認するとともに、
   前記第２の境界線を用いて、前記任意のカメラに対応する視点変換画像と前記他のカメラに対応する視点変換画像との前記車幅方向のずれの有無を確認することによって、
   前記カメラの取付け位置および取付け姿勢の適否を判定するようにされていること
   を特徴とするカメラ位置・姿勢判定方法。
3. 前記車両周辺俯瞰画像として、前記車幅方向に長尺な第１のパターンの画像が前記第１の境界線を跨ぐようにして前記任意のカメラに対応する視点変換画像中および前記他のカメラに対応する視点変換画像中に表示されるとともに、
   前記車両全長方向に長尺な第２のパターンの画像が前記第２の境界線を跨ぐようにして前記任意のカメラに対応する視点変換画像中および前記他のカメラに対応する視点変換画像中に表示されるような車両周辺俯瞰画像を表示した上で、
   前記第１の境界線の位置における前記任意のカメラに対応する視点変換画像中の前記第１のパターンの画像と前記他のカメラに対応する視点変換画像中の前記第１のパターンの画像との前記車両全長方向のずれの有無を確認することによって、前記第１の境界線を用いた前記任意のカメラに対応する視点変換画像と前記他のカメラに対応する視点変換画像との前記車両全長方向のずれの有無の確認を行い、
   前記第２の境界線の位置における前記任意のカメラに対応する視点変換画像中の前記第２のパターンの画像と前記他のカメラに対応する視点変換画像中の前記第２のパターンの画像との前記車幅方向のずれの有無を確認することによって、前記第２の境界線を用いた前記任意のカメラに対応する視点変換画像と前記他のカメラに対応する視点変換画像との前記車幅方向のずれの有無の確認を行うこと
   を特徴とする請求項２に記載のカメラ位置・姿勢判定方法。

Images