JP5173552B2 - 車両周辺監視装置およびこれに適用される歪み補正値の設定修正方法 - Google Patents

Description

本発明は、車両周辺監視装置およびこれに適用される歪み補正値の設定修正方法に係り、特に、車両周辺画像の生成に用いられる歪み補正値の設定を修正するのに好適な車両周辺監視装置およびこれに適用される歪み補正値の設定修正方法に関する。

近年、車載カメラ技術および画像処理技術の進展により、駐車場等における車両の安全かつ円滑な運転操作を支援するシステムとして、車両に搭載された複数台の車載カメラによる車両の周辺の撮影映像に基づいて、車両の周辺を車両の上方から見下ろしたような画像である車両周辺画像を生成し、生成された車両周辺画像を車内のディスプレイに表示する車両周辺監視装置が採用されるようになった。

図９は、このような車両周辺監視装置によってディスプレイに表示される車両周辺画像１の一例として、駐車場において表示される車両周辺画像１を示したものである。

図９に示すように、車両周辺画像１は、自車両の前方の所定の監視領域を自車両の上方の所定の視点から見下ろしたような画像である前方俯瞰画像１ａを有しており、この前方俯瞰画像１ａは、車載カメラとしての自車両の前部（例えば、エンブレム部）に取り付けられたフロントカメラの撮影映像に基づいて生成されるようになっている。

また、車両周辺画像１は、自車両の左側方の所定の監視領域を前記自車両の上方の視点から見下ろしたような画像である左側方俯瞰画像１ｂを有しており、この左側方俯瞰画像１ｂは、前方俯瞰画像１ａの左端部に連接されている。この左側方俯瞰画像１ｂは、車載カメラとしての自車両の左側部（例えば、左ドアミラー部）に取り付けられた左サイドカメラの撮影映像に基づいて生成されるようになっている。

さらに、車両周辺画像１は、自車両の右側方の所定の監視領域を前記自車両の上方の視点から見下ろしたような画像である右側方俯瞰画像１ｃを有しており、この右側方俯瞰画像１ｃは、前方俯瞰画像１ａの右端部に連接されている。この右側方俯瞰画像１ｃは、車載カメラとしての自車両の右側部（例えば、右ドアミラー部）に取り付けられた右サイドカメラの撮影映像に基づいて生成されるようになっている。

さらにまた、車両周辺画像１は、自車両の後方の所定の監視領域を前記自車両の上方の視点から見下ろしたような画像である後方俯瞰画像１ｄを有しており、この後方俯瞰画像１ｄは、左側方俯瞰画像１ｂの後端部および右側方俯瞰画像１ｃの後端部に連接されている。この後方俯瞰画像１ｄは、車載カメラとしての自車両の後部（例えば、ナンバープレートの取付部）に取り付けられたバックカメラの撮影映像に基づいて生成されるようになっている。

また、車両周辺画像１は、自車両を模したイラスト画像１ｅを有しており、このイラスト画像１ｅは、俯瞰画像１ａ，１ｂ，１ｃ，１ｄによって四方を囲まれるように表示されている。

このような車両周辺画像１を表示する車両周辺監視装置は、自車両の周囲３６０°の方向を監視可能とする観点から、車載カメラとして、魚眼レンズ等の広角レンズを備えた広角カメラを用いることが多かった。

このような車載カメラを用いて車両周辺画像１を生成する場合には、図１０に示すように、ＣＣＤ等の車載カメラの撮像面３（図１０においては、バックカメラの撮像面）に結像された撮影映像４のうち、車両周辺画像１の生成に使用される所定の使用映像領域５（図１０における破線部参照）内の映像のみを切り出し、切り出された映像を、この車載カメラに対応するいずれかの俯瞰画像１ａ，１ｂ，１ｃ，１ｄへと視点変換するようになっていた。各車載カメラの撮影映像に基づいて生成された俯瞰画像は、生成と同時に互いに合成されることによって車両周辺画像１を形成することになる。

ただし、使用映像領域５内の映像は、車載カメラのレンズの歪曲収差に起因して歪みを有したものになっているため、視点変換の際には、使用映像領域５内の映像に対する歪み補正処理を行うことによって歪みを解消させることが必要であった。

そして、この歪み補正処理には、歪み補正値として、車載カメラの内部パラメータが用いられていた。歪み補正処理を行うための内部パラメータとしては、例えば、図１１に示すような画像主点（Ｃｘ，Ｃｙ）および歪み補正パラメータ（ｋ_１，ｋ_２，ｋ_３，ｋ_４，ｋ_５）が用いられていた。

ここで、図１１は、三次元ワールド座標系と、二次元座標系とされた車載カメラの撮像面３（デジタル画像平面）の座標系（以下、画像座標系と称する）との関係を示している。図１１に示すように、三次元ワールド座標系における原点と、画像座標系における原点とは、ともにＺ軸上に位置されており、このＺ軸は、車載カメラのレンズとしての魚眼レンズ７の光軸に一致している。

そして、三次元空間における点Ｐは、魚眼レンズ７を通して、撮像面３上に点ｐとして射影されることになる。

このとき、像高ｒ（θ）は、内部パラメータ、点Ｐからの光のＺ軸への入射角（画角）θ〔°〕、および、魚眼レンズ７の焦点距離〔ｍｍ〕を用いて次式のように表されることになる。

ｒ（θ）＝２ｆｔａｎ（θ／２）
＝ｋ_１θ＋ｋ_２θ^３＋ｋ_３θ^５＋ｋ_４θ^７＋ｋ_５θ^９

車両周辺監視装置においては、このような内部パラメータが関与する像高特性によって撮影映像に所定の歪みが生じていることを把握した上で、内部パラメータを用いることによって、使用映像領域５内の映像の歪みが俯瞰画像１ａ，１ｂ，１ｃ，１ｄの状態において解消されるように、歪み補正処理を行うようになっていた。

特開２００７−１５８６９５号公報 特開２００４−２００８１９号公報 特開２００１−１１６５１５号公報

ところで、現状においては、車載カメラの内部パラメータは、カメラメーカによって、撮像面３における絞りの結像領域８（図１０における黒塗り部分参照）を除く領域の全て（以下、全映像領域９（図１０における一点鎖線部参照）と称する）について計測されるようになっている。

しかしながら、このように全映像領域９について内部パラメータを計測した場合には、内部パラメータの計測に要するコストが高くなってしまうといった問題が生じていた。

そこで、このような問題を解決するために、歪み補正処理を、内部パラメータの設計値を用いて行うことが考えられる。

しかるに、このような内部パラメータの設計値を用いる場合には、例えば、車載カメラ本体に対するレンズの組み付け誤差によってレンズの光軸が撮像面３に直角にならない等の車載カメラが設計通りに製造されていない場合や、車載カメラの製造後にレンズの組み付け位置が事後的に変化した場合に、特に広画角の映像領域において、内部パラメータの設計値に実際の値からの誤差が生じ易くなる。

また、今後、使用映像領域５を現状よりも広範囲に設定して監視領域を広げるような構成を採用する場合には、使用映像領域５内の映像の歪みを正確に補正することがより一層困難となり、歪みが多い粗悪な車両周辺画像が表示されてしまう可能性が十分にある。

したがって、従来は、歪みの少ない良好な車両周辺画像を低コストに表示することができないといった問題が生じていた。

そこで、本発明は、このような問題点に鑑みなされたものであり、歪みの少ない良好な車両周辺画像を低コストに表示することができる車両周辺監視装置およびこれに適用される歪み補正値の設定修正方法を提供することを目的とするものである。

前述した目的を達成するため、本発明の車両周辺監視装置は、車両に搭載された車載カメラによる前記車両の周辺の撮影映像に基づいて、前記車両の周辺を前記車両の上方から見下ろしたような画像である車両周辺画像を生成し、生成された前記車両周辺画像を表示部に表示する車両周辺監視装置であって、前記車載カメラは、所定の画角を有する広角カメラとされ、車両周辺監視装置本体は、前記車載カメラの撮影映像から、前記車両周辺画像の生成に使用される所定の使用映像領域内の映像を切り出す映像切り出し手段と、この映像切り出し手段によって切り出された前記映像に対して、設定された所定の歪み補正値を用いた歪み補正処理を行う歪み補正手段と、この歪み補正手段による前記歪み補正処理に用いられる前記歪み補正値を設定する設定手段と、前記歪み補正手段による前記歪み補正処理によって得られる映像を、この映像が示す領域を前記車両の上方の所定の視点から見たような画像へと視点変換することによって前記車両周辺画像を生成する視点変換手段と、所定の作業環境の下で、前記設定手段による前記歪み補正値の設定を修正可能とされた設定修正手段とを備えており、前記設定修正手段は、前記所定の作業環境としての既知の形状を有する所定の撮影対象物が前記車両の周辺に設置された作業環境の下で、前記車載カメラの撮影映像から、前記所定の撮影対象物が映し込まれた前記使用映像領域内の映像が切り出された後に、前記歪み補正手段を制御することにより、前記歪み補正手段に、歪み補正値の設定修正作業用の歪み補正処理として、前記設定手段によって現在設定されている第１の歪み補正値を用いた当該使用映像領域内の映像に対する歪み補正処理を行わせる歪み補正制御手段と、前記設定修正作業用の歪み補正処理によって得られる映像上、または、この映像に対する前記視点変換手段による前記視点変換によって得られた画像上における前記所定の撮影対象物の形状と、前記所定の撮影対象物の正規の形状とを比較することによって、前記設定修正作業用の歪み補正処理によって得られる映像、または、この映像に対する前記視点変換によって得られた画像から、当該歪み補正処理が正確に行われずに歪みが残存している当該映像内または当該画像内の領域である歪み領域を、この歪み領域における歪みの残存量とともに検出する歪み領域検出手段と、この歪み領域検出手段によって検出された前記歪み領域における前記歪みを補正することが可能な追加補正量を、前記歪みの残存量に基づいて求めた上で、求められた前記追加補正量を前記第１の歪み補正値に加算することによって、第２の歪み補正値を算出する歪み補正値算出手段と、前記設定手段を制御することにより、前記設定手段に、前記歪み補正値算出手段によって算出された前記第２の歪み補正値を、前記使用映像領域のうちの前記歪み領域に対応する特定の映像領域内の映像に対する前記歪み補正処理に用いられる前記歪み補正値として新たに設定させるとともに、前記使用映像領域のうちの前記特定の映像領域以外の映像領域については、前記第１の歪み補正値を引き続き前記歪み補正処理に用いられる前記歪み補正値として設定させ続ける設定制御手段とを備えていることによって、前記特定の映像領域に対応した前記歪み補正値の設定のみを修正するように形成されていることを特徴としている。

そして、このような構成によれば、設定修正手段により、設定修正作業用の歪み補正処理によって得られる映像、または、この映像に対する視点変換によって得られた画像から歪み領域を検出した上で、使用映像領域における歪み領域に対応する特定の映像領域以外の映像領域については、第１の歪み補正値に誤差が生じていないとみなして（扱って）、第２の歪み補正値を算出して歪み補正値の設定の修正を行う映像領域を、特定の映像領域に限定することができるので、使用映像領域における特定の映像領域については、第１の歪み補正値の誤差を確実に補正することができ、使用映像領域における特定の映像領域以外の映像領域については、第２の歪み補正値の算出を要することなく第１の歪み補正値を有効に活用することができる。この結果、歪みの少ない良好な車両周辺画像を低コストに表示することができる。

また、前記第１の歪み補正値は、歪み補正値の設計値とされていることが好ましい。

そして、このような構成によれば、歪み補正値の設計値を有効に活用することができ、コストをさらに削減することができる。

さらに、前記歪み領域検出手段は、前記設定修正作業用の歪み補正処理によって得られる映像、または、この映像に対する前記視点変換によって得られた画像から、前記所定の撮影対象物の特徴点を抽出し、抽出された前記特徴点に基づいて、当該映像上または当該画像上の前記所定の撮影対象物の形状と、前記所定の撮影対象物の正規の形状との比較を行うように形成されていることが好ましい。

そして、このような構成によれば、歪み領域検出手段により、設定修正作業用の歪み補正処理によって得られる映像上、または、この映像に対する視点変換によって得られた画像上の所定の撮影対象物の形状と、所定の撮影対象物の正規の形状とを、特徴点に基づいて比較することができるので、歪み補正値の設定の修正を簡便かつ迅速に行うことができ、作業性を向上させることができる。

さらにまた、前記所定の撮影対象物は、前記車両が載置されている平坦な作業面上における前記車両の周辺に、そのパターン面が前記作業面に平行になるように設置された格子パターンとされ、前記特徴点は、前記格子パターンにおける格子点とされていることが好ましい。

そして、このような構成によれば、所定の撮影対象物として規則的な形状の格子パターンを用いることによって、歪み領域を簡便かつ確実に検出することができるので、歪み補正値の設定の修正を正確に行うことができ、ひいては、良好な車両周辺画像を得ることができる。

また、前記第１の歪み補正値ならびに第２の歪み補正値が、前記車載カメラの内部パラメータとされていることが好ましい。

そして、このような構成によれば、歪み補正値として車載カメラの内部パラメータを用いることにより、適切な歪み補正処理を行うことができる。

本発明に係る歪み補正値の設定修正方法は、車両に搭載された車載カメラによる前記車両の周辺の撮影映像から、所定の使用映像領域内の映像を切り出し、切り出された前記映像に対して、設定された所定の歪み補正値を用いた歪み補正処理を行い、この歪み補正処理によって得られる映像を、この映像が示す領域を前記車両の上方の所定の視点から見たような画像へと視点変換することによって、前記車両の周辺を前記車両の上方から見下ろしたような画像である車両周辺画像を生成し、生成された前記車両周辺画像を表示部に表示する車両周辺監視装置において、所定の作業環境の下で、前記歪み補正処理に用いられる前記歪み補正値の設定を修正する歪み補正値の設定修正方法であって、前記所定の作業環境として、既知の形状を有する所定の撮影対象物が前記車両の周辺に設置された作業環境を設定し、この設定された作業環境の下で、前記車載カメラの撮影映像から、前記所定の撮影対象物が映し込まれた前記使用映像領域内の映像を切り出し、この切り出された映像に対して、歪み補正値の設定修正作業用の歪み補正処理として、現在設定されている第１の歪み補正値を用いた歪み補正処理を行い、この設定修正作業用の歪み補正処理によって得られる映像上、または、この映像に対する前記視点変換によって得られた画像上における前記所定の撮影対象物の形状と、前記所定の撮影対象物の正規の形状とを比較することによって、前記設定修正作業用の歪み補正処理によって得られる映像、または、この映像に対する前記視点変換によって得られた画像から、当該歪み補正処理が正確に行われずに歪みが残存している当該映像内または当該画像内の領域である歪み領域を、この歪み領域における歪みの残存量とともに検出し、この検出された前記歪み領域における前記歪みを補正することが可能な追加補正量を、前記歪みの残存量に基づいて求めた上で、求められた前記追加補正量を前記第１の歪み補正値に加算することによって、第２の歪み補正値を算出し、この算出された第２の歪み補正値を、前記使用映像領域のうちの前記歪み領域に対応する特定の映像領域内の映像に対する前記歪み補正処理に用いられる前記歪み補正値として新たに設定するとともに、前記使用映像領域のうちの前記特定の映像領域以外の映像領域については、前記第１の歪み補正値を引き続き前記歪み補正処理に用いられる前記歪み補正値として設定し続けることによって、前記特定の映像領域に対応した前記歪み補正値の設定のみを修正することを特徴としている。

そして、このような方法によれば、設定修正作業用の歪み補正処理によって得られる映像、または、この映像に対する視点変換によって得られた画像から歪み領域を検出した上で、使用映像領域における歪み領域に対応する特定の映像領域以外の映像領域については、第１の歪み補正値に誤差が生じていないとみなして、第２の歪み補正値を算出して歪み補正値の設定の修正を行う映像領域を、特定の映像領域に限定することができるので、使用映像領域における特定の映像領域については、第１の歪み補正値の誤差を確実に補正することができ、使用映像領域における特定の映像領域以外の映像領域については、第２の歪み補正値の算出を要することなく第１の歪み補正値を有効に活用することができる。この結果、歪みの少ない良好な車両周辺画像を低コストに表示することができる。

また、前記第１の歪み補正値として、歪み補正値の設計値を用いることが好ましい。

そして、このような方法によれば、歪み補正値の設計値を有効に活用することができ、コストをさらに削減することができる。

さらに、前記設定修正作業用の歪み補正処理によって得られる映像、または、この映像に対する前記視点変換によって得られた画像から、前記所定の撮影対象物の特徴点を抽出し、抽出された前記特徴点に基づいて、当該映像上または当該画像上の前記所定の撮影対象物の形状と、前記所定の撮影対象物の正規の形状との比較を行うことが好ましい。

そして、このような方法によれば、設定修正作業用の歪み補正処理によって得られる映像上、または、この映像に対する前記視点変換によって得られた画像上の所定の撮影対象物の形状と、所定の撮影対象物の正規の形状とを、特徴点に基づいて比較することができるので、歪み補正値の設定の修正を簡便かつ迅速に行うことができ、作業性を向上させることができる。

さらにまた、前記所定の撮影対象物として、前記車両が載置されている平坦な作業面上における前記車両の周辺に、そのパターン面が前記作業面に平行になるように設置された格子パターンを用いるとともに、前記特徴点として、前記格子パターンにおける格子点を用いることが好ましい。

そして、このような方法によれば、所定の撮影対象物として規則的な形状の格子パターンを用いることによって、歪み領域を簡便かつ確実に検出することができるので、歪み補正値の設定の修正を正確に行うことができ、ひいては、良好な車両周辺画像を得ることができる。

また、前記第１の歪み補正値ならびに第２の歪み補正値が、前記車載カメラの内部パラメータとして設定されていることが好ましい。

そして、このような方法によれば、歪み補正値として車載カメラの内部パラメータを用いることにより、適切な歪み補正処理を行うことができる。

本発明によれば、歪みの少ない良好な車両周辺画像を低コストに表示することができる。

以下、本発明に係る車両周辺監視装置の実施形態について、図１乃至図８および図１２を参照して説明する。

なお、従来と基本的構成が同一もしくはこれに類する箇所については、同一の符号を用いて説明する。

図１に示すように、本実施形態における車両周辺監視装置（車両周辺監視装置本体）１２は、自車両に搭載された４台の車載カメラ１４，１５，１６，１７を有しており、これらの車載カメラ１４，１５，１６，１７は、いずれも、魚眼レンズ等の広角レンズを備えた広角カメラとされているとともに、ＣＣＤやＣＭＯＳ等の固体撮像素子（撮像面３）を備えたデジタルカメラとされている。

これらの車載カメラ１４，１５，１６，１７のうちの１台は、自車両の前部に取付けられたフロントカメラ１４とされており、このフロントカメラ１４は、自車両の周辺における自車両の前方を中心とした所定の撮影領域を撮影するようになっている。他の３台の車載カメラ１５，１６，１７のうちの１台は、自車両の左側部に取り付けられた左サイドカメラ１５とされており、この左サイドカメラ１５は、自車両の周辺における自車両の左側方を中心とした所定の撮影領域を撮影するようになっている。他の２台の車載カメラ１６，１７のうちの１台は、自車両の右側部に取り付けられた右サイドカメラ１６とされており、この右サイドカメラ１６は、自車両の周辺における自車両の右側方を中心とした所定の撮影領域を撮影するようになっている。残りの１台の車載カメラ１７は、自車両の後部に取り付けられたバックカメラ１７とされており、このバックカメラ１７は、自車両の周辺における自車両の後方を中心とした所定の撮影領域を撮影するようになっている。

各車載カメラ１４，１５，１６，１７には、カメラ映像取得部１８が接続されており、このカメラ映像取得部１８は、各車載カメラ１４，１５，１６，１７から撮影映像を取得可能とされている。

カメラ映像取得部１８には、映像切り出し手段としての映像切り出し部２０が接続されており、この映像切り出し部２０には、カメラ映像取得部１８から、各車載カメラ１４，１５，１６，１７の撮影映像が入力されるようになっている。そして、映像切り出し部２０は、入力された各車載カメラ１４，１５，１６，１７の撮影映像のそれぞれから、車両周辺画像１（図９参照）の生成に使用される使用映像領域５内の映像を切り出すようになっている。なお、フロントカメラ１４の撮影映像における使用映像領域５内の映像は、車両周辺画像１における前方俯瞰画像１ａの生成に使用されることになる。また、左サイドカメラ１５の撮影映像における使用映像領域５内の映像は、車両周辺画像１における左側方俯瞰画像１ｂの生成に使用されることになる。さらに、右サイドカメラ１６の撮影映像における使用映像領域５内の映像は、車両周辺画像１における右側方俯瞰画像１ｃの生成に使用されることになる。さらにまた、バックカメラ１７の撮影映像における使用映像領域５内の映像は、車両周辺画像１における後方俯瞰画像１ｄの生成に使用されることになる。

映像切り出し部２０には、歪み補正手段としての歪み補正部２２が接続されており、この歪み補正部２２には、映像切り出し部２０によって切り出された各車載カメラ１４，１５，１６，１７にそれぞれ対応する使用映像領域５内の映像が入力されるようになっている。そして、歪み補正部２２は、映像切り出し部２０から入力された各使用映像領域５内の映像に対して、この歪み補正部２２に設定されている歪み補正値としての各車載カメラ１４，１５，１６，１７の内部パラメータをそれぞれ用いた歪み補正処理を行うようになっている。すなわち、任意の１台の車載カメラ１４，１５，１６，１７に対応する使用映像領域５内の映像（切り出された映像）に対しては、歪み補正部２２に設定された当該１台の車載カメラ１４，１５，１６，１７の内部パラメータを用いた歪み補正処理が行われるようになっている。この歪み補正処理は、歪み補正処理前の使用映像領域５内の映像における任意の画素と、この画素に歪み補正処理後において対応する画素との座標（ＸＹ座標）の対応関係が記述された所謂マッピングテーブルを用いることによって行うようにしてもよい。この場合、マッピングテーブルにおける前記座標の対応関係は、歪み補正部２２に設定されている内部パラメータを用いて規定されているものとなる。

歪み補正部２２には、設定手段としての内部パラメータ設定部２３が接続されており、この内部パラメータ設定部２３は、歪み補正部２２に対して、歪み補正処理に用いられる内部パラメータを設定するようになっている。

内部パラメータ設定部２３および各車載カメラ１４，１５，１６，１７には、設計値記憶部２４が接続されており、この設計値記憶部２４には、各車載カメラ１４，１５，１６，１７から取得された各車載カメラ１４，１５，１６，１７の内部パラメータの設計値が記憶されている。

内部パラメータ設定部２３は、車両周辺監視装置１２の製造当初には、設計値記憶部２４に記憶された内部パラメータの設計値を、歪み補正部２２に設定するようになっている。

なお、内部パラメータ設定部２３によって歪み補正部２２に設定される内部パラメータは、後述する内部パラメータの設定の修正によって変更可能とされている。

歪み補正部２２には、視点変換手段としての視点変換部２６が接続されており、この視点変換部２６には、歪み補正部２２による歪み補正処理によって得られた映像が入力されるようになっている。そして、視点変換部２６は、歪み補正部２２から入力された映像を、この映像が示す領域を自車両の上方の所定の視点から視たような画像へと視点変換するようになっている。これにより、フロントカメラ１４に対応する歪み補正処理後の映像は、前方俯瞰画像１ａへと視点変換されるようになっている。また、左サイドカメラ１５に対応する歪み補正処理後の映像は、左側方俯瞰画像１ｂへと視点変換されるようになっている。さらに、右サイドカメラ１６に対応する映像は、右側方俯瞰画像１ｃへと視点変換されるようになっている。さらにまた、バックカメラ１７に対応する映像は、後方俯瞰画像１ｄへと視点変換されるようになっている。このように、視点変換部２６による視点変換によって得られた各車載カメラ１４，１５，１６，１７に対応する画像１ａ，１ｂ，１ｃ，１ｄは、視点変換にともなって互いに合成されるとともに、視点変換部２６によって独自に生成されたイラスト画像１ｅにも合成されることによって、車両周辺画像１を形成するようになっている。

この視点変換は、視点変換前の映像における任意の画素と、この画素に視点変換後において対応する画素との座標（ＸＹ座標）の対応関係が記述された所謂マッピングテーブルを用いることによって行うようにしてもよい。

視点変換部２６には、表示部としてのディスプレイ２７が接続されており、このディスプレイ２７には、視点変換部２６による視点変換によって生成された車両周辺画像１が表示されるようになっている。

そして、本実施形態における車両周辺監視装置１２には、所定の作業環境の下で、内部パラメータ設定部２３による内部パラメータの設定を修正可能とされた設定修正手段としての内部パラメータ設定修正部３０を備えている。

この内部パラメータ設定修正部３０について詳述すると、図１に示すように、内部パラメータ設定修正部３０は、歪み補正制御手段としての歪み補正制御部３１を有しており、この歪み補正制御部３１には、映像切り出し部２０および歪み補正部２２がそれぞれ接続されている。

歪み補正制御部３１は、内部パラメータの設定の修正作業を行うための所定の作業環境として、図２に示すように、既知の形状を有する所定の撮影対象物としての格子パターン３２が自車両の周辺に設置された作業環境の下で、４台の車載カメラ１４，１５，１６，１７の撮影映像から、格子パターン３２が映し込まれた使用映像領域５内の映像がそれぞれ切り出されたことを、映像切り出し部２０の処理結果から検知するようになっている。

なお、図３は、使用映像領域５内に格子パターン３２が映し込まれた状態を示している。なお、上記格子パターン３２に替えて市松模様を用いても良い。

また、本実施形態における格子パターン３２は、自車両３３が載置されている平坦な作業面３４上における自車両の周辺に、そのパターン面が作業面３４に平行になるように設置されている。より具体的には、図２における格子パターン３２は、作業面３４上に、図２における縦方向に長尺な複数本の縦ラインパターン３５が、横方向に等間隔を設けて形成され、かつ、図２における横方向に長尺な複数本の横ラインパターン３６が、縦ラインパターン３５と交差するようにして縦方向に等間隔を設けて形成されていることによって、個々の格子が正方形に形成されている。各ラインパターン３５，３６は、作業面３４上に塗装や貼り付けによって形成されたものであってもよい。

そして、歪み補正制御部３１は、このような格子パターン３２が映し込まれた使用映像領域５内の撮影映像（以下、格子パターン映像と称する）が切り出された後には、歪み補正部２２を制御することにより、歪み補正部２２に、内部パラメータの設定修正作業用の歪み補正処理を行わせるようになっている。

この設定修正作業用の歪み補正処理は、内部パラメータ設定部２３によって現在設定されている各車載カメラ１４，１５，１６，１７ごとの内部パラメータ（すなわち、第１の歪み補正値）をそれぞれ用いた各車載カメラ１４，１５，１６，１７にそれぞれ対応する各格子パターン映像ごとに行われる歪み補正処理となっている。

ここで、前述のように、車両周辺監視装置１２の製造当初においては、内部パラメータ設定部２３によって歪み補正部２２に内部パラメータの設計値が設定されている。

したがって、車両周辺監視装置１２の製造後に初めて行われる設定修正作業用の歪み補正処理は、各車載カメラ１４，１５，１６，１７の内部パラメータの設計値を用いて行われることになる。

なお、図４は、格子パターン映像に対する設定修正作業用の歪み補正処理を模式的に示したものである。ただし、図４における歪み補正処理後の格子パターン映像は、内部パラメータ設定部２３によって現在設定されている内部パラメータ（例えば、設計値）に誤差があるため、歪み補正処理によっても歪みが補正し切れていない映像となっている。

本実施形態において、このような設定修正作業用の歪み補正処理によって得られた映像は、視点変換部２６によって視点変換されることによって、図５に示すような格子パターン画像３９が含まれた車両周辺画像１を形成するようになっている。

なお、図５における車両周辺画像１は、図４と同様に、内部パラメータ設定部２３によって現在設定されている内部パラメータに誤差があるため、歪みが除去し切れていない画像となっている。このことは、格子パターン画像３９が正規の正方形を呈していないことからも分かる。

上記構成に加えて、さらに、本実施形態において、内部パラメータ設定修正部３０は、歪み領域検出手段としての歪み領域検出部３８を有しており、この歪み領域検出部３８には、視点変換部２６が接続されている。

この歪み領域検出部３８には、設定修正作業用の歪み補正処理によって得られた映像に対する視点変換部２６による視点変換によって得られた画像、すなわち、格子パターン画像３９が含まれた車両周辺画像１（俯瞰画像１ａ，１ｂ，１ｃ，１ｄであってもよい）が入力されるようになっている。

また、歪み領域検出部３８には、格子パターン３２の正規の形状を示す格子パターンデータ４０が格納されている。

歪み領域検出部３８は、視点変換部２６から、格子パターン画像３９が含まれた車両周辺画像１が入力されると、この車両周辺画像１上における格子パターン３２（すなわち、格子パターン画像３５）の形状と、格子パターンデータ４０が示す格子パターン３２の正規の形状との比較を行うようになっている。そして、歪み領域検出部３８は、当該比較を行うことによって、格子パターン画像３９が含まれた車両周辺画像１から、歪み補正処理が正確に行われずに歪みが残存している当該車両周辺画像１内の領域である歪み領域を、この歪み領域における歪みの残存量とともに検出するようになっている。残存量の単位としては、例えば、ピクセルを用いればよい。

このとき、歪み領域検出部３８は、格子パターン画像３９が含まれた車両周辺画像１から、図６に示すように、格子パターンの特徴点としての格子パターン画像３５の格子点４１（縦ラインパターン３５と横ラインパターン３６との交点に相当する点）を画像認識によって抽出し、抽出された格子点４１の配列状態に基づいて、格子パターン画像３５の形状と格子パターン３２の正規の形状とを比較するようにしてもよい。この場合、格子パターンデータ４０は、格子パターン３２の格子点の正規の配列状態を示したものであってもよい。

なお、図６においては、破線の枠で囲まれた車両周辺画像１（俯瞰画像１ａ，１ｂ，１ｃ，１ｄ）上の領域が、歪み領域４５となっている。

上記構成に加えて、さらに、本実施形態において、内部パラメータ設定修正部３０は、歪み補正値算出手段としての内部パラメータ算出部４２を有しており、この内部パラメータ算出部４２には、歪み領域検出部３８が接続されている。

内部パラメータ算出部４２には、歪み領域検出部３８の検出結果が入力されるようになっている。そして、内部パラメータ算出部４２は、入力された検出結果に基づいて、追加補正量として、歪み領域検出部３８によって検出された歪み領域４５における歪みを補正すること（歪み補正処理の不足量を補うこと）が可能な内部パラメータの補正成分（例えば、前記画像主点や前記歪み補正パラメータを現在設定されている値から変更すべき量）を求めるようになっている。この内部パラメータの補正成分を求めるに際しては、歪み領域検出部３８によって検出された歪みの残存量が用いられるようになっている。そして、内部パラメータ算出部４２は、このように、内部パラメータの補正成分を求めた上で、求められた内部パラメータの補正成分を、内部パラメータ設定部２３によって現在設定されている内部パラメータに加算することによって、第２の歪み補正値としての内部パラメータの実測値を算出するようになっている。

この内部パラメータの実測値の算出は、歪み領域が検出された特徴点で構成される１ラインの各特徴点座標のあるべき座標との差異を算出することによって達成することができる。

ここで、特徴点は、対象パターンが格子状であることから、歪み補正された画像上において格子状にならなければならないが、図６で表されるように、第１の歪み補正値によって歪み補正された画像においては、ある領域では格子状の形状が維持されていない。

当該領域における特徴点の補正の方法として、特徴点の一つの並びに着目し、その並びが直線となるように各特徴点を移動させるための量（この量が追加補正量となる）を求める。

すなわち、まず、図６で抽出された特徴点から一並びの特徴点の座標（第１の歪み補正値で補正された座標）を抽出する。一並びの特徴点における原点座標は、各カメラの車両への取り付け位置において、車両から垂直方向に延びた所定の軸上にある特徴点とする。そして、この垂直方向に延びた軸上の特徴点に対して水平方向に存在する特徴点を一並びの特徴点として抽出し追加補正量を求める。

上記に基づき、前方俯瞰画像１ａで抽出された特徴点から一並びの特徴点１００を抽出したものを図１２に示す。

ここで、カメラで撮影された画像の上方向をＹ軸方向、右方向をＸ軸方向とする。図６の一点鎖線枠内にある一並びの特徴点１００は、Ｙ軸原点から４つ目の特徴点がＸ軸方向に並んだものである。

図１２（ａ）は、図６における一並びの特徴点１００を抽出したものでＹ軸方向の誤差を示したグラフである。ここで、図１２（ａ）において破線で示される複数の円は、特徴点の既知の位置（すなわち、本来あるべき位置）を示しており、一並びの特徴点１００における各特徴点から、これらに対応する破線で示される各円にそれぞれ向かう矢印が、各特徴点に対する追加補正量となる。

そして、図１２（ｂ）は、１２（ａ）において矢印で示された追加補正量に基づき、各特徴点を既知の位置に補正した補正後の一並びの特徴点１０１の状態を示す図である。

以上の手法を各カメラ１４，１５，１６，１７の各画像（撮影映像）に対する第１の歪み補正値を用いて補正された画像において更なる歪みが検出された特徴点に対して適用することによって、各カメラ画像において第１の歪み補正値（カメラの設計値）で補正しきれない領域についての第２の歪み補正値が求められる。

この内部パラメータの実測値は、使用映像領域５のうちの歪み領域４５に設定修正作業用の歪み補正処理前において対応する特定の映像領域に関する新たな内部パラメータとなる。

上記構成に加えて、さらに、本実施形態において、内部パラメータ設定修正部３０は、実測値記憶部４６を有しており、この実測値記憶部４６には、内部パラメータ設定部２３および内部パラメータ算出部４２がそれぞれ接続されている。実測値記憶部４６には、内部パラメータ算出部４２によって算出された内部パラメータの実測値が記憶されるようになっている。

上記構成に加えて、さらに、本実施形態において、内部パラメータ設定修正部３０は、設定制御手段としての内部パラメータ設定制御部４７を有しており、この内部パラメータ設定制御部４７には、内部パラメータ設定部２３および内部パラメータ算出部４２が接続されている。

内部パラメータ設定制御部４７は、内部パラメータ算出部４２によって内部パラメータの実測値が算出されると、内部パラメータ設定部２３を制御することにより、内部パラメータ設定部２３に、実測値記憶部４６に記憶された内部パラメータの実測値を取得させるようになっている。そして、内部パラメータ設定制御部４７は、内部パラメータ設定部２３に、実測値記憶部４６から取得された内部パラメータの実測値を、使用映像領域５のうちの歪み領域４５に対応する特定の映像領域内の映像に対する歪み補正処理に用いられる内部パラメータとして新たに設定させるようになっている。また、このとき、内部パラメータ設定制御部４７は、使用映像領域５のうちの前記特定の映像領域以外の映像領域については、現在設定されている内部パラメータを引き続き歪み補正処理に用いられる内部パラメータとして設定させ続けるようになっている。

このように構成されていることによって、内部パラメータ設定修正部３０は、前記特定の映像領域に対応した内部パラメータの設定のみを修正することが可能となっている。

そして、このような内部パラメータ設定修正部３０によって内部パラメータの設定を修正した後に、作業面３４上において車両周辺画像１を生成する場合には、図７に示すように、歪みのない良好な車両周辺画像１を生成してディスプレイ２７に表示することができる。

したがって、本実施形態によれば、格子パターン画像３９が含まれた車両周辺画像１から歪み領域４５を検出した上で、使用映像領域における歪み領域４５に対応する特定の映像領域以外の映像領域については、現在設定されている内部パラメータ（第１の歪み補正値）に誤差が生じていないとみなして、新たな内部パラメータ（第２の歪み補正値）を算出して内部パラメータの設定の修正を行う映像領域を、特定の映像領域に限定することができる。

これにより、現在設定されている内部パラメータ（設計値であってもよいし過去に実測された実測値であってもよい）のうちの誤差がない部分については、現在の値をそのまま活用することができるので、新たな内部パラメータの演算量を少なくすることができる。例えば、車両周辺監視装置１２の製造後に最初に設定修正作業用の歪み補正処理を行う場合には、誤差がない設計値については、これに替わる新たな内部パラメータを実測する必要がないので特に効果的である。

次に、本発明に係る歪み補正値の設定修正方法の本実施形態について、図８を参照して説明する。

なお、本実施形態においては、歪み補正値の設定修正方法として、前述した車両周辺監視装置１２に適用される内部パラメータの設定修正方法について説明する。

なお、初期状態において、歪み補正部２２には、内部パラメータ設定部２３により、各車載カメラ１４，１５，１６，１７の内部パラメータの設計値のみが設定されているものとする。このような場合の例としては、内部パラメータの設定修正作業が一度も行われていない場合や、設定修正作業が過去に行われたが、設計値に誤差が生じていない状態が継続されている場合が挙げられる。

そして、初期状態から、本実施形態においては、まず、ステップ１（ＳＴ１）に示すように、図２に示したような自車両の周辺に格子パターン３２が設置された作業環境を設定してステップ２（ＳＴ２）に進む。

次いで、ステップ２（ＳＴ２）においては、ステップ１（ＳＴ１）において設置された作業環境の下で、４台の車載カメラ１４，１５，１６，１７によって自車両の周辺を撮影した上で、映像切り出し部２０により、各車載カメラ１４，１５，１６，１７の撮影映像から、各車載カメラ１４，１５，１６，１７に対応する格子パターン映像をそれぞれ切り出す。

次いで、ステップ３（ＳＴ３）においては、歪み補正制御部３１の制御の下で、歪み補正部２２により、ステップ２（ＳＴ２）において切り出された各格子パターン映像に対して、各格子パターン映像にそれぞれ対応する各車載カメラ１４，１５，１６，１７の内部パラメータの設計値を用いた内部パラメータの設定修正作業用の歪み補正処理をそれぞれ行う（図４参照）。

次いで、ステップ４（ＳＴ４）においては、視点変換部２６により、ステップ３（ＳＴ３）における設定修正作業用の歪み補正処理によってそれぞれ得られた各映像を、対応する各俯瞰画像１ａ，１ｂ，１ｃ，１ｄへと視点変換するとともに、各俯瞰画像１ａ，１ｂ，１ｃ，１ｄおよびイラスト画像１ｅを互いに合成することによって、格子パターン画像３９が含まれた車両周辺画像１を生成する（図５参照）。

次いで、ステップ５（ＳＴ５）においては、歪み領域検出部３８により、ステップ４（ＳＴ４）において生成された車両周辺画像１（俯瞰画像１ａ，１ｂ，１ｃ，１ｄ）における格子パターン画像３５の形状と格子パターン３２の正規の形状とを比較することによって、歪み領域４５および歪み領域４５における歪みの残存量を検出する。

次いで、ステップ６（ＳＴ６）においては、内部パラメータ算出部４２により、ステップ５（ＳＴ５）において歪み領域４５が検出されたか否かを判定し、検出された場合にはステップ７（ＳＴ７）に進み、検出されなかった場合には、ステップ９（ＳＴ９）に進む。

ステップ７（ＳＴ７）においては、内部パラメータ算出部４２によって、使用映像領域５のうちの、歪み領域４５に設定修正作業用の歪み補正処理前において対応する特定の映像領域に関する内部パラメータの実測値（新たな内部パラメータ）を算出してステップ８（ＳＴ８）に進む。

一方、ステップ９（ＳＴ９）においては、内部パラメータの実測値の算出は行わずにステップ１０（ＳＴ１０）に進む。

次いで、ステップ８（ＳＴ８）においては、内部パラメータ設定制御部４７の制御の下で、内部パラメータ設定部２３により、ステップ７（ＳＴ７）において算出された内部パラメータの実測値を、使用映像領域５のうちの歪み領域４５に対応する特定の映像領域内の映像に対する歪み補正処理に用いられる内部パラメータとして新たに設定して処理を終了する。このとき、使用映像領域５のうちの前記特定の映像領域以外の映像領域については、現在設定されている内部パラメータの設計値を引き続き歪み補正処理に用いられる内部パラメータとして設定させ続ける。

一方、ステップ１０（ＳＴ１０）においては、内部パラメータの設定修正は行わず、全使用映像領域５について、内部パラメータの設計値の設定を継続して処理を終了する。

以上述べたように、本実施形態によれば、使用映像領域５における特定の映像領域については、現在設定されている内部パラメータの誤差を確実に補正することができ、使用映像領域５における特定の映像領域以外の映像領域については、内部パラメータの算出を要することなく現在設定されている内部パラメータを有効に活用することができるので、歪みの少ない良好な車両周辺画像１を低コストに表示することができる。

なお、本発明は、前述した実施の形態に限定されるものではなく、必要に応じて種々の変更が可能である。

例えば、前述した実施形態においては、歪み領域４５の検出の際に、車両周辺画像１（俯瞰画像１ａ，１ｂ，１ｃ，１ｄ）上の格子パターンの形状と、格子パターンの正規の形状とを比較するようになっているが、本発明は、このような構成に限定されるものではなく、例えば、内部パラメータの設定修正作業用の歪み補正処理によって得られた映像上の格子パターンの形状と、格子パターンの正規の形状とを比較した上で、当該映像上における歪みが残存している領域を、歪み領域として検出するようにしてもよい。

また、格子パターンに限定される必要は無く、特徴点として既知の形状を捉えることのできるパターン、例えば市松模様などを利用することも可能である。市松模様の場合、市松模様の黒枡と白枡の各頂点部分（黒枡の頂点が白枡の頂点と一致する場合も含む）を特徴点とすることとなる。

また、前述した実施形態においては、使用映像領域５内の映像に対する歪み補正処理と視点変換とを別工程において行うようになっていたが、歪み補正処理と視点変換とを例えば１つのマッピングテーブルを用いて一工程で（同時に）行うようにしてもよい。この場合には、歪み補正処理によって得られる映像が、得られるのと同時に視点変換される（視点変換された画像の状態として得られる）と考えればよい。この場合には、視点変換によって得られた画像上の所定の撮影対象物の形状を、歪み領域の検出に用いるようにすればよい。

さらに、内部パラメータの設定修正作業が行われる作業環境の条件としては、前述した実施形態における作業環境の条件に加えて、自車両が停止していることや、内部パラメータの設定修正作業を行う旨の特別なユーザ操作（入力操作）がなされたこと等の他の条件を追加してもよい。

さらにまた、前述した実施形態においては、所定の撮影対象物として格子パターン３２を採用していたが、本発明は、このような構成に限定されるものではなく、例えば、一般の路上に形成されている規制標示（例えば、最高速度を示す表示）を所定の撮影対象物としてもよい。ただし、この場合には、規制標示の正規の形状を予め認識してデータベースに保存しておくことが必要となる。

本発明に係る車両周辺監視装置の実施形態を示すブロック図 本発明に係る車両周辺監視装置の実施形態において、内部パラメータの設定修正作業を行うための作業環境の設定状態を示す図 本発明に係る車両周辺監視装置の実施形態において、内部パラメータの設定修正作業時における車載カメラの撮影映像を示す図 本発明に係る車両周辺監視装置の実施形態において、内部パラメータの設定修正作業用の歪み補正処理を示す図 本発明に係る車両周辺監視装置の実施形態において、内部パラメータの設定修正作業用の歪み補正処理および視点変換を経て生成された車両周辺監視画像を示す図 本発明に係る車両周辺監視装置の実施形態において、図５の車両周辺画像から抽出された格子点を模式的に示す図 本発明に係る車両周辺監視装置の実施形態において、内部パラメータの設定修正作業が行われた後の良好な車両周辺画像を示す図 本発明に係る歪み補正値の設定修正方法の実施形態を示すフローチャート 従来から採用されていた車両周辺画像の一例を示す図 車載カメラの撮影領域を示す図 車載カメラの内部パラメータを説明するための説明図 第２の歪み補正値算出方法を説明するための模式図

符号の説明

１ 車両周辺画像
１ａ 前方俯瞰画像
１ｂ 左側方俯瞰画像
１ｃ 右側方俯瞰画像
１ｄ 後方俯瞰画像
１２ 車両周辺監視装置
１４ フロントカメラ
１５ 左サイドカメラ
１６ 右サイドカメラ
１７ バックカメラ
２０ 映像切り出し部
２２ 歪み補正部
２３ 内部パラメータ設定部
２６ 視点変換部
２７ ディスプレイ
３０ 内部パラメータ設定修正部
３１ 歪み補正制御部
３８ 歪み領域検出部
４２ 内部パラメータ算出部
４７ 内部パラメータ設定制御部

Claims (10)

1. 車両に搭載された車載カメラによる前記車両の周辺の撮影映像に基づいて、前記車両の周辺を前記車両の上方から見下ろしたような画像である車両周辺画像を生成し、生成された前記車両周辺画像を表示部に表示する車両周辺監視装置であって、
   前記車載カメラは、所定の画角を有する広角カメラとされ、
   車両周辺監視装置本体は、
   前記車載カメラの撮影映像から、前記車両周辺画像の生成に使用される所定の使用映像領域内の映像を切り出す映像切り出し手段と、
   この映像切り出し手段によって切り出された前記映像に対して、設定された所定の歪み補正値を用いた歪み補正処理を行う歪み補正手段と、
   この歪み補正手段による前記歪み補正処理に用いられる前記歪み補正値を設定する設定手段と、
   前記歪み補正手段による前記歪み補正処理によって得られる映像を、この映像が示す領域を前記車両の上方の所定の視点から見たような画像へと視点変換することによって前記車両周辺画像を生成する視点変換手段と、
   所定の作業環境の下で、前記設定手段による前記歪み補正値の設定を修正可能とされた設定修正手段と
   を備えており、
   前記設定修正手段は、
   前記所定の作業環境としての既知の形状を有する所定の撮影対象物が前記車両の周辺に設置された作業環境の下で、前記車載カメラの撮影映像から、前記所定の撮影対象物が映し込まれた前記使用映像領域内の映像が切り出された後に、前記歪み補正手段を制御することにより、前記歪み補正手段に、歪み補正値の設定修正作業用の歪み補正処理として、前記設定手段によって現在設定されている第１の歪み補正値を用いた当該使用映像領域内の映像に対する歪み補正処理を行わせる歪み補正制御手段と、
   前記設定修正作業用の歪み補正処理によって得られる映像上、または、この映像に対する前記視点変換手段による前記視点変換によって得られた画像上における前記所定の撮影対象物の形状と、前記所定の撮影対象物の正規の形状とを比較することによって、前記設定修正作業用の歪み補正処理によって得られる映像、または、この映像に対する前記視点変換によって得られた画像から、当該歪み補正処理が正確に行われずに歪みが残存している当該映像内または当該画像内の領域である歪み領域を、この歪み領域における歪みの残存量とともに検出する歪み領域検出手段と、
   この歪み領域検出手段によって検出された前記歪み領域における前記歪みを補正することが可能な追加補正量を、前記歪みの残存量に基づいて求めた上で、求められた前記追加補正量を前記第１の歪み補正値に加算することによって、第２の歪み補正値を算出する歪み補正値算出手段と、
   前記設定手段を制御することにより、前記設定手段に、前記歪み補正値算出手段によって算出された前記第２の歪み補正値を、前記使用映像領域のうちの前記歪み領域に対応する特定の映像領域内の映像に対する前記歪み補正処理に用いられる前記歪み補正値として新たに設定させるとともに、前記使用映像領域のうちの前記特定の映像領域以外の映像領域については、前記第１の歪み補正値を引き続き前記歪み補正処理に用いられる前記歪み補正値として設定させ続ける設定制御手段と
   を備えていることによって、前記特定の映像領域に対応した前記歪み補正値の設定のみを修正するように形成されていること
   を特徴とする車両周辺監視装置。
2. 前記第１の歪み補正値は、歪み補正値の設計値とされていること
   を特徴とする請求項１に記載の車両周辺監視装置。
3. 前記歪み領域検出手段は、前記設定修正作業用の歪み補正処理によって得られる映像、または、この映像に対する前記視点変換によって得られた画像から、前記所定の撮影対象物の特徴点を抽出し、抽出された前記特徴点に基づいて、当該映像上または当該画像上の前記所定の撮影対象物の形状と、前記所定の撮影対象物の正規の形状との比較を行うように形成されていること
   を特徴とする請求項１または請求項２に記載の車両周辺監視装置。
4. 前記所定の撮影対象物は、前記車両が載置されている平坦な作業面上における前記車両の周辺に、そのパターン面が前記作業面に平行になるように設置された格子パターンとされ、前記特徴点は、前記格子パターンにおける格子点とされていること
   を特徴とする請求項３に記載の車両周辺監視装置。
5. 前記第１の歪み補正値ならびに第２の歪み補正値が、前記車載カメラの内部パラメータとされていること
   を特徴とする請求項１乃至請求項４のいずれか１項に記載の車両周辺監視装置。
6. 車両に搭載された車載カメラによる前記車両の周辺の撮影映像から、所定の使用映像領域内の映像を切り出し、切り出された前記映像に対して、設定された所定の歪み補正値を用いた歪み補正処理を行い、この歪み補正処理によって得られる映像を、この映像が示す領域を前記車両の上方の所定の視点から見たような画像へと視点変換することによって、前記車両の周辺を前記車両の上方から見下ろしたような画像である車両周辺画像を生成し、生成された前記車両周辺画像を表示部に表示する車両周辺監視装置において、所定の作業環境の下で、前記歪み補正処理に用いられる前記歪み補正値の設定を修正する歪み補正値の設定修正方法であって、
   前記所定の作業環境として、既知の形状を有する所定の撮影対象物が前記車両の周辺に設置された作業環境を設定し、
   この設定された作業環境の下で、前記車載カメラの撮影映像から、前記所定の撮影対象物が映し込まれた前記使用映像領域内の映像を切り出し、
   この切り出された映像に対して、歪み補正値の設定修正作業用の歪み補正処理として、現在設定されている第１の歪み補正値を用いた歪み補正処理を行い、
   この設定修正作業用の歪み補正処理によって得られる映像上、または、この映像に対する前記視点変換によって得られた画像上における前記所定の撮影対象物の形状と、前記所定の撮影対象物の正規の形状とを比較することによって、前記設定修正作業用の歪み補正処理によって得られる映像、または、この映像に対する前記視点変換によって得られた画像から、当該歪み補正処理が正確に行われずに歪みが残存している当該映像内または当該画像内の領域である歪み領域を、この歪み領域における歪みの残存量とともに検出し、
   この検出された前記歪み領域における前記歪みを補正することが可能な追加補正量を、前記歪みの残存量に基づいて求めた上で、求められた前記追加補正量を前記第１の歪み補正値に加算することによって、第２の歪み補正値を算出し、
   この算出された第２の歪み補正値を、前記使用映像領域のうちの前記歪み領域に対応する特定の映像領域内の映像に対する前記歪み補正処理に用いられる前記歪み補正値として新たに設定するとともに、前記使用映像領域のうちの前記特定の映像領域以外の映像領域については、前記第１の歪み補正値を引き続き前記歪み補正処理に用いられる前記歪み補正値として設定し続けることによって、前記特定の映像領域に対応した前記歪み補正値の設定のみを修正すること
   を特徴とする歪み補正値の設定修正方法。
7. 前記第１の歪み補正値として、歪み補正値の設計値を用いること
   を特徴とする請求項６に記載の歪み補正値の設定修正方法。
8. 前記設定修正作業用の歪み補正処理によって得られる映像、または、この映像に対する前記視点変換によって得られた画像から、前記所定の撮影対象物の特徴点を抽出し、抽出された前記特徴点に基づいて、当該映像上または当該画像上の前記所定の撮影対象物の形状と、前記所定の撮影対象物の正規の形状との比較を行うこと
   を特徴とする請求項６または請求項７に記載の歪み補正値の設定修正方法。
9. 前記所定の撮影対象物として、前記車両が載置されている平坦な作業面上における前記車両の周辺に、そのパターン面が前記作業面に平行になるように設置された格子パターンを用いるとともに、前記特徴点として、前記格子パターンにおける格子点を用いること
   を特徴とする請求項８に記載の歪み補正値の設定修正方法。
10. 前記第１の歪み補正値ならびに第２の歪み補正値が、前記車載カメラの内部パラメータとして設定されていること
    を特徴とする請求項６乃至請求項９のいずれか１項に記載の歪み補正値の設定修正方法。

Images