JP4863922B2 - 運転支援システム並びに車両 - Google Patents

Description

本発明は、車両の運転を支援するための運転支援システムに関する。また、本発明は、それらを利用した車両に関する。

車両後部に取り付けた車載カメラの映像を運転席に装備した表示装置に表示することで運転者の視界を支援するシステムが多く開発されている。この種のシステムにおいて、車両の構造又はデザイン上の制約或いはカメラの取り付け誤差に起因し、カメラが車両後部中央からずれた位置に取り付けられたり（図３（ｂ）参照）、カメラの光軸方向が車両進行方向からずれたりすることがある（図３（ａ）参照）。

カメラが車両後部中央からずれると、表示画面上で映像中心と車両中心の間にずれが生じ、光軸方向が車両進行方向からずれると、表示画面上で映像が傾いたように表示される（映像中心と車両中心の間のずれも生じる）。運転者は、このようなずれや傾きのある映像を見ながらの運転に違和感を覚えるため、十分な視界支援がなされない。

このような問題に対応するべく、車両中央からずれた位置にカメラが取り付けられている場合に生じる画像の偏りを補正する手法が、下記特許文献１に開示されている。この手法では、車両中央が画像の中心に位置するように且つ車両両端が画像の端部に位置するように、画像のラスタ毎のオフセット量に基づいて左右に分けたラスタデータを伸縮するようにしている。

特開２００５−１２９９８８号公報

しかしながら、特許文献１に記載の手法の如く、左右に分けたラスタデータを伸縮すると左右の画像が不均一となり、画像が不自然となってしまう。また、この手法は、カメラの光軸方向と消失点（無限遠点）方向とが一致している状態で有効に機能するものであるため、光軸方向が車両進行方向とずれている場合には対応できない。更に、補正を行うためのパラメータの調整が容易ではないため、カメラの取り付け位置や取り付け角度を変更した時に再調整作業が煩雑となるという問題もある。

そこで本発明は、カメラの多様な設置に対応して良好な視界支援を実現する運転支援システムを提供することを目的とする。また本発明は、それを利用した車両を提供することを目的とする。

本発明に係る第１の運転支援システムは、車両に設置され、前記車両の周辺を撮影するカメラを備え、所定のパラメータ導出指示を受けて、２つの特徴点を含む、第１及び第２地点での前記カメラの撮影画像を夫々第１及び第２校正用画像として取得する運転支援システムであって、実空間において前記２つの特徴点は前記車両の進行方向における車体中心線に対して対称位置に配置され、前記第１及び第２地点は前記車両の移動によって互いに異なり、当該運転支援システムは、前記第１及び第２校正用画像に含まれる合計４つの特徴点の画像上の位置を検出する特徴点位置検出手段と、前記４つの特徴点の各位置に基づいて画像変換パラメータを導出する画像変換パラメータ導出手段と、前記カメラの各撮影画像を前記画像変換パラメータに従って画像変換して出力画像を生成し、該出力画像を表す映像信号を表示装置に出力する画像変換手段と、を備えたことを特徴とする。

これにより、カメラの設置位置ずれや光軸方向ずれ等があっても、それらのずれの影響を排除或いは抑制した画像を表示することが可能となる。つまり、カメラの多様な設置に対応した、良好な視界支援を実現することが可能となる。

つまり例えば、前記画像変換パラメータ導出手段は、前記出力画像において前記車体中心線と画像中心線とが一致するように、前記画像変換パラメータを導出するとよい。

具体的には例えば、前記パラメータ導出指示を受けた後、前記カメラに第１及び第２校正用画像の候補としての候補画像を撮影させて各候補画像内に互いに異なる第１及び第２領域を定義し、前記第１領域から前記２つの特徴点が抽出された前記候補画像を前記第１校正用画像として取り扱う一方、前記第２領域から前記２つの特徴点が抽出された前記候補画像を前記第２校正用画像として取り扱う。

また具体的には例えば、前記第１及び第２校正用画像間において共通の第１及び第２車線が、互いに平行に前記車両が配置された路面上に形成されており、各特徴点は各車線の端点であり、前記特徴点位置検出手段は、第１及び第２校正用画像の夫々における前記第１車線の一端点と第１及び第２校正用画像の夫々における前記第２車線の一端点を検出することにより、合計４つの特徴点の位置を検出する。

また例えば、前記第１若しくは第２校正用画像又は前記画像変換パラメータが導出された後の前記カメラの撮影画像を検証用入力画像とし、前記検証用入力画像から前記画像変換パラメータの正常又は異常を判別する検証手段を更に備え、前記検証用入力画像には前記第１及び第２車線が描画され、前記検証手段は、前記検証用入力画像を前記画像変換パラメータに従って画像変換することにより得られた検証用変換画像から前記第１及び第２車線を抽出し、前記検証用変換画像上における前記第１及び第２車線間の対称性に基づいて前記画像変換パラメータの正常又は異常を判別する。

これにより、導出した画像変換パラメータの正常／異常を判別でき、その結果をユーザに知らしめることが可能となる。異常であれば、再度、画像変換パラメータの導出をやり直すといった対応が可能となり、有益である。

本発明に係る第２の運転支援システムは、車両に設置され、前記車両の周辺を撮影するカメラを備え、所定のパラメータ導出指示を受けて、４つの特徴点を含む前記カメラの撮影画像を校正用画像として取得する運転支援システムであって、調整用指標と共に前記校正用画像を表示装置に表示させ、前記表示装置の表示画面上における前記調整用指標の表示位置と各特徴点の表示位置とを対応させるために外部から与えられた位置調整指令に従って前記調整用指標の表示位置を調整する調整手段と、その調整後の前記調整用指標の表示位置から前記校正用画像上における前記４つの特徴点の位置を検出する特徴点位置検出手段と、前記４つの特徴点の各位置に基づいて画像変換パラメータを導出する画像変換パラメータ導出手段と、前記カメラの各撮影画像を前記画像変換パラメータに従って画像変換して出力画像を生成し、該出力画像を表す映像信号を表示装置に出力する画像変換手段と、を備え、前記画像変換パラメータ導出手段は、前記出力画像において、前記車両の進行方向における車体中心線と画像中心線とが一致するように、前記画像変換パラメータを導出することを特徴とする。

これにより、カメラの設置位置ずれや光軸方向ずれ等があっても、それらのずれの影響を排除或いは抑制した画像を表示することが可能となる。

本発明に係る第３の運転支援システムは、車両に設置され、前記車両の周辺を撮影するカメラを備え、所定のパラメータ導出指示を受けて、４つの特徴点を含む前記カメラの撮影画像を校正用画像として取得する運転支援システムであって、前記校正用画像に含まれる前記４つの特徴点の画像上の位置を検出する特徴点位置検出手段と、前記４つの特徴点の各位置に基づいて画像変換パラメータを導出する画像変換パラメータ導出手段と、前記カメラの各撮影画像を前記画像変換パラメータに従って画像変換して出力画像を生成し、該出力画像を表す映像信号を表示装置に出力する画像変換手段と、を備え、前記画像変換パラメータ導出手段は、前記出力画像において、前記車両の進行方向における車体中心線と画像中心線とが一致するように、前記画像変換パラメータを導出することを特徴とする。

これにより、カメラの設置位置ずれや光軸方向ずれ等があっても、それらのずれの影響を排除或いは抑制した画像を表示することが可能となる。

具体的には例えば、上記第２又は第３の運転支援システムにおいて、前記４つの特徴点は第１、第２、第３及び第４特徴点から成り、実空間において第１及び第２特徴点を結ぶ直線及び第３及び第４特徴点を結ぶ直線は前記車体中心線と平行であり、実空間においてそれらの直線の中心を通る線と前記車体中心線とが重なるような状態で、前記校正用画像は取得される。

また例えば、上記第２又は第３の運転支援システムにおいて、各特徴点は、前記車両が配置された路面上に形成された互いに平行な２本の車線の各端点である。

本発明に係る車両は、上記の何れかに記載の運転支援システムが設置されていることを特徴とする。

本発明によれば、カメラの多様な設置に対応して良好な視界支援を実現することができる。

本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。

以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。後に第１〜第３実施例を説明するが、まず、各実施例に共通する事項又は各実施例にて参照される事項について説明する。

図１（ａ）は、自動車である車両１００を上方から見た平面図である。図１（ｂ）は、車両１００を側方から見た平面図である。車両１００は、路面上に配置されているものとする。車両１００の後部には、車両１００後方の安全確認を支援するためのカメラ１が設置されている。カメラ１は、車両１００の後方側に視野を有するように車両１００に設置される。符号１０５が付された破線扇型領域は、カメラ１の撮影領域（視野）を表している。カメラ１の視野に車両１００付近の後方側路面が含まれるように、カメラ１は後方下向きに設置される。尚、車両１００として普通乗用車を例示しているが、車両１００は、普通乗用車以外（トラックなど）であってもよい。また、路面は水平面上にあるものとする。

今、車両１００を基準にし、実空間（実際の空間）において、仮想軸であるＸ_C軸及びＹ_C軸を定義する。Ｘ_C軸及びＹ_C軸は、路面上の軸であり、Ｘ_C軸とＹ_C軸は互いに直交する。Ｘ_C軸及びＹ_C軸から成る二次元座標系において、Ｘ_C軸は車両１００の進行方向に平行であり、車両１００の車体中心線はＸ_C軸上にのる。説明の便宜上、車両１００の進行方向とは、車両１００の直進時における進行方向を意味するものとする。また、車体中心線とは、車両１００の進行方向に平行な、車体の中心線を意味するものとする。より具体的には、車体中心線とは、車両１００の右端を通り且つＸ_C軸に平行な仮想線１１１と車両１００の左端を通り且つＸ_C軸に平行な仮想線１１２との間の中心を通る線である。また、車両１００の前端を通り且つＹ_C軸に平行な仮想線１１３と車両１００の後端を通り且つＹ_C軸に平行な仮想線１１４との間の中心を通る線はＹ_C軸上にのる。仮想線１１１〜１１４は、路面上の仮想線であるとする。

尚、車両１００の右端とは車両１００の車体の右端と同義であり、車両１００の左端等についても同様である。

図２に、本発明の実施形態に係る視界支援システムの概略ブロック図を示す。視界支援システムは、カメラ１、画像処理装置２、表示装置３及び操作部４を備える。カメラ１は、車両１００の周辺に位置する被写体（路面を含む）を撮影し、撮影によって得られた画像を表す信号を画像処理装置２に送る。画像処理装置２は、送られてきた画像に対して座標変換を伴う画像変換を施し、表示装置３に対する出力画像を生成する。この出力画像を表す映像信号は表示装置３に与えられ、表示装置３は、該出力画像を映像として表示する。操作部４は、ユーザからの操作を受け付け、その操作内容に応じた信号を画像処理装置２に伝達する。視界支援システムを、車両１００の運転を支援する運転支援システムとも呼ぶこともできる。

カメラ１として、例えばＣＣＤ（Charge Coupled Devices）を用いたカメラや、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを用いたカメラが用いられる。画像処理装置２は、例えば集積回路から形成される。表示装置３は、液晶ディスプレイパネル等から形成される。カーナビゲーションシステムなどに含まれる表示装置及び操作部を、視界支援システムにおける表示装置３及び操作部４として流用しても良い。また、画像処理装置２は、カーナビゲーションシステムの一部として組み込まれうる。画像処理装置２、表示装置３及び操作部４は、例えば、車両１００の運転席付近に設置される。

理想的には、カメラ１は、正確に車両後方を向けて車両後部中央に配置される。つまり、理想的には、カメラ１の光軸がＸ_C軸を含む鉛直面上にのるように、カメラ１は車両１００に設置される。このような理想的なカメラ１の設置状態を「理想設置状態」という。しかしながら、車両１００の構造又はデザイン上の制約或いはカメラ１の取り付け誤差に起因して、図３（ａ）に示す如くカメラ１の光軸がＸ_C軸を含む鉛直面と平行とならなかったり、図３（ｂ）に示す如くカメラ１の光軸がＸ_C軸を含む鉛直面に平行であっても該光軸が該鉛直面上にのらなかったりすることが多い。

説明の便宜上、カメラ１の光軸がＸ_C軸を含む鉛直面（換言すれば車両１００の進行方向）に平行とならないことを「カメラ方向ずれ」と呼び、カメラ１の光軸がＸ_C軸を含む鉛直面上にのらないことを「カメラ位置オフセット」と呼ぶ。カメラ方向ずれやカメラ位置オフセットが生じると、カメラ１によって撮影された画像が車両１００の進行方向に対して傾いたり、該画像の中心が車両１００の中心からずれたりする。本実施形態に係る視界支援システムは、このような画像の傾きやずれを補償した画像を生成及び表示する機能を備える。

＜＜第１実施例＞＞
本発明の第１実施例について説明する。図４は、第１実施例に係る視界支援システムの構成ブロック図である。図４の画像処理装置２は、符号１１〜１４にて参照される各部位を備える。

レンズ歪み補正部１１は、カメラ１の撮影によって得られた画像に対してレンズ歪み補正を行い、レンズ歪み補正後の画像を画像変換部１２及び端点検出部１３に出力する。レンズ歪み補正部１１から出力されるレンズ歪み補正後の画像を、以下「入力画像」と呼ぶ。尚、レンズ歪みがない或いは無視できる程度に少ないカメラを、カメラ１として利用する場合は、レンズ歪み補正部１１を省略することが可能である。この場合、カメラ１の撮影によって得られた画像を、直接、入力画像として画像変換部１２及び端点検出部１３に送ればよい。

画像変換部１２は、画像変換パラメータ算出部１４にて算出された画像変換パラメータを用いた画像変換を介して、入力画像から出力画像を生成し、その出力画像を表す映像信号を表示装置３に送る。

後述の説明から理解されるが、表示装置３に対する出力画像（及び後述する変換画像）は、入力画像を、理想設置状態にて車両１００に設置された仮想カメラの視点から見た画像に変換したものである。また、路面に対する、この仮想カメラの光軸の傾きは、実際のカメラ１のそれと同じ（或いは略同じ）である。つまり、入力画像を路面に投影するような変換（即ち、鳥瞰図画像への変換）は行われない。端点検出部１３及び画像変換パラメータ算出部１４の機能については、後述の説明から明らかとなる。

図５を参照して画像変換パラメータの導出手順を説明する。図５は、この導出手順を表すフローチャートである。まず、ステップＳ１０において、車両１００周辺の校正環境が以下のように整備される。図６は、整備されるべき校正環境を表す、上方から見た車両１００周辺の平面図である。但し、以下の構成環境は理想的なものであり、実際には誤差が含まれることになる。

車両１００は、駐車場における１つの駐車区画内に配置される。車両１００が駐車される駐車区画は、路面上に描かれた白線Ｌ１とＬ２によって他の駐車区画と区分けされている。路面上において、白線Ｌ１とＬ２は互いに平行であって且つ同じ長さを有する線分となっており、Ｘ_C軸と白線Ｌ１及びＬ２とが平行になるように車両１００は配置される。実空間において白線Ｌ１及びＬ２は一般的に１０ｃｍ程度のＹ_C軸方向の幅を有しており、Ｘ_C軸方向に伸びる白線Ｌ１及びＬ２の中心線を、夫々、中心線１６１及び１６２と呼ぶ。中心線１６１及び１６２は、Ｘ_C軸に平行となる。更に、Ｘ_C軸と中心線１６１との距離とＸ_C軸と中心線１６２との距離が一致するように、車両１００を着目した駐車区画内の中央に配置する。符号１６３及び１６４は、着目した駐車区画の後端路面に固定された縁石を表している。

また、符号Ｐ１は車両１００の後方側の白線Ｌ１の端点を表し、符号Ｐ２は車両１００の後方側の白線Ｌ２の端点を表す。符号Ｐ３は車両１００の前方側の白線Ｌ１の端点を表し、符号Ｐ４は車両１００の前方側の白線Ｌ２の端点を表す。端点Ｐ１及びＰ３は中心線１６１上に位置し、端点Ｐ２及びＰ４は中心線１６２上に位置するものとする。このように、実空間において、白線Ｌ１の端点と白線Ｌ２の端点はＸ_C軸（車両１００の車体中心線）に対して対称位置に配置されている。また、端点Ｐ１とＰ２を通る直線及び端点Ｐ３とＰ４を通る直線は、Ｘ_C軸に直交するものとする。

尚、中心線１６１上の点をＰ１と捉える必要は必ずしもなく、中心線１６１からずれた点をＰ１と捉えることも可能である。厳密には、白線Ｌ１の外形は長方形であり、例えば、その長方形の頂点をＰ１と捉えることも可能である（Ｐ２〜Ｐ４についても同様）。即ち例えば、図７に示す如く、白線Ｌ１の外形である長方形の４頂点の内、車両１００の後方側であって且つ車両１００に近い方に位置する頂点を頂点１７１ａとし、車両１００の後方側であって且つ車両１００に遠い方に位置する頂点を頂点１７１ｂとする。更に、白線Ｌ２の外形である長方形の４頂点の内、車両１００の後方側であって且つ車両１００に近い方に位置する頂点を頂点１７２ａとし、車両１００の後方側であって且つ車両１００に遠い方に位置する頂点を頂点１７２ｂとする。この場合において、角１７１ａ及び１７２ａを夫々端点Ｐ１及びＰ２として捉えるようにしてもよいし、或いは、角１７１ｂ及び１７２ｂを夫々端点Ｐ１及びＰ２として捉えるようにしてもよい。端点Ｐ３及びＰ４についても同様である。

第１実施例では、４つの端点Ｐ１〜Ｐ４の内、２つの端点Ｐ１及びＰ２をカメラ１の視野内に収めることを想定し、２つの端点Ｐ１及びＰ２に着目する。従って、以下の第１（及び第２）実施例の記述において、単に「白線Ｌ１の端点」及び「白線Ｌ２の端点」といった場合、それらは夫々「端点Ｐ１」及び「端点Ｐ２」を意味するものとする。

ステップＳ１０において上述の如く校正環境が整備された後、ユーザは、画像変換パラメータの導出を指示するための所定の指示操作を操作部４に対して施す。この指示操作が操作部４に対して施されると、操作部４から或いは操作部４に接続された制御部（不図示）から所定の指令信号が画像処理装置２に送られる。

ステップＳ１１では、この指令信号が画像処理装置２に入力されたか否かが判断される。この指令信号が画像処理装置２に入力されていない場合はステップＳ１１の処理が繰り返し実行され、この指令信号が画像処理装置２に入力された場合はステップＳ１２に移行する。

ステップＳ１２では、端点検出部１３が、レンズ歪み補正部１１によるレンズ歪み補正を介した、現時点のカメラ１の撮影画像に基づく入力画像を読み込む。端点検出部１３は、図８に示す如く、入力画像内の所定位置に互いに異なる第１検出領域と第２検出領域を定義する。図８において、符号２００が付された矩形領域内画像は、端点検出部１３に与えられる入力画像を表し、符号２０１及び２０２が付された波線矩形領域は、夫々、第１検出領域及び第２検出領域を表している。第１及び第２検出領域は、互いに重複する領域を有さず、入力画像の垂直方向に並んで配置されている。入力画像の左上隅を入力画像の原点Ｏとする。第１検出領域は、第２検出領域よりも原点Ｏに近い位置に配置されている。

入力画像において、下方側に位置する第１検出領域には車両１００から比較的近い路面の画像が描画され、上方側に位置する第２検出領域には車両１００から比較的遠い路面の画像が描画される。

ステップＳ１２に続くステップＳ１３において、端点検出部１３は、ステップＳ１２にて読み込んだ入力画像の第１検出領域内の画像から白線Ｌ１及びＬ２を検出し、更に白線Ｌ１及びＬ２の端点（図６における端点Ｐ１及びＰ２）を抽出する。画像内における白線を検出する手法及び白線の端点を検出する手法は公知であり、端点検出部１３は、公知の如何なる手法をも採用可能である。例えば、特開昭６３−１４２４７８号公報、特開平７−７８２３４号公報又は国際公開番号ＷＯ００／７３７３号に記載された手法を用いればよい。例えば、入力画像に対してエッジ抽出処理を行った後、そのエッジ抽出結果に対して更にハフ変換などを利用した直線抽出処理を実施し、得られた直線の端点を白線の端点として抽出する。

ステップＳ１３に続くステップＳ１４では、ステップＳ１３において入力画像の第１検出領域内の画像から白線Ｌ１及びＬ２の端点を検出できたか否かを判断し、２つの端点を検出できなかった場合はステップＳ１２に戻ってステップＳ１２〜Ｓ１４の処理を繰り返す一方、２つの端点を検出できた場合はステップＳ１５に移行する。

ステップＳ１３において２つの端点を検出できた入力画像を、特に「第１校正用画像」とも呼ぶ。図９（ａ）に、この第１校正用画像を示す。図９（ａ）において、符号２１０が付された矩形領域内画像は、第１校正用画像を表している。符合Ｌ１ａ及びＬ２ａは夫々第１校正用画像上における白線Ｌ１及びＬ２を表し、点Ｐ１ａ及びＰ２ａは夫々第１校正用画像上における端点Ｐ１及びＰ２を表す。上述の処理から明らかなように、ステップＳ１２にて読み込まれる入力画像は、第１校正用画像の候補と呼べる。

ステップＳ１５では、端点検出部１３が、レンズ歪み補正部１１によるレンズ歪み補正を介した、現時点のカメラ１の撮影画像に基づく入力画像を読み込む。ところで、ステップＳ１２〜Ｓ１７の処理の実行時において、ユーザは、ステップＳ１における車両１００の位置を基準として車両１００を前進させる。つまり、ステップＳ１２〜Ｓ１７の処理の実行時において、Ｘ_C軸と中心線１６１との距離とＸ_C軸と中心線１６２との距離とが一致している状態及び中心線１６１及び１６２がＸ_C軸と平行となっている状態を保ちつつ、ユーザは車両１００を前方方向に走行させる（図６参照）。従って、ステップＳ１２の実行時における車両１００及びカメラ１の実空間上の位置（第１地点）とステップＳ１５の実行時における車両１００及びカメラ１の実空間上の位置（第２地点）とは異なる。

ステップＳ１５に続くステップＳ１６において、端点検出部１３は、ステップＳ１５にて読み込んだ入力画像の第２検出領域内の画像から白線Ｌ１及びＬ２を検出し、更に白線Ｌ１及びＬ２の端点（図６における端点Ｐ１及びＰ２）を抽出する。白線Ｌ１及びＬ２の検出手法及び端点の抽出手法は、ステップＳ１３におけるそれと同様である。ステップＳ１２〜Ｓ１７の処理の実行時において車両１００は前進しているため、ステップＳ１５にて読み込んだ入力画像における白線Ｌ１及びＬ２の端点は、ステップＳ１２におけるそれらと比して入力画像の上方側にシフトするはずである。従って、ステップＳ１５にて読み込んだ入力画像の第２検出領域内に白線Ｌ１及びＬ２の端点は存在しうる。

尚、ステップＳ１２の実行時とステップＳ１５の実行時との間で車両１００が移動していなければ、ステップＳ１５以降の処理は無意味となる。従って、車両１００の走行速度を特定可能な車速パルスなどの車両移動情報に基づいて車両１００の移動状態を検出し、該移動状態を参照して図５の処理を実行するようにしてもよい。例えば、ステップＳ１３にて２つの端点が検出された後、車両１００の或る程度の移動が確認されるまでステップＳ１５に移行しないようにしてもよい。また、異なる時間の撮影に基づく入力画像間の差分に基づいて、車両１００の移動状態を検出することも可能である。

ステップＳ１６に続くステップＳ１７では、ステップＳ１６において入力画像の第２検出領域内の画像から白線Ｌ１及びＬ２の端点を検出できたか否かを判断し、２つの端点を検出できなかった場合はステップＳ１５に戻ってステップＳ１５〜Ｓ１７の処理を繰り返す一方、２つの端点を検出できた場合はステップＳ１８に移行する。

ステップＳ１６において２つの端点を検出できた入力画像を、特に「第２校正用画像」とも呼ぶ。図９（ｂ）に、この第２校正用画像を示す。図９（ｂ）において、符号２１１が付された矩形領域内画像は、第２校正用画像を表している。符合Ｌ１ｂ及びＬ２ｂは夫々第２校正用画像上における白線Ｌ１及びＬ２を表し、点Ｐ１ｂ及びＰ２ｂは夫々第２校正用画像上における端点Ｐ１及びＰ２を表す。上述の処理から明らかなように、ステップＳ１５にて読み込まれる入力画像は、第２校正用画像の候補と呼べる。

端点検出部１３は、ステップＳ１３及びＳ１６で検出された各端点の、第１及び第２校正用画像上における座標値を特定し、その座標値を画像変換パラメータ算出部１４に送る。ステップＳ１８において、画像変換パラメータ算出部１４は、各端点を特徴点として捉え、端点検出部１３から受けた各特徴点（各端点）の座標値に基づき、画像変換パラメータを算出する。

第１及び第２校正用画像を含む入力画像は、算出された画像変換パラメータによって画像変換（換言すれば座標変換）することができる。この画像変換後の入力画像を「変換画像」と呼ぶことにする。後にも説明するが、この変換画像から切り出された矩形画像が、画像変換部１２の出力画像となる。

図１０（ａ）は、図９（ａ）及び（ｂ）に示される第１及び第２校正用画像上における各端点を、１つの画像面に配置した仮想入力画像である。「カメラ方向ずれ」や「カメラ位置オフセット」に起因し、画像上において、画像中心線２３１と車両１００の車体中心線２３２が合致していないことが分かる。画像変換パラメータ算出部１４は、画像変換パラメータに基づく画像変換によってこの仮想入力画像から図１０（ｂ）に示される仮想出力画像が得られるように、画像変換パラメータを算出する。

図１１及び図１２を参照しつつ、ステップＳ１８の処理内容をより具体的に説明する。図１１において、符号２３０が付された矩形画像は入力画像を表し、符号２３１が付された四角形画像は変換画像を表し、符号２３２が付された矩形画像は出力画像を表す。入力画像における各点の座標を（ｘ，ｙ）にて表し、変換画像における各点の座標を（Ｘ，Ｙ）にて表す。ｘ及びＸは画像の水平方向の座標値であり、ｙ及びＹは画像の垂直方向の座標値である。

変換画像２３１の外形を形成する四角形の４頂点の座標値を、（Ｓ_a，Ｓ_b）、（Ｓ_c，Ｓ_d）、（Ｓ_e，Ｓ_f）及び（Ｓ_g，Ｓ_h）とする。そうすると、入力画像における座標（ｘ，ｙ）と変換画像における座標（Ｘ，Ｙ）との関係は、下記式（１ａ）及び（１ｂ）によって表される。

今、ステップＳ１３にて検出された第１校正用画像上の端点Ｐ１ａ及びＰ２ａの座標値を夫々（ｘ₁，ｙ₁）及び（ｘ₂，ｙ₂）とし、ステップＳ１６にて検出された第２校正用画像上の端点Ｐ１ｂ及びＰ２ｂの座標値を夫々（ｘ₃，ｙ₃）及び（ｘ₄，ｙ₄）とする（図９（ａ）及び（ｂ）参照）。画像変換パラメータ算出部１４は、（ｘ₁，ｙ₁）、（ｘ₂，ｙ₂）、（ｘ₃，ｙ₃）及び（ｘ₄，ｙ₄）を、入力画像上の４つの特徴点の座標値として取り扱う。また、画像変換パラメータ算出部１４が予め認識している既知情報に従いつつ、入力画像上の４つの特徴点に対応する変換画像上の４つの特徴点の座標値を定める。定められた４つの座標値を（Ｘ₁，Ｙ₁）、（Ｘ₂，Ｙ₂）、（Ｘ₃，Ｙ₃）及び（Ｘ₄，Ｙ₄）とする。

座標値（Ｘ₁，Ｙ₁）、（Ｘ₂，Ｙ₂）、（Ｘ₃，Ｙ₃）及び（Ｘ₄，Ｙ₄）を予め固定的に定めておくようにしてもよいが、それらを、座標値（ｘ₁，ｙ₁）、（ｘ₂，ｙ₂）、（ｘ₃，ｙ₃）及び（ｘ₄，ｙ₄）に応じて設定するようにしてもよい。但し、最終的に図１２に対応するような出力画像を得るべく、Ｙ₁＝Ｙ₂且つＹ₃＝Ｙ₄且つ（Ｘ₂−Ｘ₁）／２＝（Ｘ₄−Ｘ₃）／２、が成立するように、変換画像上における４つの特徴点の座標値は設定される。また更に、出力画像は鳥瞰図画像ではないため、Ｘ₁−Ｘ₃＜０且つＸ₂−Ｘ₄＞０、とされる。鳥瞰図画像とは、入力画像を車両上空から見たように座標変換して得られる画像であり、鳥瞰図画像は、入力画像を撮像面と平行でない路面に投影することにより得られる。

特徴点ごとに、（ｘ，ｙ）及び（Ｘ，Ｙ）として座標値（ｘ_i，ｙ_i）及び（Ｘ_i，Ｙ_i）を上記式（１ａ）及び（１ｂ）に代入すれば、式（１ａ）及び（１ｂ）におけるＳ_a、Ｓ_b、Ｓ_c、Ｓ_d、Ｓ_e、Ｓ_f、Ｓ_g及びＳ_hの各値が求まり、一旦、それらの値が求まれば、入力画像上の任意の点を変換画像上の点に座標変換することが可能である（ここで、ｉは１〜４の各整数）。Ｓ_a、Ｓ_b、Ｓ_c、Ｓ_d、Ｓ_e、Ｓ_f、Ｓ_g及びＳ_hの各値が、算出されるべき画像変換パラメータに相当する。

図１１に示す如く、変換画像の外形は通常矩形とならず、図４の表示装置３に表示されるべき出力画像は、変換画像から切り出した矩形領域内の画像とされる。尚、変換画像の外形が矩形となっている場合などにおいて、切り出し処理を介して出力画像を形成するのではなく、変換画像をそのまま出力画像として表示装置３に出力することも可能ではある。

変換画像から切り出される矩形領域の位置及びサイズは、変換画像上における４つの特徴点の位置から特定する。例えば、変換画像上における４つの特徴点の座標値に従って矩形領域の位置及びサイズが一意に定まるように、矩形領域の設定法を予め定めておく。この際、出力画像を左右に二分する、画像の垂直方向に伸びる画像中心線（図１２における線２５１）の水平方向の座標値を、（Ｘ₂−Ｘ₁）／２（＝（Ｘ₄−Ｘ₃）／２）に合致させる。これにより、出力画像において、垂直方向の画像中心線と車両１００の車体中心線とが合致するようになる。出力画像における車体中心線とは、実空間で定義される車体中心線を出力画像の画像面に配置したときに出力画像上に現れる仮想線を意味する。尚、切り出される矩形領域のサイズが最大化されるように、変換画像の画像形状に応じて矩形領域の位置及びサイズを決定するようにしても良い。

図１３は、図４の視界支援システムの全体の動作手順を表すフローチャートである。ステップＳ１の校正処理では、図５のステップＳ１０〜Ｓ１８の各処理が実施され、画像変換パラメータが算出される。ステップＳ２〜Ｓ４は、視界支援システムの実稼動時の動作に対応し、ステップＳ１の校正処理の後、ステップＳ２〜Ｓ４の各処理は繰り返し実行される。

即ち、ステップＳ１の校正処理の後、ステップＳ２において、画像変換部１２が、レンズ歪み補正部１１によるレンズ歪み補正を介した、現時点のカメラ１の撮影画像に基づく入力画像を読み込む。続くステップＳ３において、画像変換部１２は、読み込んだ入力画像をステップＳ１にて算出された画像変換パラメータに基づいて画像変換し、切り出し処理を介して出力画像を生成する。出力画像を表す映像信号は表示装置３に送られ、ステップＳ４において、表示装置３は出力画像を映像として表示する。ステップＳ４の処理の後、ステップＳ２に戻る。

尚、実際には例えば、ステップＳ１の後、画像変換パラメータの算出結果及び変換画像からの出力画像の切り出し方に従って、入力画像の各画素の座標値と出力画像の各画素の座標値との対応関係を示すテーブルデータを作成し、これを図示されないメモリ上のルックアップテーブル（ＬＵＴ）に格納しておく。そして、このテーブルデータを用いて、順次、入力画像を出力画像に変換するようにする。勿論、入力画像が与えられる度に上記式（１ａ）及び（１ｂ）に従う演算を実行することによって、出力画像を得るようにしてもよい。

図１４に、画像変換パラメータの導出後の入力画像、変換画像及び出力画像の例を示す。図１４は、図６に示す状態から車両１００を前進させた時の撮影を想定している。入力画像２７０、変換画像２７１及び出力画像２７２において、斜線が付された領域が白線Ｌ１及びＬ２が描画された領域である（図６には示されている縁石１６３等の図示を省略）。

「カメラ方向ずれ」や「カメラ位置オフセット」に起因して、入力画像２７０では、垂直方向の画像中心線と車両１００の車体中心線とがずれたり、傾いたりする。このため、車両１００の中央が駐車区画の中央に合致するように車両１００が駐車区画に正対しているのにも拘らず、入力画像２７０では２本の白線がずれたように現れるが、出力画像２７２では、これが補正されている。つまり、出力画像２７２では、垂直方向の画像中心線と車両１００の車体中心線（画像上の車体中心線）とが合致し、「カメラ方向ずれ」や「カメラ位置オフセット」の影響が排除されている。このため、車両進行方向に合致した違和感のない画像が表示され、運転者の視界が良好に支援される。

また、車両１００に対するカメラ１の取り付け位置や取り付け角度は変更されることも多いが、そのような変更があった場合でも、図５の各処理を実行するだけで適切な画像変換パラメータを容易に取得し直すことができる。

また、入力画像を路面に投影した鳥瞰図画像を表示するシステムでは、車両遠方領域の表示が困難となるが、本実施例（及び後述する他の各実施例）においては、このような投影を行うわけではないので、車両遠方領域の表示も可能となり車両遠方領域の視界も支援される。

以下に、第１実施例に係る上述の手法の変形手法を幾つか例示する。

上記式（１ａ）及び（１ｂ）に基づく画像変換パラメータによる画像変換は非線形変換に相当するが、ホモグラフィ行列を用いた画像変換またはアフィン変換を行うようにしても良い。例として、ホモグラフィ行列を用いた画像変換を説明する。このホモグラフィ行列をＨで表す。Ｈは、３行３列の行列であり、その行列の各要素をｈ₁〜ｈ₉で表す。更に、ｈ₉＝１であるとする（ｈ₉＝１、となるように行列を正規化する）。そうすると、座標（ｘ，ｙ）と座標（Ｘ，Ｙ）との関係は、下記式（２）よって表され、また、下記式（３ａ）及び（３ｂ）によって表すこともできる。

入力画像と変換画像との間で４つの特徴点の座標値対応関係が分かれば、Ｈは一意に定まる。４点の座標値対応関係に基づきホモグラフィ行列Ｈ（射影変換行列）を求める手法として、公知の手法を用いればよい。例えば、特開２００４−３４２０６７号公報に記載の手法（特に、段落［００５９］〜［００６９］に記載の手法を参照）を用いればよい。つまり、座標値（ｘ₁，ｙ₁）、（ｘ₂，ｙ₂）、（ｘ₃，ｙ₃）及び（ｘ₄，ｙ₄）が、夫々、座標値（Ｘ₁，Ｙ₁）、（Ｘ₂，Ｙ₂）、（Ｘ₃，Ｙ₃）及び（Ｘ₄，Ｙ₄）に変換されるように、ホモグラフィ行列Ｈの要素ｈ₁〜ｈ₈を求める。実際には、この変換の誤差（特開２００４−３４２０６７号公報における評価関数）が最小化されるように要素ｈ₁〜ｈ₈を求める。

一旦、ホモグラフィ行列Ｈが求まれば、上記式（３ａ）及び（３ｂ）に従って入力画像上の任意の点を変換画像上の点に変換することが可能である。このホモグラフィ行列Ｈを画像変換パラメータとして利用することにより、入力画像から変換画像（及び出力画像）を生成することができる。

また、図５を参照して説明した上述の画像変換パラメータの算出法では、ステップＳ１０の後、車両１００を前進させることを想定しているが、勿論、車両１００を後退させるようにしても同様の処理が可能である。勿論、前進を後退に変更するに伴って、上述の処理内容の一部が適切に変更される。

また、図５を参照して説明した上述の画像変換パラメータの算出法では、白線の端点Ｐ１及びＰ２（図６参照）を特徴点として捉えるようにしているが、図４の画像処理装置２が画像上で検出可能な第１及び第２のマーカ（不図示）を利用し、各マーカを特徴点として取り扱って画像変換パラメータを導出するようにしてもよい。マーカを利用した方が、より安定して良好な画像変換パラメータを算出できる。エッジ抽出処理などを利用することにより、画像上のマーカを検出することができる。例えば、第１及び第２のマーカを夫々端点Ｐ１及びＰ２と同じ位置に配置しておく（この場合、路面に白線が描かれている必要はない）。その上で、図５を参照して説明した上述の手法と同様の処理を行えば、端点Ｐ１及びＰ２を特徴点として利用する場合と同様の画像変換パラメータが得られる（端点Ｐ１及びＰ２が第１及び第２のマーカに置き換わるだけである）。

＜＜第２実施例＞＞
次に、本発明の第２実施例について説明する。図１５は、第２実施例に係る視界支援システムの構成ブロック図である。図１５の視界支援システムは、カメラ１、画像処理装置２ａ、表示装置３及び操作部４を備え、画像処理装置２ａは、符号１１〜１５にて参照される各部位を備える。つまり、第２実施例に係る視界支援システムは、第１実施例に係るそれに対して画像変換検証部１５を追加した構成を有し、画像変換検証部１５が追加されている点を除いて両視界支援システムは同様である。従って、以下、画像変換検証部１５の機能のみを説明する。第１実施例に記載した事項は、矛盾なき限り、第２実施例にも適用される。

図１６は、第２実施例に係る、画像変換パラメータの導出手順を表すフローチャートである。図１６の導出手順はステップＳ１０〜Ｓ２３の各処理から形成され、ステップＳ１０〜Ｓ１８の各処理は、図５のそれらと同様である。第２実施例では、ステップＳ１８の処理の後、ステップＳ１９に移行する。

ステップＳ１９では、検証用入力画像を設定する。具体的には、第１校正用画像又は第２校正用画像を検証用入力画像とする。ステップＳ１８の処理後における入力画像を検証用入力画像とすることも可能である。但し、この場合、そのステップＳ１８の処理後における入力画像の撮影時において、第１又は第２校正用画像の撮影時と同様、Ｘ_C軸と中心線１６１との距離とＸ_C軸と中心線１６２との距離が一致し且つ中心線１６１及び１６２がＸ_C軸と平行となっているものとする（図６参照）。そして、検証用入力画像には、白線Ｌ１及びＬ２が描画されているものとする。

ステップＳ１９に続くステップＳ２０において、画像変換検証部１５（又は画像変換部１２）は、検証用入力画像をステップＳ１８で算出した画像変換パラメータに従って画像変換し変換画像を生成する。ここで生成された変換画像を、検証用変換画像と呼ぶ。

検証用変換画像が得られた後、ステップＳ２１に移行する。ステップＳ２１において、画像変換検証部１５は、検証用変換画像内から白線Ｌ１及びＬ２を検出する。例えば、検証用変換画像に対してエッジ抽出処理を行った後、そのエッジ抽出結果に対して更にハフ変換などを利用した直線抽出処理を実施し、得られた２つの直線を、検証用変換画像内における白線Ｌ１及びＬ２とする。そして、画像変換検証部１５は、その２つの直線（即ち、白線Ｌ１及びＬ２）が検証用変換画像において左右対称となっているか否かを判別する。

図１７を参照して、この判別手法を例示する。図１７に、検証用変換画像３００を示す。検証用変換画像３００内において、符号３０１及び３０２が付された各直線が、検証用変換画像３００内から検出された白線Ｌ１及びＬ２である。尚、図１７では、便宜上、検証用変換画像３００の外形を長方形とし、白線Ｌ１及びＬ２の全体が検証用変換画像３００内に描画されている場合を取り扱っている。

画像変換検証部１５は、検証用変換画像の垂直ラインに対する直線３０１及び３０２の傾きを検出する。直線３０１及び３０２の傾き角度を、夫々θ₁及びθ₂で表す。直線３０１上の異なる２点の座標値から傾き角度θ₁を算出可能である（傾き角度θ₂についても同様）。検証用変換画像の垂直ラインから時計周り方向に見た直線３０１の傾き角度をθ₁とし、検証用変換画像の垂直ラインから反時計周り方向に見た直線３０２の傾き角度をθ₂とする。従って、０°＜θ₁＜９０°且つ０°＜θ₂＜９０°である。

そして、画像変換検証部１５は、θ₁とθ₂を対比し、θ₁とθ₂の差が所定の基準角度未満である場合に、検証用変換画像内における白線Ｌ１及びＬ２（即ち、直線３０１及び３０２）が左右対称であると判断し、故にステップＳ１８にて算出された画像変換パラメータが正常であると判断する（ステップＳ２２）。この場合、図１６における画像変換パラメータの算出は正常に終了し、以後、図１３のステップＳ２〜Ｓ４の各処理が実施される。

一方、θ₁とθ₂の差が上記基準角度以上である場合、検証用変換画像内における白線Ｌ１及びＬ２（即ち、直線３０１及び３０２）が左右対称でないと判断し、故にステップＳ１８にて算出された画像変換パラメータが異常であると判断する（ステップＳ２３）。この場合、例えば、算出された画像変換パラメータが不適切であることに対応する報知を表示装置３などを用いてユーザに報知する。

画像変換検証部１５を設けることにより、算出した画像変換パラメータが適切であるかを判断でき、その結果をユーザに知らしめることができる。算出した画像変換パラメータが不適切であることを知ったユーザは、適切な画像変換パラメータを得るべく、再度、校正処理を実行するといった対応が可能である。

＜＜第３実施例＞＞
次に、本発明の第３実施例について説明する。図１８は、第３実施例に係る視界支援システムの構成ブロック図である。図１８の視界支援システムは、カメラ１、画像処理装置２ｂ、表示装置３及び操作部４を備え、画像処理装置２ｂは、符号１１、１２、１４、１５、２１及び２２にて参照される各部位を備える。

レンズ歪み補正部１１、画像変換部１２、画像変換パラメータ算出部１４及び画像変換検証部１５の各機能は、第１又は第２実施例で述べたものと同様である。

図１９を参照して、本実施例に係る画像変換パラメータの導出手順を説明する。図１９は、この導出手順を表すフローチャートである。まず、ステップＳ３０において、車両１００周辺の校正環境が以下のように整備される。図２０は、整備されるべき校正環境を表す、上方から見た車両１００周辺の平面図である。但し、以下の構成環境は理想的なものであり、実際には誤差が含まれることになる。

ステップＳ３０において整備されるべき校正環境は、第１実施例のステップＳ１０におけるそれと類似している。ステップＳ３０では、ステップＳ１０において整備されるべき校正環境を基準として車両１００を前進させ、カメラ１の視野内に白線Ｌ１及びＬ２の夫々の両端点が含まれるようにする。それ以外は、ステップＳ１０と同様である。従って、Ｘ_C軸と中心線１６１との距離とＸ_C軸と中心線１６２との距離は一致し且つ中心線１６１及び１６２はＸ_C軸と平行となる。

ステップＳ３０にて校正環境が整備されると、車両１００から遠い側の白線Ｌ１及びＬ２の各端点はＰ１及びＰ２となり、車両１００に近い側の白線Ｌ１及びＬ２の各端点はＰ３及びＰ４となる。また、ステップＳ３０以降の画像変換パラメータの算出過程において、車両１００は静止しているものとする。

ステップＳ３０において上述の如く校正環境が整備された後、ユーザは、画像変換パラメータの導出を指示するための所定の指示操作を操作部４に対して施す。この指示操作が操作部４に対して施されると、操作部４から或いは操作部４に接続された制御部（不図示）から所定の指令信号が画像処理装置２ｂに送られる。

ステップＳ３１では、この指令信号が画像処理装置２ｂに入力されたか否かが判断される。この指令信号が画像処理装置２ｂに入力されていない場合はステップＳ３１の処理が繰り返し実行され、この指令信号が画像処理装置２に入力された場合はステップＳ３２に移行する。

ステップＳ３２では、調整用画像生成部２１が、レンズ歪み補正部１１によるレンズ歪み補正を介した、現時点のカメラ１の撮影画像に基づく入力画像を読み込む。ここで読み込んだ入力画像を校正用画像と呼ぶ。そして、ステップＳ３３において、調整用画像生成部２１は、この校正用画像に２本のガイドラインを重畳した画像を生成する。この画像を、調整用画像と呼ぶ。更に、調整用画像を表す映像信号を表示装置３に出力する。これにより、調整用画像が表示装置３の表示画面上に表示される。その後、ステップＳ３４に移行し、ガイドライン調整処理が行われる。

図２１（ａ）及び（ｂ）に、表示される調整用画像の例を示す。図２１（ａ）における符号４００はガイドライン調整前の調整用画像を表し、図２１（ｂ）における符号４０１はガイドライン調整後の調整用画像を表す。図２１（ａ）及び（ｂ）において、符号４１１及び４１２が付された斜線領域は調整用画像上の白線Ｌ１及びＬ２の描画領域である。調整用画像上において、白線Ｌ１及びＬ２の全体が描画されている。調整用画像上に描画された符号４２１及び４２２が付された各線分は、調整用画像上のガイドラインである。ユーザが、操作部４に対して所定操作を施すことによりガイドライン調整信号が調整用画像生成部２１に伝達される。調整用画像生成部２１は、そのガイドライン調整信号に従って、ガイドライン４２１の端点４３１及び４３３とガイドライン４２２の端点４３２及び４３４の表示位置を個別に変更する。

上記所定操作に応じたガイドラインの端点の表示位置の変更が、ステップＳ３４にて実行されるガイドライン調整処理である。ガイドライン調整処理は画像処理装置２ｂに調整終了信号が伝達されるまで実施される（ステップＳ３５）。ユーザは、図２１（ｂ）に示す如く、表示画面上においてガイドライン４２１の端点４３１及び４３３の表示位置が白線４１１の両端点（即ち、表示画面上における白線Ｌ１の端点Ｐ１及びＰ３）の表示位置と一致するように且つガイドライン４２２の端点４３２及び４３４の表示位置が白線４１２の両端点（即ち、表示画面上における白線Ｌ２の端点Ｐ２及びＰ４）の表示位置と一致するように、操作部４を操作する。この操作が完了すると、ユーザは操作部４に対して所定の調整終了操作を施し、これによって調整終了信号が画像処理装置２ｂに伝達されて、ステップＳ３６に移行する。

ステップＳ３６において、特徴点検出部２２は、画像処理装置２ｂに調整終了信号を伝達された時点における端点４３１〜４３４の表示位置から、その時点における端点４３１〜４３４の、校正用画像上の座標値を特定する。この４つの端点４３１〜４３４が校正用画像上の特徴点であり、ステップＳ３６にて特定された、端点４３１及び４３２の座標値を夫々（ｘ₃，ｙ₃）及び（ｘ₄，ｙ₄）とし、端点４３３及び４３４の座標値を夫々（ｘ₁，ｙ₁）及び（ｘ₂，ｙ₂）とする。これらの座標値は、特徴点の座標値として画像変換パラメータ算出部１４に送られ、ステップＳ３７に移行する。

ステップＳ３７では、画像変換パラメータ算出部１４が、校正用画像上の４つの特徴点の座標値（ｘ₁，ｙ₁）、（ｘ₂，ｙ₂）、（ｘ₃，ｙ₃）及び（ｘ₄，ｙ₄）と、既知情報に基づく座標値（Ｘ₁，Ｙ₁）、（Ｘ₂，Ｙ₂）、（Ｘ₃，Ｙ₃）及び（Ｘ₄，Ｙ₄）と、に基づいて画像変換パラメータを算出する。この算出法及び座標値（Ｘ₁，Ｙ₁）、（Ｘ₂，Ｙ₂）、（Ｘ₃，Ｙ₃）及び（Ｘ₄，Ｙ₄）の定め方は、第１実施例で説明したそれらと同じである（図１２等参照）。入力画像を画像変換パラメータに従って画像変換することにより変換画像が得られ、この変換画像から矩形領域を切り出すことによって出力画像が生成されるが、矩形領域の切り出し方も第１実施例と同様とされる。これにより、第１実施例と同様、出力画像において、垂直方向の画像中心線と車両１００の車体中心線（図１２における線２５１）とが合致することになる。尚、第１実施例でも述べたが、変換画像をそのまま出力画像として表示装置３に出力することも可能ではある。

ステップＳ３７の後、ステップＳ１９に移行する。ステップＳ１９〜Ｓ２３の各処理は、第２実施例におけるそれらと同じである。本実施例において、ステップＳ１９にて設定される検出用入力画像は上記の校正用画像となる。また、ステップＳ３７の処理後における入力画像を検証用入力画像とすることも可能である。但し、検証用入力画像は、ステップＳ３０にて整備されるべき校正環境の条件を満たした上で撮影されるものとする。

ステップＳ１９に続くステップＳ２０において、画像変換検証部１５（又は画像変換部１２）は、検証用入力画像をステップＳ３７で算出した画像変換パラメータに従って画像変換し検証用変換画像を生成する。画像変換検証部１５は、検証用変換画像内から白線Ｌ１及びＬ２を検出し、白線Ｌ１及びＬ２が検証用変換画像において左右対称となっているか否かを判別する（ステップＳ２１）。そして、白線Ｌ１及びＬ２の対称性に基づきステップＳ３７にて算出された画像変換パラメータの正常又は異常を判別する。その判別結果は、表示装置３などを用いてユーザに報知される。

図１８の視界支援システムの全体の動作手順は、第１実施例において図１３を参照して説明したそれと同様である。但し、本実施例では、図１３のステップＳ１の校正処理が、図１９のステップＳ３０〜Ｓ３７及びＳ１９〜Ｓ２３の各処理にて形成される。

本実施例のように視界支援システムを構成しても、校正処理後の出力画像において、垂直方向の画像中心線と車両１００の車体中心線（画像上の車体中心線）とが合致するようになり、「カメラ方向ずれ」や「カメラ位置オフセット」の影響が排除される。その他の点においても、第１及び第２実施例と同様の効果が得られる。

以下に、第３実施例に係る上述の手法の変形手法を幾つか例示する。

図２０等を参照して説明した上述の画像変換パラメータの算出法では、白線の端点Ｐ１〜Ｐ４を特徴点として捉えるようにしているが、図１８の画像処理装置２ｂが画像上で検出可能な第１〜第４のマーカ（不図示）を利用し、各マーカを特徴点として取り扱って画像変換パラメータを導出するようにしてもよい。例えば、第１〜第４のマーカを夫々端点Ｐ１〜Ｐ４と同じ位置に配置しておく（この場合、路面に白線が描かれている必要はない）。その上で、図１９を参照して説明した上述の手法と同様の処理を行えば、端点Ｐ１〜Ｐ４を特徴点として利用する場合と同様の画像変換パラメータが得られる（端点Ｐ１〜Ｐ４が第１〜第４のマーカに置き換わるだけである）。

また、図１８の特徴点検出部２２に白線検出機能を持たせるようにしてもよい。この場合、調整用画像生成部２１を省略可能であり、調整用画像生成部２１を利用した図１９の処理の一部も省略可能である。つまり、この場合、特徴点検出部２２に、校正用画像内に存在する白線Ｌ１及びＬ２を検出させ、更に、校正用画像上における白線Ｌ１及びＬ２の夫々の両端点の座標値（合計４つの座標値）を検出させる。そして、検出した各座標値を、特徴点の座標値として画像変換パラメータ算出部１４に送れば、ガイドライン調整処理を必要とすることなく、上述のガイドラインを利用する場合と同様の画像変換パラメータが得ることができる。但し、ガイドラインを利用した方が画像変換パラメータの算出精度が安定する。

勿論、ガイドラインを利用しない手法は、上述の第１〜第４のマーカを利用して画像変換パラメータを導出する場合にも適用できる。この場合、特徴点検出部２２に、エッジ抽出処理などを用いて校正用画像内に存在する第１〜第４のマーカを検出させ、更に、校正用画像上における各マーカの座標値（合計４つの座標値）を検出させる。そして、検出した各座標値を、特徴点の座標値として画像変換パラメータ算出部１４に送れば、上述のガイドラインを利用する場合と同様の画像変換パラメータを得ることができる。尚、周知の如く、特徴点の個数は４以上であればよい。即ち、４以上の任意の個数の特徴点の座標値に基づいて上述のガイドラインを利用する場合と同様の画像変換パラメータを得ることができる。

また、図１８の画像変換検証部１５を省略し、図１９の校正処理からステップＳ１９〜Ｓ２３の各処理を省略することも可能である。

＜＜変形等＞＞
或る実施例に説明した事項は、矛盾なき限り、他の実施例にも適用することができる。この適用の際、適宜、符号の相違（符号２と２ａと２ｂの相違など）はないものとして解釈される。上述の実施形態の変形例または注釈事項として、以下に、注釈１〜注釈４を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。

［注釈１］
典型的な例として、路面上に白色にて形成された車線（即ち、白線）を利用して画像変換パラメータを導出する手法を上述したが、車線は必ずしも白線に分類されるものである必要はない。即ち、白線の代わりに、白色以外で形成された車線を利用して画像変換パラメータを導出するようにしてもよい。

［注釈２］
第３実施例において、表示画面上の白線の端点の表示位置を指定するための調整用指標としてガイドラインを用いる例を示したが、何らかのユーザ指令によって、表示画面上の白線の端点の表示位置を指定できる限り、任意の形態の調整用指標を用いることができる。

［注釈３］
図４、図１５又は図１８の画像処理装置２、２ａ又は２ｂの機能は、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアの組み合わせによって実現可能である。画像処理装置２、２ａ又は２ｂにて実現される機能の全部または一部を、プログラムとして記述し、該プログラムをコンピュータ上で実行することによって、その機能の全部または一部を実現するようにしてもよい。

［注釈４］
例えば、以下のように考えることができる。上述の各実施例において、運転支援システムは、カメラ１と画像処理装置（２、２ａ又は２ｂ）を含み、更に表示装置３及び／又は操作部４を含みうる。

本発明の実施形態に係る視界支援システムが適用された車両を上方から見た平面図（ａ）と車両を側方から見た平面図（ｂ）である。 本発明の実施形態に係る視界支援システムの概略ブロック図である。 車両に対するカメラの取り付け状態例を示す図である。 本発明の第１実施例に係る視界支援システムの構成ブロック図である。 本発明の第１実施例に係る、画像変換パラメータの導出手順を表すフローチャートである。 本発明の第１実施例に係り、整備されるべき校正環境を表す、上方から見た車両周辺の平面図である。 白線の端点の解釈手法に関する変形例を説明するための図である。 図４の端点検出部にて定義される、入力画像内の領域分割状態を示す図である。 本発明の第１実施例に係り、画像変換パラメータの導出の際に用いられる第１及び第２校正用画像を表す図である。 図９の第１及び第２校正用画像上における各端点を、１つの画像面に配置した仮想入力画像（ａ）と、それに対応する仮想出力画像（ｂ）を表す図である。 入力画像と変形画像と出力画像の対応関係を示す図である。 画像変換パラメータの導出の際に想定される、仮想的な出力画像を示す図である。 図４の視界支援システムの全体の動作手順を表すフローチャートである。 図４の視界支援システムにおける、入力画像、変換画像及び出力画像の例を示す図である。 本発明の第２実施例に係る視界支援システムの構成ブロック図である。 本発明の第２実施例に係る、画像変換パラメータの導出手順を表すフローチャートである。 本発明の第２実施例に係る検証用変換画像を示す図である。 本発明の第３実施例に係る視界支援システムの構成ブロック図である。 本発明の第３実施例に係る、画像変換パラメータの導出手順を表すフローチャートである。 本発明の第３実施例に係り、整備されるべき校正環境を表す、上方から見た車両周辺の平面図である。 本発明の第３実施例に係り、表示装置に表示される調整用画像を示す図である。

符号の説明

１ カメラ
２、２ａ、２ｂ 画像処理装置
３ 表示装置
４ 操作部
１１ レンズ歪み補正部
１２ 画像変換部
１３ 端点検出部
１４ 画像変換パラメータ算出部
１５ 画像変換検証部
２１ 調整用画像生成部
２２ 特徴点検出部
Ｌ１、Ｌ２ 白線
Ｐ１〜Ｐ４ 端点
１００ 車両

Claims (5)

1. 車両に設置され、前記車両の周辺を撮影するカメラを備え、
   所定のパラメータ導出指示を受けて、２つの特徴点を含む、第１及び第２地点での前記カメラの撮影画像を夫々第１及び第２校正用画像として取得する運転支援システムであって、
   実空間において前記２つの特徴点は前記車両の進行方向における車体中心線に対して対称位置に配置され、前記第１及び第２地点は前記車両の移動によって互いに異なり、
   当該運転支援システムは、
   前記第１及び第２校正用画像に含まれる合計４つの特徴点の画像上の位置を検出する特徴点位置検出手段と、
   前記４つの特徴点の各位置に基づいて画像変換パラメータを導出する画像変換パラメータ導出手段と、
   前記カメラの各撮影画像を前記画像変換パラメータに従って画像変換して出力画像を生成し、該出力画像を表す映像信号を表示装置に出力する画像変換手段と、を備えた
   ことを特徴とする運転支援システム。
2. 前記画像変換パラメータ導出手段は、前記出力画像において前記車体中心線と画像中心線とが一致するように、前記画像変換パラメータを導出する
   ことを特徴とする請求項１に記載の運転支援システム。
3. 前記パラメータ導出指示を受けた後、前記カメラに第１及び第２校正用画像の候補としての候補画像を撮影させて各候補画像内に互いに異なる第１及び第２領域を定義し、前記第１領域から前記２つの特徴点が抽出された前記候補画像を前記第１校正用画像として取り扱う一方、前記第２領域から前記２つの特徴点が抽出された前記候補画像を前記第２校正用画像として取り扱う
   ことを特徴とする請求項１または請求項２に記載の運転支援システム。
4. 前記第１及び第２校正用画像間において共通の第１及び第２車線が、互いに平行に前記車両が配置された路面上に形成されており、各特徴点は各車線の端点であり、
   前記特徴点位置検出手段は、第１及び第２校正用画像の夫々における前記第１車線の一端点と第１及び第２校正用画像の夫々における前記第２車線の一端点を検出することにより、合計４つの特徴点の位置を検出する
   ことを特徴とする請求項１〜請求項３の何れかに記載の運転支援システム。
5. 前記第１若しくは第２校正用画像又は前記画像変換パラメータが導出された後の前記カメラの撮影画像を検証用入力画像とし、前記検証用入力画像から前記画像変換パラメータの正常又は異常を判別する検証手段を更に備え、
   前記検証用入力画像には前記第１及び第２車線が描画され、
   前記検証手段は、前記検証用入力画像を前記画像変換パラメータに従って画像変換することにより得られた検証用変換画像から前記第１及び第２車線を抽出し、前記検証用変換画像上における前記第１及び第２車線間の対称性に基づいて前記画像変換パラメータの正常又は異常を判別する
   ことを特徴とする請求項４に記載の運転支援システム。

Images