JP6243758B2 - 車両周辺監視装置、車両周辺監視方法、及びプログラム - Google Patents

Description

本発明は、車両に搭載されたカメラにて車両周辺を監視する技術に関する。

従来から、サイドミラーの位置に設置されたカメラで撮影した画像をドライバへ提示するシステムが知られている（特許文献１）。また、車両の前後左右に広角のカメラを搭載し、それらの画像を合成してトップビュー画像を生成して、ドライバへ提示するシステムが知られている（特許文献２）。また、トップビュー向けのカメラを利用して、同時にステレオ測距により対象物までの距離を測定するシステムが開示されている（特許文献３、特許文献４）。特許文献４には、トップビュー画像の生成に加えて、右サイドカメラと左サイドカメラの視差から、車両の前方にある障害物までの距離を算出することが記載されている。

特開平７−２２３４８７号公報 特開２００７−１８３８７７号公報 特開２００８−１６２３０８号公報 特開２０１０−１８７１６１号公報

上述した従来の技術では、車両に搭載されたカメラで撮影した画像からトップビュー画像を生成したり、障害物までの距離を算出することができたが、その処理に用いる画像を撮影するためのカメラを用意する必要があった。

すなわち、特許文献３に記載された発明は、車両に取り付けられた前後左右のカメラのいずれかと位置・姿勢を制御可能なルーフカメラのいずれか２台を組み合わせ、ステレオ視により距離測定する。この場合、トップビュー向けのカメラ以外に別途前後に移動可能なルーフカメラを設ける必要がある。

特許文献４に記載された発明は、前後左右のカメラのうち、左右のカメラが回転し視点が変化する機構になっている。これにより、トップビュー利用時には、左右カメラは横向きで用い、前方の障害物の距離を測定したい場合は、左右カメラの視点を前方に変化させてステレオ測距を行う。この場合、回転機構の付いたカメラを設置する必要がある。

そこで、本発明は、新たなカメラを設けることなく、ステレオ測距を行うことができる車両周辺監視装置を提供することを目的とする。

本発明の車両周辺監視装置は、車両の側部に設けられ、後方を撮影するサイドカメラと、車両の後部に設けられ、広角で後方を撮影するリアカメラと、前記サイドカメラで撮影したサイドカメラ画像と前記リアカメラで撮影したリアカメラ画像とから、後方にある物体までの距離を測定する測距部とを備え、前記測距部は、前記リアカメラ画像の一部を切り出して歪みを補正する歪み補正部と、前記サイドカメラ画像または前記リアカメラ画像のいずれか一方から前記物体の特徴点を検出し、当該特徴点に対応する点を、前記サイドカメラ画像または前記リアカメラ画像の他方のエピポーラ線上から探索する特徴点探索部と、前記サイドカメラ画像中の特徴点と、それに対応する前記リアカメラ画像中の特徴点との位置関係に基づいて、前記物体までの距離を求めるステレオ測距部とを備える。

本発明では、例えば、サイドカメラは電子ミラー用に取り付けられているものを利用し、リアカメラはアラウンドビュー用に取り付けられているものを利用する。したがって、サイドカメラとリアカメラはそれぞれの目的にあった仕様のカメラが採用されている。すなわち、サイドカメラはサイドミラーに代わる映像を提供するためのカメラなのに対し、リアカメラは後方の車両や障害物をドライバに見せるため１８０度に近い広角で後方を撮影するカメラである。また、サイドカメラとリアカメラは取り付けられた高さや撮影方向が異なる。本発明は、本来は異なる目的で搭載されたカメラの画像を生かし、視野の重なっている領域でステレオ視による測距を行うものである。

本発明では、歪み補正部にてリアカメラ画像の歪み補正を行うことにより、周辺部の歪みが大きいリアカメラ画像を用いたステレオ測距を可能としている。本発明は、以上のような工夫をすることにより、電子ミラー用のカメラとアラウンドビュー用のカメラという、本来は全く異なる目的で搭載されたカメラの画像を利用して、後方車両までの距離を計算することができる。

本発明の車両周辺監視装置は、前記サイドカメラ画像または前記リアカメラ画像に基づいて、前記物体までの概算距離を求める距離概算部と、前記特徴点探索部は、前記サイドカメラ画像または前記リアカメラ画像のいずれか一方から前記物体の特徴点を検出し、当該特徴点に対応する点を、前記サイドカメラ画像または前記リアカメラ画像の他方のエピポーラ線上であって、かつ前記概算距離に応じた範囲から探索してもよい。

このように距離概算部にて、サイドカメラ画像またはリアカメラ画像から後方車両までの概算距離を求めておき、概算距離に応じた範囲で後方車両の特徴点の探索を行うことにより、対応する特徴点の探索をさらに効率良く行えると共に探索の精度を高めることができる。

本発明の車両周辺監視装置において、前記測距部は、前記物体として後方車両までの距離を測定するものであって、前記概算距離に基づいて、前記リアカメラ画像中の後方車両の正面方向からの傾き量を求め、当該傾き量を用いて前記リアカメラ画像を後方車両を正面から見た画像に射影変換する射影変換部を備え、前記特徴点探索部は、射影変換された前記リアカメラ画像を用いて、対応する特徴点の探索を行ってもよい。

このように射影変換部にて後方車両を正面から見た画像に変換することにより、サイドカメラ画像と広角で撮影したリアカメラ画像との間で対応する特徴点の探索を適切に行うことができる。

本発明の車両周辺監視装置において、前記特徴点探索部は、前記サイドカメラ画像と前記リアカメラ画像の大きさを調整した画像を用いて、対応する特徴点の探索を行ってもよい。

この構成により、サイドカメラとリアカメラの仕様や取り付け位置の違いに起因する画像の大きさの違いを補正し、対応する特徴点の探索を適切に行うことができる。

本発明の別の態様の車両周辺監視装置は、車両の側部に設けられ、後方を撮影するサイドカメラと、車両の後部に設けられ、広角で後方を撮影するリアカメラと、前記サイドカメラで撮影したサイドカメラ画像と前記リアカメラで撮影したリアカメラ画像とから、後方にある物体までの距離を測定する測距部とを備え、前記測距部は、前記リアカメラ画像の一部を切り出して歪みを補正する歪み補正部と、前記サイドカメラと前記リアカメラの取付位置及び撮影方向に基づいて、前記サイドカメラ画像と前記リアカメラ画像のエピポーラ線が平行になるように前記サイドカメラ画像及び前記リアカメラ画像を補正する平行化補正部と、前記サイドカメラ画像及び前記リアカメラ画像を水平方向に走査して、前記サイドカメラ画像及び前記リアカメラ画像において対応する特徴点を探索する特徴点探索部と、前記サイドカメラ画像中の特徴点と、それに対応する前記リアカメラ画像中の特徴点との位置関係に基づいて、前記物体までの距離を求めるステレオ測距部とを備える。

エピポーラ線が平行になるようにサイドカメラ画像及びリアカメラ画像を補正することにより、対応する特徴点の探索を行う際に、水平方向に特徴点を探索していけばよいので、特徴点の探索を容易に行うことができる。

本発明の車両周辺監視装置において、前記歪み補正部は、右側のサイドカメラによって撮影された画像中の前記物体までの距離を求めるときには、前記リアカメラ画像の右半分を切り出して歪みを補正し、左側のサイドカメラによって撮影された画像中の前記物体までの距離を求めるときには、前記リアカメラ画像の左半分を切り出して歪みを補正してもよい。これにより、後方にある物体が映っている部分を適切に切り出すことができる。

本発明の車両周辺監視方法は、車両の側部に設けられて後方を撮影するサイドカメラと、車両の後部に設けられて広角で後方を撮影するリアカメラとを有する車両周辺監視装置によって、後方にある物体までの距離を求める方法であって、前記車両周辺監視装置が、前記リアカメラにて撮影したリアカメラ画像の一部を切り出して歪みを補正するステップと、前記車両周辺監視装置が、前記サイドカメラ画像または前記リアカメラ画像のいずれか一方から前記物体の特徴点を検出し、当該特徴点に対応する点を、前記サイドカメラ画像または前記リアカメラ画像の他方のエピポーラ線上から探索するステップと、前記車両周辺監視装置が、前記サイドカメラ画像中の特徴点と、それに対応する前記リアカメラ画像中の特徴点との位置関係に基づいて、前記物体までの距離を求めるステップとを備える。

本発明の別の態様の車両周辺監視方法は、車両の側部に設けられて後方を撮影するサイドカメラと、車両の後部に設けられて広角で後方を撮影するリアカメラとを有する車両周辺監視装置によって、後方にある物体までの距離を求める方法であって、前記車両周辺監視装置が、前記リアカメラにて撮影したリアカメラ画像の一部を切り出して歪みを補正するステップと、前記車両周辺監視装置が、前記サイドカメラと前記リアカメラの取付位置及び撮影方向に基づいて、前記サイドカメラにて撮影したサイドカメラ画像と前記リアカメラ画像のエピポーラ線が平行になるように前記サイドカメラ画像及び前記リアカメラ画像を補正するステップと、前記車両周辺監視装置が、前記サイドカメラ画像及び前記リアカメラ画像を水平方向に走査して、前記サイドカメラ画像及び前記リアカメラ画像において対応する特徴点を探索するステップと、前記車両周辺監視装置が、前記サイドカメラ画像中の特徴点と、それに対応する前記リアカメラ画像中の特徴点との位置関係に基づいて、前記物体までの距離を求めるステップとを備える。

本発明のプログラムは、上記した車両周辺監視方法の各ステップを実行するプログラムである。

本発明によれば、測距のために用いる新たなカメラを追加することなく、後方にある物体までの距離をステレオ測距することができる。

第１の実施の形態の車両周辺監視装置の構成を示す図である。 サイドカメラ及びリアカメラの取り付け位置を示す図である。 （ａ）はリアカメラ画像の例を示す図である。（ｂ）はリアカメラ画像の左半分を切り出して歪み補正した画像を示す図である。（ｃ）は後方車両が正面向きになるように射影変換した画像を示す図である。 後方車両が後方５ｍに接近した例を示す図である。 （ａ）はサイドカメラ画像の例を示す図、（ｂ）は歪み補正を行ったリアカメラ画像を示す図である。 第１の実施の形態の車両周辺監視装置のハードウェアの構成を示す図である。 第１の実施の形態の車両周辺監視装置の動作を示す図である。 第２の実施の形態の車両周辺監視装置の構成を示す図である。 第２の実施の形態の車両周辺監視装置の動作を示す図である。

以下、本発明の実施の形態の車両周辺監視装置について図面を参照しながら説明する。以下では、後方にある物体として後方車両までの距離を測距する例を挙げて説明するが、本発明は、後方を走行する車両に限らず、例えば、後方にある障害物（例えば車止め等）までの距離を測距する場合にも適用することができる。

（第１の実施の形態）
図１は、第１の実施の形態の車両周辺監視装置１の構成を示す図である。車両周辺監視装置１は、車両に取り付けられたサイドカメラ１０及びリアカメラ１１と、サイドカメラ１０で撮影した画像（これを「サイドカメラ画像」という）及びリアカメラ１１で撮影した画像（これを「リアカメラ画像」という）に基づいて、後方車両までの距離を求める測距部１２とを有している。

図２は、サイドカメラ１０及びリアカメラ１１の車両への取り付け位置を示す図である。車両側部のサイドミラーのある位置にサイドカメラ１０が取り付けられている。サイドカメラ１０は、斜め後方に向けて取り付けられ、車両の側方から後方を撮影する。サイドカメラ１０にて撮影した画像を車内のモニタに表示することにより、あたかもサイドミラーに映る景色をドライバに見せることができる。サイドカメラ１０の画角は９０度以下である。リアカメラ１１は、車両の後部に取り付けられている。リアカメラ１１の画角は約１８０度である。なお、サイドカメラ１０及びリアカメラ１１の設置位置及び姿勢についてはキャリブレーションが行われ、リアカメラ１０とサイドカメラ１１の相対的な位置及び姿勢は既知である。

図１に戻って、車両周辺監視装置１の構成について説明を続ける。測距部１２は、リアカメラ１１にて取得したリアカメラ画像の歪みを補正する歪み補正部１３と、画像に映る後方車両が正面向きになるようにリアカメラ画像を射影変換する射影変換部１５とを有している。歪み補正部１３及び射影変換部１５は、広角のリアカメラ画像を用いて適切に測距を行うための前処理を行うものである。

図３（ａ）〜図３（ｃ）は、歪み補正部１３及び射影変換部１５により、リアカメラ画像の補正について説明するための図である。図３（ａ）は、リアカメラ画像に映る後方車両の例を示す図である。前述のとおり、リアカメラ１１は約１８０度の広角で撮影を行うので、画像の周縁部において大きな歪みが発生する。

歪み補正部１３は、図３（ａ）に太線で囲って示すように、リアカメラ画像の半分を切り出して、歪みの補正を行う。図３（ｂ）は歪み補正を行ったリアカメラ画像を示す図である。図３（ａ）の画像は画角が約１８０度の画像であるが、歪み補正後の図３（ｂ）の画像は画角が４０度の画像に相当する。なお、歪み補正部１３が、リアカメラ画像の左右いずれを切り出すかについては、右側のサイドカメラ１０と連携して測距を行う場合には、リアカメラ画像の右半分を切り出し、左側のサイドカメラ１０と連携して測距を行う場合には、リアカメラ画像の左半分を切り出す。

測距部１２は、後方車両までのおよその距離（概算距離）を計算する距離概算部１４を有している。距離概算部１４は、公知技術にしたがって、後方車両までの概算距離を求める。例えば、サイドカメラ画像から、レーン内に存在する横方向のエッジを用いる、あるいは、車両前面の画像をあらかじめ学習しておいた識別器を用いて車両前面を検出し、その下端を利用するなどの方法によって、後方車両の下端を検出する。そして、測距部１２は、検出した下端の位置に基づいて後方車両までの概算距離を求める。サイドカメラ１０の設置位置、及び姿勢は事前にキャリブレーションされており、路面の位置を計算できるので、サイドカメラ画像中の下端の位置からサイドカメラ１０までの距離を算出することができる。

後方車両が隣のレーンを走行している場合や追い越しをしようとしている場合のように、自車両の真後ろではない場所にいる場合には、リアカメラ画像で撮影した画像に映る後方車両は、自車両に近くなるにしたがって正面から回転した向きに映り、車両の側面が見える割合が大きくなる。例えば、図３（ｂ）に示す画像においては、後方車両は、左側面が見える方向に回転して映っている。この場合、画像中に映る特徴点を適切にマッチングすることが困難になるので、射影変換部１５は、後方車両が正面向きになるように画像を射影変換する。

射影変換部１５は、図３（ｂ）に太線を囲って示すように、リアカメラ画像中から、例えば、エンブレムやナンバープレート等の特徴点を含む車両の前面の画像を切り出す。ここで、車両の前面は平面であると仮定する。図４は、後方車両が後方５ｍに接近した例を示す図である。図４において、直線Ａは、後方車両の前面を含む平面を示す線である。リアカメラ１１が撮影した画像中で、当該平面は正面から角度αだけ傾いて映っている。射影変換部１５は、後方車両が正面向きの画像になるように、つまりリアカメラ１１の撮影方向に対して後方車両の前面を含む平面が垂直になるように、切り出した画像を射影変換する。図４の例では、角度αだけ回転して直線Ｂに示すような平面に変換する。なお、測距部１２によって後方車両までの距離を概算する際に、後方車両の下端、あるいは車両の正面領域が求まっている場合には、それを利用してもよい。これにより、車両前面の広い領域を用いて、以後の対応点探索を行ってもよい。

射影変換部１５は、リアカメラ画像に映る後方車両の前面が正面から傾いている量を求めるため、後方車両までの概算距離のデータを用いる。上述したとおり、後方車両が自車両の真後ろにいない場合には、後方車両は、隣りのレーンを走行しているか、あるいは、自車両を追い越そうとしている場合であり、自車両の走行方向の軸に垂直な方向に数ｍ程度離れている。したがって、後方車両までの概算距離が分かれば、後方車両のおよその方向が分かり、後方車両がどの程度回転して映っているかを把握できるからである。

測距部１２は、サイドカメラ画像及びリアカメラ画像に含まれる対応する特徴点を探索する特徴点探索部１６と、探索された特徴点の位置に基づいて後方車両までの距離をステレオ測距するステレオ測距部１７とを有している。

特徴点探索部１６は、サイドカメラ画像中から、後方車両の特徴点を検出する。特徴点としては、例えば、エンブレムやナンバープレート、ランプ等を用いることができる。夜間の場合には、ランプが有効である。続いて、特徴点探索部１６は、検出された特徴点に対応する特徴点をリアカメラ画像中から探索する。この際、特徴点探索部１６は、検出された特徴点がリアカメラ画像中で存在する可能性のある直線であるエピポーラ線を求め、エピポーラ線上において、対応する特徴点を探索する。また、特徴点探索部１６は、距離概算部１４から後方車両までの概算距離のデータを受け取り、概算距離に基づいて特徴点がどの範囲に存在するかを求め、当該範囲においてエピポーラ線上を探索する。これにより、対応する特徴点の探索の処理を著しく軽減することができる。

特徴点探索部１６によって対応する特徴点を探索する方法は、サイドカメラ画像において特徴点を含む所定の単位領域の画像と、リアカメラ画像の所定の単位領域の画像とを比較することにより、両画像の類似度が所定の閾値よりも高い場合に、対応する特徴点（を含む単位領域）であると判断する。この際、リアカメラ画像の単位領域は、サイドカメラ画像の単位領域よりも大きくし、リアカメラ画像から切り出した単位領域の画像をサイドカメラ画像と同じ大きさに縮小してから比較することが望ましい。なぜなら、サイドカメラよりも後方に設置されたリアカメラの方が後方車両に近く、リアカメラ画像の方がサイドカメラ画像よりも後方車両が大きく映るからである。このとき、各単位領域の大きさは、後方車両までの概算距離に基づいて決定することができる。

なお、本実施の形態では、先にサイドカメラ画像の中から車両の特徴点を検出し、検出した特徴点に対応する特徴点をリアカメラ画像から探索する手順を例として説明したが、先に、リアカメラ画像から車両の特徴点を検出し、検出した特徴点に対応する特徴点をサイドカメラ画像から探索することとしてもよい。

ステレオ測距部１７は、対応する特徴点の位置関係に基づいて、後方車両までの距離をステレオ測距する。図５（ａ）はサイドカメラ画像の例を示す図であり、図５（ｂ）は歪み補正部１３によって画角４０度相当の画像に補正されたリアカメラ画像を示す図である。図５（ａ）及び図５（ｂ）に示すように、サイドカメラ画像及びリアカメラ画像から、エンブレムが特徴点として検出された。前述したとおり、サイドカメラ１０とリアカメラ１１の設置位置及び姿勢の相対的な関係は既知である。ステレオ測距部１７は、画像中におけるエンブレムの位置と、サイドカメラ１０及びリアカメラ１１の取り付け位置及び取り付け方向とに基づいて、三角測量の原理によって、後方車両までの距離を計算する。

図６は、車両周辺監視装置１のハードウェア構成を示す図である。車両周辺監視装置１は、ＣＰＵ２０と、ＲＡＭ２１と、ＲＯＭ２２と、モニタ２４と、ハードディスク２５と、サイドカメラ１０と、リアカメラ１１とを備えている。ＲＯＭ２２には、車両周辺監視のためのプログラム２３が記憶されている。ＣＰＵ２０がこのプログラム２３を読み出して実行することにより、上述した車両周辺監視装置１を実現することができる。このようなプログラム２３も本発明の範囲に含まれる。

図７は、第１の実施の形態の車両周辺監視装置１の動作を示すフローチャートである。車両周辺監視装置１は、まず、サイドカメラ１０及びリアカメラ１１にて車両周辺を撮影し、撮影したサイドカメラ画像及びリアカメラ画像を測距部１２に入力する（Ｓ１０）。

測距部１２は、リアカメラ画像の入力を受けると、歪み補正部１３にて、リアカメラ画像の半分を切り出して、切り出した画像の歪み補正を行う（Ｓ１１）。これにより、リアカメラ画像は、実質的に画角４０度の画像に補正される。続いて、測距部１２は、サイドカメラ画像に映る後方車両までの概算距離を計算する（Ｓ１２）。

次に、射影変換部１５は、ステップＳ１２で求めた概算距離のデータを用いて、後方車両が正面向きからどの程度傾いて映っているかを計算し、求めた傾き量を用いて、後方車両が正面向きになるようにリアカメラ画像を射影変換する（Ｓ１３）。

続いて、特徴点探索部１６は、サイドカメラ画像から後方車両の特徴点を検索し（Ｓ１４）、検索された特徴点に対応する特徴点をリアカメラ画像から探索する（Ｓ１５）。そして、対応する特徴点が探索されたら、サイドカメラ画像及びリアカメラ画像に映る特徴点の位置関係に基づいて、後方車両までの距離を計算する（Ｓ１６）。車両周辺監視装置１は、求めた距離データに基づいて後方車両が所定の閾値より接近しているか否かを判定し、後方車両が所定の閾値より接近している場合に、ドライバに警告を発するなどの処理を行ってもよい。以上、第１の実施の形態の車両周辺監視装置１の構成及び動作について説明した。

第１の実施の形態の車両周辺監視装置１は、歪み補正部１３にて、広角のリアカメラ１１で撮影した画像の歪みを補正することにより、サイドカメラ１０で撮影した画像との間で対応する特徴点を適切に探索することができる。また、第１の実施の形態の車両周辺監視装置１は、リアカメラ画像に映る後方車両が正面を向くように射影変換を行うので、特徴点の探索の精度を高めることができる。これにより、サイドカメラ１０とリアカメラ１１という既存のハードウェアを用いて、後方車両までの距離をステレオ測距することができる。

（第２の実施の形態）
図８は、第２の実施の形態の車両周辺監視装置２の構成を示す図である。第２の実施の形態の車両周辺監視装置２の基本的な構成は第１の実施の形態と同じであるが、第２の実施の形態では、測距部１２は、距離概算部１４、射影変換部１５に代えて、平行化補正部１８を有している。

平行化補正部１８は、サイドカメラ１０及びリアカメラ１１が取り付けられた位置や撮影方向に基づいて、サイドカメラ画像とリアカメラ画像のエピポーラ線が平行になるように、サイドカメラ画像およびリアカメラ画像を補正する機能を有する。このように平行化補正部１８によってエピポーラ線が平行な画像を求めておくことにより、一方の画像で検出された特徴点に対応する特徴点を探索する際には、他方の画像を水平方向に探索すればよいので、特徴点探索部１６による特徴点の探索の処理を軽減することができる。

図９は、第２の実施の形態の車両周辺監視装置２の動作を示すフローチャートである。車両周辺監視装置２は、まず、サイドカメラ１０及びリアカメラ１１にて車両周辺を撮影し、撮影したサイドカメラ画像及びリアカメラ画像を測距部１２に入力する（Ｓ２０）。

測距部１２は、リアカメラ画像の入力を受けると、歪み補正部１３にて、リアカメラ画像の半分を切り出して、切り出した画像の歪み補正を行う（Ｓ２１）。これにより、リアカメラ画像は、実質的に画角４０度の画像に補正される。

次に、平行化補正部１８は、サイドカメラ画像と歪みが補正されたリアカメラ画像のエピポーラ線が平行になるように画像の変換する処理を行う（Ｓ２２）。

続いて、特徴点探索部１６は、サイドカメラ画像から後方車両の特徴点を検索し（Ｓ２３）、検索された特徴点に対応する特徴点をリアカメラ画像から探索する（Ｓ２４）。そして、対応する特徴点が探索されたら、サイドカメラ画像及びリアカメラ画像に映る特徴点の位置関係から、後方車両までの距離を計算する（Ｓ２５）。

以上、本発明の車両周辺監視装置について、実施の形態を挙げて詳細に説明したが、本発明は上記した実施の形態に限定されるものではない。実施の形態では、射影変換部１５によって、リアカメラ画像の射影変換を行う例について説明したが、サイドカメラ画像についてもリアカメラ画像と同様に射影変換を行ってもよい。

また、射影変換部１５は、後方車両の正面からの傾き量に基づいて、射影変換を行うか否かを判断してもよい。すなわち、傾き量が所定の閾値よりも小さい場合には、射影変換を行わないこととしてもよい。なお、射影変換部１５は、必須の構成ではないので、場合によっては省略してもよい。

上記した実施の形態では、特徴点探索部１６によってサイドカメラ画像１０とリアカメラ画像１１で対応する特徴点を探索する際に、比較単位となる単位領域の大きさを調整する例について説明したが、この調整は射影変換のときに同時に行ってもよい。また、特徴点探索部１６にてブロックマッチングを行うときに、スケールパラメータを含め、スケールを変えながら類似度を計算して、一番類似度が高い結果を採用することとしてもよい。

本発明は、カメラによって撮影した映像により車両の周辺を監視する装置として有用である。

１，２ 車両周辺監視装置
１０ サイドカメラ
１１ リアカメラ
１２ 測距部
１３ 歪み補正部
１４ 距離概算部
１５ 射影変換部
１６ 特徴点探索部
１７ ステレオ測距部
１８ 平行化補正部
２０ ＣＰＵ
２１ ＲＡＭ
２２ ＲＯＭ
２３ プログラム
２４ モニタ
２５ ハードディスク

Claims (7)

1. 車両の側部に設けられ、後方を撮影するサイドカメラと、
   車両の後部に設けられ、広角で後方を撮影するリアカメラと、
   前記サイドカメラにて撮影したサイドカメラ画像と前記リアカメラで撮影したリアカメラ画像とから、後方にある物体である後方車両までの距離を測定する測距部と、
   を備え、
   前記測距部は、
   前記リアカメラ画像の一部を切り出して歪みを補正する歪み補正部と、
   前記サイドカメラ画像または前記リアカメラ画像に基づいて、前記後方車両までの概算距離を求める距離概算部と、
   前記概算距離に基づいて、前記リアカメラ画像中の後方車両の正面方向からの傾き量を求め、当該傾き量を用いて前記リアカメラ画像を後方車両を正面から見た画像に射影変換する射影変換部と、
   前記サイドカメラ画像または射影変換された前記リアカメラ画像のいずれか一方から前記後方車両の特徴点を検出し、当該特徴点に対応する点を、前記サイドカメラ画像または前記リアカメラ画像の他方のエピポーラ線上であって、かつ、前記概算距離に応じた範囲から探索する特徴点探索部と、
   前記サイドカメラ画像中の特徴点と、それに対応する前記リアカメラ画像中の特徴点との位置関係に基づいて、前記後方車両までの距離を求めるステレオ測距部と、
   を備える車両周辺監視装置。
2. 車両の側部に設けられ、後方を撮影するサイドカメラと、
   車両の後部に設けられ、広角で後方を撮影するリアカメラと、
   前記サイドカメラにて撮影したサイドカメラ画像と前記リアカメラで撮影したリアカメラ画像とから、後方にある物体までの距離を測定する測距部と、
   を備え、
   前記測距部は、
   前記リアカメラ画像の一部を切り出して歪みを補正する歪み補正部と、
   前記サイドカメラ画像または前記リアカメラ画像に基づいて、前記物体までの概算距離を求める距離概算部と、
   前記サイドカメラ画像と前記リアカメラ画像の大きさを前記概算距離に基づいて調整した画像を用いて、前記サイドカメラ画像または前記リアカメラ画像のいずれか一方から前記物体の特徴点を検出し、当該特徴点に対応する点を、前記サイドカメラ画像または前記リアカメラ画像の他方のエピポーラ線上から探索する特徴点探索部と、
   前記サイドカメラ画像中の特徴点と、それに対応する前記リアカメラ画像中の特徴点との位置関係に基づいて、前記物体までの距離を求めるステレオ測距部と、
   を備える車両周辺監視装置。
3. 前記歪み補正部は、右側のサイドカメラによって撮影された画像中の前記物体までの距離を求めるときには、前記リアカメラ画像の右半分を切り出して歪みを補正し、左側のサイドカメラによって撮影された画像中の前記物体までの距離を求めるときには、前記リアカメラ画像の左半分を切り出して歪みを補正する請求項１または２に記載の車両周辺監視装置。
4. 車両の側部に設けられて後方を撮影するサイドカメラと、車両の後部に設けられて広角で後方を撮影するリアカメラとを有する車両周辺監視装置によって、後方車両までの距離を求める方法であって、
   前記車両周辺監視装置が、前記リアカメラにて撮影したリアカメラ画像の一部を切り出して歪みを補正するステップと、
   前記車両周辺監視装置が、前記サイドカメラにて撮影したサイドカメラ画像または前記リアカメラ画像に基づいて、前記後方車両までの概算距離を求めるステップと、
   前記車両周辺監視装置が、前記概算距離に基づいて、前記リアカメラ画像中の後方車両の正面方向からの傾き量を求め、当該傾き量を用いて前記リアカメラ画像を後方車両を正面から見た画像に射影変換するステップと、
   前記車両周辺監視装置が、前記サイドカメラ画像または射影変換された前記リアカメラ画像のいずれか一方から前記後方車両の特徴点を検出し、当該特徴点に対応する点を、前記サイドカメラ画像または前記リアカメラ画像の他方のエピポーラ線上であって、かつ、前記概算距離に応じた範囲から探索するステップと、
   前記車両周辺監視装置が、前記サイドカメラ画像中の特徴点と、それに対応する前記リアカメラ画像中の特徴点との位置関係に基づいて、前記後方車両までの距離を求めるステップと、
   を備える車両周辺監視方法。
5. 車両の側部に設けられて後方を撮影するサイドカメラと、車両の後部に設けられ、広角で後方を撮影するリアカメラとを有する車両周辺監視装置によって、後方にある物体までの距離を求める方法であって、
   前記車両周辺監視装置が、前記リアカメラにて撮影したリアカメラ画像の一部を切り出して歪みを補正するステップと、
   前記車両周辺監視装置が、前記サイドカメラにて撮影したサイドカメラ画像または前記リアカメラ画像に基づいて、前記物体までの概算距離を求めるステップと、
   前記車両周辺監視装置が、前記サイドカメラ画像と前記リアカメラ画像の大きさを前記概算距離に基づいて調整した画像を用いて、前記サイドカメラ画像または前記リアカメラ画像のいずれか一方から前記物体の特徴点を検出し、当該特徴点に対応する点を、前記サイドカメラ画像または前記リアカメラ画像の他方のエピポーラ線上から探索するステップと、
   前記車両周辺監視装置が、前記サイドカメラにて撮影したサイドカメラ画像中の特徴点と、それに対応する前記リアカメラ画像中の特徴点との位置関係に基づいて、前記物体までの距離を求めるステップと、
   を備える車両周辺監視方法。
6. 車両の側部に設けられて後方を撮影するサイドカメラ、および車両の後部に設けられて広角で後方を撮影するリアカメラに接続されたコンピュータによって、後方車両までの距離を求めるためのプログラムであって、前記コンピュータに、
   前記リアカメラにて撮影したリアカメラ画像の一部を切り出して歪みを補正するステップと、
   前記サイドカメラで撮影したサイドカメラ画像または前記リアカメラ画像に基づいて、前記後方車両までの概算距離を求めるステップと、
   前記概算距離に基づいて、前記リアカメラ画像中の後方車両の正面方向からの傾き量を求め、当該傾き量を用いて前記リアカメラ画像を後方車両を正面から見た画像に射影変換するステップと、
   前記サイドカメラ画像または射影変換された前記リアカメラ画像のいずれか一方から前記後方車両の特徴点を検出し、当該特徴点に対応する点を、前記サイドカメラ画像または前記リアカメラ画像の他方のエピポーラ線上であって、かつ、前記概算距離に応じた範囲から探索するステップと、
   前記サイドカメラ画像中の特徴点と、それに対応する前記リアカメラ画像中の特徴点との位置関係に基づいて、前記後方車両までの距離を求めるステップと、
   を実行させるプログラム。
7. 車両の側部に設けられて後方を撮影するサイドカメラ、および車両の後部に設けられ、広角で後方を撮影するリアカメラとを有するコンピュータによって、後方にある物体までの距離を求めるためのプログラムであって、前記コンピュータに、
   前記リアカメラにて撮影したリアカメラ画像の一部を切り出して歪みを補正するステップと、
   前記サイドカメラにて撮影したサイドカメラ画像または前記リアカメラ画像に基づいて、前記物体までの概算距離を求めるステップと、
   前記サイドカメラ画像と前記リアカメラ画像の大きさを前記概算距離に基づいて調整した画像を用いて、前記サイドカメラ画像または前記リアカメラ画像のいずれか一方から前記物体の特徴点を検出し、当該特徴点に対応する点を、前記サイドカメラ画像または前記リアカメラ画像の他方のエピポーラ線上から探索するステップと、
   前記サイドカメラにて撮影したサイドカメラ画像中の特徴点と、それに対応する前記リアカメラ画像中の特徴点との位置関係に基づいて、前記物体までの距離を求めるステップと、
   を実行させるプログラム。

Images