JP5717405B2 - 検知装置、及び、検知方法 - Google Patents

Description

本発明は、車両に搭載されたカメラの光軸の位置ズレを検知する技術に関する。

近年、車両に搭載されたカメラが撮影した車外画像を車両に搭載されるディスプレイへ表示させる画像表示装置が開発されている。このように画像表示装置が車外画像をディスプレイへ表示させるため、ユーザは車外画像を参考にしながら車両を運転することができる。

画像表示装置がその機能を適切に発揮するためには、車両に搭載されたカメラの光軸が予定された角度で設定されなければならない。

従って、予定された角度で設定されたカメラの光軸が経年とともにズレてしまった場合などには、画像表示装置はそのズレを検知してユーザに知らせるとともにユーザにカメラの光軸を予定していた角度に再設定させる必要がある。

そこで、次のような画像表示装置が知られている。つまり、車両に搭載されたカメラが撮影した複数の車外画像に基づいて車外画像中の消失点を画像表示装置が導出する。そして、導出された消失点が初期の消失点の位置からズレている場合に、カメラの光軸の位置がズレているとして画像表示装置はユーザへその旨を報知する。このため、画像表示装置は、カメラが撮影した画像のみに基づいてカメラの光軸の位置ズレを簡易に検知することができる。係る技術は、例えば、特許文献１に記載されている。

なお、このような画像表示装置は、カメラの光軸の位置ズレを検知する機能を備えているため検知装置であるともいえる。

特開２００７−２１５１６９号公報

しかし、検知装置において、車両に搭載されたカメラの光軸の位置ズレを検知するために利用される消失点を、車両の側方に搭載されたカメラが撮影した車外画像に基づいて導出するのは難しい。つまり、従来の技術を応用して、車両の側方に搭載されたカメラの光軸の位置ズレを検知装置が検知するのは難しいという問題がある。

本発明は、上記課題に鑑みてなされたものであり、検知装置が、車両の側方に搭載されたカメラが撮影した車外画像のみに基づいてカメラの光軸の位置ズレを簡易に検知できる技術を提供することを目的とする。

上記課題を解決するため、請求項１の発明は、車両の側方に搭載されたカメラの光軸の位置ズレを検知する検知装置であって、前記車両の走行中に前記カメラが撮影した時間的に連続する複数の車外画像に基づいて、前記車両と相対的に移動する物体の像の前記車外画像中の移動軌跡を導出する導出手段と、前記移動軌跡と前記車外画像中の基準となる基準ラインとを比較した結果に基づいて、前記位置ズレを検知する検知手段と、を備えることを特徴とする。

また、請求項２の発明は、請求項１に記載の検知装置において、前記カメラのレンズは魚眼レンズであり、前記検知手段は、前記移動軌跡の歪みの程度と前記基準ラインの歪みの程度とを比較した結果に基づいて、前記位置ズレを検知することを特徴とする。

また、請求項３の発明は、請求項１に記載の検知装置において、前記検知手段は、前記車外画像中の所定位置にある前記移動軌跡と、前記所定位置にある前記基準ラインとを比較した結果に基づいて、前記位置ズレを検知することを特徴とする。

また、請求項４の発明は、請求項３に記載の検知装置において、前記所定位置は、前記車外画像の左右中央の近傍の領域であることを特徴とする。

また、請求項５の発明は、請求項３に記載の検知装置において、前記所定位置は、前記車外画像の左右の略中央であることを特徴とする。

また、請求項６の発明は、請求項１乃至５の何れかに記載の検知装置において、前記導出手段は、前記車外画像中における前記車両が走行中のレーンに隣接する隣接レーンの領域に存在する物体の像の移動軌跡を導出することを特徴とする。

また、請求項７の発明は、請求項６に記載の検知装置において、前記物体は、前記隣接レーンを走行する他の車両であることを特徴とする。

また、請求項８の発明は、車両の側方に搭載されたカメラの光軸の位置ズレを検知する検知方法であって、（ａ）前記車両の走行中に前記カメラが撮影した時間的に連続する複数の車外画像に基づいて、前記車両と相対的に移動する物体の像の前記車外画像中の移動軌跡を導出する工程と、（ｂ）前記移動軌跡と前記車外画像中の基準となる基準ラインとを比較して前記位置ズレを検知する工程と、を備えることを特徴とする。

また、請求項９の発明は、車両の側方に搭載されたカメラの光軸の位置ズレを検知する検知装置であって、前記車両の走行中に前記カメラが撮影した車外画像に含まれる、前記車両の前後方向に延びる走行レーンを区切る区画線の像またはガードレールの像を抽出する抽出手段と、前記区画線の像または前記ガードレールの像の形状と基準となる基準形状とを比較した結果に基づいて、前記位置ズレを検知する検知手段と、を備えることを特徴とする。

請求項１ないし８の発明によれば、車両と相対的に移動する物体の像の車外画像中の移動軌跡と基準となるラインとを比較してカメラの光軸の位置ズレを検知するため、カメラの光軸の位置ズレを車外画像のみで簡易に検知することができる。

また、請求項２の発明によれば、魚眼レンズを備えたカメラが撮影した車外画像に基づいて導出した移動軌跡の歪みの程度と基準ラインの歪みの程度を比較した結果に基づいてカメラの光軸の位置ズレを検知するため、精度良くその位置ズレを検知することができる。

また、請求項３の発明によれば、車外画像中の所定位置にある移動軌跡と、所定位置にある基準ラインとを比較した結果に基づいてその位置ズレを検知するため、検知する際の処理負荷を低減することができる。

また、請求項４の発明によれば、車外画像の左右中央の近傍の領域にある移動軌跡と、車外画像の左右中央の近傍の領域にある基準ラインとを比較した結果に基づいてその位置ズレを検知するため、カメラの光軸の位置ズレを検知する精度を向上させることができる。つまり、魚眼レンズを備えたカメラが撮影した車外画像の左右中央近傍では、移動軌跡の歪みの程度が大きくなるため、カメラの光軸の位置ズレを検知する精度を向上させることができる。

また、請求項５の発明によれば、車外画像の左右の略中央にある移動軌跡と、車外画像の左右の略中央にある基準ラインとを比較した結果に基づいてその位置ズレを検知するため、カメラの光軸の位置ズレを検知する精度を向上させることができる。つまり、魚眼レンズを備えたカメラが撮影した車外画像の左右の略中央では、移動軌跡の歪みの程度が大きくなるため、カメラの光軸の位置ズレを検知する精度を向上させることができる。

また、請求項６の発明によれば、車外画像中における車両が走行中のレーンに隣接する隣接レーンの領域に存在する物体の像の移動軌跡は車外画像の同じ位置に一定して出現する軌跡であるため、この軌跡に基づいてその位置ズレを検知すればその精度を向上させることができる。

また、請求項７の発明によれば、隣接レーンを走行する他の車両の移動軌跡は車外画像の同じ位置に一定して出現する軌跡であるため、この軌跡に基づいてその位置ズレを検知すればその精度を向上させることができる。

また、請求項９及び１０の発明によれば、車外画像に含まれる、前記車両の前後方向に延びる被写体の像に基づいてカメラの光軸の位置ズレを検知するため、その位置ズレを車外画像のみで簡易に検知することができる。

図１は、車外画像を示す図である。 図２は、消失点の導出方法を示す図である。 図３は、検知装置のシステムブロックを示す図である 図４は、車両を示す図である。 図５は、車両を示す図である。 図６は、車両及び車外画像を示す図である。 図７は、合成画像を説明する図である。 図８は、車外画像を示す図である。 図９は、車外画像を示す図である。 図１０は、移動軌跡と基準ラインとの比較を説明する図である。 図１１は、検知装置が実行する制御のフローを示す図である。 図１２は、検知装置が実行する制御のフローを示す図である。 図１３は、移動軌跡と基準ラインとの比較を説明する図である。 図１４は、移動軌跡と基準ラインとの比較を説明する図である。 図１５は、車外画像を示す図である。 図１６は、車外画像を示す図である。 図１７は、車外画像を示す図である。 図１８は、車外画像を示す図である。 図１９は、移動軌跡と基準ラインとの比較を説明する図である。

以下、図面を参照しつつ本発明の実施の形態について説明する。

＜第１の実施の形態＞
図１は、第１の実施の形態の検知装置のシステムブロック図である。この検知装置２は、車両１の側方に搭載されたカメラの光軸の位置ズレを検知する処理を実行する。そして、検知装置２は、そのズレを検知した場合にその旨を知らせる処理を実行する。

また、検知装置２は、車両１の側方、前方、後方に搭載されたカメラが撮影した車外画像に基づいて合成画像を生成する処理を実行する。従って、検知装置２は画像処理装置であるともいえる。

検知装置２が実行するこれらの処理を説明するために、まず、図１に基づいて検知装置２の構成を説明する。

（検知装置の構成）
検知装置２は、フロントカメラ３、左サイドカメラ４、右サイドカメラ５、リヤカメラ６（以降において、全てのカメラを単体で説明する場合はカメラ３〜６という）、車速センサ７、シフトポジションセンサ８、ディスプレイ９、及び、音出力部１０などとケーブルにより電気的に接続されている。

図１のシステムブロック図に示すように検知装置２は、画像処理部２１、制御部２６、入力部２０、及び、出力部２８などを備える。

画像処理部２１は、例えば、ＡＳＩＣなどのハード回路である。画像処理部２１は、合成画像生成部２２、導出部２３、検知部２４、及び、記憶部２５などを備える。

合成画像生成部２２は、カメラ３〜６が撮影した車外画像に基づいて合成画像を生成する処理を実行する（以降、合成画像生成部２２が実行するこの処理を合成画像生成処理という）。合成画像生成処理の詳細については後述する。

導出部２３は、車両１の走行中に左サイドカメラ４及び右サイドカメラ５が撮影した時間的に連続する複数の車外画像に基づいて、車両１と相対的に移動する物体の像の車外画像中の移動軌跡を導出する処理などを実行する（以降、導出部２３が実行するこの処理を導出処理という）。導出処理の詳細については後述する。

検知部２４は、カメラ３〜６の光軸の位置ズレを検知する処理を実行する（以降、検知部２４が実行するこの処理を検知処理という）。検知処理の詳細については後述する。

記憶部２５は、検知部２４が検知処理を実行する際に利用する基準ラインなどのデータを記憶している。

制御部２６は、例えば、マイクロコンピュータなどを備える。マイクロコンピュータは、例えば、ＣＰＵ、ＲＯＭ、及び、ＲＡＭなどを備える。ＣＰＵは、ＲＯＭに記憶された種々のプログラムに従って演算処理を行うことで種々の機能を実現させる。また、制御部２６は、報知部２７などを備えている。

報知部２７は、カメラ３の光軸の位置ズレを検知部２４が検知した場合に、その旨をディスプレイ９に表示させ、又は、音出力部１０を制御することによって音を出力してユーザへその旨を知らせる処理を実行する（以降、報知部２７が実行するこの処理を報知処理という）。報知処理の詳細については後述する。

入力部２０は、例えば、外部装置と電気的に接続されるインターフェースである。カメラ３が撮影した車外画像を画像処理部２１及び制御部２６などへ入力させる処理を入力部２０が実行する。

出力部２８は、例えば、外部装置と電気的に接続されるインターフェースである。画像処理部２１が処理した車外画像などをディスプレイ９へ出力して表示させる処理を出力部２８が実行する。

ディスプレイ９は、車両１の運転席と助手席との間のセンターコンソール上部に備わっている。

フロントカメラ３は、図２に示すように車両１の前端にあるナンバープレート取付位置の近傍に設けられ、その光軸は車両１の直進方向へ向けられている。

左サイドカメラ４は、図２に示すように左サイドミラー３０に設けられており、その光軸は車両１の直進方向を基準にした左方向に沿って外部へ向けられている。

右サイドカメラ５は、図２に示すように右サイドミラー３１に設けられており、その光軸は車両１の直進方向を基準にした右方向に沿って外部へ向けられている。

リヤカメラ６は、図２に示すように車両１の後端にあるナンバープレート取付位置の近傍に設けられ、その光軸は車両１の直進方向の逆方向へ向けられている。

なお、フロントカメラ３やリヤカメラ６の取り付け位置は、左右略中央であることが望ましいが、左右中央から左右方向に多少ずれた位置であってもよい。

カメラ３〜６のレンズとしては魚眼レンズが採用されており、その魚眼レンズは１８０度以上の画角を有している。このため、カメラ３〜６を利用することで、車両１の全周囲の撮影が可能となっている。

車速センサ７は、車両１が移動した際に車輪が回転する速度を車速信号として検知装置２へ出力する。車速センサ７は、車両１のエンジンルーム内に設置される。

シフトポジションセンサ８は、車両１に備わる変速ギヤを変更するシフトがユーザによって操作可能になっており、このシフトポジションを検知してシフトポジションを示す信号を検知装置２へ出力する。シフトポジションセンサ８は、車両１のセンターコンソール中央部に備わるシフトレバー近傍に設定される。

次に、画像処理部２１が備える各部が実行する「合成画像生成処理」、「導出処理」、及び、「検知処理」、並びに、制御部２６が備える報知部２７が実行する「報知処理」の詳細について説明する。

（合成画像生成処理）
まず、合成画像生成部２２が実行する合成画像生成処理について説明する。

合成画像生成部２２は、カメラ３〜６が撮影した、図４に示すような、車外画像Ｇ１〜Ｇ４をカメラ３〜６より取得する。合成画像生成部２２は、取得した車外画像Ｇ１〜Ｇ４を検知装置２へ出力する。

検知装置２は、入力した車外画像Ｇ１〜Ｇ４を記憶部２５へ記憶する。

検知装置２が備える合成画像生成部２２は、記憶部２５に記憶された、車外画像Ｇ１〜Ｇ４を、図４に示すような、仮想的な三次元空間における立体曲面Ｐに投影する。立体曲面Ｐは、例えば略半球状（お椀形状）をしており、その中心部分（お椀の底部分）が車両１が存在する位置として定められている。車外画像Ｇ１〜Ｇ４に含まれる各画素の位置と、この立体曲面Ｐの各画素の位置とは予め対応関係が定められている。このため、立体曲面Ｐの各画素の値は、この対応関係と車外画像Ｇ１〜Ｇ４に含まれる各画素の値とに基づいて決定される。

車外画像Ｇ１〜Ｇ４の各画素の位置と立体曲面Ｐの各画素の位置との対応関係は、車両１における４つの車載カメラであるカメラ３〜６の配置（相互間距離、地上高さ、光軸角度等）に依存する。このため、この対応関係を示すテーブルデータが、記憶部２５に記憶された車種別データに含まれている。

また、車種別データに含まれる車体の形状やサイズを示すポリゴンデータが利用され、車両１の三次元形状を示すポリゴンモデルである車両像が仮想的に構成される。構成された車両像は、立体曲面Ｐが設定される三次元空間において、車両１の位置と定められた略半球状の中心部分に配置される。

さらに、立体曲面Ｐが存在する三次元空間に対して、合成画像生成部２２により仮想視点ＡＧＬが設定される。仮想視点ＡＧＬは、視点位置と視野方向とで規定され、この三次元空間における車両１の周辺に相当する任意の視点位置に任意の視野方向に向けて設定される。

そして、設定された仮想視点ＡＧＬに応じて、立体曲面Ｐにおける必要な領域が画像として切り出される。仮想視点ＡＧＬと、立体曲面Ｐにおける必要な領域との関係は予め定められており、テーブルデータとして記憶部２５等に予め記憶されている。一方で、設定された仮想視点ＡＧＬに応じてポリゴンのモデルに関してレンダリングがなされ、その結果となる二次元の車両１の像が、切り出された画像に対して重畳される。これにより、車両１及びその車両１の周辺を任意の仮想視点ＡＧＬからみた様子を示す合成画像が生成されることになる。

例えば、視点位置が車両１の位置の略中央の直上で、視野方向が直下方向とした仮想視点ＡＧＬ１を設定した場合は、車両１の略直上から車両１を見下ろすように、車両１及び車両１の周辺の領域を示す合成画像Ｇ５が生成される。また、図中に示すように、視点位置が車両１の位置の左後方で、視野方向が車両１における略前方方向とした仮想視点ＡＧＬ２を設定した場合は、車両１の左後方からその周辺全体を見渡すように、車両１及び車両１の周辺の領域を示す合成画像Ｇ６が生成される。

なお、実際に合成画像を生成する場合においては、立体曲面Ｐの全ての画素の値を決定する必要はなく、設定された仮想視点ＡＧＬに対応して必要となる領域の画素の値のみを車外画像Ｇ１〜Ｇ４に基づいて決定することで、処理速度を向上できる。

検知装置２では、このような合成画像生成部２２の機能を利用することで、車両１の周辺の任意の視点からみた合成画像を生成して、ディスプレイ９へ生成した合成画像を出力して表示させることができる。

（導出処理）
次に、導出部２３が実行する導出処理について説明する。

（第１導出処理）
導出部２３は、第１導出処理と第２導出処理とを実行する。まず、第１導出処理について説明する。

第１導出処理とは、フロントカメラ３が撮影した車外画像に基づいて車外画像に含まれる消失点を導出部２３が導出する処理である。

消失点は次のようにして導出される。まず、フロントカメラ３が撮影した時間的に連続する複数の車外画像中の輝度情報に基づいて、複数の車外画像に含まれる物体の車両１に対する相対的な動きを導出部２３が解析する。例えば、図６に示す車外画像Ｇ７に含まれる電信柱Ｘ及び電信柱Ｙの車両１に対する相対的な動きを導出部２３が解析する。

電信柱Ｘ及び電信柱Ｙの動きから実際の車外の風景において仮想的に形成される平行線を導出部２３が導き出す。つまり、図７に示すように、電信柱ＸがＸ１の位置からＸ５の位置へと車両１に対して相対的に動いた場合に仮想的に形成される線ＸＬを導出部２３が導き出す。

更に、電信柱ＹがＹ１の位置からＹ４の位置へと車両１に対して相対的に動いた場合に仮想的に形成される線ＹＬを導出部２３が導き出す。

更に、線ＸＬと線ＹＬとをそれぞれ延長した際の交差点を消失点として導出部２３が導き出す。

なお、線ＸＬ及び線ＹＬが曲線となっているのは、魚眼レンズを備えたフロンとカメラ３が撮影した車外画像が椀曲しているためである。

なお、第１導出処理はリヤカメラ６が撮影した車外画像に基づいても実行できる。第１処理をフロントカメラ３及びリヤカメラ６が撮影した車外画像に基づいて実行するのは、時間的に連続して得られるそれら車外画像において解析された車両１に対して相対的に動く物体が消失する点、即ち、消失点Ｖを導くことができる車外画像だからである。

（第２導出処理）
次に、第２導出処理について説明する。

第２導出処理とは、左サイドカメラ４が撮影した時間的に連続する複数の車外画像に基づいて、車両１と相対的に移動する物体の像の車外画像中の移動軌跡を導出する処理である。

移動軌跡は次のようにして導出される。まず、左サイドカメラ４が撮影した時間的に連続する複数の車外画像に基づいて車両１と相対的に移動する物体の像を解析する。物体の像は、例えば、車外画像中における車両１が走行するレーンに隣接する隣接レーンの領域に存在する他の車両である。

つまり、図８に示すような、左サイドカメラ４が撮影した時間的に連続する複数の車外画像Ｇ８〜Ｇ１１において、車両１が走行中のレーンに隣接する隣接レーンの領域を車両１と相対的に移動した他の車両の像Ｃ１〜Ｃ４の移動軌跡を導出部２３が導出する。

従って、図９に示すように、魚眼レンズを備えた左サイドカメラ４が撮影した車外画像に基づいて導出した他の車両の移動軌跡Ｌは、なだらかに上側に歪んだ曲線になる。

このように、移動軌跡をとる物体の像を、車外画像中における車両１が走行するレーンに隣接する隣接レーンの領域に存在する他の車両とするのは、左サイドカメラ４の光軸が正常の位置において撮影される車外画像において常に略一定の位置に略一定の軌跡を描くからである。結果、後述する検知処理において、この移動軌跡に基づいた左サイドカメラ４の光軸の位置ズレを高い精度で検知することができる。

なお、第２導出処理は右サイドカメラ５が撮影した車外画像に基づいても実行できる。左サイドカメラ４及び右サイドカメラ５が撮影した車外画像に基づいて第２処理を実行するのは、時間的に連続して得られるそれら車外画像において解析された車両１に対して相対的に動く物体が消失する点、即ち、消失点Ｖを導くことができない車外画像だからである。

（検知処理）
次に、検知部２４が実行する検知処理について説明する。

検知部２４は、第１検知処理と第２検知処理とを実行する。まず、第１検知処理について説明する。

（第１検知処理）
第１検知処理とは、第１導出処理によって導出された複数の消失点Ｖの変化に基づいてフロントカメラ３の光軸の位置ズレを検知する処理である。具体的には、第１導出処理によって導出された消失点Ｖが、基準点と一致しないことを検知部２４が検知する。つまり、検知部２４はそれらが一致しない場合にフロントカメラ３の光軸の位置がズレたことを検知する。

基準点とは、車両１が工場から出荷される際に、または、販売会社において販売される際に、図２に示す車両１に備わる左サイドミラー３０の先端へ左サイドカメラ４が搭載された位置において、第１導出処理が実行されて導出された消失点Ｖの位置をいう。つまり、基準点とは、左サイドカメラ４の光軸の位置を検知装置２がその機能を発揮させるために初期に設定された基準位置において、第１導出処理が実行されて導出された消失点Ｖをいう。

なお、第１検知処理はリヤカメラ６が撮影した車外画像により導出された消失点Ｖに基づいても実行できる。

（第２検知処理）
次に、第２検知処理について説明する。

第２検知処理とは、第２導出処理によって導出された移動軌跡Ｌに基づいて左サイドカメラ４の光軸の位置ズレを検知する処理である。具体的には、第２導出処理によって導出された移動軌跡Ｌの歪みの程度が、基準ラインの歪みの程度と一致しないことを検知部２４が検知する。つまり、検知部２４はそれらが一致しない場合に左サイドカメラ４の光軸の位置がズレたことを検知する。

基準ラインとは、車両１が工場から出荷される際に、または、販売会社において販売される際に、図２に示す車両１に備わる左サイドミラー３０の先端へ左サイドカメラ４が搭載された位置において、車両１の走行中に左サイドカメラ４が撮影した時間的に連続する複数の車外画像に基づいて車両１と相対的に移動する他の車両の像の車外画像中の移動軌跡Ｌである。つまり、基準ラインとは、左サイドカメラ４の光軸の位置を検知装置２がその機能を発揮させるために初期に設定された基準位置において、第２導出処理が実行されて導出された他の車両の移動軌跡Ｌをいう。

つまり、左サイドカメラ４の光軸の位置がズレていない場合は、移動軌跡Ｌの歪みの程度は、図１０に示す、基準ラインＬＳの歪みの程度と同じになる。また、左サイドカメラ４の光軸の位置が下方向へズレていた場合は、移動軌跡Ｌの歪みの程度は、図１０に示すように、ラインＬ１又はラインＬ２のようになって、基準ラインＬＳと一致しない。また、左サイドカメラ４の光軸の位置が上方向へズレていた場合は、移動軌跡Ｌの歪みの程度は、図１０に示すように、ラインＬ３またはラインＬ４のようになって、基準ラインＬＳと一致しない。

なお、第２検知処理は右サイドカメラ５が撮影した車外画像に基づいても実行できる。

（報知処理）
次に、報知部２７が実行する報知処理について説明する。第１検知処理及び第２検知処理の何れかを実行することにより、それぞれのカメラの光軸の位置ズレを検知した場合に、検知部２４は報知部２７へその旨を示す信号を送信する。

その旨を示す信号を受信した場合に、報知部２７は音出力部及びディスプレイ９の何れかを制御してユーザへカメラの光軸の位置がズレていることを知らせる。

（制御フロー）
次に、検知装置２が実行する制御フローについて説明する。
検知装置２は、ユーザにより電源が投入されて、その機能を開始させるボタンが操作された場合に、図１１に示すメインフローを所定の周期（以降、第１の周期という）で実行する。また、検知装置２は、その場合に図１２に示すサブフローを第１の周期よりも長い周期（以降、第２の周期という）で実行する。

なお、第１の周期は、例えば、１０ｍｓであり、第２の周期は、例えば、１ヶ月である。

（メインフロー）
検知装置２は、第１の周期ごとに図１１に示すフローのステップＳＡ１の処理を実行する。

制御部２６は、シフトポジションセンサ８からシフトポジションが”Ｒ”を示す信号を受信したか否かを判定する（ステップＳＡ１）。

シフトポジションが”Ｒ”を示す信号を受信した旨の信号を制御部２６から受信した場合は、合成画像生成部２２は前述した合成画像生成処理を実行する。（ステップＳＡ２）。これにより、合成画像生成部２２は車両１を仮想的に俯瞰した合成画像を生成する。

次に、合成画像生成部２２はその合成画像をディスプレイ９へ表示する処理を実行する（ステップＳＡ３）。

つまり、ユーザがシフトポジションを”Ｒ”にして車両１を後進させる際に、検知装置２がユーザに対し合成画像を表示する。このため、ユーザは車両１を後進させる際に認識しにくい車両１の周辺の障害物を認識することができる。

次に、検知装置２は図１１に示すフローに基づく処理を終了する。

なお、シフトポジションが”Ｒ”を示す信号を受信した旨の信号を制御部２６から受信しない場合は、検知装置２は図１１に示すフローに基づく処理を終了する。

（サブフロー）
検知装置２は、第２の周期ごとに図１２に示すフローのステップＳＢ１の処理を実行する。

車速センサ７から受信する信号及びシフトポジションセンサ８から受信する信号に基づいて車両１が走行中であるか否かを制御部２６が判定する。（ステップＳＢ１）。具体的には、車速センサ７から受信する信号に基づいて車両１の車速が０ｋｍ／ｈ以上であるか否かを制御部２６が判定する。更に、シフトポジションセンサ８から受信する信号に基づいてシフトポジションが”Ｄ”などの車両１が前進する際のシフトポジションであるか否かを制御部２６が判定する。つまり、車両１の車速が０ｋｍ／ｈ以上でかつシフトポジションが”Ｄ” などの車両１が前進する際のシフトポジションである場合に、制御部２６は車両１が走行中であると判定する。

次に、制御部２６が車両１が走行中であると判定した場合は、画像処理部２１は、左サイドカメラ４から車外画像を入力する（ステップＳＢ２）。

次に、入力された車外画像がサイドカメラにより撮影された車外画像か否かを導出部２３が判定する（ステップＳＢ３）。つまり、入力された車外画像が左サイドカメラ４及び右サイドカメラ５の何れかにより撮影された車外画像か否かを導出部２３が判定する。

入力された車外画像がサイドカメラにより撮影された車外画像であると判定する場合は、導出部２３は前述した第２導出処理を実行して他の車両の移動軌跡Ｌを導出する（ステップＳＢ４）。

次に、前述した第２検知処理を実行して導出した移動軌跡Ｌと基準ラインとが一致するか否かを判定する（ステップＳＢ５）。

次に、移動軌跡Ｌと基準ラインとが一致すると判定しない場合に、導出部２３がその旨を示す信号を報知部２７へ送信する。その旨を示す信号を受信した導出部２３はディスプレイ９及び音出力部１０の何れかを制御してユーザへサイドカメラの光軸の位置がズレたことを報知する（ステップＳＢ６）。

このため、検知装置２はサイドカメラの光軸の位置ズレを車外画像のみで簡易に検知することができる。

なお、移動軌跡Ｌと基準ラインとが一致すると判定する場合は、検知装置２は図１２に示すフローに基づく処理を終了する。

入力された車外画像がサイドカメラにより撮影された車外画像であると判定しない場合は、導出部２３は前述した第１導出処理を実行して消失点Ｖを導出する（ステップＳＢ７）。つまり、この場合とは、入力された車外画像がフロントカメラ３及びリヤカメラ６の何れかにより撮影された車外画像であると判定する場合である。

次に、前述した第１検知処理を実行して導出した消失点Ｖと基準点とが一致するか否かを判定する（ステップＳＢ８）。

次に、消失点Ｖと基準点とが一致すると判定しない場合に、導出部２３がその旨を示す信号を報知部２７へ送信する。その旨を示す信号を受信した導出部２３はディスプレイ９及び音出力部１０の何れかを制御してユーザへフロントカメラ３及びリヤカメラ６の何れかの光軸の位置がズレたことを報知する。

このため、検知装置２はフロントカメラ３及びリヤカメラ６の何れかの光軸の位置ズレを車外画像のみで簡易に検知することができる。

なお、消失点Ｖと基準点が一致すると判定する場合は、検知装置２は図１２に示すフローに基づく処理を終了する。

＜第２の実施の形態＞
次に、第２の実施の形態について説明する。なお、以降の説明においては、第１の実施の形態と第２の実施の形態とにおいて相違する点を主に説明する。

第１の実施の形態において、第２検知処理は、「第２導出処理により導出した移動軌跡Ｌ全体の歪みの程度が、基準ライン全体の歪みの程度と一致しないことを検知部２４が検知する。つまり、検知部２４はそれら全体が一致しない場合に左サイドカメラ４の光軸の位置がズレたことを検知する」と説明した。

第２の実施の形態においては、第２検知処理は、車外画像中の所定位置にある、即ち、一部の移動軌跡Ｌとその所定位置にある基準ラインとを比較した結果に基づいて左サイドカメラ４の光軸の位置がズレたことを検知部２４が検知する。

その所定位置は、図１３に示すように、車外画像の左右中央の近傍の領域Ｄである。従って、検知部２４は、領域Ｄに含まれる移動軌跡Ｌの歪みの程度と基準ラインの歪みの程度とを比較した結果に基づいて左サイドカメラ４の光軸の位置がズレたことを検知部２４が検知する。

つまり、左サイドカメラ４の光軸の位置がズレていない場合は、領域Ｄに含まれる移動軌跡Ｌの歪みの程度は、図１３に示す、領域Ｄに含まれる基準ラインＬＳＸの歪みの程度と同じになる。また、左サイドカメラ４の光軸の位置が下方向へズレていた場合は、領域Ｄに含まれる移動軌跡Ｌの歪みの程度は、図１３に示すように、領域Ｄに含まれるラインＬ１Ｘ又はラインＬ２Ｘのようになって、領域Ｄに含まれる基準ラインＬＳＸと一致しない。また、左サイドカメラ４の光軸の位置が上方向へズレていた場合は、領域Ｄに含まれる移動軌跡Ｌの歪みの程度は、図１３に示すように、領域Ｄに含まれるラインＬ３ＸまたはラインＬ４Ｘのようになって、領域Ｄに含まれる基準ラインＬＳＸと一致しない。

このように、車外画像の左右中央の近傍の領域Ｄに含まれる移動軌跡Ｌとその領域Ｄに含まれる基準ラインとを比較することによって左サイドカメラ４の光軸の位置ズレを検知するため、検知装置２はその検知処理をする際の処理負荷が低減できる。更に、魚眼レンズを備えた左サイドカメラ４が撮影した車外画像においては、移動軌跡Ｌの歪みの程度は、その左右中央の近傍の領域Ｄが最も大きくその左右両端は小さい。このため、領域Ｄに含まれる移動軌跡Ｌとその領域Ｄに含まれる基準ラインとを比較すれば、検知装置２は精度良く左サイドカメラ４の光軸の位置ズレを検知することができる。

なお、第２検知処理は右サイドカメラ５が撮影した車外画像に基づいても実行できる。

＜第３の実施の形態＞
次に、第３の実施の形態について説明する。なお、以降の説明においては、第１の実施の形態と第３の実施の形態とにおいて相違する点を主に説明する。

第１の実施の形態において、第２検知処理は、「第２導出処理により導出した移動軌跡Ｌ全体の歪みの程度が、基準ライン全体の歪みの程度と一致しないことを検知部２４が検知する。つまり、検知部２４はそれらが全体が一致しない場合に左サイドカメラ４の光軸の位置がズレたことを検知する」と説明した。

第３の実施の形態においては、第２検知処理は、車外画像中の所定位置にある、即ち、一部の移動軌跡Ｌとその所定位置にある基準ラインとを比較した結果に基づいて左サイドカメラ４の光軸の位置がズレたことを検知部２４が検知する。

更に、その所定位置は、図１４に示すように、車外画像の左右の略中央ＣＬである。従って、検知部２４は、車外画像の左右の略中央ＣＬの移動軌跡Ｌの位置と基準ラインの位置とを比較した結果に基づいて左サイドカメラ４の光軸の位置がズレたことを検知部２４が検知する。

つまり、左サイドカメラ４の光軸の位置がズレていない場合は、車外画像の左右の略中央ＣＬにおける移動軌跡Ｌの位置は、図１３に示す、車外画像の左右の略中央ＣＬにおける基準ラインＬＳＹの位置と同じになる。また、左サイドカメラ４の光軸の位置が下方向へズレていた場合は、車外画像の左右の略中央ＣＬにおける動軌跡Ｌの位置は、図１３に示すように、車外画像の左右の略中央ＣＬにおけるラインＬ１Ｙの位置Ｐ１またはラインＬ２Ｙの位置Ｐ２のようになって、車外画像の左右の略中央ＣＬにおける基準ラインＬＳＹの位置ＰＳと一致しない。また、左サイドカメラ４の光軸の位置が上方向へズレていた場合は、車外画像の左右の略中央ＣＬにおける移動軌跡Ｌの位置は、図１３に示すように、車外画像の左右の略中央ＣＬにおけるラインＬ３Ｙの位置Ｐ３またはラインＬ４Ｙの位置Ｐ４のようになって、車外画像の左右の略中央ＣＬにおける基準ラインＬＳＹの位置ＰＳと一致しない。

このように、車外画像の左右の略中央ＣＬにおける移動軌跡Ｌの位置とその略中央ＣＬにおける基準ラインの位置とを比較することによって左サイドカメラ４の光軸の位置ズレを検知するため、検知装置２はその検知処理をする際の処理負荷が低減できる。更に、魚眼レンズを備えた左サイドカメラ４が撮影した車外画像においては、移動軌跡Ｌの歪みの程度は、その左右の略中央ＣＬが最も大きくその左右両端は小さい。このため、その略中央ＣＬにおける移動軌跡Ｌの位置とその略中央ＣＬにおける基準ラインの位置とを比較すれば、検知装置２は精度良く左サイドカメラ４の光軸の位置ズレを検知することができる。

なお、第２検知処理は右サイドカメラ５が撮影した車外画像に基づいても実行できる。

＜第４の実施の形態＞
次に、第４の実施の形態について説明する。なお、以降の説明においては、第１の実施の形態と第４の実施の形態とにおいて相違する点を主に説明する。

第１の実施の形態において、画像処理部２１が備える導出部２３が実行する第２導出処理は、「車外画像に基づいて車外画像中における車両１が走行するレーンに隣接する隣接レーンの領域に存在する他の車両の移動軌跡を導出部２３が導出する」と説明した。

第４の実施の形態においては、導出部２３が実行する導出処理の代わりに、画像処理部２１が更に備える抽出部が抽出処理を実行する。抽出部は車外画像に含まれる車両１の前後方向に延びる被写体の像を抽出する。そして、検知部２４が抽出処理による結果に基づいて第３検知処理を実行する。まず、抽出処理について説明する。

（抽出処理）
車両１の走行中に左サイドカメラ４が撮影した車外画像に含まれる車両１の前後方向に延びる被写体の像を抽出する抽出処理を抽出部が実行する。

被写体の像とは、例えば、図１５に示す車外画像Ｇ１８に含まれる、車両１が走行するレーンと隣接するレーンとを区切る区画線ＲＬである。

このように、物体の像を車外画像中における区画線ＲＬとするのは、左サイドカメラ４の光軸が正常の位置において撮影される車外画像において常に一定の位置に一定の形状が抽出される物体の像であるからである。結果、検知装置２は左サイドカメラ４の光軸の位置ズレ検知の精度を向上させることができる。

次に、第３検知処理について説明する。

（第３検知処理）
そして、被写体の像であるその区画線ＲＬの形状と基準となる基準形状とを比較した結果に基づいて、左サイドカメラ４の光軸の位置ズレを検知する検知処理を検知部２４が実行する。

基準形状とは、車両１が工場から出荷される際に、または、販売会社において販売される際に、図２に示す車両１に備わる左サイドミラー３０の先端へ左サイドカメラ４が搭載された位置において、車両１の走行中に左サイドカメラ４が撮影した時間的に連続する複数の車外画像に基づいて抽出される区画線ＲＬの形状である。つまり、基準形状とは、左サイドカメラ４の光軸の位置を検知装置２がその機能を発揮させるために初期に設定された基準位置において、抽出処理が実行されて抽出された区画線ＲＬの形状をいう。

このような処理を検知装置２が実行するため、検知装置２は第１の実施の形態と同様の効果を奏させることができる。

なお、第２検知処理は右サイドカメラ５が撮影した車外画像に基づいても実行できる。

＜第５の実施の形態＞
次に、第５の実施の形態について説明する。なお、以降の説明においては、第１の実施の形態と第５の実施の形態とにおいて相違する点を主に説明する。

第１の実施の形態において、画像処理部２１が備える導出部２３が実行する第２導出処理は、「車外画像に基づいて車外画像中における車両１が走行するレーンに隣接する隣接レーンの領域に存在する他の車両の移動軌跡を導出部２３が導出する」と説明した。

第４の実施の形態においては、導出部２３が実行する導出処理の代わりに、画像処理部２１が更に備える抽出部が抽出処理を実行する。抽出部は車外画像に含まれる車両１の前後方向に延びる被写体の像を抽出する。そして、検知部２４が抽出処理による結果に基づいて第３検知処理を実行する。まず、抽出処理について説明する。

（抽出処理）
車両１の走行中に右サイドカメラ５が撮影した車外画像に含まれる車両１の前後方向に延びる被写体の像を抽出する抽出処理を抽出部が実行する。

被写体の像とは、例えば、図１６に示す車外画像Ｇ１９に含まれる、車両１が走行するレーンと隣接するガードレールＧＲである。

このように、物体の像を車外画像中におけるガードレールＧＲとするのは、右サイドカメラ５の光軸が正常の位置において撮影される車外画像において常に一定の位置に一定の形状が抽出される物体の像であるからである。結果、検知装置２は、右サイドカメラ５の光軸の位置ズレ検知の精度を向上させることができる。

次に、第３検知処理について説明する。

（第３検知処理）
そして、被写体の像であるそのガードレールＧＲの形状と基準となる基準形状とを比較した結果に基づいて、右サイドカメラ５の光軸の位置ズレを検知する検知処理を検知部２４が実行する。

基準形状とは、車両１が工場から出荷される際に、または、販売会社において販売される際に、図２に示す車両１に備わる左サイドミラー３０の先端へ右サイドカメラ５が搭載された位置において、車両１の走行中に右サイドカメラ５が撮影した時間的に連続する複数の車外画像に基づいて抽出されるガードレールＧＲの形状である。つまり、基準形状とは、左サイドカメラ４の光軸の位置を検知装置２がその機能を発揮させるために設定された基準位置において、抽出処理が実行されて抽出されたガードレールＧＲの形状をいう。

このような処理を検知装置２が実行するため、検知装置２は第１の実施の形態と同様の効果を奏させることができる。

なお、第２検知処理は左サイドカメラ４が撮影した車外画像に基づいても実行できる。

＜変形例＞
以上、本発明の第１の実施の形態について説明してきたが、この発明は上記第１の実施の形態に限定されるものではなく様々な変形が可能である。以下では他の実施形態である変形例について説明する。もちろん、以下で説明する形態を適宜組み合わせても良い。

＜変形例１＞
上記第１の実施の形態の検知装置２は、「カメラ３〜６が備えるレンズは魚眼レンズである」と説明したが、魚眼レンズが備える画角よりも狭いレンズをカメラ３〜６に備えても良い。例えば、画角が４５度の標準レンズをカメラ３〜６に備えても良い。

この場合、導出部２３が実行する第２導出処理及び第２検知処理は次のようになる。

（第２導出処理）
左サイドカメラ４が撮影した時間的に連続する複数の車外画像に基づいて車両１と相対的に移動する物体の像を解析する。物体の像は、例えば、車外画像中における車両１が走行するレーンに隣接する隣接レーンの領域に存在する他の車両である。

つまり、図１７に示すような、左サイドカメラ４が撮影した時間的に連続する複数の車外画像Ｇ５〜Ｇ１６において、車両１が走行中のレーンに隣接する隣接レーンの領域を車両１と相対的に移動した他の車両の像Ｃ５〜Ｃ８の移動軌跡を導出部２３が導出する。

従って、図１８に示すように、標準レンズを備えた左サイドカメラ４が撮影した車外画像に基づいて導出した他の車両の移動軌跡ＬＺは、直線になる。

（第２検知処理）
第２導出処理によって導出された移動軌跡ＬＺが、基準ラインと一致しないことを検知部２４が検知する。つまり、検知部２４はそれらが一致しない場合に左サイドカメラ４の光軸の位置がズレたことを検知する。

つまり、左サイドカメラ４の光軸の位置がズレていない場合は、移動軌跡Ｌは、図１９に示す、基準ラインＬＳＺと同じになる。また、左サイドカメラ４の光軸の位置が下方向へズレていた場合は、移動軌跡ＬＺは、図１０に示すように、ラインＬ１Ｚ又はラインＬ２Ｚのようになって、基準ラインＬＳＺと一致しない。また、左サイドカメラ４の光軸の位置が上方向へズレていた場合は、移動軌跡ＬＺは、図１０に示すように、ラインＬ３ＺまたはラインＬ４Ｚのようになって、基準ラインＬＳＺと一致しない。

このような処理を検知装置２が実行するため、検知装置２は第１の実施の形態と同様の効果を奏させることができる。

なお、第２検知処理は右サイドカメラ５が撮影した車外画像に基づいても実行できる。

２ 検知装置
２１ 画像処理部
２３ 導出部
２４ 検知部
２６ 制御部
２７ 報知部
３ フロントカメラ
４ 左サイドカメラ
５ 右サイドカメラ
６ リヤカメラ

Claims (10)

1. 車両の側方に搭載されたカメラの光軸の位置ズレを検知する検知装置であって、
   前記車両の走行中に前記カメラが撮影した時間的に連続する複数の車外画像に基づいて、前記車両と相対的に移動する物体の像の前記車外画像中の移動軌跡を導出する導出手段と、
   前記移動軌跡と前記車外画像中の基準となる基準ラインとを比較した結果に基づいて、前記位置ズレを検知する検知手段と、
   を備えることを特徴とする検知装置。
2. 請求項１に記載の検知装置において、
   前記カメラのレンズは魚眼レンズであり、
   前記検知手段は、前記移動軌跡の歪みの程度と前記基準ラインの歪みの程度とを比較した結果に基づいて、前記位置ズレを検知することを特徴とする検知装置。
3. 請求項２に記載の検知装置において、
   前記検知手段は、前記車外画像中の所定位置にある前記移動軌跡と、前記所定位置にある前記基準ラインとを比較した結果に基づいて、前記位置ズレを検知することを特徴とする検知装置。
4. 請求項３に記載の検知装置において、
   前記所定位置は、前記車外画像の左右中央の近傍の領域であることを特徴とする検知装置。
5. 請求項３に記載の検知装置において、
   前記所定位置は、前記車外画像の左右の略中央であることを特徴とする検知装置。
6. 請求項１乃至５の何れかに記載の検知装置において、
   前記導出手段は、前記車外画像中における前記車両が走行中のレーンに隣接する隣接レーンの領域に存在する物体の像の移動軌跡を導出することを特徴とする検知装置。
7. 請求項６に記載の検知装置において、
   前記物体は、前記隣接レーンを走行する他の車両であることを特徴とする検知装置。
8. 車両の側方に搭載されたカメラの光軸の位置ズレを検知する検知方法であって、
   （ａ）前記車両の走行中に前記カメラが撮影した時間的に連続する複数の車外画像に基づいて、前記車両と相対的に移動する物体の像の前記車外画像中の移動軌跡を導出する工程と、
   （ｂ）前記移動軌跡と前記車外画像中の基準となる基準ラインとを比較して前記位置ズレを検知する工程と、
   を備えることを特徴とする検知方法。
9. 車両の側方に搭載されたカメラの光軸の位置ズレを検知する検知装置であって、
   前記車両の走行中に前記カメラが撮影した車外画像に含まれる、前記車両の前後方向に延びる走行レーンを区切る区画線の像またはガードレールの像を抽出する抽出手段と、
   前記区画線または前記ガードレールの像の形状と基準となる基準形状とを比較した結果に基づいて、前記位置ズレを検知する検知手段と、
   を備えることを特徴とする検知装置。
10. 車両の側方に搭載されたカメラの光軸の位置ズレを検知する検知方法であって、
    （ｃ）前記車両の走行中に前記カメラが撮影した車外画像に含まれる、前記車両の前後方向に延びる走行レーンを区切る区画線の像またはガードレールの像を抽出する工程と、
    （ｄ）前記区画線の像または前記ガードレールの像の形状と基準となる基準形状とを比較した結果に基づいて、前記位置ズレを検知する工程と、
    を備えることを特徴とする検知方法。

Images