JP6037351B2 - 車両画像処理装置および車両画像処理方法 - Google Patents

Description

本発明は、車両に設けられた車載カメラの光軸ずれを検出する車両画像処理装置および車両画像処理方法に関するものである。

路面のレーンマークや周辺の車両等を車載カメラで撮影して画像処理を行う車両画像処理装置は、車両の走行制御や前照灯の配光制御等に活用されている。しかし、振動、接触等により、車載カメラの取付位置が初期位置に対して経時的に変化することにより、取付位置が変化した車載カメラで撮影された画像に基づいて画像処理が行われるため、結果的に、車両の走行制御や前照灯の配光制御等が正確に行えなくなってしまうという課題がある。

このような課題を解決するための従来の技術として、カメラ前方のフロントガラスにターゲットを設置し、そのターゲットを基準にしてカメラの光軸ずれを検出するものがある（例えば、特許文献１参照）。

具体的には、予めフロントガラスに固定してあるターゲットの情報から得られる消失点と、車両の出荷検査等で取得した初期データとを照合することで、カメラの光軸ずれを検出することを可能としている。さらに、ターゲットや消失点を原点とし、先行車や対向車の位置を相対的に求める手法により、カメラの光軸ずれを補正することを可能としている。

特開２００４−２４７９７９号公報

しかしながら、特許文献１では、車両のフロントガラスにターゲットを設置する場合には、車両の意匠性に影響を与えてしまう。また、ターゲットを用いず消失点を原点とする場合には、画像処理を重ねる必要があり、計算負荷が大きくなってしまう。さらに、車載カメラの回転方向の光軸ずれを検出する場合には、オートレビリングライト機能からの情報を得る必要があり、構成が複雑になってしまう。

本発明は、上記のような課題を解決するためになされたものであり、車両の意匠性に影響を与えることなく、垂直方向、水平方向および回転方向の３方向について、車載カメラの光軸ずれを容易に検出できる車両画像処理装置および車両画像処理方法を得ることを目的とする。

本発明に係る車両画像処理装置は、車両の位置および方位を取得する位置取得部と、車両に設けられた車載カメラが撮影した車両の外部の画像を取得する画像取得部と、画像取得部から基準画像として取得した画像に対して輪郭抽出を行うことにより得られる方向の異なる少なくとも２つの基準直線の情報を予め記憶するとともに、基準画像を取得時に位置取得部から取得した車両の位置および方位を基準位置および基準方位として予め記憶する記憶部と、画像取得部から画像を比較画像として取得し、比較画像に対して輪郭抽出を行うことにより得られる方向の異なる少なくとも２つの比較直線の情報と記憶部に記憶された基準直線の情報とを、記憶部に記憶された基準位置および基準方位と一致する車両の位置および方位において比較することにより、車載カメラの光軸のずれを判定する判定部とを備えるものである。

また、本発明に係る車両画像処理方法は、車両の位置および方位を、基準位置および基準方位として取得する基準位置取得ステップと、車両に設けられた車載カメラが撮影した車両の外部の画像を基準画像として取得し、基準画像に対して輪郭抽出を行うことにより得られる方向の異なる少なくとも２つの基準直線の情報を予め記憶するとともに、基準画像を取得時に基準位置取得ステップにおいて取得した車両の位置および方位を基準位置および基準方位として予め記憶する記憶ステップと、車両の位置および方位を取得する位置取得ステップと、車載カメラが撮影した車両の外部の画像を比較画像として取得し、比較画像に対して輪郭抽出を行うことにより得られる方向の異なる少なくとも２つの比較直線の情報と記憶ステップで記憶された基準直線の情報とを、記憶ステップにおいて記憶された基準位置および基準方位と一致する車両の位置および方位において比較することにより、車載カメラの光軸のずれを判定する判定ステップとを有するものである。

本発明では、車載カメラが撮影する画像を輪郭抽出して得られる方向の異なる少なくとも２つの基準直線の情報と、過去に車載カメラが撮影した画像を輪郭抽出して得られる方向の異なる少なくとも２つの比較直線の情報とを、車両の同一の位置および方位において比較することにより、車載カメラの光軸のずれを判定している。この結果、車両の意匠性に影響を与えることなく、垂直方向、水平方向および回転方向の３方向について、車載カメラの光軸ずれを容易に検出できる車両画像処理装置および車両画像処理方法を得ることができる。

本発明の実施の形態１に係る車両画像処理装置の構成図である。 本発明の実施の形態１に係る車両画像処理方法を示すフローチャートである。 本発明の実施の形態１に係る車両画像処理方法における直線検出処理を示すフローチャートである。 本発明の実施の形態１に係る車両画像処理方法において、基準データを生成するための基準画像の一例を示す図である。 本発明の実施の形態１に係る車両画像処理方法において、垂直方向に光軸がずれている場合の画像の一例を示す図である。 本発明の実施の形態１に係る車両画像処理方法において、水平方向に光軸がずれている場合の画像の一例を示す図である。 本発明の実施の形態１に係る車両画像処理方法において、回転方向に光軸がずれている場合の画像の一例を示す図である。

以下、本発明における車両画像処理装置および車両画像処理方法の好適な実施の形態について図面を用いて説明する。なお、各図において同一、または相当する部分については、同一符号を付して説明する。

実施の形態１．
図１は、本発明の実施の形態１に係る車両画像処理装置１の構成図である。本実施の形態１の車両画像処理装置１は、判定部１０１、画像取得部１０２、位置取得部１０３、通知制御部１０４、車両状態取得部１０５を備えて構成される。また、車両画像処理装置１は、車両に搭載された車載カメラ２、カーナビゲーション３、ＨＭＩ（Ｈｕｍａｎ Ｍａｃｈｉｎｅ Ｉｎｔｅｒｆａｃｅ）４に接続されている。

また、車両画像処理装置１は、ともに図示しないＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）とプログラムを格納した記憶部とを有するマイクロプロセッサで構成されている。車両画像処理装置１を構成する各ブロックは、記憶部にソフトウェアとして記憶されている。

車載カメラ２は、車両に取り付けられて車両の外部の画像を撮影する。カーナビゲーション３は、一般的に用いられるカーナビゲーションシステムであり、ＧＰＳ装置５から車両の位置（緯度・経度）および方位を取得する。ＨＭＩ４は、運転手に対して車載カメラ２の光軸がずれている等の異常を通知するためのものであり、例えば、車両のダッシュボードのアイコンやディスプレイ装置等である。

次に、車両画像処理装置１の各構成要素について説明する。画像取得部１０２は、車載カメラ２と通信を行い、車載カメラ２が撮影した車両の外部の画像を取得して判定部１０１に送信する。

位置取得部１０３は、カーナビゲーション３と通信を行い、ＧＰＳ装置５からカーナビゲーション３を経由して車両の位置および方位を取得し、判定部１０１に送信する。また、位置取得部１０３は、カーナビゲーション３と通信を行い、車両がカーナビゲーション３に登録された登録地点にいるか否かを取得して判定部１０１に送信する。

判定部１０１は、車載カメラ２が撮影する画像を比較画像として輪郭抽出することで得られる直線の情報と、過去に車載カメラ２が撮影した画像を基準画像として輪郭抽出することで得られた基準直線の情報とを、車両の同一の位置および方位において比較することにより、車載カメラ２の光軸のずれを判定する。具体的な判定方法については、図２を用いて後述する。

通知制御部１０４は、ＨＭＩ４と通信を行い、判定部１０１が車載カメラ２の光軸がずれていると判定した場合に、運転者に対して光軸がずれていることを通知する。

車両状態取得部１０５は、車両の電源、エンジン等の状態を車両状態としてモニターしており、車両状態を取得して判定部１０１に通知する。また、車両状態取得部１０５は、車両に搭載されたジャイロセンサー等から車両のロール・ヨー・ピッチ角を姿勢情報として取得し、判定部１０１に通知することもできる。

図２は、本発明の実施の形態１に係る車両画像処理方法を示すフローチャートである。以下では、図２を用いて、車両画像処理装置１の判定部１０１が行う処理を説明する。各ステップの主体はいずれも判定部１０１である。

ステップＳ２０１：
判定部１０１は、車両状態取得部１０５から、車両のエンジンの状態を取得し、エンジンがＯＦＦであるか否か判定する。ＹＥＳの場合はステップＳ２０２に進み、ＮＯの場合は処理を終了する。

このように、車両のエンジンがＯＦＦ時のみにおいて判定処理を実施することにより、エンジンの振動による影響がなくなるので、車載カメラ２の光軸のずれを高精度に検出することができる。なお、エンジンによる振動が撮影される画像および画像処理精度に影響を与える可能性がある状態においても、光軸ずれを検出したい場合には、このステップは省略してもよい。

ステップＳ２０２：
判定部１０１は、画像取得部１０２から、車載カメラ２が撮影する画像を取得する。

ステップＳ２０３：
判定部１０１は、位置取得部１０３から、車両のＧＰＳ情報として位置（緯度・経度）および方位を取得する。

ステップＳ２０４：
判定部１０１は、車両状態取得部１０５から、車両のロール・ヨー・ピッチ角の姿勢情報を取得する。なお、姿勢情報は、必須の情報ではなく、姿勢情報を用いない場合には、このステップは省略してもよい。

ステップＳ２０５：
判定部１０１は、位置取得部１０３から、車両がカーナビゲーション３に登録された登録地点にいるか否かを取得し、車両が予め登録された地点にいるか否かを判定する。ＹＥＳの場合はステップＳ２０６に進み、ＮＯの場合は処理を終了する。

このように、車両が予め登録された地点のみにおいて判定処理を実施することにより、後述の基準データを様々な地点で作成しておく必要がなくなるので、基準データを記憶する記憶部のメモリ量を削減することができる。なお、登録地点をカーナビゲーション３に登録することは、必須ではなく、このステップは省略してもよい。

ステップＳ２０６：
判定部１０１は、画像取得部１０２から取得した画像と比較するための、過去に撮影された基準画像の情報を含む基準データが記憶部に記憶されているか否かを判定する。ＹＥＳの場合はステップＳ２０７に進み、ＮＯの場合はステップＳ２１５に進む。

ステップＳ２１５：
判定部１０１は、ステップＳ２０２で画像取得部１０２から取得した画像を基準画像として直線検出処理を行い、基準画像を輪郭抽出して得られる基準直線の仰角および画像中心からの距離を算出する。具体的な直線検出処理については、図３を用いて後述する。

ステップＳ２１６：
判定部１０１は、位置取得部１０３から取得した車両の位置および方位を基準位置および基準方位として、この基準位置および基準方位と、直線検出処理において算出した基準直線の仰角および画像中心からの距離とを含む情報を基準データとして生成し、記憶部に記録する。なお、基準データには、ステップＳ２０４において車両状態取得部１０５から取得した姿勢情報を更に含めてもよい。

ステップＳ２０７：
判定部１０１は、ステップＳ２０３において位置取得部１０３から取得した車両の位置および方位と、ステップＳ２０６において記憶部から読み出した基準データの基準位置および基準方位とを比較し、両者が一致するか否かを判定する。ＹＥＳの場合はステップＳ２０９に進み、ＮＯの場合はステップＳ２０８に進む。なお、位置および方位に加えて、更に姿勢情報を比較するようにしてもよい。

ステップＳ２０８：
判定部１０１は、位置取得部１０３から取得した車両の位置および方位が、基準データの基準位置および基準方位と異なる場合には、ステップＳ２０２で画像取得部１０２から取得した画像の視点が基準データの基準位置および基準方位と同じとなるように、画像の中心、傾き、奥行き等を視点変換する。視点変換の手法としては、例えば、射影変換を用いることができる。

これにより、現在（画像取得部１０２から画像取得時）と過去（基準データ生成時）とで車両の位置および方位が異なる場合でも、画像取得部１０２から取得した画像の視点が基準データの基準位置および基準方位と同じとなるように視点変換したうえで、車載カメラ２の光軸のずれを検出することができる。

なお、車両の姿勢が異なる場合でも、車両の位置および方位が異なる場合と同様にして、画像取得部１０２から取得した画像を視点変換することが可能である。これにより、現在と過去とで車両の姿勢が異なる場合でも、車載カメラ２の光軸のずれを検出することができる。

あるいは、位置取得部１０３から取得した車両の位置および方位が、基準データの基準位置および基準方位と異なる場合には、視点変換することなく、以降のずれ検出を行わずに処理を終了させてもよい。

ステップＳ２０９：
判定部１０１は、前述のステップＳ２１５と同様の直線検出処理を、ステップＳ２０２において画像取得部１０２から取得した画像（比較画像）に対して行うことにより、画像を輪郭抽出して得られる直線の仰角および画像中心からの距離を算出する。

以下の説明では、画像を輪郭抽出して得られる直線として、垂直方向の直線および水平方向の直線を検出することを想定するが、本実施の形態１はこのような構成に限定されるものではない。画像を輪郭抽出して得られる直線は、方向の異なる少なくとも２つの直線を検出すればよい。

ステップＳ２１０：
判定部１０１は、算出した垂直方向の直線と基準データの垂直方向の直線の画像中心からの距離を比較し、水平方向のずれを算出する。

ステップＳ２１１：
判定部１０１は、算出した水平方向の直線と基準データの水平方向の直線の画像中心からの距離を比較し、垂直方向のずれを算出する。

ステップＳ２１２：
判定部１０１は、算出した水平方向の直線と基準データの水平方向の直線の仰角を比較し、回転方向のずれを算出する。

ステップＳ２１３：
判定部１０１は、ステップＳ２１０において算出された水平方向のずれ量、ステップＳ２１１において算出された垂直方向のずれ量、およびステップＳ２１２において算出された回転方向のずれ量のそれぞれに関して、車載カメラ２の光軸がずれていると判断するためにそれぞれの方向で個別な値として予め定めた閾値以上であるか否かを判定する。

ここで、少なくともいずれか１つの方向において、ずれ量が閾値以上の場合（ＹＥＳの場合）はステップＳ２１４に進み、すべての方向において、ずれ量が閾値未満の場合（ＮＯの場合）は処理を終了する。

ステップＳ２１４：
判定部１０１は、車載カメラ２の光軸がずれていると判断し、運転手に対して、車載カメラ２の光軸がずれていることを、通知制御部１０４を介して通知する。

図３は、本発明の実施の形態１に係る車両画像処理方法における直線検出処理を示すフローチャートである。以下、図３を用いて、直線検出処理について説明する。各ステップの主体はいずれも判定部１０１である。

ステップＳ３０１：
判定部１０１は、画像取得部１０２から取得した画像内の物体の輪郭を抽出する。輪郭抽出の手法としては、例えば、映像輝度の１次微分フィルタを用いて輪郭を抽出する手法がある。但し、輪郭抽出の手法はこれに限定されるものではなく、輪郭を抽出できればどのようなものでもよい。

ステップＳ３０２：
判定部１０１は、水平方向の直線候補（仰角０±α度、但しαは予め定めた仰角方向の検出範囲）を検出する。

ステップＳ３０３：
判定部１０１は、検出した直線候補から、最も直線らしい直線を水平方向の直線として選択する。

ステップＳ３０４：
判定部１０１は、選択した水平方向の直線の仰角および画像中心からの距離を算出する。

例えば、ステップＳ３０２〜Ｓ３０４においてハフ変換を用いると直線候補の抽出と同時に仰角および画像中心からの距離を算出できる。ハフ変換の結果の中で最も直線らしい直線を選択すれば水平方向の直線を検出できる。

ステップＳ３０５〜Ｓ３０７：
判定部１０１は、ステップＳ３０５において垂直方向の直線候補（仰角９０±β度、但しβは予め定めた仰角方向の検出範囲）を検出した後は、ステップＳ３０６、およびステップＳ３０７において、先のステップＳ３０３、ステップＳ３０４と同様の手順により、垂直方向の直線の仰角および画像中心からの距離を算出する。

図４は、本発明の実施の形態１に係る車両画像処理方法における基準データを生成するための基準画像の一例を示す図である。以下、基準データ生成時の直線検出処理について、図４を用いて説明する。

判定部１０１は、車両のエンジンがＯＦＦ時、かつ車両がカーナビゲーション３に登録された登録地点にいる場合に、車載カメラ２が撮影する画像を取得するとともに、車両の位置および方位を取得する。

判定部１０１は、基準データが作成されていない場合は、図３に示す直線検出処理を行う。直線検出処理の結果、水平方向に最も長い４０２が、水平方向で最も直線らしい線となるため、水平方向の直線４０２として検出される。また、垂直方向に最も長い４０３が垂直方向で最も直線らしい線となるため、垂直方向の直線４０３として検出される。

水平方向の直線４０２は仰角が０度、画像中心４０１からの距離がｒ１であり、垂直方向の直線４０３の直線は仰角が９０度、画像中心４０１からの距離がｒ２である。判定部１０１は、これらの基準直線の仰角および画像中心からの距離と、位置取得部１０３から取得した車両の位置および方位である基準位置および基準方位と、を含む情報を基準データとして記録する。基準データには、車両状態取得部１０５から取得した姿勢情報を更に含めてもよい。

次に、基準データが記憶され、車両が走行した後、車両のエンジンがＯＦＦになった時、かつ車両がカーナビゲーション３に登録された登録地点にいる場合に、判定部１０１は、車載カメラ２が撮影する画像を取得するとともに、車両の位置および方位を取得する。

今回は、基準データは作成済なので、判定部１０１は、位置取得部１０３から取得した車両の位置および方位と基準データの基準位置および基準方位とが一致する場合には、画像取得部１０２から取得した画像に対して直線検出処理を行う。

図５は、本発明の実施の形態１に係る車両画像処理方法において、垂直方向に車載カメラ２の光軸がずれている場合の画像の一例を示す図である。

車載カメラ２の光軸が垂直方向にずれている場合には、図５に示すような画像が得られる。図５では、水平方向の直線５０２は、仰角が０度、画像中心５０１からの距離がｒ１＋ｘであり、垂直方向の直線５０３は、仰角が９０度、画像中心５０１からの距離がｒ２である。

判定部１０１は、図４の水平方向の直線４０２と、図５の水平方向の直線５０２とを比較する。この結果、判定部１０１は、両者の画像中心からの距離がｘだけ異なっていることから、車載カメラ２の光軸の垂直方向に、＋ｘのずれがあると判断することができる。

一方、水平方向の直線４０２と水平方向の直線５０２との仰角のずれ、および垂直方向の直線４０３と垂直方向の直線５０３との画像中心からの距離のずれはない。この結果、判定部１０１は、車載カメラ２の光軸の回転方向および水平方向の光軸のずれはないと判断することができる。

判定部１０１は、車載カメラ２の光軸の垂直方向のずれ量である＋ｘが、予め定めた閾値以上である場合には、車載カメラ２の光軸が垂直方向の許容範囲を超えてずれていることを運転手に対して通知する。

図６は、本発明の実施の形態１に係る車両画像処理方法において、水平方向に車載カメラ２の光軸がずれている場合の画像の一例を示す図である。

車載カメラ２の光軸が水平方向にずれている場合には、図６に示すような画像が得られる。図６では、水平方向の直線６０２は、仰角が０度、画像中心６０１からの距離がｒ１であり、垂直方向の直線６０３は、仰角が９０度、画像中心６０１からの距離がｒ２＋ｙである。

判定部１０１は、図４の垂直方向の直線４０３と、図６の垂直方向の直線６０３とを比較する。この結果、判定部１０１は、両者の画像中心からの距離がｙだけ異なっていることから、車載カメラ２の光軸の水平方向に＋ｙのずれがあると判断することができる。

一方、水平方向の直線４０２と水平方向の直線６０２との仰角のずれ、および水平方向の直線４０２と水平方向の直線６０２との画像中心からの距離のずれはない。この結果、判定部１０１は、車載カメラ２の光軸の回転方向および垂直方向の光軸のずれはないと判断することができる。

判定部１０１は、車載カメラ２の光軸の水平方向のずれ量である＋ｙが、予め定めた閾値以上である場合には、車載カメラ２の光軸が水平方向の許容範囲を超えてずれていることを運転手に対して通知する。

図７は、本発明の実施の形態１に係る車両画像処理方法において、回転方向に車載カメラ２の光軸がずれている場合の画像の一例を示す図である。

車載カメラ２の光軸が回転方向にずれている場合には、図７に示すような画像が得られる。図７では、水平方向の直線７０２は、仰角がθ度、画像中心７０１からの距離がｒ１であり、垂直方向の直線７０３は、仰角が９０＋θ度、画像中心７０１からの距離がｒ２である。

判定部１０１は、図４の水平方向の直線４０２と、図７の水平方向の直線７０２とを比較する。この結果、判定部１０１は、両者の仰角がθだけ異なっていることから、車載カメラ２の光軸の回転方向に＋θのずれがあると判断することができる。

なお、車載カメラ２の光軸の回転方向のずれを測定するためには、水平方向の直線の仰角を比較する代わりに、垂直方向の直線の仰角を比較するようにしてもよい。あるいは、水平方向および垂直方向の両方を比較するようにしてもよい。

一方、水平方向の直線４０２と水平方向の直線７０２との画像中心からの距離のずれ、および垂直方向の直線４０３と垂直方向の直線７０３との画像中心からの距離のずれはない。この結果、判定部１０１は、車載カメラ２の光軸の水平方向および垂直方向の光軸のずれはないと判断することができる。

判定部１０１は、車載カメラ２の光軸の回転方向のずれ量であるが予め定めた閾値以上である場合には、車載カメラ２の光軸が回転方向の許容範囲を超えてずれていることを運転手に対して通知する。

以上のように、実施の形態１では、車載カメラが撮影する画像を輪郭抽出して得られる方向の異なる少なくとも２つの基準直線の情報と、過去に車載カメラが撮影した画像を輪郭抽出して得られる方向の異なる少なくとも２つの比較直線の情報とを、車両の同一の位置および方位において比較することにより、車載カメラの光軸のずれを判定している。この結果、車両の意匠性に影響を与えることなく、垂直方向、水平方向および回転方向の３方向について、車載カメラの光軸ずれを容易に検出できる車両画像処理装置および車両画像処理方法を得ることができる。

なお、以上の説明では、画像を輪郭抽出して得られる直線として、垂直方向の直線および水平方向の直線を検出するものとしたが、２つの直線は、必ずしも互いに直交している必要はなく、上述のように、方向の異なる少なくとも２つの直線が検出できればよい。

また、以上の説明では、画像を輪郭抽出して得られる直線の情報として、直線の仰角および画像中心からの距離を比較するものとしたが、車載カメラの光軸のずれを判定できるものであればどのようなものでもよく、例えば、２つの直線間の角度、画像中心以外の、予め定めた位置からの距離等を比較するようにしてもよい。

１ 車両画像処理装置、２ 車載カメラ、３ カーナビゲーション、４ ＨＭＩ、５ ＧＰＳ装置、１０１ 判定部、１０２ 画像取得部、１０３ 位置取得部、１０４ 通知制御部、１０５ 車両状態取得部。

Claims (10)

1. 車両の位置および方位を取得する位置取得部と、
   前記車両に設けられた車載カメラが撮影した前記車両の外部の画像を取得する画像取得部と、
   前記画像取得部から基準画像として取得した画像に対して輪郭抽出を行うことにより得られる方向の異なる少なくとも２つの基準直線の情報を予め記憶するとともに、前記基準画像を取得時に前記位置取得部から取得した前記車両の位置および方位を基準位置および基準方位として予め記憶する記憶部と、
   前記画像取得部から画像を比較画像として取得し、前記比較画像に対して輪郭抽出を行うことにより得られる方向の異なる少なくとも２つの比較直線の情報と前記記憶部に記憶された前記基準直線の情報とを、前記記憶部に記憶された前記基準位置および基準方位と一致する前記車両の位置および方位において比較することにより、前記車載カメラの光軸のずれを判定する判定部と、
   を備える車両画像処理装置。
2. 前記判定部は、前記比較直線の情報および前記基準直線の情報として、仰角および画像中心からの距離を用いる
   請求項１に記載の車両画像処理装置。
3. 前記判定部は、前記比較画像を取得時の前記車両の位置および方位が、前記基準画像を取得時の前記基準位置および基準方位と異なる場合には、前記比較画像の視点が前記基準位置および基準方位と同じとなるように、前記比較画像を視点変換する
   請求項１または２に記載の車両画像処理装置。
4. 前記車両の姿勢を取得して前記判定部に送信する車両状態取得部を更に備え、
   前記判定部は、前記基準位置および基準方位と一致する前記車両の位置および方位において、さらに姿勢が一致する場合に、前記車載カメラの光軸のずれを判定する
   請求項１から３のいずれか１項に記載の車両画像処理装置。
5. 前記判定部は、前記比較画像を取得時の前記車両の姿勢、位置および方位が、前記基準画像を取得時の前記車両の姿勢である基準姿勢、並びに前記基準位置および基準方位と異なる場合には、前記比較画像の視点が前記基準姿勢、並びに前記基準位置および基準方位と同じとなるように、前記比較画像を視点変換する
   請求項４に記載の車両画像処理装置。
6. 前記車両状態取得部は、前記車両のエンジンの状態を取得して前記判定部に送信し
   前記判定部は、前記車両のエンジンが停止状態の場合に撮影された前記比較画像から得られる前記比較直線の情報を用いて、前記車載カメラの光軸のずれを判定する
   請求項４または５に記載の車両画像処理装置。
7. 前記位置取得部は、前記車両が予め登録された登録地点にいるか否かを前記判定部に送信し、
   前記判定部は、前記車両が予め登録された登録地点にいる場合に、前記車載カメラの光軸のずれを判定する
   請求項１から６のいずれか１項に記載の車両画像処理装置。
8. 前記車両の運転手に異常を通知する通知制御部を更に備え、
   前記判定部は、前記車載カメラの光軸がずれていると判定した場合には、前記通知制御部を介して前記車両の運転手に異常を通知する
   請求項１から７のいずれか１項に記載の車両画像処理装置。
9. 前記判定部は、水平方向の直線および垂直方向の直線を比較することにより、前記車載カメラの光軸のずれを判定する
   請求項８に記載の車両画像処理装置。
10. 車両の位置および方位を、基準位置および基準方位として取得する基準位置取得ステップと、
    前記車両に設けられた車載カメラが撮影した前記車両の外部の画像を基準画像として取得し、前記基準画像に対して輪郭抽出を行うことにより得られる方向の異なる少なくとも２つの基準直線の情報を予め記憶するとともに、前記基準画像を取得時に前記基準位置取得ステップにおいて取得した前記車両の位置および方位を基準位置および基準方位として予め記憶する記憶ステップと、
    前記車両の位置および方位を取得する位置取得ステップと、
    前記車載カメラが撮影した前記車両の外部の画像を比較画像として取得し、前記比較画像に対して輪郭抽出を行うことにより得られる方向の異なる少なくとも２つの比較直線の情報と前記記憶ステップで記憶された前記基準直線の情報とを、前記記憶ステップにおいて記憶された前記基準位置および基準方位と一致する前記車両の位置および方位において比較することにより、前記車載カメラの光軸のずれを判定する判定ステップと、
    を有する車両画像処理方法。

Images