JP5858045B2 - 車載カメラの光軸把握装置 - Google Patents

Description

本発明は、車両に搭載されて、障害物の検出や後方確認等に用いられる車載カメラの光軸調整に関する。

車両に搭載したカメラから得られた映像情報に基づいて車両の制御や運転者への情報提供を行う技術が知られている。この種の技術としては、例えば、画像から自車両が走行する走行レーンの境界である白線情報を検知して車両の逸脱判定に用いる技術や、画像に基づいて駐車目標位置を設定し、当該目標位置に到達する経路を誘導、案内する技術などがある。

このような技術においては、車載カメラで取得した画像中の対象物の位置から車両に対する対象物の位置への座標変換が用いられる。この座標変換において対象物の車両に対する位置を精度よく把握するためには、車載カメラの取り付け位置、向き（光軸方向）を精度よく把握しておく必要がある。

特許文献１に記載されている技術はこうした光軸方向調整技術の一例であって、車両の前方の任意位置に置かれたスクリーンへマークを投影する投影部と、スクリーンまでの距離を測定する測距部とを設け、車両ごとに決められている光軸中心線の情報とスクリーンまでの距離から、スクリーン上で光軸中心線上の位置へマークを投影して、それに基づいて光軸調整を行う、というものである。

特開２００６−７４３２９号公報

しかしながら、この技術では、車両に対してある程度離れた距離にスクリーンを配置し、調整を行う必要があるため、広いスペースが必要となり、さらに、調整にあたってスクリーンの配置位置や投影部自体を適切に制御する必要があるため工場や整備場等以外での調整を行うことは困難である。

そこで本発明は、車載カメラの光軸調整・補正を簡便に行うことを可能とした車載カメラの光軸把握装置を提供することを課題とする。

上記課題を解決するため、本発明にかかる車載カメラの光軸把握装置は、車載カメラの光軸方向を把握する光軸把握装置であって、車載カメラで撮影した画像から静止物を検知して追跡する障害物追跡手段と、車両の移動距離を検出する移動距離検出手段と、障害物追跡手段により追跡中の静止物が車両との接近により車載カメラの撮影可能領域から外れてから、車両と接触するまでの移動距離検出手段で検出した車両の移動距離と、車載カメラの取り付け位置に基づいて車載カメラの光軸方向を把握する把握手段と、を備えていることを特徴とする。

把握した光軸方向に基づいてカメラの光軸方向を自動または手動により調整してもよいが、把握した光軸方向に基づいて表示画像やこの画像に重ね合わせる画像を補正することで、調整に変えてもよい。この静止物は、地上面に設置される輪留めであるとよい。

車載カメラで撮像できる範囲は、車載カメラの画角、その光軸方向によって定まる。そこで、撮影可能領域内に位置していた障害物が、車両が障害物方向へと移動することにより、カメラの撮影可能領域内から外れて車両（例えば、タイヤ）と接触するまでの車両の移動距離を検出すると、この移動距離は、当該障害物と車両の接触位置からカメラの撮影可能領域境界のうち最も車両に近い側の境界との距離に合致する。この位置と、カメラの取り付け条件、カメラの諸元（画角）からカメラの光軸方向を精度よく把握することができる。

把握した光軸方向に基づいて表示の補正を行うことで、簡便に光軸方向の調整を行ったのと同様の効果が得られる。輪留めを用いることで光軸方向の把握を容易、かつ、確実に行うことができる。

本発明にかかる光軸把握装置のブロック構成図である。 図１の装置における光軸方向把握処理を示すフローチャートである。 図２の処理中の初期の輪留めと車両の位置関係を示す図である。 図３の状態から後退している際の輪留めと車両の位置関係を示す図である。 図４の状態から輪留めに到達した際の輪留めと車両の位置関係を示す図である。 図２の処理による光軸ずれの把握を説明する図である。 図１の装置における画像表示例である。

以下、添付図面を参照して本発明の好適な実施の形態について詳細に説明する。説明の理解を容易にするため、各図面において同一の構成要素に対しては可能な限り同一の参照番号を附し、重複する説明は省略する。

本発明にかかる光軸把握装置の実施形態を含む駐車支援装置のブロック構成図を示す。ここでは、車載カメラで取得した画像を駐車支援操作に適用する場合を例に説明するが、車載カメラで撮影した画像をその他の運転者支援、例えば、レーン認識や障害物検出、接触回避等に用いる場合であっても本発明は適用可能である。この駐車支援装置は、車両後方に配置されたリアカメラ１で取得した画像に、駐車支援手段６で算出した目標駐車位置画像を重ね合わせて、車室内に配置されるディスプレー７に表示することで、運転者の駐車操作を支援するものである。

この駐車支援装置には、リアカメラ１、駐車支援手段６、ディスプレー７のほか、リアカメラ１で取得した画像を処理する画像処理装置２と、後輪の回転を検出することにより、車両の移動距離を検知する移動距離算出手段として機能する後輪回転センサ３と、ディスプレー７に表示する画像の表示位置の補正を行う表示補正手段４、リアカメラ１の光軸方向を把握する把握手段であって、当該表示補正手段４による表示補正の補正値を算出する補正値算出手段５を備えている。また、画像処理装置２は、内部に画像認識部２０と、追跡部２１とを備えている。この画像認識部２０と、追跡部２１とが本発明の障害物追跡手段に対応し、ここでは、静止傷害物として地上面に設置される輪留めを用いる場合を例に説明する。

画像処理装置２、表示補正手段４、補正値算出手段５、駐車支援手段６は、いずれもＣＰＵ（central processing unit）、ＲＯＭ（Read Only
Memory）、ＲＡＭ（Random Access Memory）等によって構成されるが、複数の装置・手段がハードウェアの一部または全部を共有していてもよい。また、各装置・手段がソフトウェアによって実現される場合、当該ソフトウェアはそれぞれ独立している必要はなく、一部のプログラムを共用していてもよく、同一のプログラム内で実現されていてもよい。

ディスプレー７としては、専用のディスプレーである必要はなく、ＡＶ機器、ナビゲーション機器の表示装置と共用してもよい。後輪回転センサ３は、後輪の回転に応じて１回転に所定個数のパルス信号を発する車輪速センサとして用いられるタイプのセンサを用いることができる。

リアカメラ１は、動画像として所定の画素数の画像を所定のフレームレート（例えば、テレビフレームレート）で出力するタイプのカメラを用いることができ、画像処理装置２にデジタルデータとして出力することが好ましい。リアカメラ１の出力がアナログ信号である場合には、画像処理装置２との間にＡＤ変換器を設けるか、画像処理装置２側にＡＤ変換機能を設けるとよい。

次に、この装置による光軸ずれの把握処理について、図２〜図６を参照して説明する。図２は、図１の装置における光軸方向把握処理を示すフローチャートであり、図３〜図５は、この処理中の輪留めと車両の位置関係を示す図である。また、図６は、この処理による光軸ずれの把握を説明する図である。

この把握処理は、補正値算出手段５と画像処理装置２を中心にして行われる。把握処理は、図示していない入力手段（例えば、ディスプレー７に一体化されたタッチパネル）により光軸補正処理をオンに設定され、車両を後退状態に設定したときに行われる。

最初に、画像処理装置２の画像認識部２０が、リアカメラ１から画像データを取得し、認識処理を行う（ステップＳ１）。ここでは、認識対象物として図３〜図５に示されるように輪留め９を用いる場合を例に説明する。輪留め９の認識処理は、パターンマッチング手法等により地面上に設置された横に長い略直方体形状の物体を認識することにより行われる。

次に、認識に成功したか否かを判定する（ステップＳ２）。輪留め９を認識できた場合には、ステップＳ３へと移行し、認識できない場合には、ステップＳ１へと戻る。なお、輪留め９を認識できないまま、一定時間が経過した場合には、認識不能として処理を終了するか、運転者に確認を求めるとよい。

ステップＳ３では、画像認識部２０で認識した輪留め９情報に基づいて、追跡部２１が輪留め９の追跡処理を行う。この追跡処理は、リアカメラ１から各フレーム画像を取得し、画像認識部２０で輪留め９を認識し、認識した輪留め９の画像内での位置情報を取得し、これを時系列で追跡することにより行われる。この追跡処理を車両８が輪留め９に接近することにより、画面内から輪留め９が消失するまで行う（ステップＳ４）。図３に示すように、最初にリアカメラ１で取得した画像中に輪留め９が映っている状態においては、リアカメラ１の画角境界線１０、１１の間に輪留め９は位置する。この状態から、車両８が後退を続けて輪留め９に接近していくと、図４に示されるように、車両側（車両８から見て手前側、若しくは下側）の画角境界線１０より輪留め９が車両側に位置することになり、画角境界線１０、１１ではさまれる撮影可能領域から輪留め９が外れることになる。このように、輪留め９がリアカメラ１の撮影可能領域から外れて、映らなくなった時点で輪留め９が消失したと判定し、ステップＳ５へと移行する。

ステップＳ５、Ｓ６では、後輪回転センサ３の出力に基づいて、輪留め６が画面から消失してから輪留め９位置に後輪８０が到達するまで（図５参照）、後輪８０の回転数をカウントする。

ステップＳ７では、カウントした後輪８０の回転数と車両８の諸元から既知のタイヤ半径に基づいて輪留め９がリアカメラ１の撮影可能領域から外れてから、後輪８０が到達するまでの車両８の移動距離Ｌを算出する。

続くステップＳ８では、車両８の移動距離Ｌとリアカメラ１が設計どおりの光軸方向に配置されている場合の目標移動距離ＬＬとの差、リアカメラ１の取り付け位置情報に基づいてリアカメラ１の光軸ずれを求める。図６に示されるように、設計位置のリアカメラ１ｉの車両側の画角境界線１０ｉと後輪８０の輪留め９接触位置との距離がＬＬであり、実際のリアカメラ１の車両側の画角境界線１０と後輪８０の輪留め９接触位置との距離がＬになる。ＬＬとＬとがほぼ一致する場合には、光軸ずれはなく、ＬＬよりＬが長い場合には、リアカメラ１は設計上の位置より車両から遠い方向へ光軸がずれており、逆にＬＬよりＬが短い場合には、リアカメラ１は設計上の位置より車両側へと光軸がずれていることがわかる。

リアカメラ１、１ｉの画角境界線１０、１０ｉの鉛直方向との傾きをそれぞれθ、θｉとし、カメラの取り付け高さをｈとすると、以下が成立する。（ここでは、カメラの取り付け高さで画像境界線１０、１０ｉが交わるものとする。）

ＬＬ−Ｌ＝ｈ（tanθｉ-tanθ）

この式から光軸方向のずれ量である（θｉ−θ）を求めることができる。

ステップＳ９では、補正値算出手段５が、求めた光軸ずれに基づいて表示補正手段４における適切な補正量を算出して処理を終了する。

表示補正手段４は、得られた補正量に基づいて、駐車支援手段６から送られた表示画像をリアカメラ１で得られた映像と重ね合わせる際に、いずれかの映像または双方の表示位置を補正することで、光軸ずれを補正してディスプレー７に表示する。

図７は、この画像表示例である。ディスプレー７の表示画像７０中に現在の舵角を維持したまま後退した際の目標駐車位置枠７１が表示される。リアカメラ１の光軸方向が図６で示されるように車両方向にずれている場合、表示画像７０は、設計位置よりも車両に近い側にずれることになるため、目標駐車位置枠７１は本来表示される位置よりも車両から遠い側にずれてしまう。このため、運転者がこの画面上で目標駐車位置枠７１が駐車区画に合致するように舵角を設定して駐車支援にしたがって駐車操作を行うと、表示された目標駐車位置枠７１へ到達できない可能性がある。本発明によれば、この場合には、実画像に合致するように目標駐車位置枠７１の表示位置の補正を行うので、表示された目標駐車位置へと車両を確実に誘導することができる。

以上の説明では、ディスプレーへの表示を補正する例を説明したが、算出した光軸ずれをカメラの光軸位置調整に用いてもよい。光軸位置調整は、例えば、モーター等を介してリアカメラ１を車両に取り付けることで、自動的に調整を行えるようにしてもよいし、ディスプレー等にガイダンスを表示してそれに基づいて手動により調整を行えるようにしてもよい。

また、本発明は、リアカメラ１の調整に限られるものではなく、前方カメラなどの他のカメラの光軸把握・調整においても適用可能である。また、光軸把握に用いられる物体は輪留めに限られるものではなく、その他の静止物であってもよい。この場合、当該静止物は、車両との接触を判定できるものであればよく、車両との接触箇所はタイヤに限られず、バンパーや車両本体であってもよい。

１、１ｉ…リアカメラ、２…画像処理装置、３…後輪回転センサ、４…表示補正手段、５…補正値算出手段、６…駐車支援手段、７…ディスプレー、８…車両、９…輪留め、１０、１０ｉ、１１…画角境界線、２０…画像認識部、２１…追跡部、７０…表示画像、７１…目標駐車位置枠、８０…後輪。

Claims (3)

1. 車載カメラの光軸方向を把握する光軸把握装置であって、
   前記車載カメラで撮影した画像から静止物を検知して追跡する障害物追跡手段と、
   車両の移動距離を検出する移動距離検出手段と、
   前記障害物追跡手段により追跡中の前記静止物が車両との接近により前記車載カメラの撮影可能領域から外れてから、車両と接触するまでの前記移動距離検出手段で検出した車両の移動距離と、前記車載カメラの取り付け位置に基づいて前記車載カメラの光軸方向を把握する把握手段と、
   を備えていることを特徴とする車載カメラの光軸把握装置。
2. 前記把握手段で把握した光軸方向に基づいて前記車載カメラで撮影した画像または当該画像に重ね合わせて表示する画像の表示位置の補正を行う補正手段をさらに備えている請求項１記載の車載カメラの光軸把握装置。
3. 前記静止物は、地上面に設置される輪留めである請求項１または２に記載の車載カメラの光軸把握装置。

Images