JP6776202B2 - 車載カメラのキャリブレーション装置及び方法 - Google Patents

Description

本発明は、車載カメラの外部パラメータを自動的に校正するキャリブレーション装置及び方法に関する。

近年、自動車等の車両に搭載された車載カメラ（以下、単にカメラということがある）を用いて自動駐車や自動運転などの車両制御を行うことが検討されている。カメラにより撮像された画像を用いて車両制御を行うためには、カメラの取り付け位置、取り付け角度などの外部パラメータを正確に求める必要があるが、物理的な取り付け精度は車両制御を行うには不十分である。

また、車両に乗せる人や積載する荷物などの荷重が変動すると、車体が上下したり、車体の傾きが変化するので、それによって、カメラの位置が変動したり、カメラの傾きないし向きが変動する。

従来技術においては、カメラの外部パラメータは、カメラを車両に取り付けた後に、既知パターンを床面に施した測定場で測定して求められていたが、このような方法では、カメラを車両に取り付けた後に測定場に搬入する必要があり、作業量が大きくなっていた。また、前述の方法では、車両の荷重変動による外部パラメータの変動に対処することができない。

そのため、車両走行中にカメラの外部パラメータを校正する方法が用いられるようになってきている。

このように車両走行中に車載カメラの外部パラメータを校正する方法として、下記特許文献１には、カメラから入力される画像に対して、検出された複数の特徴点を追跡し、その特徴点の時系列座標位置からカメラの外部パラメータの推定を行う方法が提案されている。

国際公開第２０１２／１３９６３６号

ところで、上記特許文献１に所載の方法では、使用する特徴点が路面ペイントなどの路面と同じ高さにあることを前提としている。しかしながら、カメラ画像に映る特徴点は、路面と同じ高さにあるとは限らず、壁やガードレール、周辺家屋などの特徴点も捉えてしまい、これらの特徴点を使用して校正を行うと、校正結果にズレが生じてしまう。また、特に車体側面に設置されて車両側方を撮影するサイドカメラにおいては、高さの異なる特徴点が並んでいる場合と、カメラのピッチ角度がずれている場合において、特徴点が同様の軌跡を進むように見えるため、両者の判別が困難であるといった課題もある。

例えば、図６に示す車両の環境では、車載カメラは、路面の特徴点だけではなく、壁に現れる特徴点も検出して追跡を行うことになる。特に車体側面に設置されたサイドカメラでは、視野範囲のほとんどに壁が映るため、その壁面の特徴点を多く取得することになる（特に、図６の上段図参照）。この取得した特徴点を俯瞰画像（車両を真上から見下ろしたような画像）上にマッピングすると、カメラと特徴点を結ぶ直線が路面と交わる点の特徴点として扱われる。この特徴点は図６の下段図に示すように路面上を移動すると認識されるため、車速より早い速度で移動しているように観測される。壁面に高さの異なる複数の特徴点が存在する場合、その位置（高さ）によって見かけ上の移動速度が異なって観測される。この特徴点の移動を基に校正を行うと、サイドカメラのピッチ角度がずれている状態と同一であるので、本来のピッチ角度とは異なる校正結果が得られることになる。

そのため、カメラの校正を行う場合、路面から高さのある特徴点を取り除く必要があるが、図６に示す環境では、ピッチ角度のずれと高さのある特徴点とは見かけ上同一の動きになるため、それらを区別することはできない。

本発明は、上記事情に鑑みてなされたもので、その目的とするところは、校正対象となる車載カメラにより撮像された画像から路面上の特徴点のみを取り出して精度の高い校正結果を得ることのできるキャリブレーション装置及び方法を提供することにある。

上記課題を解決するために、本発明に係るカメラキャリブレーション装置は、複数の車載カメラからの入力を持つ車載カメラシステムにおいて、前記車載カメラの外部パラメータのキャリブレーションを実行するキャリブレーション装置であって、前記キャリブレーションを実行する車載カメラとは異なる１つ以上の車載カメラの画像に映る特徴点を利用して路面範囲を推定し、前記キャリブレーションを実行する車載カメラの画像に映る特徴点のうち、前記推定された路面範囲に存在する特徴点のみを使用してキャリブレーションを実行することを特徴としている。

また、本発明に係るカメラキャリブレーション装置は、複数の車載カメラからの入力を持つ車載カメラシステムにおいて、前記車載カメラの外部パラメータのキャリブレーションを実行するキャリブレーション装置であって、前記キャリブレーションを実行する校正対象の車載カメラとは異なる校正非対象の車載カメラの画像に映る第１特徴点を検出する第１特徴点検出部と、前記校正非対象の車載カメラの時刻の異なる画像から前記第１特徴点を追跡する第１特徴点追跡部と、追跡された前記第１特徴点の移動距離ないし移動速度から前記第１特徴点の高さを算出する特徴点高さ算出部と、前記第１特徴点のうち、路面と同一の高さを持つ第１特徴点が存在する範囲を路面範囲として推定する路面範囲推定部と、前記推定された路面範囲を前記校正対象の車載カメラにおける路面範囲として設定する路面範囲設定部と、前記キャリブレーションを実行する校正対象の車載カメラの画像に映る第２特徴点を検出する第２特徴点検出部と、前記校正対象の車載カメラの時刻の異なる画像から前記第２特徴点を追跡する第２特徴点追跡部と、追跡された前記第２特徴点から前記路面範囲に存在する第２特徴点を選別する特徴点選別部と、前記路面範囲に存在する第２特徴点のみから前記校正対象の車載カメラのキャリブレーションを実行する校正演算部と、を備えることを特徴としている。

また、本発明に係るカメラキャリブレーション方法は、複数の車載カメラからの入力を持つ車載カメラシステムにおいて、前記車載カメラの外部パラメータのキャリブレーションを実行するキャリブレーション方法であって、前記キャリブレーションを実行する車載カメラとは異なる１つ以上の車載カメラの画像に映る特徴点を利用して路面範囲を推定し、前記キャリブレーションを実行する車載カメラの画像に映る特徴点のうち、前記推定された路面範囲に存在する特徴点のみを使用してキャリブレーションを実行することを特徴としている。

本発明によれば、例えば壁面などの路面以外の特徴点が多く取れるシーンでのサイドカメラの校正において、路面上の特徴点のみを適切に取り出して精度の高い校正結果が得られる。それによって、車載カメラにより撮影された画像を用いた自動運転などの安全性を向上させることが可能となる。

上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

本発明に係るキャリブレーション装置の一実施形態が適用される車載カメラシステムのシステム構成を示す概略構成図である。 本発明に係るキャリブレーション装置の一実施形態の内部構成を示すブロック図である。 本発明に係るキャリブレーション装置の一実施形態による処理の流れを説明するフローチャートである。 路面範囲推定部および路面範囲設定部による処理の一例を説明する図である。 路面範囲推定部および路面範囲設定部による処理の他例を説明する図である。 車両の周囲環境と車載カメラの画像に映る特徴点の例を示す図である。

以下、図面を参照して、本発明の実施形態について詳細に説明する。

図１は、本発明に係るキャリブレーション装置の一実施形態が適用される車載カメラシステムのシステム構成を示す概略構成図である。

図示実施形態では、４台のカメラ１０２〜１０５が、車両１０１に搭載され、例えば当該車両１０１の車体の前後左右に設置される。車両１０１の車体前面に設置されたフロントカメラ１０２は、車体前方を撮影して画像を生成し、車両１０１の車体背面に設置されたリアカメラ１０３は、車体後方を撮影して画像を生成し、車両１０１の車体左側面に設置された左サイドカメラ１０４は、車体左側方を撮影して画像を生成し、車両１０１の車体右側面に設置された右サイドカメラ１０５は、車体右側方を撮影して画像を生成する。各カメラ１０２〜１０５は、通常、路面（地面）と平行な水平面に対して平行から鉛直下方に向かう方向に光軸が向くように取り付けられる。また、各カメラ１０２〜１０５には、車両１０１の全周囲の画像を取得できるように、例えば広角の魚眼カメラが採用される。

なお、車両１０１に搭載されるカメラの台数や位置等は、図示例に限定されないことは当然である。

車両１０１には、各カメラ１０２〜１０５で撮影された画像を受信して処理する処理装置としてのＥＣＵ１０７が搭載されている。このＥＣＵ１０７は、プログラムなどに基づき各種演算処理を行う演算装置としてのＣＰＵ、各カメラ１０２〜１０５で撮影された画像データなどを格納するＲＡＭ、各種演算処理（例えば、後述するカメラの外部パラメータのキャリブレーション）を実行するプログラムやプログラムで必要となる情報などを格納するＲＯＭ等を含むマイコンで構成されている。

本実施形態では、前記ＥＣＵ１０７には、例えば車両１０１の走行中に、各カメラ１０２〜１０５で撮影された画像を用いて、各カメラ１０２〜１０５の外部パラメータを自動的に校正するためのキャリブレーション装置１１０が内蔵されている。

上述したように、各カメラ１０２〜１０５のキャリブレーション（校正）を行う場合、校正対象となるカメラ１０２〜１０５の画像に映る特徴点から、壁やガードレール、周辺家屋などの路面から高さのある特徴点を取り除く必要がある。これを解決するために、本実施形態では、車体前方を映すことができるフロントカメラ１０２の情報（画像）を使用する。車体後方を映すことができるリアカメラ１０３の情報（画像）を使用する場合でも同様のことが可能であるが、本実施形態では、フロントカメラ１０２の情報（画像）を用いた動作で以下の説明を行う。

フロントカメラ１０２は、車体前方の特徴点を取得しており、車両１０１の走行中は、旋廻時などを除き、ほとんどの場合、当該車両１０１の進行方向に路面を捉えることが可能である。前述したように、路面上の特徴点は、フロントカメラ１０２の校正が正しい場合、俯瞰画像上では、車両１０１の車速と同じ速さで後方に移動するが、壁面などの高さが路面とは異なる位置にある特徴点は、車両１０１の車速より速い速度で移動すると認識される。

すなわち、フロントカメラ１０２では、車体前方にある路面上の特徴点（フロントカメラ１０２で撮影された画像中で検出される特徴点）のみを使用してカメラ角度の校正を行うことが可能である。また、校正後に特徴点の移動距離ないし移動速度から、路面の範囲を推定することが可能となる（後で詳述）。

一方、左サイドカメラ１０４や右サイドカメラ１０５では、車体側方の特徴点を取得しており、壁面などの高さが路面とは異なる位置にある特徴点を多く取得する傾向にある。そのため、本実施形態では、フロントカメラ１０２の情報（画像）を用いて、左サイドカメラ１０４や右サイドカメラ１０５の画像に映る特徴点から、前記のような特徴点（高さが路面とは異なる位置にある特徴点）を除外・破棄し、路面上の特徴点のみを選別してカメラ角度の校正を行うというものである。

なお、車両１０１の旋回時は、車体の正面が必ずしも路面とは限らないが、ハンドルの舵角などの車両情報を取得することによって、車両１０１の旋回を検知することができるため、その場合は、特徴点の取得を停止することによって対応可能である。

以上の本実施形態のキャリブレーション装置１１０によるキャリブレーションの詳細、特に、キャリブレーション装置１１０による左サイドカメラ１０４や右サイドカメラ１０５のキャリブレーションの詳細を、図２、３を用いて説明する。図２は、図１に示すキャリブレーション装置１１０の内部構成を示すブロック図であり、図３は、図１に示すキャリブレーション装置１１０による処理の流れを説明するフローチャートである。

図２に示すように、キャリブレーション装置１１０は、基本的に、フロントカメラ１０２の画像から特徴点（第１特徴点）を検出する特徴点検出部（第１特徴点検出部）２０１、サイドカメラ１０６（左サイドカメラ１０４または右サイドカメラ１０５）の画像から特徴点（第２特徴点）を検出する特徴点検出部（第２特徴点検出部）２０２、フロントカメラ１０２の画像中の特徴点を追跡する特徴点追跡部（第１特徴点追跡部）２０３、サイドカメラ１０６の画像中の特徴点を追跡する特徴点追跡部（第２特徴点追跡部）２０４、フロントカメラ１０２の画像中の特徴点の高さを算出する特徴点高さ算出部２０５、フロントカメラ１０２による路面範囲推定部２０６、サイドカメラ１０６のキャリブレーションで採用する特徴点範囲（すなわち、路面範囲）を決定するための路面範囲設定部２０７、サイドカメラ１０６のキャリブレーションで採用する特徴点を選別する特徴点選別部２０８、サイドカメラ１０６のキャリブレーションを実行する校正演算部２０９を含んで構成されている。

なお、前記キャリブレーション装置１１０において、フロントカメラ１０２側の特徴点検出部２０１とサイドカメラ１０６側の特徴点検出部２０２とは共有してもよいし、フロントカメラ１０２側の特徴点追跡部２０３とサイドカメラ１０６側の特徴点追跡部２０４とは共有してもよいことは詳述するまでも無い。

前記キャリブレーション装置１１０では、フロントカメラ１０２側の処理とサイドカメラ１０６側の処理とはほぼ同時に実行されるものであるが、以下の説明では、フロントカメラ１０２側の動作から説明を行う。

フロントカメラ１０２からキャリブレーション装置１１０に画像が入力されると（図３のＳ３０１）、その画像は、特徴点検出部２０１に入力され、その画像中から特徴点が抽出（検出）される（図３のＳ３０２）。ここで言う特徴点とは、複数の画像で同一点を同定しやすい場所（点）のことであり、路面ペイントのコーナー点などが含まれる。この特徴点の検出処理は、公知の検出技術を用いて行われる。

特徴点検出部２０１で検出された特徴点の座標は、特徴点追跡部２０３に送られる。特徴点追跡部２０３では、フロントカメラ１０２の時刻の異なる画像（時系列画像）から同一点の特徴点の追跡を行う（図３のＳ３０３）。この複数の時刻にわたる特徴点の追跡処理は、公知の追跡技術を用いて行われる。

特徴点追跡部２０３での追跡が完了すると、得られた特徴点（追跡完了特徴点）の座標は保存されるとともに（図３のＳ３０４）、特徴点高さ算出部２０５に送られる。特徴点高さ算出部２０５では、得られた特徴点の数（すなわち、保存数）が予め決められた規定数に達したか否かを判定し（図３のＳ３０５）、規定数に達した場合には、特徴点の座標が俯瞰変換され、路面上の座標に変換される。また、特徴点高さ算出部２０５では、車両１０１に設けられた車速センサや車輪速センサなどから得られる車速を基に、路面上の座標の移動距離ないし移動速度から特徴点の高さを計算し（図３のＳ３０６）、その特徴点が真に路面上に存在するか否か（言い換えれば、路面と同一の高さを持つか否か）を判定し、その結果が路面範囲推定部２０６に送られる。

前述のように、特徴点検出部２０１による特徴点検出と特徴点追跡部２０３による特徴点追跡は、１回のみではなくフロントカメラ１０２から画像が入力されるたびに継続的に行われる。一定期間に検出・追跡された特徴点の判定結果（特徴点高さ算出部２０５による判定結果）は、路面範囲推定部２０６に蓄積される。路面範囲推定部２０６では、その結果から路面上と判定された特徴点（つまり、路面と同一の高さを持つ特徴点）の分布範囲を路面上（路面範囲）と推定する（図３のＳ３０７）（図４の上段図参照）。

路面範囲推定部２０６による推定結果は、路面範囲設定部２０７へ送られてサイドカメラ１０６側に通知され（図３のＳ３０８）、路面範囲設定部２０７では、サイドカメラ１０６側で路面と判定する範囲が決定（設定）される（図３のＳ３０９）。ここで、サイドカメラ１０６は校正前の状態であるので、俯瞰変換後の座標に誤差が発生するため、誤差範囲を考慮して路面範囲を設定する。具体的には、通常、当該サイドカメラ１０６には広角の魚眼カメラが採用されたり不可視領域が存在するので、一定の割合、または一定の長さを路面範囲の端から取り除いた範囲とする（図４の下段図参照）。

この路面範囲設定部２０７による路面範囲の設定は、定期的に更新される。

次に、サイドカメラ１０６側の動作を説明する。

サイドカメラ１０６でも、フロントカメラ１０２と同様に特徴点の検出と追跡が行われる。

サイドカメラ１０６からキャリブレーション装置１１０に画像が入力されると（図３のＳ３１０）、その画像は、特徴点検出部２０２に送られ、その画像中から特徴点の検出が行われる（図３のＳ３１１）。この特徴点の検出方法は、フロントカメラ１０２側の特徴点検出部２０１で行われる検出方法と同様である。

特徴点検出部２０２で検出された特徴点の座標は、特徴点追跡部２０４に送られ、特徴点追跡部２０４では、サイドカメラ１０６の時刻の異なる画像から同一点の特徴点の追跡を行う（図３のＳ３１２）。この特徴点追跡部２０４による追跡処理も、フロントカメラ１０２側の特徴点追跡部２０３で行われる追跡処理と同様である。

特徴点追跡部２０４での追跡が完了した特徴点（追跡完了特徴点）の座標は、特徴点選別部２０８に送られる。特徴点選別部２０８では、特徴点の座標が抽出されて俯瞰画像上の座標に変換される（図３のＳ３１３）。また、特徴点選別部２０８では、この俯瞰画像上の座標が、路面範囲設定部２０７から送られる路面範囲に合致するか否か（つまり、路面範囲に存在するか否か）が判断され（図３のＳ３１４）、路面範囲内の座標（を持つ特徴点）のみが選別されて校正演算部２０９に送られて保存される（図３のＳ３１５）。なお、路面範囲に存在しないと判断された特徴点は破棄される（図３のＳ３１８）。

校正演算部２０９では、特徴点選別部２０８で選別されて保存された特徴点（路面範囲内特徴点）の数（すなわち、保存数）が予め決められた規定数に達したか否かを判定し（図３のＳ３１６）、規定数に達した場合には、その特徴点（路面範囲内特徴点）を用いて、サイドカメラ１０６の校正を行う（図３のＳ３１７）。この校正演算部２０９による校正演算処理は、以下の手順で行われる。

すなわち、校正が正しく行われた場合は、特徴点の移動距離は俯瞰座標では車両１０１の進行距離と一致する。また、車両１０１が直進している場合は、特徴点はまっすぐ後方に移動する。サイドカメラ１０６のピッチ角度に誤差がある場合は、特徴点は斜めに進行したり、特徴点の移動距離が車両１０１の移動距離と異なるようになる。俯瞰変換に用いる角度を微小量変化させると、俯瞰座標上での特徴点の位置が変わるため、特徴点の移動方向や移動距離が変化する。

サイドカメラ１０６のピッチ角度が変化すると、主に特徴点の移動距離が変化する。そのため、俯瞰変換処理を行う計算に用いるピッチ角度を微小量ずつ変化させ、特徴点の移動距離が車両１０１の移動距離に一致する角度を求めれば、そのピッチ角度が正しいピッチ角度であると推定される。

また、サイドカメラ１０６の画像中で検出・追跡される特徴点が、１点ではなく、複数である場合は、各特徴点の移動距離と車両１０１の移動距離の差分を求め、その絶対値の合計または２乗誤差の合計を評価値として、その評価値が最小になるピッチ角度を求めることにより、サイドカメラ１０６の校正を行うことができる。

前述の校正の計算は、１回のみで行うこともできるが、繰り返し実行することによって、精度の向上を図ることができる。これは、校正演算部２０９の１回目の校正結果を特徴点選別部２０８にフィードバックすることによって実現できる。

特徴点選別部２０８では、前述の特徴点選別を行う前に特徴点の座標を俯瞰座標に変換する必要があるが、校正が１度も行われていない場合は、設計上の値などを利用する。この角度は大きな誤差を含むため、この特徴点選別では誤差の影響で選別ミスが発生する可能性がある。すなわち、路面上ではあるが、路面端に近い位置にある特徴点が選別で除去されたり、路面外ではあるが、路面に近接していたために、誤った特徴点が選択されてしまう場合がある。このような選別ミスは、校正演算部２０９の校正結果に誤差を生じさせる原因になる。

校正演算部２０９の校正結果は、誤差が生じたとしても、校正前の角度情報より信頼性が高い。そのため、特徴点選別部２０８の特徴点選別の俯瞰変換に校正演算部２０９の校正結果の角度を使用することによって、選別ミスを少なくすることができる。

すなわち、校正演算部２０９の校正結果を特徴点選別部２０８にフィードバックし、特徴点を再選別して２回目の校正を行う。または、新しく得られた特徴点を、フィードバック後の角度で俯瞰変換して選別する。これにより、２回目の校正では、より精度の高い結果が得られる。

前記の校正とフィードバックを繰り返すことによって、より精度の高い校正結果が得られる。

校正演算部２０９では、このようして一定回数、あるいは一定時間の間に校正を繰り返したのち、最後の校正結果を出力する。

なお、上記実施形態では、フロントカメラ１０２が存在することを前提として動作を説明したが、フロントカメラ１０２が存在しない場合はリアカメラ１０３を用いることで同様の動作が可能である。カメラで撮影された画像による自動運転を前提とした場合、前方監視用のフロントカメラ１０２は必須であるが、ドライバーの運転補助のみを前提とし、ドライバーからの死角になる後方監視用のリアカメラ１０３や側方監視用のサイドカメラ１０６（左サイドカメラ１０４や右サイドカメラ１０５）のみを搭載する車載カメラシステムの場合、リアカメラ１０３を用いることによって、上記実施形態と同様のキャリブレーションを実現することができる。

また、サイドカメラ１０６は通常は複数存在する。この場合も、路面範囲判定はフロントカメラ１０２の画像を用いて行い、路面範囲の推定結果を複数のサイドカメラにそれぞれ伝達することによって、複数のサイドカメラの校正を同時に行うことが可能である。なお、演算装置としてのＥＣＵ１０７の搭載量削減や消費電力削減を目的として、複数のサイドカメラの校正を同時ではなく、順次実行することも可能である。

また、フロントカメラ１０２の画像を用いた路面範囲推定から、路面範囲が画像内に映らないカメラを選別することも可能である（図５参照）。この場合、路面範囲の映らないカメラの処理を全て止めてしまうことによって、処理量を削減し、消費電力を削減することができる。また、路面範囲が映らないカメラの処理を止めることによって、処理能力に余裕が生まれるため、その処理能力を他のカメラの校正に使用したり、自動運転の計算などの他の処理に振り分けることによって、安全性を更に高めることも可能である。

以上で説明したように、本実施形態のキャリブレーション装置１１０では、キャリブレーションを実行するカメラ（サイドカメラ１０６）とは異なるカメラ（フロントカメラ１０２やリアカメラ１０３）の画像に映る特徴点を利用して路面範囲を推定し、キャリブレーションを実行するカメラの画像に映る特徴点のうち、推定された路面範囲に存在する特徴点のみを使用してキャリブレーションを実行することにより、例えば壁面などの路面以外の特徴点が多く取れるシーンでのサイドカメラ１０６の校正において、路面上の特徴点のみを適切に取り出して精度の高い校正結果が得られる。それによって、各カメラにより撮影された画像を用いた自動運転などの安全性を向上させることが可能である。

なお、本発明は上記した実施形態に限定されるものではなく、様々な変形形態が含まれる。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。

また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記憶装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

１０１ 車両
１０２ フロントカメラ
１０３ リアカメラ
１０４ 左サイドカメラ
１０５ 右サイドカメラ
１０６ サイドカメラ
１０７ ＥＣＵ
１１０ キャリブレーション装置
２０１ 特徴点検出部（第１特徴点検出部）
２０２ 特徴点検出部（第２特徴点検出部）
２０３ 特徴点追跡部（第１特徴点追跡部）
２０４ 特徴点追跡部（第２特徴点追跡部）
２０５ 特徴点高さ算出部
２０６ 路面範囲推定部
２０７ 路面範囲設定部
２０８ 特徴点選別部
２０９ 校正演算部

Claims (9)

1. 複数の車載カメラからの入力を持つ車載カメラシステムにおいて、前記車載カメラの外部パラメータのキャリブレーションを実行するキャリブレーション装置であって、
   前記キャリブレーションを実行する車載カメラとは異なる１つ以上の車載カメラの画像に映る特徴点を利用して路面範囲を推定し、
   前記キャリブレーションを実行する車載カメラの画像に映る特徴点のうち、前記推定された路面範囲に存在する特徴点のみを使用してキャリブレーションを実行することを特徴とするキャリブレーション装置。
2. 請求項１に記載のキャリブレーション装置において、
   前記キャリブレーションを実行する車載カメラとは異なる１つ以上の車載カメラの画像に映る特徴点の移動距離ないし移動速度に基づいて前記路面範囲を推定することを特徴とするキャリブレーション装置。
3. 請求項１に記載のキャリブレーション装置において、
   前記キャリブレーションを実行する車載カメラとは異なる車載カメラは、車両の前方を撮影するフロントカメラ、あるいは、車両の後方を撮影するリアカメラであることを特徴とするキャリブレーション装置。
4. 請求項１に記載のキャリブレーション装置において、
   前記キャリブレーションを実行する車載カメラは、車両の側方を撮影するサイドカメラであることを特徴とするキャリブレーション装置。
5. 複数の車載カメラからの入力を持つ車載カメラシステムにおいて、前記車載カメラの外部パラメータのキャリブレーションを実行するキャリブレーション装置であって、
   前記キャリブレーションを実行する校正対象の車載カメラとは異なる校正非対象の車載カメラの画像に映る第１特徴点を検出する第１特徴点検出部と、
   前記校正非対象の車載カメラの時刻の異なる画像から前記第１特徴点を追跡する第１特徴点追跡部と、
   追跡された前記第１特徴点の移動距離ないし移動速度から前記第１特徴点の高さを算出する特徴点高さ算出部と、
   前記第１特徴点のうち、路面と同一の高さを持つ第１特徴点が存在する範囲を路面範囲として推定する路面範囲推定部と、
   前記推定された路面範囲を前記校正対象の車載カメラにおける路面範囲として設定する路面範囲設定部と、
   前記キャリブレーションを実行する校正対象の車載カメラの画像に映る第２特徴点を検出する第２特徴点検出部と、
   前記校正対象の車載カメラの時刻の異なる画像から前記第２特徴点を追跡する第２特徴点追跡部と、
   追跡された前記第２特徴点から前記路面範囲に存在する第２特徴点を選別する特徴点選別部と、
   前記路面範囲に存在する第２特徴点のみから前記校正対象の車載カメラのキャリブレーションを実行する校正演算部と、を備えることを特徴とするキャリブレーション装置。
6. 複数の車載カメラからの入力を持つ車載カメラシステムにおいて、前記車載カメラの外部パラメータのキャリブレーションを実行するキャリブレーション方法であって、
   前記キャリブレーションを実行する車載カメラとは異なる１つ以上の車載カメラの画像に映る特徴点を利用して路面範囲を推定し、
   前記キャリブレーションを実行する車載カメラの画像に映る特徴点のうち、前記推定された路面範囲に存在する特徴点のみを使用してキャリブレーションを実行することを特徴とするキャリブレーション方法。
7. 請求項６に記載のキャリブレーション方法において、
   前記キャリブレーションを実行する車載カメラとは異なる１つ以上の車載カメラの画像に映る特徴点の移動距離ないし移動速度に基づいて前記路面範囲を推定することを特徴とするキャリブレーション方法。
8. 請求項６に記載のキャリブレーション方法において、
   前記キャリブレーションを実行する車載カメラとは異なる車載カメラは、車両の前方を撮影するフロントカメラ、あるいは、車両の後方を撮影するリアカメラであることを特徴とするキャリブレーション方法。
9. 請求項６に記載のキャリブレーション方法において、
   前記キャリブレーションを実行する車載カメラは、車両の側方を撮影するサイドカメラであることを特徴とするキャリブレーション方法。

Images