JP6798926B2 - 車載カメラのキャリブレーション装置 - Google Patents

Description

本発明は、車載カメラの外部パラメータを自動的に校正する装置に関する。

近年、車載カメラを用いた自動駐車や自動運転などの車両制御を行うことが検討されている。カメラにより撮像された画像を用いた車両制御を行うためには、カメラの取り付け位置、取り付け角度などの外部パラメータを正確に求める必要があるが、物理的な取り付け精度は車両制御を行うには不十分である。

また、車両に乗せる人や荷物などの荷重が変動すると、車体が上下することによってカメラの位置が変動し、車体の傾きの変化によってカメラの傾きが変動する。

従来技術においては、カメラの外部パラメータは、カメラを車両に取り付けた後に、既知パターンを床面に施した測定場で測定し、求める方法が行われていたが、この方法では、カメラを車両に取り付けた後に測定場に搬入する必要があり作業量が大きくなっていた。

また、上記方法では、車両の荷重変動による外部パラメータの変動に対処することができない。

このため、車両走行中に外部パラメータを校正する方法が用いられるようになってきている。

従来技術において、車載カメラの外部パラメータを走行中に校正する方法は、特許文献１に示す方法がある。この方法では、カメラから入力される画像に対して、検出された複数の特徴点を追跡し、その特徴点の時系列座標位置からカメラの外部パラメータの推定を行っている。

また、特許文献２および特許文献３においては、複数カメラの校正を行う方法が記載されている。つまり、カメラの姿勢及び高さを推定し、カメラ間の共通視野部分に対して射影変換し、一方のカメラの他方のカメラに対する相対位置を推定し、校正を行っている。

ＷＯ２０１２／１３９６３６号公報 特開２０１５−７２２６９号公報 特開２０１４−１０１０７５号公報

しかしながら、上記特許文献１、特許文献２及び特許文献３に示す方法は、複数のカメラの校正を行う場合において、校正に必要なデータの処理量を削減するための方法が記載されていない。

複数のカメラの校正は処理量が多く、実行時間がかかるものであるが、実行時間の短縮は、自動運転などの精度向上に役立つものである。

また、校正に必要な処理量を削減し、実行時間を短縮化することによって、他のアプリケーションプログラムの動作を円滑にすることができ、自動運転の精度向上を図ることが可能である。

本発明の目的は、車両に配置された複数のカメラの校正実行時間を短縮し、自動運転の精度向上を図ることが可能な車載カメラのキャリブレーション装置を実現することである。

上記目的を達成するため、本発明は次のように構成される。

車載カメラのキャリブレーション装置において、
車両の走行状態を判定する車両状態判定部と、
上記車両に配置された複数のカメラが撮像した画像情報が入力され、入力された上記画像情報に従って、上記複数のカメラのそれぞれの外部パラメータの校正処理を行うカメラ毎処理部と、
上記車両状態判定部が判定した上記車両の走行状態が、上記外部パラメータの校正処理を行うのに適するか否かを判断し、上記車両の走行状態が上記校処理を行うのに適する場合には、上記カメラ毎処理部に、上記複数のカメラを１個毎に、上記校正処理を行うように指令する動作制御部と、を備える。

本発明によれば、車両に配置された複数のカメラの校正実行時間を短縮し、自動運転の精度向上を図ることが可能な車載カメラのキャリブレーション装置を実現することができる。

本発明が適用される車載カメラシステムの概略構成図である。 本発明の一実施例である車載カメラのキャリブレーション装置のシステム構成を示す図である。 各カメラの動作モード遷移と優先度の一例を示す図である。 動作制御部の内部機能ブロック図である。 全てのカメラが監視モードの状態のとき、どのカメラを優先して認識モードに遷移させるかの処理フローチャートである。

以下、添付図面を参照して、本発明の実施形態について詳細に説明する。

図１は、本発明が適用される車載カメラシステムの概略構成図である。

図１において、自動運転などの車両制御を行うための車載カメラシステムは、車両１０１の全周囲の情報を取得する必要があるため、通常は１つのカメラではなく複数のカメラを用いている。図１に示す例では、車両１０１に、前方カメラ１０２と、後方カメラ１０３と、左サイドカメラ１０４と、右サイドカメラ１０５との４つのカメラが配置され、各カメラ１０２〜１０５からの画像情報をエンジンコントロールユニット（ＥＣＵ）１０６へ入力している。

図１に示す例では、４つのカメラ１０２〜１０５を１つのＥＣＵ１０６に接続しているが、本発明の構成はこの数に限ったものではない。

自動運転などに使用するカメラシステムは、取り付け角度などの外部パラメータを正確に把握する必要があるが、物理的な取り付け精度には限界があるため、カメラを車体に取り付けたあとに取り付け角度を推定する方法が一般的である。この方法には、既知のマーカーをペイントした床面に車両を配置し、カメラからの入力画像から外部パラメータを推定する方法と、道路走行中に路面に現れるペイントなどから推定する方法の２種類の方法がある。近年は、経年変化や車の荷重変化による外部パラメータの変動に対応可能な、車両の走行中に校正する方法が実用化に向けて検討されている。

車両の走行中における外部パラメータの校正は、ＥＣＵ１０６で行う必要があり、画像認識を伴うリアルタイム処理となり、処理量が多く、ＥＣＵ１０６のリソースを多く必要とする。全てのカメラの校正を同時に行うことは他の処理に影響を及ぼすため、本発明においては、複数のカメラのうちの、どのカメラの校正をどの順に行うかを決めて、いずれか１つのカメラの校正を行う。

図２は、本発明の一実施例である車載カメラのキャリブレーション装置のシステム構成を示す図であり、ＥＣＵ１０６内に配置されている例である。

図２において、車載カメラのキャリブレーション装置は、車両状態判定部２０１と、カメラ毎処理部２０２と、出力制御部２０３と、動作制御部２０４とを備えている。

車両状態判定部２０１は外部から入力される車両情報から車両状態（車両走行状態）が、カメラ１０２〜１０５の外部パラメータの校正を行うのに適するか否かを判断する。カメラ毎処理部２０２は、カメラ１０２〜１０５のそれぞれに対して配置されており、カメラ１０２〜１０５のそれぞれからの入力情報（画像情報）を処理する。出力制御部２０３は、カメラ毎処理部２０２による校正結果を保存し、車両の外界認識部３００に出力する。

動作制御部２０４は、車両状態判定部２０１からの判定結果と、カメラ毎処理部２０２からの出力から、各カメラ１０２〜１０５の動作モードを決定し、どのカメラの校正を優先するかの判断を行う。カメラ毎処理部２０２の詳細な動作説明は後述する。

カメラ１０２〜１０５の校正は、車両１０１の状態によって精度が大きく変化する。具体的には、車両１０１の停止時や低速走行時にはカメラ１０２〜１０５により撮像された映像の変化が少ないために、精度良く校正することができない。また、道路のカーブなど非直線運動を車両１０１が行っている場合、校正精度が大きく劣化する。

このため、車両状態判定部２０１では、車両１０１の速度情報、ハンドル角情報などの車両走行状態を車両１０１から受けとり、動作制御部２０４に伝える。動作制御部２０４では、校正を行うのに適さない車両状態（車両走行状態）か否かを判断し、校正を行うのに適さない車両状態のときは全ての校正動作を停止する。カメラ１０２〜１０５の校正精度は、車両１０１の状態だけでなく、カメラ１０２〜１０５から入力される画像情報によっても変化する。この情報は、カメラ毎処理部２０２がカメラ１０２〜１０５からの入力により判定する。具体的には、校正に使用可能な特徴点がどの程度得られるかによって決まる。

特徴点とは、路面に現れるペイントなどで、車両１０１の位置が変わっても同じ点を見つけることが可能な点であり、代表的なものは路面の白線のコーナーなどである。

この特徴点の現れ方は、カメラ１０２〜１０５の向きによって大きく異なるので、カメラ１０２〜１０５が撮像した画像からカメラ毎処理部２０２が判定して、動作制御部２０４に伝える。動作制御部２０４は、各カメラ１０２〜１０５の状態を判断し、各カメラ１０２〜１０５の動作モードを決定してカメラ毎処理部２０２に伝える。

図３は、各カメラ１０２〜１０５の動作モード遷移と優先度の一例を示す図である。

図３において、各カメラ１０２〜１０５は、監視モード３０１、認識モード３０２、キャリブモード（校正モード）３０３、休止モード３０４の４つの動作モードを持つ。各カメラ１０２〜１０５は、起動時に監視モード３０１から始める。監視モード３０１では、カメラ１０２〜１０５に写る特徴点がどの程度あるかを監視する。これは、カメラ毎処理部２０２の各カメラ１０２〜１０５に備えられた特徴点処理部２０２Ａによって処理された特徴点について、特徴点発生頻度検出部２０２Ｃにより、特徴点発生頻度が検出されることにより実行される。特徴点発生頻度検出部２０２Ｃにより検出された特徴点発生頻度は、動作制御部２０４に伝達される。

なお、監視モード３０１と、認識モード３０２と、キャリブモード３０３と、休止モード３０４との４つの動作モードを纏めて、外部パラメータの校正処理と定義することも可能である。

特徴点の監視には大きな処理性能が必要になるが、処理量削減のため、監視モードにおいては、縮小画像情報や部分画像情報などを用いて、処理量の小さな動作を実現できる。

図３に示した例における、あるカメラの監視モード３０１は優先度が低であるが、特徴点の発生数が規定値以上であり、隣接レーンがあると動作制御部２０４が判断すると、動作制御部２０４は該当カメラの優先順位を上げ、該当カメラは認識モード３０２に移行する（該当カメラにおける認識モードは優先度高である）。この移行は、動作モード制御部２０４が、カメラ毎処理部２０２の該当カメラの動作モード部２０２Ｄに伝える。優先度が高いカメラ処理部の動作が他のカメラの処理部より優先して実行される。

複数のカメラで優先度が等しくなる場合は、優先度をさらに詳細に設定することによって、校正を行うカメラを決定する。たとえば、最後に構成されてから経過した時間が長いカメラを優先する、あるいは、特徴点を多く検出しているカメラを優先する、あるいは、校正結果の信頼性が低いカメラを優先する、などの方法である。乱数を使用して優先度の等しいカメラの中からランダムに選択する方法もある。

認識モード３０２では、特徴点処理部２０２Ａが校正に使用する特徴点をカメラ画像から抽出し、複数時間のカメラ画像に対して同一特徴点の追跡が行われる。このときの特徴点位置は、校正精度に大きく影響するために、縮小画像などは使用せず、使用可能な最大精度の画像を使用する。このため、ＥＣＵ１０６の大きな処理量を必要とする。また、連続した時間の画像に対して追跡処理を行うため、優先順位は高くする必要がある。

特徴点が一定の量蓄積された場合（特徴点追跡正常終了数規定値以上）、各カメラ処理部２０２の該当カメラの処理部はそれを動作制御部２０４に伝え、動作制御部２０４は、該当カメラにキャリブモード３０３への移行を指示する。動作制御部２０４を経由するのは、他のカメラの優先順位を考慮し、統合的な判断が必要なためである。

キャリブモード３０３に移行したカメラのカメラ毎処理部２０２のキャリブ実行部２０２Ｂは、蓄積した特徴点軌跡の動きから、該当カメラの外部パラメータを推定し、該当カメラの外部パラメータのキャリブレーション（校正）を実行する。外部パラメータの推定方法は、特許文献２などに示される方法であり、広く知られている方法で良い。

キャリブモード３０２での推定処理は、大きな処理量を必要とするが、新たな入力画像に依存しないため、認識処理よりも優先順位を下げても良い。このため、図３に示す例では、優先度を中としている。

キャリブモード３０３において、キャリブ結果が正常であるか、キャリブ結果異常が規定回数以上と動作制御部２０４が判断し、キャリブモード３０３での推定処理が完了したカメラは、推定結果を出力し、休止モード３０４へと移行する。休止モード３０４では、校正に関する一切の処理を停止し、ＥＣＵ１０６の処理リソースを消費しないようにする。

外部パラメータの校正は、車両１０１の荷重変動に対応する必要があるため、ある程度時間経過した場合は、再び校正処理を開始することが望ましい。そのため、休止モード３０４の状態のカメラも一定時間（例えば、１時間）経過した場合は、監視モード３０１に戻り、再校正を開始する。望ましい校正間隔は、車両状態に依存するため、動作制御部２０４が判断し、カメラ毎処理部２０２へと伝達する。ただし、車両１０１の運転開始時は、車両１０１の走行開始時から数分程度経過後に校正処理を開始する。

また、各モード３０１、３０２、３０３の状態が一定時間経過した場合は、タイムアウトとなり、休止モード３０４に遷移する。

また、キャリブモード３０３において、キャリブ結果が異常であった場合は、認識モード３０２に遷移する。キャリブモード３０３におけるキャリブ結果異常が規定回数以上となった場合は、上述したように、休止モード３０４に遷移する。

また、認識モード３０２において、車両１０１の車速が規定値以上、非直線走行、特等点発生数が規定数より小のいずれかの場合は、監視モード３０１に遷移する。

カメラ毎処理部２０２では、動作制御部２０４から指示された動作モードで動作する。

すなわち、監視モード３０１では、精度を落とした状態で、カメラ画像に表れる特徴点の頻度を調べて動作制御部２０４に伝達する。認識モード３０２では、精度を高めた状態で、特徴点の検出と追跡を行い、追跡が完了した特徴点系列の座標を内部メモリに格納し、格納数を動作制御部２０４に伝える。

また、キャリブモード３０３では、キャリブ実行部２０２Ｂが格納した特徴点系列の座標から、最適な外部パラメータを計算する。休止モード３０４では、新たな指示が動作制御部２０４から与えられるまで、全ての動作を停止する。

新たな指示が動作制御部２０４から与えられた場合は、指示に従って該当する動作モードへ移行する。

動作制御部２０４は、各カメラ１０２〜１０５の動作モードを認識しているため、どのカメラを優先して校正するかを決定する。

図４は、動作制御部２０４の内部機能ブロック図である。

図４において、動作制御部２０４は、校正動作停止判断部２０４Ａと、動作モード決定部２０４Ｂと、優先順位決定部２０４Ｃとを備える。校正動作停止判断部２０４Ａは、車両状態判定部２０１からの判定結果に基づいて校正動作を停止するか否かを判断する。動作モード決定部２０４Ｂは、校正動作停止判断部２０４Ａから停止指示が出力されていない場合は、カメラ毎処理部２０２からの出力に基づいて、動作モードを決定し、カメラ毎処理部２０２の動作モード部２０２Ｄに動作モードを指令する。

動作モード決定部２０４Ｂは、決定した動作モード及びカメラ毎処理部２０２から伝達された特徴点系列の数等を優先順位決定部２０４Ｃに伝達する。優先順位決定部２０４Ｃは、動作モード及び特徴点系列の数や発生位置等に基づいて、優先順位（優先度）を決定し、決定した優先度をカメラ毎処理部２０２の動作モード部２０２Ｄに伝達する。

例えば、全てのカメラ１０２〜１０５が監視モードにあり、複数のカメラ１０２〜１０５が認識モード３０２に移行することが可能になった場合、処理量を抑えるために１つのカメラしか認識モード３０２に移行することができないと判断することができる。

図５は、全てのカメラ１０２〜１０５が監視モード３０１の状態のとき、どのカメラを優先して認識モード３０２に遷移させるかの処理フローチャートである。

図５において、優先順位決定部２０４Ｃは、一定期間経過したか否かを判断し（ステップＳ１）、一定期間が経過した場合は、ステップＳ２に進む。ステップｓ２において、優先順位決定部２０４Ｃは、全てのカメラ１０２〜１０５が監視モード３０１か否かを判断する。全て監視モード３０１であれば、ステップＳ３に進み、各カメラ１０２〜１０５の優先度を算出し、ステップＳ５に進む。

ステップＳ２において、全てのカメラ１０２〜１０５が監視モード３０１となっている状態ではない場合は、ステップＳ４に進み、監視モード３０１となっているカメラのうちの優先度を判断する。そして、ステップＳ５に進む。

ステップＳ５において、優先度が最も高いカメラが認識モード３０２となるように、カメラ毎処理部２０２の動作モード部２０２Ｄに指示する。

なお、上述した例は、全てのカメラ１０２〜１０５が監視モード３０１の状態の場合の例であるが、全てのカメラ１０２〜１０５が他のモードとなっている場合も、同様な処理を行うことが可能であるので、詳細な説明は省略する。

車両１０１の車体の前後に設置したカメラ１０２及び１０３は、車両１０１の車体の左右両側の車線の特徴点を捉えられるのに対し、車両１０１の車体の左右に設置されたカメラ１０４及び１０５は、片側の車線しか捉えることができない。

そのため、車両１０１の車体の左右に設置されたカメラ１０４及び１０５は、校正の機会が少なくなることが考えられる。この場合は、校正の機会が少ないカメラ１０４又は１０５を優先して認識モード３０２に移行することが可能である。

また、動作制御部２０４は、車両状態判定部２０１を介して、車両情報の他に他の動作制御アプリケーションプログラムの動作情報を得ることもできる。この情報の取得動作は必須のものではないが、動作制御アプリケーションプログラムの動作情報を利用して校正動作の収束の早期化、安定性向上、精度向上を図ることができる。

他の動作制御アプリケーションプログラムの一例として、車線認識機能を例にとって説明する。

車線認識機能は、カメラ画像から道路上の白線を認識し、走行レーンに対する自車位置を認識する機能である。この車線認識機能を用いることによって、動作制御部２０４は、例えば、車両１０１の左側に有効な車線がなく、左側に設置したカメラ１０４が路面上の特徴点を捕らえていないことを認識することができる。路面外の特徴点は、校正に使用すると精度が劣化するため、左側カメラ１０４を認識モード３０２に移行させないなどの処理を行うことができる。

また、他の動作制御アプリケーションプログラムの動作情報からは、キャリブ実行部（校正部）２０２Ｂが使用できるＥＣＵ１０６の処理量を求めることができる。すなわち、多くの動作制御アプリケーションプログラムが動作している場合は、校正に使用する処理量を低下させ、動作している動作制御アプリケーションが少ない場合は、校正に使用する処理量を増加させるなどを行うことができる。

使用できる処理量が多い場合は、複数のカメラを認識モード３０２に移行させることができ、また、使用できる処理量が少なすぎる場合は、認識モード３０２に移行するのを停止することができる。

また、車両情報からは安全に関する情報をも得ることができる。すなわち、車両１０１と先行車との急激な接近、急ブレーキの実行等のように車両１０１に緊急状態が発生した場合、車両情報からその情報を得ることによって、各カメラ１０２〜１０５の状態を全て休止モード３０４に移行させて、校正に必要な処理量を全て開放し、他のアプリケーションプログラム、例えば、自動運転にかかわるアプリケーションプログラムに割り当てられることができ、他のアプリケーションの動作を円滑にすることができる。このような動作は、車両１０１の安全性を向上させることに寄与する。

このように、動作制御部２０４は、車両情報、他の動作制御アプリケーションプログラムの動作情報、各カメラ１０２〜１０５が撮像した画像に存在する特徴点の頻度などから優先度を計算し、どのカメラを優先するかを決め、各カメラ１０２〜１０５に適切な動作モードを指示することができる。

この動作制御部２０４の機能により、校正しやすいカメラを優先的に校正し、無駄な動作を減らして、全体の校正にかかる時間を短縮することができる。

また、校正に使用できる処理量を求めることにより、ＥＣＵ１０６の処理能力を無駄なく使用することができる。このことは、やはり全体の校正にかかる時間を短縮することができ、また、他のアプリケーションプログラムの動作を阻害する機会が減るため、自動運転などにおいて、安全運転の向上に寄与することができる。

したがって、本発明の一実施例によれば、車両に配置された複数のカメラの校正実行時間を短縮し、自動運転の精度向上を図ることが可能な車載カメラのキャリブレーション装置を実現することができる。

なお、上述した例においては、動作制御部２０４が、カメラ毎処理部２０２からの情報に従って、各カメラ１０２〜１０５の動作モードを遷移させるように構成したが、カメラ１０２〜１０５の校正を行う順序を予め定めておき、それに従って、校正を行うカメラ毎に、監視モード３０１→認識モード３０２→キャリブモード３０３→休止モード３０４に遷移させることにより、カメラ１０２〜１０５を、一個毎に校正を行うように指令する構成とすることも可能である。

また、上述したカメラ１０２〜１０５の校正順序を、車両１０１の走行状態により定めるように指令する構成とすることも可能である。

また、上述した例は、休止モード３０４の状態が一定時間経過したときに、監視モード３０１に遷移するように構成したが、予め定めた時間経過したときに、監視モード３０１に遷移するように構成し、予め定めた時間を車両１０１の走行状態により変更するように構成することも可能である。

例えば、車両１０１の総合走行距離に従って、上記予め定めた時間を短縮していくように構成することも可能である。

また、上述した例は、本発明による車載カメラのキャリブレーション装置をＥＣＵ１０６内の機能として配置したが、ＥＣＵ１０６内ではなく、車両１０１に配置された他のＥＣＵ（エレクトリックコントロールユニット）内に、配置することもできる。また、車載カメラのキャリブレーション装置として、別箇に配置することも可能である。

１０１・・・車両、１０２・・・前方カメラ、１０３・・・後方カメラ、１０４・・・左サイドカメラ、１０５・・・右サイドカメラ、１０６・・・ＥＣＵ、２０１・・・車両状態判定部、２０２・・・カメラ毎処理部、２０２Ａ・・・特徴点処理部、２０２Ｂ・・・キャリブ実行部、２０２Ｃ・・・特徴点発生頻度検出部、２０２Ｄ・・・動作モード部、２０３・・・出力制御部、２０４・・・動作制御部、２０４Ａ・・・校正動作停止判断部、２０４Ｂ・・・動作モード決定部、２０４Ｃ・・・優先順位決定部、３００・・・外界認識部、３０１・・・監視モード、３０２・・・認識モード、３０３・・・キャリブモード、３０４・・・休止モード

Claims (3)

1. 車両の走行状態が校正処理を行うのに適するか否かを判定する車両状態判定部と、
   上記車両に配置された複数のカメラが撮像した画像情報が入力され、入力された上記画像情報に従って、上記複数のカメラのそれぞれの外部パラメータの上記校正処理を行うカメラ毎処理部と、
   上記車両状態判定部により上記車両の走行状態が上記校正処理を行うのに適すると判定された場合には、上記カメラ毎処理部に、上記複数のカメラを１個毎に、上記校正処理を行うように指示する動作制御部と、
   を備え、
   上記校正処理は、
   上記複数のカメラそれぞれが撮像した画像情報の特徴点の発生数を監視する監視モードと、
   特徴点の発生数が規定数以上である場合に上記監視モードから移行され、上記画像情報から特徴点を抽出し、複数時間における上記画像情報に対して同一の特徴点を追跡する認識モードと、
   追跡された前記特徴点が一定の量蓄積された場合に上記認識モードから移行され、上記認識モードにより追跡された同一の特徴点の軌跡に従って、上記外部パラメータを推定するキャリブモードと、
   上記外部パラメータの推定を停止する休止モードと、
   を含む複数の動作モードからなり、
   上記動作制御部は、上記カメラ毎処理部に対して、上記複数の動作モード間の移行を指示する
   ことを特徴とする車載カメラのキャリブレーション装置。
2. 請求項１に記載の車載カメラのキャリブレーション装置において、
   上記動作制御部は、上記休止モードの状態が予め定めた時間経過した場合は、上記カメラ毎処理部に対して、上記監視モードへの移行を指示する
   ことを特徴とする車載カメラのキャリブレーション装置。
3. 請求項１または２に記載の車載カメラのキャリブレーション装置において、
   上記動作制御部は、上記車両の速度が規定値以上、上記車両が非直線走行中、及び上記画像情報における上記特徴点の発生数が規定数よりも少ないの各条件のうち、少なくとも一つの条件を満たす場合、上記カメラ毎処理部に対して、上記複数のカメラのうちの上記認識モードのカメラを上記監視モードへの移行を指示する
   ことを特徴とする車載カメラのキャリブレーション装置。

Images