JP6924251B2 - 画像センサの外因性パラメータを較正するための方法及び装置 - Google Patents

Description

本開示は、画像センサの１つ又は複数の外因性パラメータを較正するための方法、デバイス、及びコンピュータ可読ストレージ媒体に関する。

現代の車両は、車両の運転において運転者を支援することを意図した様々な電子システムをよく装備している。これらの電子システムは、車両及びその外部環境の画像を捕捉するために使用される１つ又は複数の車載画像センサの使用を伴うことが多い。捕捉された画像は、分析され、及び単独で、又は物体検出、車線逸脱警報、駐車支援、及び距離測定などの１つ又は複数の運転者支援機能を提供する他の環境センサからの入力と組み合わせて使用され得る。以前には取得できなかった視点へのアクセスを含む、外部環境のより包括的なビューを運転者に提供するために、車載視覚ベースセンサも使用され得る。これは、車両の異なる複数の部分に取り付けられた複数の視覚ベースセンサからの画像をつなぎ合わせることによって生成された合成画像を運転者に表示することによって達成される。一例は、多くの場合、車両の前部、後部、及び両サイドに外的に取り付けられた４つの広角視覚ベースセンサを含むサラウンドビューシステムである。サラウンドビューシステムにおける画像センサは、一般的に、１８０度を超える水平視野を持つ。車両環境の３６０度ビューは、サラウンドビュー画像センサからの画像をつなぎ合わせることによって取得される。

しかし、合成画像を生成するプロセスは、異なる複数の画像センサからの画像をつなぎ合わせる前に、それらの位置合わせを行うことを伴う。これは、実世界における三次元点を画像センサの二次元画像平面にマッピングするために使用される射影行列の知識を必要とする。同様に、射影行列の知識は、画像からの距離測定などの他の画像ベース運転者支援機能の動作にも必要とされる。画像センサに関連する実際の射影行列は、使用されるセンサのタイプによって異なり得るが、射影行列は、一般に、画像センサに関連する内因性パラメータ及び外因性パラメータを用いて定義される。内因性パラメータは、一般に、画像センサの光学系、すなわち、どのように光が画像センサを通ってセンサの画像平面上に射影されるかに関係する。内因性パラメータには、焦点距離及び焦点などのパラメータが含まれる。一方、外因性パラメータは、画像センサの位置及び向きに関し、基準系（すなわち、絶対外因性パラメータ）として使用される座標軸に対して定義され得る。位置関連外因性パラメータは、基準系のｘ、ｙ、及びｚ軸に沿って画像センサの場所を表すが、向き関連外因性パラメータは、ｘ、ｙ、及びｚ軸に沿った画像センサの回転を表す。外因性パラメータの基準系としてよく使用される座標軸の例には、座標軸の原点が車両自体にある車両座標系、及び世界座標系が含まれる。画像センサの外因性パラメータも、他の画像センサのものと比べて（すなわち、相対外因性パラメータ）測定され得る。

従って、画像ベース運転者支援機能の適切な動作を促進するために、画像センサの外因性パラメータを確立するための較正が必須である。しかし、画像センサの位置及び／又は向きは、車両の積載、摩損の影響、様々な車両部品の交換、及びでこぼこ道やドアを強く閉めることによって生じる振動などの様々なファクタによって引き起こされる変化を受けるという問題が生じる。その結果として、これは、画像センサの外因性パラメータの変化を生じさせる。

上記に鑑みて、既知のジオメトリを有する専用較正構造を必要とせず、車両の工場環境外で行うことが可能なロバストなオンライン外因性パラメータ較正方法が望ましい。

本開示の局面は、画像センサの１つ又は複数の外因性パラメータを較正するための方法、デバイス、及びコンピュータ可読ストレージ媒体を提供する。

本開示の第１の局面は、画像センサの１つ又は複数の外因性パラメータを較正するための方法であって、画像センサによって捕捉された画像フレームに現れる第１の平行フィーチャエッジセットを選択することと、第１の平行フィーチャエッジセットの基準消失点を決定することであって、基準消失点が、画像センサの射影基準系上に位置することとを含む方法を提供する。第１の平行フィーチャエッジセットは、２つの平行なフィーチャエッジを含み得る。幾つかの実装では、第１の平行フィーチャエッジセットは、車線標示、駐車線、又は道路境界線の少なくとも１つを含み得る。本方法は、第１の平行フィーチャエッジセットと平行な第２の平行フィーチャエッジセットを選択することと、画像センサの既存の射影行列に基づいて、第２の平行フィーチャエッジセットからの複数の点を射影基準系上に射影することと、第２の平行フィーチャエッジセットに関して、射影基準系上に位置する第２の消失点を決定することとも含む。第２の平行フィーチャエッジセットは、実生活において存在するフィーチャエッジ又は仮想フィーチャエッジでもよい。基準消失点からの第２の消失点の場所の偏差を、偏差が１つ又は複数の所定の限度内となるまで、少なくとも以下のステップ：外因性パラメータの１つ又は複数を調整することによって既存の射影行列を修正すること、修正された既存の射影行列を使用して、第２の平行フィーチャエッジセットからの複数の点を射影基準系上に射影すること、及び射影後に第２の消失点を決定することを再帰的に行うことによって減少させる。

幾つかの実装では、画像センサは、球カメラモデルを使用してモデリングすることができる画像センサである。球カメラ画像センサが使用される、ある変形形態では、第１の平行フィーチャエッジセットの第１の対の基準消失点を決定することが、第１の円及び第２の円を第１の平行フィーチャエッジセットにおける第１のフィーチャエッジ及び第２のフィーチャエッジの画像点にフィッティングさせることと、第１の円及び第２の円が交差する場所を決定することとを含み得る。この場合、画像センサの射影基準系は、画像センサの画像平面である。同様に、第２の平行フィーチャエッジセットの第２の消失点は、画像センサの既存の射影行列に基づいて、第２の平行フィーチャエッジセットの第３のフィーチャエッジ及び第４のフィーチャエッジからの複数の点を画像平面上に射影することによって取得された第３の円及び第４の円を第２の平行フィーチャエッジセットの第３のフィーチャエッジ及び第４のフィーチャエッジの画像点にフィッティングさせることと、第３の円及び第４の円が交差する場所を決定することとによって決定され得る。少なくとも、第１の円、第２の円、第３の円、又は第４の円のフィッティングは、Ｌｏｓｅ関数を最小にすることに基づき得る。ある任意選択の実装では、基準消失点からの第２の消失点の場所の偏差を、偏差が１つ又は複数の所定の限度内となるまで減少させることは、基準消失点をつなぐ第１の接続線を引くことと、第２の消失点をつなぐ第２の接続線を引くこととを含む。外因性パラメータの１つ又は複数を調整することにより既存の射影行列を修正することは、第１の接続線からの第２の接続線の場所又は長さの偏差を減少させるように１つ又は複数の外因性パラメータを調整する前に、第２の接続線と第１の接続線との間の勾配偏差が勾配限度内となるまで、勾配偏差を減少させるように１つ又は複数の外因性パラメータを最初に調整することを含み得る。基準消失点からの第２の消失点の場所の偏差が１つ又は複数の所定の限度内となるまで、第２の平行フィーチャエッジセットからの複数の点が、１つ又は複数の外因性パラメータの各調整後に、修正された既存の射影行列を使用して射影基準系上に射影され、及び第２の消失点が、射影後に決定される。ある変形形態では、第２の接続線と第１の接続線との間の勾配偏差が勾配限度内となるまで、勾配偏差を減少させるように１つ又は複数の外因性パラメータを最初に調整することは、向き関連の外因性パラメータの１つ又は複数を調整することを含み、第１の接続線及び第２の接続線の場所及び／又は長さの偏差を減少させるように１つ又は複数の外因性パラメータを調整することは、並進関連の外因性パラメータの１つ又は複数を調整することを含む。画像センサが球カメラモデルを使用してモデリングされ得る別の実装では、射影基準系は、単位球である。

別の例示的実装では、画像センサは、車両に取り付けられる。第１の平行フィーチャエッジセットを選択することは、画像フレームにおける少なくとも２つのフィーチャエッジを検出することと、画像フレームが捕捉されたときの車両の少なくともステアリング角又はホイール角をチェックすることにより、フィーチャエッジが平行であるかどうかを決定することとを含み得る。幾つかの実装では、第２の平行フィーチャエッジセットは、車両の横軸に沿って位置する車両の座標軸に沿って第１の平行フィーチャエッジセットをシフトすることによって取得され得る。

本開示の別の局面は、画像センサの１つ又は複数の外因性パラメータを較正するためのデバイスであって、プロセッサと、プロセッサに結合される少なくとも１つのメモリであって、画像センサによって捕捉された画像フレームに現れる第１の平行フィーチャエッジセットを選択することと、第１の平行フィーチャエッジセットの基準消失点を決定することであって、基準消失点が、画像センサの射影基準系上に位置することとをプロセッサに行わせる、プロセッサによって実行可能な命令を保存する、少なくとも１つのメモリとを含むデバイスを提供する。プロセッサは、第１の平行フィーチャエッジセットと平行な第２の平行フィーチャエッジセットを選択すること、画像センサの既存の射影行列に基づいて、第２の平行フィーチャエッジセットからの複数の点を射影基準系上に射影すること、及び第２の平行フィーチャエッジセットに関して、射影基準系上に位置する第２の消失点を決定することも行わせられる。基準消失点からの第２の消失点の場所の偏差は、偏差が１つ又は複数の所定の限度内となるまで、少なくとも以下のステップ：外因性パラメータの１つ又は複数を調整することによって既存の射影行列を修正すること、修正された既存の射影行列を使用して、第２の平行フィーチャエッジセットからの複数の点を射影基準系上に射影すること、及び射影後に第２の消失点を決定することを再帰的に行うことによって減少される。

幾つかの実装では、画像センサは、球カメラモデルを使用してモデリングすることができる画像センサであり、射影基準系は、画像センサの画像平面であり、少なくとも１つのメモリは、第１の円及び第２の円を第１の平行フィーチャエッジセットにおける第１のフィーチャエッジ及び第２のフィーチャエッジの画像点にフィッティングさせることにより基準消失点を決定することであって、基準消失点が、第１の円及び第２の円が交差する場所に位置することと、第２の平行フィーチャエッジセットの第３のフィーチャエッジ及び第４のフィーチャエッジからの複数の点を画像センサの画像平面上に射影することによって取得された第３の円及び第４の円を第３のフィーチャエッジ及び第４のフィーチャエッジの画像点にフィッティングさせることにより第２の消失点を決定することと、をプロセッサに行わせる。第２の消失点は、第３の円及び第４の円が交差する場所に位置する。画像センサが車両に取り付けられる場合、少なくとも１つのメモリは、少なくとも以下のステップ：画像フレームにおける少なくとも２つの直線フィーチャエッジを検出すること、及び画像フレームが捕捉されたときの車両の少なくともステアリング角又はホイール角をチェックすることにより、直線フィーチャエッジが平行であるかどうかを決定することによって第１の平行フィーチャエッジセットをプロセッサに選択させ得る。また、少なくとも１つのメモリは、車両の横軸に沿って位置する車両の座標軸に沿って第１の平行フィーチャエッジセットをシフトすることによって、第２の平行フィーチャエッジセットをプロセッサに選択させ得る。

本開示の他の局面は、本開示で述べた方法を実施するためのコンピュータ可読命令を含む非一時的コンピュータ可読ストレージ媒体も含み得る。別の変形形態では、本開示による画像センサの１つ又は複数の外因性パラメータを較正するためのデバイスを含む車両が提供され得る。

本開示の１つ又は複数の実装の詳細が、添付の図面及び以下の発明の詳細な説明に記載される。他の局面、特徴、及び利点は、発明の詳細な説明及び図面から、並びに特許請求の範囲から明らかとなるだろう。

本開示のある実装による画像センサの１つ又は複数の外因性パラメータを較正するように機能する機械視覚モジュールを含むシステム１００の機能ブロック図である。 外因性パラメータの較正に使用される第１の平行フィーチャエッジセットの画像を捕捉する車載画像センサの例示的シナリオを示す。 本開示の一実装による画像センサの１つ又は複数の外因性パラメータを較正するための自動方法を示すフロー図である。 図４Ａは、実世界において現れる例示的一対の平行車線標示を示し、図４Ｂは、魚眼カメラによって捕捉された図４Ａの車線標示の画像を示す。 図４Ａは、実世界において現れる例示的一対の平行車線標示を示し、図４Ｂは、魚眼カメラによって捕捉された図４Ａの車線標示の画像を示す。 円を各フィーチャエッジの画像点にフィッティングさせることによって、第１の平行フィーチャエッジセットに関連する基準消失点を決定する例示的方法を示す。 第２の平行フィーチャエッジセットを選択するための例示的方法を示す。 図５の第１の平行フィーチャエッジセットの画像点、及び既存の射影行列を使用した射影によって取得された第２の平行フィーチャエッジセットの画像点を含む画像平面を示す。 第１の平行フィーチャエッジセットの画像点を単位球の表面上にピクセルマッピングすることによって基準消失点を決定する別の例示的方法を示す。 第２の平行フィーチャエッジセットに関連する第２の消失点を含む単位球を示し、第２の平行フィーチャエッジセットは、図８Ｂにおいて第１の平行フィーチャエッジセットと平行である。

以下の詳細な説明では、添付の図面が参照される。図面では、文脈上他の意味に解すべき場合を除き、一般的に、同様の記号は同様のコンポーネントを識別する。

二次元画像平面への実世界の三次元点の透視射影のために、無限シーン線が、消失点で終了する線として画像化される。同じ理論により、互いに平行な世界線（車線標示など）が、共通の消失点を持つ収束線として画像化される。この開示は、画像センサの外因性パラメータ較正を行うための基準として、上記の消失点概念に依拠する。較正される画像センサにおいて使用されるレンズ系のタイプに応じて、本開示は、少なくとも２つの実世界平行フィーチャエッジを含む較正構造が存在する限り、外因性パラメータ較正が行われることを可能にする。例えば、球カメラモデルに基づく画像センサの外因性パラメータは、２つの実世界平行フィーチャエッジから成る第１の平行フィーチャエッジセットを使用して較正され得る。第２の平行フィーチャエッジセットは、実世界に存在するフィーチャエッジ、又は仮想フィーチャエッジでもよい。この開示に関連する利点の１つは、オフライン較正方法で使用されるものなどの既知の寸法を有する専用較正構造が較正に必須ではない点である。較正は、通常の道路上で利用可能なフィーチャエッジを使用して行われ得る。例えば、車線／路面標示、駐車線、縁石又は道路の側面、又はそれらの組み合わせなどの道路上でよく見つけられる平行フィーチャが使用され得る。従って、本開示は、オフライン外因性較正方法及びオンライン外因性較正方法の両方に適用され得る。一般に、車線標示及び駐車線は、世界中で非常に標準化されているので、ここに記載される較正方法及び装置は、車両プラットフォームに取り付けられた機械視覚モジュールにおいてロバストに展開され得る。

図１は、本開示のある実装による画像センサの１つ又は複数の外因性パラメータを較正するための自動方法を行うように構成された機械視覚モジュール１４０を含む例示的システム１００の機能ブロック図である。この較正方法は、実世界座標において互いに平行な、第１の平行フィーチャエッジセット及び第２の平行フィーチャエッジセットに関連する消失点を比較することに基づく。第１の平行フィーチャエッジセットは、実世界に存在するフィーチャエッジであるが、第２の平行フィーチャエッジセットに関しては、実フィーチャエッジ又は仮想フィーチャエッジのどちらかが使用され得る。第２の平行フィーチャエッジセットに関する消失点は、画像センサの既存の射影行列に基づいて、第２の平行フィーチャエッジセットからの複数の点を画像センサの射影基準系上に射影することによって導出され得る。１つ又は複数の外因性パラメータは、既存の射影行列の再帰的修正を、外因性パラメータの１つ又は複数を調整し、修正された既存の射影行列を使用して第２の平行フィーチャエッジセットからの複数の点を射影基準系上に射影し、射影後の結果として生じる第２の消失点の場所における偏差が１つ又は複数の所定の限度内にあるかどうかをチェックすることによって行うことにより、偏差が１つ又は複数の所定の限度内となるまで、第２の消失点の場所における基準消失点からの偏差を減少させることにより導出される。

車両に関連付けられたシステム１００は、共に機械視覚モジュール１４０と通信する環境モジュール１２０及び車両システム１６０も含む。環境モジュール１２０は、車両の外部環境を感知し、車両の外部環境に関する情報を収集するように機能する環境センサを含む。図１の実装では、環境モジュールは、車両の複数の異なる部分に外的に取り付けられた４つの画像センサ（１２４〜１２７）を含む画像センサモジュール１２２を含む。各画像センサは、それ自体の外因性パラメータセットを有する。例として、画像センサは、図２の例の場合のように、車両のサイドミラー及び後部バンパーに外的に取り付けられた広角カメラ（１２４〜１２７）でもよい。画像センサモジュール１２２は、他のタイプの画像センサ（例えば、視覚ベース単眼カメラ）及び異なる数の画像センサも含み得ることが当業者には認識されるだろう。さらに、レーダー、ライダー、及び超音波センサなどの他のタイプの環境センサも環境モジュールに含まれ得る。

図１の実装における機械視覚モジュール１４０は、コンピューティングプロセッサ１４２と、プロセッサ１４２と通信するハードウェアメモリ１４４とを含む。コンピューティングプロセッサ１４２は、例えば、マイクロコントローラでもよく、情報を保存し、及び保存された命令を実行するためにメモリ１４４にアクセスすることが可能なグラフィックスプロセッシングユニット（ＧＰＵ）も使用され得る。メモリ１４４は、非一時的メモリ（例えば、ハードドライブ、フラッシュメモリ、ランダムアクセスメモリ）、一時的メモリ、又はそれらの組み合わせを含み得る。或いは、プロセッサ１４２及びメモリ１４４は、単一の集積回路に集積されてもよい。メモリ１４４は、プロセッサ１４２によってアクセス可能な情報、及びプロセッサ１４２によって保存、取り出し、又はその他の使用が行われ得るデータを保存する。例えば、プロセッサ１４２は、メモリ１４４に保存された命令に基づいて、本開示による画像センサの１つ又は複数の外因性パラメータを較正するための自動方法を実行し得る。メモリは、画像フレームが外因性パラメータの較正に使用され得るかどうかをプロセッサ１４２が決定する命令も含み得る。これは、画像フレームに関連する特徴が１つ又は複数の画像選択基準を満たすかどうかをチェックすることによって達成され得る。画像選択基準は、サンプル画像における適宜の較正構造の利用可能性に関連する少なくとも１つ又は複数の条件を含むだろう。前述の通り、本開示における外因性パラメータ較正方法は、消失点の概念に基づき、互いに平行な少なくとも２つの較正フィーチャエッジを含む第１の平行フィーチャエッジセットが必要とされる。幾つかの実装では、画像フレームが第１の平行フィーチャエッジセットを含むかどうかを決定するプロセスは、直線フィーチャエッジの存在を検出すること、及びそれらが平行かどうかをチェックすることを含み得る。直線フィーチャエッジの検出は、画像フレームにおけるエッジの存在を検出すること、及び検出されたエッジのどれが直線であるかを決定することを伴い得る。或いは、潜在的較正構造は、所定の構造リストから選択されてもよく、これらの構造は、較正構造としての実際の適合性に関してチェックされ得る。例えば、所定のリストは、潜在的較正構造として車線標示及び路面標示を含み得る。幾つかの実装では、フィーチャエッジの平行度が、画像フレームが撮影された際の車両の移動方向などの様々な方法を使用して検証され得る。移動方向は、プロセッサ１４２が車両システム１６０の１つ又は複数のサブモジュールから取得できるステアリング角情報及び／又はホイール角情報から取得され得る。例えば、ＥＳＣシステム１６２におけるステアリング角センサ１６４及びホイール角センサ１６６。画像選択基準は、サンプル画像の質、特にサンプル画像の潜在的較正構造の画質と関係した要素も含み得る。

次いで、プロセッサ１４２は、第１の平行フィーチャエッジセット及び第２の平行フィーチャエッジセットに関して、較正されている画像センサの射影基準系上に位置する消失点を決定し得る。例えば、射影基準系は、画像センサの画像平面、又は単位球などの中間射影基準系でもよい。例として、球カメラモデルを使用してモデリングされ得る画像センサは、射影基準系として画像平面を使用することができ、第１の平行フィーチャエッジセットの基準消失点は、円を第１の平行フィーチャセットにおける平行フィーチャエッジの画像点にフィッティングさせることによって決定される。一方、第２の平行フィーチャエッジセットに関連する第２の消失点は、既存の射影行列を使用して平行フィーチャエッジからの点を画像平面上に射影し、及び結果として生じるフィーチャエッジの画像間の交点を求めることによって導出される。別の実装では、代わりに、球カメラ画像センサ較正プロセスにおける射影基準系として単位球が使用され得る。単位球上の基準消失点の場所は、ピクセルマッピングによって導出され得るが、同じ単位球上の第２の消失点の場所は、既存の射影行列に基づいて、第２の平行フィーチャエッジセットからの複数の点を単位球上に射影することによって取得され得る。ピクセルマッピングは、それぞれの円としての円フィッティングによるピクセルごとの単位球上への第１の平行フィーチャエッジセットのフィーチャエッジと関連する画像点のマッピングを指す。図１は、機能的にプロセッサ１４２及びメモリ１４４が同じブロック内にあると示すが、プロセッサ及びメモリは実際に、異なるハウジング内に位置する複数のプロセッサ及び／又は複数のメモリを含み得ることが当業者には認識されるだろう。従って、プロセッサ又はメモリへの言及は、本開示に記載される機械視覚モジュールの機能を行うことが可能なプロセッサ及び／又はメモリの一群への言及を含むと理解されるだろう。さらに、機械視覚モジュールは、他のモジュール又はコンポーネントとは独立して存在し得ることが当業者には認識されるだろう。或いは、それは、他のモジュール、プログラム、又はハードウェアの共有要素又はプロセスであってもよい。例えば、プロセッサ１４２及びメモリ１４４は、物体検出機能及び／又は車線維持支援機能を行うように構成されてもよい。

幾つかの実装では、機械視覚モジュール１４０は、他の車両モジュールからの情報に基づいて、自動画像センサ較正機能を提供するように構成され得る。例えば、図１の実装では、機械視覚モジュール１４０は、電子安定制御（ＥＳＣ）システム１６２を含む車両システム１６０と通信する。ＥＳＣシステムは、ハンドル位置角及び回転速度を測定するステアリング角センサ１６４、ホイール角センサ１６６、及びＥＳＣ電子制御装置（ＥＣＵ）１６８を含み得る。幾つかの変形形態では、機械視覚モジュール１４０は、ＥＳＣシステム１６２からの情報を使用して、サンプル画像が１つ又は複数の画像選択基準を満たすかどうかを決定し得る。例えば、較正に使用される第１の平行フィーチャエッジセットが車線標示又は道路境界線を含む場合には、画像選択基準の１つは、第１のセットにおけるフィーチャエッジが互いに平行となるようにサンプル画像が撮影された際に車両が実質的に真っ直ぐに走行していることを必要とし得る。車両の走行方向に関する情報は、車両のハンドル位置角を測定するステアリング角センサ１６４、ホイール角センサ１６６、又はそれらの組み合わせから取得され得る。

図２は、図１に示したようなシステムを装備した車両２１０の一例を示す。提供される例は、車両に取り付けられた画像センサの外因性パラメータを較正するという状況下で使用される方法及びデバイスを示すが、これは、限定であることを意図されたものではないことを認識されたい。本開示は、固定型、可動型、自律性、或いは非自律性を問わず他のタイプのプラットフォームに取り付けられた画像センサを較正するためにも適用され得る。図２では、車両２１０は、魚眼レンズを備えた４つの広角画像センサ（１２４〜１２７）を含む。４つの画像センサは、車両の各側面に位置するサイドビューミラー（１２４、１２５）、及び後部バンパーの隅（１２６、１２７）に取り付けられる。画像センサからの画像は、車両の周囲３６０度ビューを運転者に提供するために統合され得る。較正は、広角カメラの代わりに単眼カメラ及びステレオカメラなどの、車両に取り付けられた他のタイプの画像センサにも適用され得る。画像センサ（１２４〜１２７）によって捕捉された画像は、機械視覚モジュール１４０へと送信され、そこで、それらの画像は、本開示に記載の方法を使用して各画像センサの１つ又は複数の外因性パラメータを較正するためにプロセッサ１４２によって使用され得る。幾つかの実装では、画像は、例えば、機械視覚モジュール１４０へと送信される前に、ノイズ及び歪みを除去するために前処理が行われてもよい。前処理は、例えば環境モジュール１２０のプロセッサによって行われ得る。前処理は、較正のための画像の使用に先立ち、プロセッサ１４２によって着手されてもよい。図２では、車両２１０は、二次元ｘ−ｙ世界座標空間に広がり、且つ図２の平面から外れて垂直方向に延在するｚ軸と交差する地面平面２２０を形成する道路上を移動している。地面平面２２０は、車両２１０の両側に配置された平行車線標示（２４０ａ、２４０ｂ）を含む。右のサイドビューミラーに取り付けられた第１の画像センサ１２４は、参照番号１２４ａで示される視野を持つ。例として、機械視覚モジュール１４０は、第１の画像センサ１２４によって捕捉された画像に現れる第１の平行フィーチャエッジセットを使用して、第１の画像センサ１２４の１つ又は複数の外因性パラメータを較正するように構成され得る。前述の通り、本開示は、球カメラ画像センサなどの画像センサの外因性パラメータの較正のために、２つの平行フィーチャエッジを含む第１の平行フィーチャエッジセットのみを必要とする。既知の寸法を有する専用構造も必須ではない。例えば、第１の平行フィーチャエッジセットは、平行車線標示（２４０ａ、２４０ｂ）を含み得る。路面標示や縁石又は道路の側面などの他の平行フィーチャエッジも、第１の平行フィーチャエッジセットを形成するために、代替手段として、又は車線標示と組み合わせて使用され得る。例えば、第１の平行フィーチャエッジセットは、縁石と組み合わせた車線標示の列を含み得る。

図３は、前述の消失点概念に基づく画像センサの１つ又は複数の外因性パラメータを較正するための自動方法３００を示す例示的フロー図である。ある実装によれば、この方法は、図１に示すようなシステム１００内に位置する機械視覚モジュール１４０によって行われ得る。しかしこれは、本開示の限定となることは意図されず、他のハードウェア構成及びソフトウェア構成も適し得ることが認識されるだろう。例えば、本方法を行うために使用されるプロセッサは、機械視覚モジュール以外の他の場所に位置してもよく、方法３００は、異なる複数のモジュールに位置し、本方法の様々なステップを集団で行う複数のプロセッサの組み合わせによって実施され得る。方法３００は、ブロック３０１から始まり、機械視覚モジュール１４０のプロセッサ１４２が画像センサの１つ又は複数の外因性パラメータを較正するリクエストを受信すると開始され得る。このようなリクエストは、例えば、較正を必要とする画像センサ、又は環境モジュール１２０内に位置するプロセッサによって行われ得る。また、リクエストは、反復的に、及び／又は１つ又は複数の指定の事象の発生に基づいて行われ得る。例えば、リクエストは、車両による走行距離及び／又は車両の始動回数に基づいて反復的に行われ得る。また、リクエストは、外因性パラメータの変化をトリガし得る事象などの事象の発生に基づいて、又は外因性パラメータの潜在的ドリフトが検出された際にトリガされ得る。例には、車両の積載の変化が指定の閾値を超えたとき、１つ又は複数の画像センサからの画像に依拠する１つ又は複数の機能の動作の低下が検出されたとき、又はそれらの組み合わせが含まれる。ブロック３０１におけるプロセスの開始後に、プロセスは、機械視覚モジュールがサンプル画像フレームを選択する（このサンプル画像フレームは、それを撮影した画像センサの較正に使用され得る）ブロック３０２に進む。画像センサは、ブロック３０１における方法３００の開始時にサンプル画像フレームを捕捉するようにトリガされ得る。画像センサのトリガは、車線標示などの較正に使用されるフィーチャエッジが画像フレームにおいて平行に見えるように車両が真っ直ぐに移動しているか否かなどの追加の基準に基づいてもよい。他の変形形態では、画像センサは、一旦イグニッションがスイッチをオンにされると車両の環境の画像を継続的に捕捉するように構成されてもよく、サンプル画像フレームは、これらの画像から選択される。

ブロック３０２でサンプル画像フレームが選択された後に、プロセスは、選択されたサンプル画像が１つ又は複数の画像選択基準を満たすかどうかをプロセッサ１４２が決定する決定ブロック３０４に移る。画像選択基準は、サンプル画像フレームが１つ又は複数の外因性パラメータの較正における使用に適しているかどうかを決定する。画像選択基準は、サンプル画像における適切な較正構造の利用可能性に関連する少なくとも１つ又は複数の条件を含むだろう。前述の通り、本開示における外因性パラメータ較正は、消失点の概念に基づき、第１の平行フィーチャエッジセットが較正構造として必要とされる。使用される画像センサのタイプによって、第１の平行フィーチャエッジセットは、基準消失点を決定するために、より多くの平行フィーチャエッジを必要とし得る。しかし、第１の平行フィーチャエッジセットは、互いに平行な少なくとも２つのフィーチャエッジを含むべきである。幾つかの実装では、機械視覚モジュール１４０は、最初に、サンプル画像における直線フィーチャエッジの存在を検出することによって潜在的較正構造を識別するように構成され得る。このような検出に先立ち、サンプル画像は、色補正、カラーマスキング、及びノイズフィルタリングなどのエッジ検出能力を向上させるように設計された画像強調プロセスを受けてもよい。直線フィーチャエッジの検出は、エッジの存在を検出すること、及び次いで検出されたエッジのどれが直線であるかを決定することを伴い得る。検出プロセスは、サンプル画像全体又は較正構造が見つけられる可能性の高い特定の領域のみに適用され得る。例には、車線標示及び車線又は道路境界線の境界を定めるために使用される他のフィーチャが位置する車両用道路の部分が含まれる。キャニーエッジ検出アルゴリズム、ＳＵＳＡＮ（ｓｍａｌｌｅｓｔ ｕｎｉｖａｌｕｅ ｓｅｇｍｅｎｔ ａｓｓｉｍｉｌａｔｉｎｇ ｎｕｃｌｅｕｓ）エッジ検出アルゴリズム、ソーベルフィルタ、及びキャニーエッジ検出に基づく他のアルゴリズムなどのエッジ検出アルゴリズムが、エッジの存在の検出に使用され得るが、検出されたエッジのどれが直線であるかを検出するためにはハフ変換が使用され得る。一旦直線フィーチャエッジ（もしあれば）が識別されると、それらは、潜在的平行フィーチャエッジのそれぞれのセットにグループ化され、且つ関心領域（ＲＯＩ）としてフラグが立てられ得る。別の実装では、潜在的較正構造は、所定の構造リストから選択されてもよく、これらの構造は、較正構造としての実際の適合性に関してチェックされ得る。例えば、所定のリストは、潜在的較正構造として車線標示及び路面標示を含み得る。機械視覚モジュールは、ある画像における車線標示の場所に関する情報のために、車線維持機能などの他の動作からの情報に依拠し得る。潜在的な第１の平行フィーチャセットを識別した後に、プロセスは、これらの潜在的フィーチャエッジが平行であるかどうかをチェックし得る。幾つかの実装では、平行度は、サンプル画像が記録されたときの車両の移動方向を見ることによって推測され得る。例えば、一対の車線標示が較正構造として使用される場合、それらの車線標示は、画像フレームが捕捉されたときにステアリング角及び／又はホイール角がゼロに近ければ（例えば、０．２度以下）、その画像フレームにおいて平行であると仮定され得る。車両のステアリング角及びホイール角は、ステアリング角センサ１６４及びホイール角センサ１６６からそれぞれ取得され得る。例示として図２のシナリオを使用して、車両座標系は、車両の縦軸に沿って延在するｘ軸、２つのサイドホイールをつなぐ車軸などの車両の横軸に沿って延在するｙ軸、及びｘ軸及びｙ軸と垂直に紙面から外れて延在するｚ軸を含む。通常動作中は、車両の移動方向２１２が車両座標系のｘ軸に沿う場合には、車両のステアリング角及びホイール角はゼロである。従って、車両のステアリング角が実質的にゼロの場合、車線標示（２４０ａ、２４０ｂ）は、車両２１０のｘ軸が車線標示と平行となるので、第１の画像センサ１２４によって捕捉される画像において実質的に平行に見える。

画像選択基準は、サンプル画像の質、特にサンプル画像の潜在的較正構造の画質と関係した要素も含み得る。画質は、フィーチャの鮮明さ、ノイズレベル、歪みのレベル、コントラスト、及び解像度などの１つ又は複数のファクタに基づいて評価され得る。例えば、サンプル画像は、露出不足にも露出過度にもなるべきではない。また、較正構造として使用されるフィーチャエッジは、鮮明であり、且つぼやけていない、或いは焦点がぼけていないエッジを有するべきである。画質関連基準は、較正構造がはっきりと目に見えるように、潜在的較正構造と路面などの背景との間に最低限のコントラストレベルも必要とし得る。例えば、潜在的較正構造が図２の例のような車線標示を含む場合には、サンプル画像フレームにおいて、車線標示が路面とはっきりと区別できるように、車線標示と路面との間に十分なコントラストが存在すべきである。サンプル画像において２つ以上の潜在的較正構造が識別された場合には、画質関連要件を満たさない構造は、除外され得る。幾つかの実装では、画像選択基準は、車両の外部環境に関係した要件も含み得る。例には、車両が湾曲や傾きのない平坦な路面上を移動しているときに画像が撮影されることを必要とすることが含まれる。

サンプル画像が画像選択基準を満たす場合には、プロセスは、ブロック３１０に移る。一方、画像選択基準が満たされない場合には、プロセスは、ブロック３０２に戻り、第１の画像センサから別のサンプル画像が選択される。ブロック３０２及び３０４のステップは、画像選択基準を満たすサンプル画像が取得されるまで繰り返される。ブロック３１０では、第１の平行フィーチャエッジセットの形式の較正構造が選択される。第１の平行フィーチャエッジセットは、互いに平行な少なくとも２つのフィーチャエッジを含む。必要とされる実際の平行フィーチャエッジの数は、較正される画像センサのタイプの基準消失点を決定するために必要とされる平行フィーチャの数に応じて異なり得る。例えば、魚眼レンズを使用した中心反射屈折光学系を含む球カメラモデルを使用してモデリングされ得る画像センサは、較正に使用され得る基準消失点を決定するために、２つの平行フィーチャエッジのみを必要とする。１つ又は複数の較正構造選択基準を使用することにより、較正構造としての使用に適した２つ以上のフィーチャエッジセット間で１つを決定し得る。例えば、フィーチャエッジの画質に関係する特徴が使用され得る。選択された第１の平行フィーチャエッジセットの画像は、フィーチャエッジの鮮明さを向上させるように構成された画像処理ステップを受け得る。例えば、処理は、連結成分分析を行うことにより偽エッジを抑制することができ、及びＲＡＮＳＡＣ（ｒａｎｄｏｍ ｓａｍｐｌｅ ｃｏｎｓｅｎｓｕｓ）アルゴリズムを使用することにより、セットにおいてフィーチャエッジの一部を形成しない誤った画像点を除去することができる。

次いで、プロセスは、ブロック３２０における第１の平行フィーチャエッジセットの基準消失点の決定に移る。基準消失点は、射影基準系上に位置する。射影基準系は、画像フレームに現れる二次元画像平面、又は実世界の三次元点を二次元画像平面に射影する過程に関与する中間射影基準系を指し得る。例えば、球カメラモデル画像センサの場合、二次元画像への実世界の三次元点のマッピングは、２つの射影ステップを伴う。１つ目は、単位球上の点への三次元点の射影であり、２つ目は、単位球からセンサの画像平面への透視射影である。この場合、単位球及び画像平面の両方が、射影基準系として機能し得る。図４Ａは、一対の平行縦方向フィーチャエッジ（４１０ａ、４１０ｂ）を含む第１の平行フィーチャエッジセット４１０の例示的な実際のビューを示す。ある実装では、縦方向フィーチャは、図２に示される車線標示２４０ａ及び２４０ｂなどの車線標示の２つの平行トラックの一部を形成する。図４Ｂは、魚眼レンズを使用した画像センサなどの、球カメラモデルを使用してモデリングされ得る画像センサによって捕捉されたときの図４Ａにおける第１の平行フィーチャエッジセットの対応画像４２０である。球カメラモデルに基づく画像センサの場合、実世界の直線は、非線形歪みにより円の一部として近似され得る円すい曲線として画像平面に射影されることが分かっている。これは、図４Ａの直線の第１及び第２のフィーチャエッジ（４１０ａ、４１０ｂ）が、魚眼画像平面において円すい曲線（４２０ａ、４２０ｂ）として射影される図４Ｂに示される。

画像センサが球カメラモデルに基づくある実装では、画像平面における第１の平行フィーチャエッジセットの基準消失点は、円を第１及び第２のフィーチャエッジの魚眼画像（４２０ａ、４２０ｂ）にフィッティングさせ、及び２つの円間の交点を求めることによって決定され得る。基準消失点を導出するために、逆魚眼マッピングなどの他の方法も使用され得る。第１及び第２のフィーチャエッジが実世界座標において平行でない場合には、それらは、最大でも１つの点で交差し、２つの点では交差しない。この理論は、第１の平行フィーチャエッジセットのフィーチャエッジが平行であるかどうかを決定するための手段としても使用され得る。一例として図４Ａ及び図４Ｂの一対の平行縦方向フィーチャエッジを使用して、第１の円（５２０ａ）が第１のフィーチャエッジの画像（４２０ａ）にフィッティングされ、第２の円（５２０ｂ）が第２のフィーチャエッジの画像（４２０ｂ）にフィッティングされる。第１及び第２のフィーチャエッジの画像は、図５において白色の曲線として示される。各円の半径及び中心は、各フィーチャエッジの画像点の大部分が円上に位置するように選ばれる。このために、画像点の最低閾値割合が設定され得る。例えば、円は、フィーチャエッジ（例えば、図４Ｂにおける４２０ａ、４２０ｂ）からの画像点の９５％以上が円上に収まるようにフィッティングされ得る。幾つかの実装では、勾配降下手法を使用することにより、最大数の画像点に最も良く適合する円を求めることができる。この手法は、半径Ｒ_ｊ及び中心ｕ_０ｊ及びｖ_０ｊのフィッティングされた円に対するフィーチャエッジを形成する各画像点の誤差関数が、円の中心までの各画像点のユークリッド距離によって定義され、及び円の半径によってバイアスがかけられるＬｏｓｅ関数（Ｌ）を使用する。各画像点の誤差が計算され、及び合計される。

式中、（ｕ_ｉｊ、ｖ_ｉｊ）は、平行フィーチャエッジ上のｉ、ｊにおける画像点であり、
（ｕ_０ｊ、ｖ_０ｊ）及びＲ_ｊは、それぞれフィッティングされた円の中心及び半径である。

最初に、第１の反復において、中心（ｕ_０、ｖ_０）及び半径（Ｒ_０）を有する円から開始して、式（１）を使用してＬｏｓｅ関数（Ｌ）を計算する。誤差関数（この例では、これはＬｏｓｅ関数（Ｌ）である）が閾値限度内となるように、誤差関数を最小にする、又は減少させる中心及び半径を有する円を取得するまで、同じことを円の中心の場所及びその半径を変えることにより反復的に繰り返す。閾値限度は、円上に位置すべき画像点の閾値割合に基づいて定義され得る。Ｌｏｓｅ関数以外に、円のフィッティングを行う他の公式も適し得ることが当業者には認識されるだろう。図５は、第１及び第２の円（５２０ａ、５２０ｂ）が、それぞれ第１及び第２のフィーチャエッジ（４２０ａ、４２０ｂ）の画像点にフィッティングされる例を示す。第１及び第２の円を第１及び第２のフィーチャエッジにフィッティングさせた後に、第１及び第２の円が交差する場所を決定することによって、第１の平行フィーチャエッジセットの基準消失点が導出され得る。例えば、図４〜５の図示では、消失点は、参照番号５４０及び５６０によって示される点に位置する。ある実装では、基準消失点［ｖ_ｌ１ ｖ_ｌ２］^Ｔ及び［ｖ_ｈ１ ｖ_ｈ２］^Ｔは、以下の円方程式が満たされる［ｖ_ｌ１ ｖ_ｌ２］^Ｔ及び［ｖ_ｈ１ ｖ_ｈ２］^Ｔの値を求めることにより決定され得る。
（ｕ−ｕ_０１）^２＋（ｖ−ｖ_０１）^２−Ｒ_０１ ^２＝０−−−（２）
（ｕ−ｕ_０２）^２＋（ｖ−ｖ_０２）^２−Ｒ_０２ ^２＝０−−−（３）
（ｕ_０１、ｖ_０１）、Ｒ_１＝第１の円の中心及び半径
（ｕ_０２、ｖ_０２）、Ｒ_２＝第２の円の中心及び半径

基準消失点の決定後に、本方法は、第１の平行フィーチャエッジセットと平行な地面平面上の第２の平行フィーチャエッジセットが選択されるブロック３３０に移る。第２の平行フィーチャエッジセットは、実世界に存在する実際のフィーチャエッジ、又は仮想フィーチャエッジでもよい。図６は、第２の平行フィーチャエッジセットの仮想フィーチャエッジを選択する例示的方法を示す。２つの平行車線標示（６２０、６４０）の形式の第１の平行フィーチャエッジセットを含む路面又は地面平面６１０が示されている。説明のために、画像センサが、車両の縦軸に沿って延在するｘ軸、２つのサイドホイールをつなぐ車軸などの車両の横軸に沿って延在するｙ軸、及びｘ軸及びｙ軸と垂直に紙面から外れて延在するｚ軸を含む車両座標系を有する車両６６０に取り付けられると仮定する。車両座標系に対する車線標示の少なくとも一方（例えば、６２０）上の２点以上の実世界座標は、画像フレームから導出される。地面平面６１０上に位置し、且つ車線標示（６２０、６４０）に平行な第２の平行フィーチャエッジセットは、車両のｙ軸に沿って車線標示の少なくとも一方（例えば６２０）上の点の座標をシフトすることによって導出され得る。説明のために、第１の車線標示６２０が、座標（ｘ＝−１００、ｙ＝０、ｚ＝０）を有する点６２０ａと、座標（ｘ＝−１０、ｙ＝０、ｚ＝０）を有する別の点６２０ｂとを含むと仮定する。第２の平行フィーチャエッジセットに属する第３のフィーチャエッジは、車両座標系のｙ軸に沿って点６２０ａ及び６２０ｂをシフトすることによって取得され得る。前述の通り、車両のステアリング角及び／又はホイール角がゼロに近ければ、車線標示（６２０、６４０）は、車両座標系のｘ軸と平行となる。従って、ｘ及びｚ座標は一定に維持しながら車両座標系のｙ軸に沿って移動することにより、第１の車線標示６２０と平行な線を通る点を取得することができる。この原理を図６の例に適用して、車線標示６２０上の点６２０ａ及び６２０ｂをｙ軸に沿ってシフトし、その結果、それぞれ座標（ｘ＝−１００、ｙ＝５０、ｚ＝０）及び座標（ｘ＝−１０、ｙ＝５０、ｚ＝０）を有する点６７０ａ及び６７０ｂを取得することによって、第２の平行フィーチャエッジセットの第３のフィーチャエッジ６７０が導出される。車線標示６２０と平行な第３のフィーチャエッジ６７０は、点６７０ａ及び６７０ｂを通る。同様に、第２の平行フィーチャエッジセットの第４のフィーチャエッジ６８０は、図６において参照番号６８０ａ及び６８０ｂで表される点（ｘ＝−１００、ｙ＝１５０、ｚ＝０）及び（ｘ＝−１０、ｙ＝１５０、ｚ＝０）を通る線として定義され得る。点６８０ａ及び６８０ｂは、車両座標系のｙ軸に沿って点６２０ａ及び６２０ｂを変位させることによって取得され得る。

ブロック３３０において第２の平行フィーチャエッジセットを選択した後に、本方法は、プロセッサが、画像センサの既存の射影行列に基づいて、第２の平行フィーチャエッジセットからの複数の点を画像センサの射影基準系上に射影するブロック３４０に移る。この目的のために、Ｃａｍ２アルゴリズムなどの知られているモデリングソフトウェアが使用され得る。ここでの目的は、第２の平行フィーチャエッジセットの消失点と、基準消失点との間の偏差をチェックすることであるので、第２の平行フィーチャエッジセットからの点が、対して基準消失点が導出されたものと同じになる射影基準系。例えば、図４〜５の例では、基準消失点は、画像平面に対してブロック３２０に導出される。従って、第２の平行フィーチャエッジセットからの点も、画像平面上の第２の消失点が決定され得るように、ブロック３４０において画像平面上に射影される。画像センサの射影行列は、一般に、画像センサの内因性パラメータ及び外因性パラメータを用いて表される。これが射影基準系上への１回目の射影である場合には、最後の既知の内因性パラメータ及び外因性パラメータに基づく既存の射影行列が、第２の平行フィーチャエッジセットの射影を行うために使用される。図４〜５と同じ球カメラモデル画像センサ例を使用して、第２の平行フィーチャエッジセットからの複数の点を画像センサの画像平面上に射影することにより、円の一部として近似され得る円すい曲線として現れる第３及び第４のフィーチャエッジ（７７０、７８０）の画像がもたらされる（図７を参照）。

ブロック３５０では、プロセッサは、第２の平行フィーチャエッジセットに関して、射影基準系上に位置する第２の消失点を決定する。図４〜５の例に戻り、画像センサが球カメラモデルに基づくので、第２の平行フィーチャエッジセットの消失点も、円を第３及び第４のフィーチャエッジ（７７０、７８０）の画像点にフィッティングさせることにより、導出され得る。第１の平行フィーチャエッジセットに関連する第１及び第２の円を導出するために使用されたのと同じ円フィッティング手法が、ここでも展開され得る。式４は、第１の反復においてフィッティングされた円及び半径に適用されたＬｏｓｅ関数を示す。

式中、
（ｕｒ_ｉｊ、ｖｒ_ｉｊ）は、ｉ、ｊにおける射影されたフィーチャエッジの画像点であり、
（ｕｒ_０、ｖｒ_０）及びＲｒ_０は、それぞれ第１の反復におけるフィッティングされた円の中心及び半径である。

図７は、それぞれ第３及び第４のフィーチャエッジ（７７０、７８０）の画像点へのフィッティングにより取得された第３の円７７５及び第４の円７８５を示す。第３及び第４のフィーチャエッジが平行であるので、第３及び第４の円は、画像平面上の第２の平行フィーチャエッジセットの消失点（すなわち、第２の消失点）に対応する点７９０及び７９２において交差する。同様に、第２の消失点は、ブロック３２０で基準消失点を導出するための円方程式に類似した円方程式を解くことによって取得され得る。例として、第２の消失点［ｖｒ_ｌ１ ｖｒ_ｌ２］^Ｔ及び［ｖｒ_ｈ１ ｖｒ_ｈ２］^Ｔは、以下の円方程式を解くことによって決定され得る。
（ｕ−ｕ_０１）^２＋（ｖ−ｖ_０１）^２−ｒｒ_０１ ^２＝０−−−（５）
（ｕ−ｕｒ_０２）^２＋（ｖ−ｖｒ_０２）^２−ｒｒ_０２ ^２＝０−−−（６）
（ｕｒ_０１、ｖｒ_０１）、ｒｒ_１＝第３の円の中心及び半径
（ｕｒ_０２、ｖｒ_０２）、ｒｒ_２＝第４の円の中心及び半径

第２の消失点の決定後に、本方法は、ブロック３６０において、基準消失点からの第２の消失点の差異をチェックする。前述の消失点概念に基づき、第１及び第２の平行フィーチャエッジセットの消失点は、実世界においてそれらのフィーチャエッジが全て互いに平行であるので、一致するはずである。しかし、第２の平行フィーチャエッジセットからの点を射影基準系上に射影するために使用される射影行列に誤差がある場合には、第２の平行フィーチャエッジセットは、もはや、画像平面の第１のセット又は使用されるその他の射影基準系と平行ではなくなる。従って、第２の消失点は、基準消失点と一致しない。例えば、図７では、第２の平行フィーチャエッジセットからの点を射影することによりブロック３５０で導出された第２の消失点（７９０、７９２）、及びブロック３３０で導出された基準消失点（５４０、５６０）は、実世界の状況で第１及び第２の平行フィーチャエッジセットが互いに平行であるように第２の平行フィーチャエッジセットが選択されたにもかかわらず、一致しない。このような消失点の場所の偏差は、既存の射影行列の誤差を表す。次いで、本方法は、基準消失点の場所からの第２の消失点の場所の偏差が、許容可能な所定の限度内にあるかどうかをチェックする決定ブロック３７０に移る。差異が許容可能な所定の限度外である場合には、本方法は、ブロック３４０に戻り、第２の消失点の場所の偏差が許容可能な所定の限度内に入るまでブロック３４０〜３６０を繰り返す前に、外因性パラメータの１つ又は複数を調整することによって、既存の射影行列が修正されるステップ３８０へと進む。ここでの仮定は、射影行列における誤差が、焦点距離や光学的中心などの内因性パラメータ値ではなく１つ又は複数の外因性パラメータのシフトに起因するということである。一方、基準消失点と第２の消失点との間の差異が所定の限度内である場合には、相違が元々許容可能な限度内にあるため、或いは１つ又は複数の外因性パラメータ値の調整後に相違が許容可能な限度内となったため、プロセスは、ブロック３９０に進む。

基準消失点及び第２の消失点が円フィッティングによって導出される幾つかの球カメラ画像センサの実装では、基準消失点と第２の消失点との間の差異を減少させるプロセスは、基準消失点（５４０、５６０）をつなぐ第１の接続線（Ｒ）、及び第２の消失点（７９０、７９２）をつなぐ第２の接続線（Ｓ）を引くことを含み得る。図４〜５及び図７に示す例に戻り、第１の接続線Ｒの式は、

として表すことができ、及び第１の接続線の勾配は、

として表すことができる。
同様に、第２の接続線Ｓの式は、

として表すことができ、及び第２の接続線の勾配は、

として表すことができる。

別の任意の変形形態では、１つ又は複数の外因性パラメータは、第２の接続線と第１の接続線との間の勾配の違いを減少させるように最初に調整される。ここでの狙いは、第２の接続線の勾配を第１の接続線の勾配と一致させることである。減少させる第２の接続線の全傾斜誤差は、

として表すことができる。

向き関連外因性パラメータの変化は、第２の接続線の傾斜の変化として現れる傾向があるが、並進関連外因性パラメータの変化は、第２の接続線の傾斜にあまり影響を与えないことを本発明者は発見した。従って、好適な実施形態では、勾配を一致させる目的で１つ又は複数の外因性パラメータを調整することは、好ましくは、１つ又は複数の向き関連外因性パラメータの調整を伴う。第２の接続線と第１の接続線との間の勾配偏差が、勾配限度内にある場合には、第２の接続線の場所及び／又は長さは、外因性パラメータの１つ又は複数を調整することによって、第１の接続線のものと一致するように調整され得る。好ましくは、調整される外因性パラメータは、並進関連のものである。特に、ｙ及びｚ並進外因性パラメータの変化は、第１の接続線と第２の接続線との間の場所の相違を生じさせる傾向があることを本発明者は発見した。一方、ｘ並進外因性パラメータは、第２の接続線の長さが第１の接続線の長さから逸脱することを生じさせる傾向がある。

第２の接続線と第１の接続線との間の勾配偏差を減少させるために行われる調整（もしあれば）の結果、第１及び第２の接続線が互いに実質的に平行となり、そのため、これらの間の距離は、これら２つの間の垂直距離として近似され得る。また、勾配偏差を減少させるように第２の接続線を調整した結果、第２の消失点の場所が、ｕ方向に沿ってΔｕの距離、及びｖ方向に沿ってΔｖの距離だけ移動する。従って、新しい第２の消失点のセットは、［ｖｒ_ｌ１＋Δｕ_ｌ１ ｖｒ_ｌ２＋Δｖ_ｌ１］^Ｔ及び［ｖｒ_ｈ１＋Δｕ_ｌ２ ｖｒ_ｈ２＋Δｖ_ｌ２］^Ｔである。従って、基準消失線と、勾配調整後の新しい第２の接続線との間の距離は、消失線対に対応するユークリッド距離によって近似され得る。例えば、図７の基準消失点５４０を上側基準消失点と呼び、第２の消失点７９０を上側第２の消失点と呼ぶ場合、それらと新しい第２の消失点のセットとの間の誤差関数の相違は、
（ｖｒ_ｌ１＋Δｕ_ｌ１−ｖ_ｌ１）^２＋（ｖｒ_ｌ２＋Δｖ_ｌ１−ｖ_ｌ２）^２−−−（１２）
として表すことができる。

この距離は、ｙ及びｚ並進外因性パラメータを再帰的に異ならせることによって減少され得る。距離偏差が許容可能な誤差の範囲内であれば、第１の接続線及び調整された第２の接続線の長さは、好ましくは、長さの相違を最小にする、又は許容可能なレベルにまで減少させるように、ｘ並進外因性パラメータを調整することによって調整され得る。第１及び第２の接続線の長さは、以下の式（１３）及び（１４）に示される公式によって表され得る。第２の接続線上の座標は、第１の接続線と第２の接続線との間の勾配及び／又は場所の偏差に関する以前の調整後のものである。
第１の接続線の長さは、

であり、
第２の接続線の長さは、

である。

従って、長さの偏差は、ｌ_１とｌ_２との間の絶対差として表現され得る。基準消失点からの第２の消失点の偏差が所定の限度内にある場合には、プロセスは、ブロック３９０に進む。本方法は、ブロック３９０で終了する。１つ又は複数の外因性パラメータが変化した場合には、ブロック３４０〜３６０の再帰的実行によって導出された１つ又は複数の訂正外因性パラメータが、射影行列で使用される新しい外因性パラメータ値となる。

前述の通り、射影基準系は、中間射影基準系であってもよい。例えば、球カメラモデルによれば、二次元画像への実世界の三次元点のマッピングは、単位球上の点への三次元点の第１の射影、及び単位球からセンサの画像平面への第２の透視射影を含む。従って、球カメラモデルを使用してモデリングされ得る画像センサは、射影基準系として、画像平面又は単位球を使用し得る。単位球上の基準消失点の場所は、第１の平行フィーチャエッジセットのピクセルマッピング画像点によって導出され得る。図８Ａは、第１の平行フィーチャエッジセットにおける第１及び第２の平行フィーチャエッジに関連する画像点が第１及び第２の円（８２０ａ、８２０ｂ）として円フィッティングによりピクセルごとに単位球上にマッピングされる単位球８１０の一例を示す。球カメラモデル下で、直線は、円として単位球の表面上に射影され、平行線は、単位球上でこれらの円が交差する場所に対応する２つの消失点で交差する。従って、図８Ａでは、第１及び第２のフィーチャエッジの消失点は、第１及び第２の円が交差する点８２２及び８２６に位置する。図８Ｂは、画像センサの既存の射影行列に基づいて、実世界座標による第３及び第４の平行フィーチャエッジからの複数の点を単位球８１０上に射影することによって取得された白色の第３及び第４の円（８５０ａ、８５０ｂ）を示す。射影のために、ｃａｍ２モジュールが使用され得る。第３及び第４のフィーチャエッジは、第１の平行フィーチャエッジセットと平行な第２の平行フィーチャエッジセットを形成する。単位球上で第３及び第４の円（８５０ａ、８５０ｂ）が交差する点は、単位球射影基準系上の第２の平行フィーチャエッジセットの第２の消失点（８５２、８５６）に対応する。図８Ｂの例では、第２の消失点（８５２、８５６）は、基準消失点（８２２、８２６）とは場所が異なる。これは、画像センサの１つ又は複数の外因性パラメータが、その既存値から離れ、その結果、射影行列の精度に影響を与えることを示す。自動外因性パラメータ較正プロセスは、図３の方法におけるブロック３６０と同様に、それらの相違が許容可能な所定の限度内にあるかどうかをチェックするとともに、１つ又は複数の外因性パラメータを再帰的に調整し、及び第２の消失点の新しい場所をチェックすることによって、それらが許容可能な所定の限度内となるまで、それらの相違を減少させ得る。幾つかの実装では、それぞれ基準消失点（８２２、８２６）及び第２の消失点（８５２、８５６）を接続する第１及び第２の接続線（Ｒ、Ｓ）が描かれ得る。次いで、基準消失点と第２の消失点との間の場所の相違が、最初に、第１の接続線（Ｒ）の長さからの第２の接続線（Ｓ）の長さの偏差を減少させ、次に、接続線（Ｒ、Ｓ）間の角度θを減少させることによって減少され得る。第２の接続線（Ｓ）の長さは、ｚ並進外因性パラメータを調整することによって第１の接続線の長さと一致させられ、向き関連外因性パラメータは、許容可能な誤差の範囲内に角度θを減少させるように調整され得る。

様々な局面及び実装をここに開示したが、他の局面及び実装が、当業者には明らかとなるだろう。例えば、上記の説明は、車両プラットフォーム上に取り付けられた画像センサの１つ又は複数の外因性パラメータを較正するために適用された本開示を示すが、画像センサの１つ又は複数の外因性パラメータを較正するための較正方法及びデバイスは、固定型、可動型、自律性、或いは非自律性を問わず他のタイプのプラットフォームに取り付けられた画像センサにも適用され得る。本明細書に開示の様々な局面及び実装は、例示を目的としており、限定であることを意図したものではなく、真の範囲及び精神は、以下の特許請求の範囲、並びにその特許請求の範囲が権利を有する均等物の全範囲によって示される。また、本明細書で使用する用語は、単に特定の実装を説明する目的のものであり、限定であることを意図したものではないことが理解されるものとする。

３００ 画像センサの１つ又は複数の外因性パラメータを較正するための方法
１２４、１２５、１２６、１２７ 画像センサ
４１０ 第１の平行フィーチャエッジセット
８２２、８２６ 基準消失点
７９０、７９２、８５２、８５６ 第２の消失点
５２０ａ、８２０ａ 第１の円
５２０ｂ、８２０ｂ 第２の円
４２０ａ 第１のフィーチャエッジ
４２０ｂ 第２のフィーチャエッジ
７７５ 第３の円
７８５ 第４の円
６７０、７７０ 第３のフィーチャエッジ
６８０ ７８０ 第４のフィーチャエッジ
Ｌ Ｌｏｓｅ関数
Ｒ 第１の接続線
Ｓ 第２の接続線
８１０ 単位球
２１０ ６６０ 車両
１４２ プロセッサ
１４４ メモリ

Claims (19)

1. 画像センサの１つ又は複数の外因性パラメータを較正するための方法が、
   前記画像センサによって捕捉された画像フレームに現れる第１の平行フィーチャエッジセットを選択することと、
   前記第１の平行フィーチャエッジセットの基準消失点を決定することであって、前記基準消失点が、前記画像センサの射影基準系上に位置することと、
   前記画像センサによって捕捉された前記画像フレーム内に、前記第１の平行フィーチャエッジセットと平行な第２の平行フィーチャエッジセットを選択することと、
   前記画像センサの既存の射影行列に基づいて、前記第２の平行フィーチャエッジセットからの複数の点を前記射影基準系上に射影することと、
   前記第２の平行フィーチャエッジセットに関して、前記射影基準系上に位置する第２の消失点を決定することと、
   を備え、
   前記基準消失点からの前記第２の消失点の場所の偏差が１つ又は複数の所定の限度内となるまで、少なくとも
   前記外因性パラメータの１つ又は複数を調整することによって前記既存の射影行列を修正することと、
   前記修正された既存の射影行列を使用して、前記第２の平行フィーチャエッジセットからの複数の点を前記射影基準系上に射影することと、
   射影後に前記第２の消失点を決定することと、
   を再帰的に行うことによって前記偏差を減少させることと、
   を備える、方法。
2. 前記画像センサが、球カメラモデルを使用してモデリングすることができる画像センサである、請求項１に記載の方法。
3. 前記画像センサの前記射影基準系が、前記画像センサの画像平面であり、前記第１の平行フィーチャエッジセットの前記第１の対の基準消失点を決定することが、
   第１の円及び第２の円を前記第１の平行フィーチャエッジセットにおける第１のフィーチャエッジ及び第２のフィーチャエッジの画像点にフィッティングさせること、及び前記第１の円及び前記第２の円が交差する場所を決定することを含む、請求項２に記載の方法。
4. 前記第２の平行フィーチャエッジセットの前記第２の消失点を決定することが、
   前記画像センサの既存の射影行列に基づいて、前記第２の平行フィーチャエッジセットの第３のフィーチャエッジ及び第４のフィーチャエッジからの複数の点を前記画像平面上に射影することによって取得された第３の円及び第４の円を前記第２の平行フィーチャエッジセットの前記第３のフィーチャエッジ及び前記第４のフィーチャエッジの画像点にフィッティングさせること、及び
   前記第３の円及び前記第４の円が交差する場所を決定すること、
   を含む、請求項３に記載の方法。
5. 少なくとも、前記第１の円、前記第２の円、前記第３の円、又は前記第４の円のフィッティングが、Ｌｏｓｅ関数を最小にすることに基づく、請求項４に記載の方法。
6. 前記基準消失点からの前記第２の消失点の場所の偏差を、前記偏差が前記１つ又は複数の所定の限度内となるまで減少させることが、
   前記基準消失点をつなぐ第１の接続線を引くことと、
   前記第２の消失点をつなぐ第２の接続線を引くことと、
   をさらに含む、請求項２から５の何れか一項に記載の方法。
7. 前記外因性パラメータの１つ又は複数を調整することにより前記既存の射影行列を修正することが、前記第１の接続線からの前記第２の接続線の場所又は長さの偏差を減少させるように前記１つ又は複数の外因性パラメータを調整する前に、前記第２の接続線と前記第１の接続線との間の勾配偏差が勾配限度内となるまで、前記勾配偏差を減少させるように前記１つ又は複数の外因性パラメータを最初に調整することを含む、請求項６に記載の方法。
8. 前記第２の接続線と前記第１の接続線との間の前記勾配偏差が前記勾配限度内となるまで、前記勾配偏差を減少させるように前記１つ又は複数の外因性パラメータを最初に調整することが、向き関連の前記外因性パラメータの１つ又は複数を調整することを含む、請求項７に記載の方法。
9. 前記第１の接続線及び前記第２の接続線の場所及び／又は長さの偏差を減少させるように前記１つ又は複数の外因性パラメータを調整することが、並進関連の前記外因性パラメータの１つ又は複数を調整することを含む、請求項７又は８に記載の方法。
10. 前記射影基準系が単位球である、請求項２に記載の方法。
11. 前記画像センサが、車両に取り付けられ、第１の平行フィーチャエッジセットを選択することが、
    前記画像フレームにおける少なくとも２つのフィーチャエッジを検出することと、
    前記画像フレームが捕捉されたときの前記車両の少なくともステアリング角又はホイール角をチェックすることにより、前記フィーチャエッジが平行であるかどうかを決定することと、
    を含む、請求項１から１０の何れか一項に記載の方法。
12. 前記画像センサが、車両に取り付けられ、前記第２の平行フィーチャエッジセットが、前記車両の横軸に沿って位置する前記車両の座標軸に沿って前記第１の平行フィーチャエッジセットをシフトすることによって取得される、請求項１から１１の何れか一項に記載の方法。
13. 前記第２の平行フィーチャエッジセットが仮想フィーチャエッジである、請求項１から１２の何れか一項に記載の方法。
14. 画像センサの１つ又は複数の外因性パラメータを較正するための装置であって、
    プロセッサと、
    前記プロセッサに結合される少なくとも１つのメモリであって、
    前記画像センサによって捕捉された画像フレームに現れる第１の平行フィーチャエッジセットを選択することと、
    前記第１の平行フィーチャエッジセットの基準消失点を決定することであって、前記基準消失点が、前記画像センサの射影基準系上に位置することと、
    前記画像センサによって捕捉された前記画像フレーム内に、前記第１の平行フィーチャエッジセットと平行な第２の平行フィーチャエッジセットを選択することと、
    前記画像センサの既存の射影行列に基づいて、前記第２の平行フィーチャエッジセットからの複数の点を前記射影基準系上に射影することと、
    前記第２の平行フィーチャエッジセットに関して、前記射影基準系上に位置する第２の消失点を決定することと、
    前記基準消失点からの前記第２の消失点の場所の偏差が１つ又は複数の所定の限度内となるまで、少なくとも
    前記外因性パラメータの１つ又は複数を調整することによって前記既存の射影行列を修正することと、
    前記修正された既存の射影行列を使用して、前記第２の平行フィーチャエッジセットからの複数の点を前記射影基準系上に射影することと、
    射影後に前記第２の消失点を決定することと、
    を再帰的に行うことによって前記偏差を減少させることと、
    を前記プロセッサに行わせる、前記プロセッサによって実行可能な命令を保存する、少なくとも１つのメモリと、
    を備える、装置。
15. 前記画像センサが、球カメラモデルを使用してモデリングすることができる画像センサであり、前記射影基準系が、前記画像センサの画像平面であり、前記少なくとも１つのメモリが、
    第１の円及び第２の円を前記第１の平行フィーチャエッジセットにおける第１のフィーチャエッジ及び第２のフィーチャエッジの画像点にフィッティングさせることにより前記基準消失点を決定することであって、前記基準消失点が、前記第１の円及び前記第２の円が交差する場所に位置することと、
    前記第２の平行フィーチャエッジセットの第３のフィーチャエッジ及び第４のフィーチャエッジからの複数の点を前記画像センサの前記画像平面上に射影することによって取得された第３の円及び第４の円を前記第３のフィーチャエッジ及び前記第４のフィーチャエッジの画像点にフィッティングさせることにより前記第２の消失点を決定することであって、前記第２の消失点が、前記第３の円及び前記第４の円が交差する場所に位置することと、
    を前記プロセッサに行わせる、請求項１４に記載の装置。
16. 前記画像センサが、車両に取り付けられ、前記少なくとも１つのメモリが、少なくとも、
    前記画像フレームにおける少なくとも２つの直線フィーチャエッジを検出すること、及び
    前記画像フレームが捕捉されたときの前記車両の少なくともステアリング角又はホイール角をチェックすることにより、前記直線フィーチャエッジが平行であるかどうかを決定すること、
    によって第１の平行フィーチャエッジセットを前記プロセッサに選択させる、請求項１４又は１５に記載の装置。
17. 前記画像センサが、車両に取り付けられ、前記少なくとも１つのメモリが、前記車両の横軸に沿って位置する前記車両の座標軸に沿って前記第１の平行フィーチャエッジセットをシフトすることによって、第２の平行フィーチャエッジセットを前記プロセッサに選択させる、請求項１４から１６の何れか一項に記載の装置。
18. 請求項１から１３の何れか一項に記載の方法を実施するコンピュータ可読命令を含む非一時的コンピュータ可読ストレージ媒体。
19. 請求項１４から１７の何れか一項に記載の画像センサの１つ又は複数の外因性パラメータを較正するための装置を備える車両。

Images