JP6821712B2 - 自然光景中での統合センサの較正 - Google Patents

Description

本開示は、センサの較正のための方法およびシステムに関し、さらに具体的には、光検知および測距（ＬｉＤＡＲ：Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ Ａｎｄ Ｒａｎｇｉｎｇ）およびナビゲーションセンサの較正のための方法およびシステムに関する。

自律運転技術は、正確なマップに大きく依存する。例えば、ナビゲーションマップの精度は、測位、環境認識（ambience recognition）、決定、および制御など、自律運転車両の機能のために不可欠である。高解像度のマップは、車両が走行中に車両上の様々なセンサおよび検知器によって取得されたデータを集成すること（aggregating）によって得ることができる。例えば、高解像度マップのための一般的なデータ取得システムは、通常、車両が走行している道路および周辺物体の特徴をキャプチャするための、ＬｉＤＡＲなどの多重統合センサ、全地球測位システム（ＧＰＳ：ｇｌｏｂａｌ ｐｏｓｉｔｉｏｎｉｎｇ ｓｙｓｔｅｍ）レシーバ、慣性計測ユニット（ＩＭＵ：ｉｎｅｒｔｉａｌ ｍｅａｓｕｒｅｍｅｎｔ ｕｎｉｔ）センサ、および１つ以上のカメラをも備える車両である。キャプチャされるデータは、例えば、建物、別の車両、道路標識、歩行者、または交通信号などの物体の座標および画像、レーンのセンターラインまたは境界ラインを含んでよい。

統合センサによって取得されるポイント群データ（point cloud data）は、センサ自体による誤差（例えば、レーザ測距誤差、ＧＰＳ測位誤差、ＩＭＵ姿勢計測誤差など）のみならず、ＬｉＤＡＲユニットとナビゲーションユニット（例えば、ＧＰＳ／ＩＭＵユニット）との統合による統合化誤差によって影響される可能性がある。この統合化誤差は、ＬｉＤＡＲユニットとナビゲーションユニットとの非平行な座標軸に起因する搭載角度誤差、およびＬｉＤＡＲの中心とＧＰＳアンテナの中心との間のオフセットに起因する搭載ベクトル誤差を含み得る。そのため、ポイント群データの精度を向上するために、統合されたＬｉＤＡＲおよびナビゲーションのシステムの較正が重要となる。

既存の統合センサの較正方法は、センサ較正のための専用の人為的な較正ターゲット（artificial calibration targets）を使用する。例えば、専用の較正設備は、較正データを収集するための特殊な仕方で配置された人為的な較正ターゲットを備えて構築される必要がある。これらの方法は、較正ターゲットの設計および配置に対する特定の要求事項によって、較正の効率およびフレキシビリティを制限している。別の較正アプローチは、自然光景中での平面状物体から較正データを取得しようと試み、これは、各ポイントから、それの周辺のポイント群で構築された近傍の面への距離を数量化し、次いでそのポイントのこの距離の値を最適化することによって較正が行われる。しかしながら、自然光景中には、様々な動く物体（例えば、他の車両）および静的な非平面状物体（non-planar objects）（例えば、植物）が存在し、これらのポイント群データは、非共平面性データ（non-coplanar data）として較正の精度を低下させる可能性があり、これにより、自然光景に基づくこの較正方法の応用を限定する。

本開示の諸実施形態は、自然光景中での統合センサの較正のための改良された方法およびシステムによって、上記の問題に対処する。

本開示の諸実施形態は、複数のセンサを較正するための方法を提供する。本方法は、車両に関連付けられた複数のセンサによって、車両が軌道（trajectory）に沿って走行しているときに、少なくとも１つの周辺物体を示すポイント群データのセットをキャプチャするステップを含むことが可能である。本方法は、プロセッサによって、ポイント群データのセットに関連付けられた共平面性（coplanarity）に基づいて、該ポイント群データのセットをフィルタ処理するステップを含むことも可能である。本方法は、プロセッサによって、フィルタ処理されたポイント群データのセットを用いたモデルに基づいて、複数のセンサの少なくとも１つの較正パラメータを調整するステップをさらに含むことが可能である。このモデルは、該ポイント群データのセットに関連付けられた共平面性に対応するウェイトを含んでよい。

さらに、本開示の諸実施形態は、複数のセンサを較正するためのシステムを提供する。本システムは、車両に関連付けられ、車両が軌道に沿って走行しているときに少なくとも１つの周辺物体を示すポイント群データのセットをキャプチャするように構成された複数のセンサを含むことが可能である。本システムは、ポイント群データのセットに関連付けられた共平面性に基づいて、該ポイント群データのセットをフィルタ処理するように構成されたプロセッサを含むことも可能である。このプロセッサは、フィルタ処理されたポイント群データのセットを用いたモデルに基づいて、複数のセンサの少なくとも１つの較正パラメータを調整するようさらに構成することが可能である。このモデルは、該ポイント群データのセットに関連付けられた共平面性に対応するウェイトを含んでよい。

本開示の諸実施形態は、格納された命令を有する非一時的コンピュータ可読媒体をさらに提供し、該命令は、１つ以上のプロセッサによって実行されると、該１つ以上のプロセッサに諸オペレーションを実行させる。これらオペレーションは、車両が軌道に沿って走行しているときに、車両に関連付けられた複数のセンサによってキャプチャされた少なくとも１つの周辺物体を示すポイント群データのセットを受信するステップを含むことが可能である。これらオペレーションは、ポイント群データのセットに関連付けられた共平面性に基づいて、該ポイント群データのセットをフィルタ処理するステップを含むことも可能である。これらオペレーションは、フィルタ処理されたポイント群データのセットを用いたモデルに基づいて、複数のセンサの少なくとも１つの較正パラメータを調整するステップをさらに含むことが可能である。このモデルは、該ポイント群データのセットに関連付けられた共平面性に対応するウェイトを含む。

当然のことながら、前述の概略的な説明および以降の詳細な説明は、例示的な説明のためだけのものであって、請求される本発明を限定するものではない。

本開示の諸実施形態による、諸センサを有する例示的な車両の概略図を示す。 本開示の諸実施形態による、諸センサを較正するための、自然光景中の例示的な較正ターゲットおよび車両軌道を示す。 本開示の諸実施形態による、諸センサを較正するための、例示的なコントローラのブロック図を示す。 本開示の諸実施形態による、異なるスケールでの法線ベクトルの差を計算する例示的な方法を示す。 本開示の諸実施形態による、ポイント群データをフィルタ処理するための例示的な方法のデータフローチャートを示す。 本開示の諸実施形態による、センサ較正の前と後との同じ物体の例示的なポイント群を示す。 本開示の諸実施形態による、複数のセンサを較正するための例示的な方法のフローチャートを示す。

以降に、例示的な諸実施形態を詳しく参照する。これら実施形態の例が添付の図面に示されている。図面全体を通して、可能な限り、同じまたは類似の部分を指すために同じ参照符号が用いられている。

図１は、本開示の諸実施形態による、複数のセンサ１４０および１５０を有する例示的な車両１００の概略図を示す。いくつかの実施形態によれば、車両１００は、高解像度のマップまたは三次元（３−Ｄ）都市モデリングを構築するためのデータを取得するように構成された調査車両であってよい。車両１００は、電気車両、燃料電池車両、ハイブリッド車両、または従来型の内燃エンジン車両であってよいと考えられる。車両１００は、車体１１０および少なくとも１つの車輪１２０を有することができる。車体１１０は、スポーツ車両、クーペ、セダン、ピックアップトラック、ステーションワゴン、スポーツ用多目的車両（ＳＵＶ：ｓｐｏｒｔｓ ｕｔｉｌｉｔｙ ｖｅｈｉｃｌｅ）、ミニバン、またはコンバージョンバンなど任意の車体スタイルであってよい。いくつかの実施形態において、車両１００は、図１に示されるように、前輪の対および後輪の対を含むことができる。但し、車両１００が、上記より少ない車輪、または車両１００が動き回ることができる等価の構造を有してもよいと考えられる。車両１００は、全輪駆動（ＡＷＤ：ａｌｌ ｗｈｅｅｌ ｄｒｉｖｅ）、前輪駆動（ＦＷＲ：ｆｒｏｎｔ ｗｈｅｅｌ ｄｒｉｖｅ）、または後輪駆動（ＲＷＤ：ｒｅａｒ ｗｈｅｅｌ ｄｒｉｖｅ）であるように構成されてよい。いくつかの実施形態において、車両１００は、車両に乗った運転者によって、遠隔制御で、および／または自律的に運転されるように構成されてよい。

図１に示されるように、車両１００には、搭載構造体１３０を介して車体１１０に搭載された様々なセンサ１４０および１５０を備えることが可能である。搭載構造体１３０は、車両１００の車体１１０に設置された、または別途に取り付けられた電気機械デバイスとすることができる。いくつかの実施形態において、搭載構造体１３０には、ネジ、接着剤、または別の搭載メカニズムが使用されてよい。

いくつかの実施形態によれば、センサ１４０および１５０は、車両１００が軌道に沿って走行しているときにデータをキャプチャするように構成することができる。例えば、センサ１４０は、周辺をスキャンしてポイント群を取得するように構成されたＬｉＤＡＲスキャナであってよい。ＬｉＤＡＲは、ターゲットにパルスレーザ光を照射し、センサによって反射されたパルスを測定することによって、そのターゲットへの距離を測定する。次いで、レーザの戻り時間および波長の差を使って、該ターゲットのデジタル３−Ｄ表現を作成することができる。ＬｉＤＡＲスキャンに使われる光は、紫外線、可視光線、または近赤外線であってよい。狭細なレーザビームは物理的形体を非常に高い解像度でマップできるので、ＬｉＤＡＲスキャナは高解像度のマップ探査に特に適している。いくつかの実施形態において、ＬｉＤＡＲスキャナがポイント群をキャプチャすることができる。センサ１４０は、車両１００が軌道に沿って走行しているとき、データを継続的にキャプチャすることが可能である。或る特定の時間幅内にキャプチャされた光景データの各セットは、データフレームとして知られている。

いくつかの実施形態において、センサ１４０は、ＬｉＤＡＲスキャナと、デジタル画像を撮るように構成された３−Ｄカメラとの組合せを含むことができる。車両１００が軌道に沿って走行しているときに、デジタル画像およびポイント群の両方が取得される。ＬｉＤＡＲスキャナから得られたポイント群は、次いで、リアルに見える３−Ｄモデルを生成するために、当該スキャナの位置からスキャンされた領域を撮ったデジタル画像と後で整合されてよい。例えば、ポイント群中の各ポイントには、そのポイントを生成したレーザビームと同じ角度に位置する、撮込み画像からの画素の色を付与することができる。

図１に示されるように、車両１００は、センサ１５０をさらに備えることが可能であり、該センサは、ＧＰＳレシーバおよび１つ以上のＩＭＵセンサなど、ナビゲーションユニット中に使われるセンサであってよい。ＧＰＳは、ＧＰＳレシーバに地理位置情報および時間情報を提供する全地球ナビゲーション衛星システムである。ＩＭＵは、加速度計、およびジャイロスコープなどの様々な慣性センサ、また時として磁力計用いて、車両の特定力、角速度、および時として車両周辺の磁界を測定し提供する電子デバイスである。ＧＰＳレシーバおよびＩＭＵセンサを組合せることによって、センサ１５０は、車両１００が走行しているときに、各タイムスタンプでの、車両１００の位置および方位（例えば、オイラー角）を含む、該車両のリアルタイムのポーズ情報（pose information）を提供することができる。

いくつかの実施形態において、センサ１４０のＬｉＤＡＲユニットによって取得されたポイント群データは、当初は、そのＬｉＤＡＲユニットのローカル座標系にあってよいが、その後の処理のため、地球座標系（global coordinate system）（例えば、経度／緯度座標）に変換される必要があり得る。ナビゲーションユニットのセンサ１５０によって収集された車両１００のリアルタイムのポーズ情報は、例えば、各ポイントが取得されたときの車両１００のポーズに基づくポイント群データの位置合わせ（registration）によって、該ポイント群データをローカル座標系から地球座標系に変換するために用いることができる。ポイント群データを一致するリアルタイムポーズ情報と位置合わせする（register）ために、センサ１４０と１５０とは、群ポイントデータがそれらが収集されたときのポーズ情報との位置合わせによって配列される（aligned）ことが可能になるように統合感知システムとして統合化されてよい。この統合感知システムは、以下に限らないがセンサ１４０および１５０の搭載角度誤差および搭載ベクトル誤差を含め、統合化誤差を低減するために、較正ターゲットに対して較正されることが可能である。統合化の較正を通して、ＬｉＤＡＲユニットおよびナビゲーションユニットの搭載角度、ＬｉＤＡＲの中心とＧＰＳレシーバアンテナの中心とのオフセットなど、１つ以上のセンサ較正パラメータを最適化することができる。

例えば、図２は、本開示の諸実施形態による、センサ１４０および１５０を較正するための、自然光景中の例示的な較正ターゲットおよび車両の軌道を示す。この較正は、自然環境の中で行うことができ、いかなる専用の人為的な較正ターゲットに頼らずともよく、しかして、既存のシステムおよび方法に比べ、全自動化、高いフレキシビリティおよび効率など様々な利点を有する。

空中写真画像（aerial view image）２１０に示されるように、車両（例えば、車両１００）上に備えられた統合センサ（例えば、センサ１４０および１５０）を、その中で較正することが可能な自然光景は、動く物体（例えば、他の車両、歩行者、動物等）、および静的な物体（例えば、建物、植物、道路、街灯、交通標識、交通信号機等）など、様々な周辺物体を含み得る。静的な物体は、平面状物体（例えば、壁または道路）もしくは非平面状物体（例えば、植物）であり得る。いくつかの実施形態において、壁および道路など静的な平面状の物体である周辺物体を、較正ターゲットとして識別することが可能である。車両１００が軌道を走行しているときに、車両１００の統合センサによって、ポイント群データおよびポーズ情報など較正ターゲットを示すデータがキャプチャされてよい。いくつかの実施形態において、動く物体（例えば、車両および歩行者）または静的な非平面状物体（例えば、植物）である周辺物体は、較正ターゲットとして回避することができる。センサ較正のため使われる自然光景の選択は、当該光景中の適切な較正ターゲット（すなわち、静的な平面状の物体）および不適切な較正ターゲット（すなわち、動く物体および静的な非平面状の物体）の存在または数に基づいてよい。例えば、より多くの数の動く物体（例えば、５つより多い動く物体）を含む光景は、センサの較正に使わないようにすることができる。例えば、空中写真画像２１０は、主として（壁を備えた）建物および道路を含んでいて、センサ較正に適した自然光景を示している。

本開示によれば、車両１００は、識別された周辺物体（すなわち、較正ターゲット）を示すデータをキャプチャしながら軌道に沿って走行することができる。いくつかの実施形態において、法線ベクトルの正確な計算（後で詳しく説明する）を確実にするために、車両１００は、同じ軌道沿いに繰り返し走行し、走行しながら車両１００のオイラー角を変化させることが可能である。例えば、この軌道は任意でよいが、ＬｉＤＡＲユニットの横方向および縦方向のオフセットが検出できるように、ヨー（ｙａｗ）の変化を含み得る。空中写真画像２１０中で、車両１００は、ポイント群データのセット、および車両１００が該ポイント群データを収集する際の該車両１００のリアルタイムのポーズ情報（例えば、時間、位置、および方位）など、建物の壁を示すデータを収集するため、８字形状の軌道２１２に沿って繰り返し走行している。風景写真画像２２０は、較正ターゲットとして識別された周辺の建物の壁を示す。

図１に戻って参照すると、本開示によれば、車両１００は、センサ較正パラメータを最適化し、しかして統合化誤差を低減し、取得されたデータの精度を向上させるために、統合センサ１４０および１５０を較正するため、車両１００の車体１１０中にローカルコントローラ１６０を含むか、または遠隔のコントローラ（図１には示さず）と通信することができる。例えば、図３は、本開示の諸実施形態による、センサ１４０および１５０を較正するための例示的なコントローラ３００のブロック図を示す。本開示によれば、センサ１４０および１５０の較正パラメータ３０１は、センサ１４０によってキャプチャされたポイント群データ３０３のセットに基づいて、最適値に向け調整することが可能である。

いくつかの実施形態において、図３に示されるように、コントローラ３００は、通信インターフェース３０２、プロセッサ３０４、メモリ３０６、およびストレージ３０８を含むことができる。いくつかの実施形態では、コントローラ３００は、集積回路（ＩＣ：ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）チップ（特定用途向け集積回路（ＡＳＩＣ：ａｐｐｌｉｃａｔｉｏｎ−ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）、もしくはフィールドプログラマブルゲートアレイ（ＦＰＧＡ：ｆｉｅｌｄ−ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）として実装される）など、単一のデバイス中に、または専用機能を備えた個別のデバイス群中に、各種のモジュールを有することが可能である。いくつかの実施形態において、コントローラ３００の１つ以上のコンポーネントは、車両１００内に配置することができ（例えば、図１のローカルコントローラ１６０）、またはこれに換えて、携帯デバイス中に、クラウド中に、または別の遠隔場所にあってもよい。コントローラ３００のコンポーネントは、集積化されたデバイス中にあってもよく、または異なった場所に分散され、だが、ネットワーク（図示せず）を介して相互に通信していてもよい。例えば、プロセッサ３０４は、車両１００の車載プロセッサであっても、携帯デバイス内のプロセッサであっても、もしくはクラウドのプロセッサであっても、またはこれらの任意の組合せであってもよい。

通信インターフェース３０２は、通信ケーブル、ワイヤレスローカルエリアネットワーク（ＷＬＡＮ：Ｗｉｒｅｌｅｓｓ Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、広域ネットワーク（ＷＡＮ：ｗｉｄｅ ａｒｅａ ｎｅｔｗｏｒｋ）、無線波などのワイヤレスネットワーク、全国的なセルラネットワーク、および／またはローカルワイヤレスネットワーク（ブルートゥース（登録商標）またはＷｉＦｉ）、または他の通信方法を介して、センサ１４０および１５０などのコンポーネントにデータを送信し、それらからデータを受信することができる。いくつかの実施形態において、通信インターフェース３０２は、統合サービスディジタルネットワーク（ＩＳＤＮ：ｉｎｔｅｇｒａｔｅｄ ｓｅｒｖｉｃｅｓ ｄｉｇｉｔａｌ ｎｅｔｗｏｒｋ）カード、ケーブルモデム、衛星モデム、またはデータ通信接続を提供するモデムであってよい。別の例として、通信インターフェース３０２は、互換性のあるローカルエリアネットワーク（ＬＡＮ：ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ）へのデータ通信接続を提供するＬＡＮカードであってもよい。また、ワイヤレスリンクも通信インターフェース３０２によって実装することが可能である。かかる実装において、通信インターフェース３０２は、ネットワークを介し、様々な種類の情報を表すデジタルデータストリームを搬送する電気的、電磁気的、または光学的信号を送信し、受信することができる。

いくつかの実施形態によれば、通信インターフェース３０２は、車両１００のポーズ情報および較正ターゲットを示すポイント群データ３０３のセットなど、センサ１４０および１５０によってキャプチャされたデータを受信することができ、受信されたデータを、保管のためストレージ３０８に、または処理のためプロセッサ３０４に提供することができる。また、通信インターフェース３０２は、プロセッサ３０４によって生成された較正パラメータ３０１を受信し、較正パラメータ３０１をセンサ１４０および１５０に提供することができ、これによりそれらパラメータは、センサ１４０および１５０を較正するために用いられることになる。

プロセッサ３０４は、任意の適切な種類の、汎用または特定用途向けマイクロプロセッサ、デジタル信号プロセッサ、またはマイクロコントローラを含んでよい。プロセッサ３０４は、車両１００上に備えられたセンサを、自然光景中の非人為的な較正ターゲットを用いて較正するための専用の別個のプロセッサモジュールとして構成されてもよい。あるいは、プロセッサ３０４は、センサの較正とは関係のない他の機能も実行するための共用のプロセッサモジュールとして構成されてもよい。

図３に示されるように、プロセッサ３０４は、座標変換ユニット３１０、共平面性計算ユニット３１２、ポイント群データフィルタユニット３１４、較正パラメータ最適化ユニット３１６など、複数のモジュールを含むことができる。これらのモジュール（および任意の対応サブモジュールまたはサブユニット）は、他のコンポーネントと併せて用いられるように、またはプログラムの一部を実行するように設計された、プロセッサ３０４のハードウェアユニット（例えば、集積回路の部分）であってもよい。このプログラムは、コンピュータ可読媒体上に格納することが可能で、プロセッサ３０４に実行されると１つ以上の機能を遂行することができる。図３は、全てが１つのプロセッサ３０４内にあるユニット３１０〜３１６を示しているが、これらのユニットを、相互に近傍にまたは遠隔に配置された複数のプロセッサの間に分散可能にすることも考えられる。

座標変換ユニット３１０は、ローカル座標系（例えば、ＬｉＤＡＲユニットによって使われている座標系）において、センサ１４０によってキャプチャされたポイント群データ３０３のセットを、センサ１５０によって取得された車両１００のリアルタイムのポーズ情報に基づいて、地球座標系に変換するように構成することができる。ポイント群データ３０３は、周辺の物体（例えば、識別された較正ターゲット）の外面上のデータポイントのセットを包含することが可能である。ポーズ情報は、各タイムスタンプでの車両１００の位置および方位を含むことができる。いくつかの実施形態において、ポイント群データ３０３は、車両１００の、或る時限内の一連のポーズ（例えば、位置および方位）を通しての変移として記録されてよい。座標変換ユニット３１０は、ポイント群データ３０３によって表されるポイント群中の各ポイントを、該各ポイントが取得された時の車両１００のポーズに基づいて、地球座標系（例えば、経度／緯度座標）に投影することができる。ポイント群データ３０３およびポーズ情報は、統合センサ１４０および１５０によって収集されるので、センサ１４０および１５０の初期較正パラメータ（例えば、座標軸および中心点）も座標変換に使用され得る。較正パラメータを最適化するのに先立って、テープ（tape）などの計器によって大まかに測定された値として初期較正パラメータが設定されてよい。地球座標系中に投影された後、ポイント群データ３０３中の各データポイントは、地球座標系中の一組の座標と、そのポイントにおけるレーザ強度またはポーズ情報から得られた何らかの情報などの付加情報とによって表すことが可能である。

共平面性計算ユニット３１２は、地球座標系中のポイント群データ３０３に関連付けられた共平面性を判定するように構成することができる。本明細書で言う共平面性とは、２つ以上のポイントが同一平面上にある状態または程度である。空間中のポイントは、連続した面に所在する傾向があるので、近接する諸ポイントは共平面上の（すなわち、閾値を上回る共平面性を有する）ポイント群と見なしてもよい。共平面性データ（coplanar data）（例えば、静的な平面状物体のポイント群データ）は、正確なセンサ較正の助力となり、一方、非共平面性データ（例えば、動く物体、または静的な非平面状物体のポイント群データ）は、センサ較正の精度に悪影響を及ぼし得る。しかして、共平面性計算ユニット３１２は、非共平面性データをフィルタ除去するためにポイント群データフィルタユニット３１４を用いることによって、ポイント群データ３０３からのデータポイントの共平面性を確認することが可能である。

いくつかの実施形態において、共平面性は、共平面性計算ユニット３１２によって、ポイント群データ３０３に関連付けられた複数のスケールにおける法線ベクトルの差（すなわち、Δ）に基づいて判定することができる。表面に対する法線ベクトル（「法線」とも言う）とは、所与の点における当該表面への接平面に対し垂直なベクトルである。自然光景中で統合センサを較正する場合、ときとして、動く物体または静的な非平面状物体を回避することができない。本開示によれば、静的な平面状物体と、動く物体および静的な非平面状物体とを見分けるために、異なるスケールでの法線ベクトル間の差を使うことが可能である。例えば、静的な平面状物体の異なるスケールでの法線ベクトル間の差は、動く物体または静的な非平面状物体での差より小さい。

図４は、本開示の諸実施形態による、異なるスケールでの法線ベクトルの差を計算する例示的な方法を示す。図４に示されるように、Ｐはポイント群データのセット｛ｐ１，ｐ２，・・・，ｐ_Ｎ｝を表し、各ポイントはドットで表されている。このポイント群は、較正用物体の表面を示すことができる。ポイント群データのセットＰは、４１０中に示された、２つの遠位端ポイントによって画定された第一スケール（より大きな範囲（radius）ｒ_ｌ）、および４２０中に示された、第一スケールより小さい、２つの近位端ポイントによって画定された第二スケール（より小さな範囲ｒ_ｓ）を含む、多重スケール空間に関連付けることができる。第一および第二スケール中の、ポイント群中の同一のポイントｐ（大きなドットとして表されている）に関連する法線ベクトルが、４１０および４２０においてそれぞれ計算される。４１０で、第一スケールｒ_ｌ中のポイントｐにおける接平面Ｔ（ｐ，ｒ_１）に対する第一法線ベクトル

は、下記のように計算される。

４２０で、第二スケールｒ_ｓ中のポイントｐにおける接平面Ｔ（ｐ，ｒ_ｓ）に対する第二法線ベクトル

は下記のように計算される。

４３０で、第一および第二スケールｒ_ｌ、ｒ_ｓ中のポイントｐにおける第一法線ベクトルおよび第二法線ベクトルの間の差

は下記にように計算される。

図３に戻って参照すると、ポイント群データフィルタユニット３１４は、ポイント群データ３０３のセットに関連付けられた共平面性に基づいて、ポイント群データ３０３をフィルタ処理するように構成することができる。前述のように、ポイント群中のポイントに関連する異なるスケールにおける法線ベクトル間の差など、共平面性は、較正のためのデータの品質を向上させるために、非共平面性データ（例えば、動いている、または静的な非平面性の物体を表すポイント）を識別し、その非共平面性データをポイント群データ３０３からフィルタ除去するためのベースとして用いることが可能である。いくつかの実施形態において、閾値は、或るポイントの対応する法線ベクトル差をその閾値と比較することによって、そのポイントが非共平面性のポイントかどうかを判断するために使用されることができる。すなわち、（例えば、閾値に対して）相対的に大きな法線ベクトル差を有するポイントは、非共平面性ポイントとして識別することができ、ポイント群データ３０３中のそれらのデータは、ポイント群データフィルタユニット３１４によって、非共平面性のノイズデータとしてフィルタ除去することが可能である。

図５は、本開示の諸実施形態による、ポイント群データをフィルタ処理するための例示的な方法５００のデータフローチャートを示す。いくつかの実施形態によれば、ポイント群５０２中の、各ポイント５０４は、ポイント群５０２に関連付けられた第一スケール５０６と第二スケール５０８との中のそのポイントの法線ベクトル差に基づいて、ポイント群データフィルタユニット３１４を通過することができる。第一スケール５０６および第二スケール５０８の各々は、ポイント群５０２中のポイントごとに画定されてよい。第一スケール５０６中のポイント５０４に関連する第一法線ベクトル５１０を計算することができる。同じく、第二スケール５０８中のポイント５０４に関連する第二法線ベクトル５１２を計算することができる。第一法線ベクトル５１０および第二法線ベクトル５１２間の法線ベクトル差５１４を計算し、閾値５１６と比較することが可能である。例えば、閾値５１６は、過去の経験に基づいて前もって設定された任意の適切な値であってよい。５１８で、法線ベクトル差５１４が閾値５１６を超えるかどうかが判定される。法線ベクトル差５１４が閾値５１６を超えない場合（すなわち、第一スケール５０６および第二スケール５０８中の法線ベクトルの差が相対的に小さい）、次の５２０で、ポイント５０４は、共平面性ポイントと見なすことができ、しかしてポイント群５０２中に保持される。上記以外で、法線ベクトル差５１４が閾値５１６を超える場合（すなわち、第一スケール５０６および第二スケール５０８中の法線ベクトルの差が相対的に大きい）、５２２で、ポイント５０４は非共平面性ポイントと見なすことができ、しかしてポイント群５０２からフィルタ除去される。その結果、フィルタ処理されたポイント群５０２はポイント５０４を含まないことになる。

図３に戻って参照すると、較正パラメータ最適化ユニット３１６は、フィルタ処理されたポイント群データ３０３のセットをモデルのインプットとして用い、モデルのアウトプットを低減するようにされた該モデルに基づいて、センサ１４０および１５０の較正パラメータ３０１を調整するように構成することができる。このモデルは、ポイント群データ３０３のセットに関連付けられた共平面性に基づくウェイトを含んでよい。いくつかの実施形態において、このウェイトは、ポイント群中のポイントにおける、異なるスケール中の法線ベクトル間の差の逆数とすることができる。モデルのアウトプットが最小化されるまで較正パラメータ３０１を反復調整することによって、較正パラメータ３０１は、センサ１４０および１５０を較正するため用いられる最適値を達成するように最適化することが可能である。較正パラメータ最適化ユニット３１６によって実装が可能な例示的なアルゴリズムおよびモデルを以下に詳しく説明する。フィルタ処理されたポイント群データ３０３を用いて較正パラメータ３０１を調整するために、較正パラメータ最適化ユニット３１６によって、他の任意の適切なアルゴリズムおよび／またはモデルの実装を可能にすることも考えられる。

この例示的なアルゴリズムは、（ａ）フィルタ処理されたポイント群データ３０３のセットからレーザスキャンビームｂ_ｊおよびそれのポイントセットＰ（ｂ_ｊ）を選択するステップであって、該ポイントセットは、車両１００のポーズ情報に基づいて初期較正パラメータを使って地球座標系に変換されている、該選択するステップと、（ｂ）レーザスキャンビームｂ_ｊに対し、フィルタ処理されたポイント群データ３０３から、隣接するレーザスキャンビームｎ_ｊおよびそれのポイントセットＰ（ｎ_ｊ）を選択するステップと、（ｃ）ポイントセットＰ（ｎ_ｊ）からポイントｐ_ｋを選択するステップと、（ｄ）ポイントｐ_ｋから最小距離にあるポイントセットＰ（ｂ_ｊ）からポイントｍ_ｋを選択し、ポイントｍ_ｋにおける法線ベクトルη_ｋを計算するステップと、（ｆ）ポイントｐ_ｋと、ポイントｍ_ｋの面との間の距離を計算するステップと、を含む。ポイントｐ_ｋおよびｍ_ｋはフィルタ処理されたポイント群データ３０３から選択され十分近接しているので、これらは静的な平面状物体の同じ表面にあり、動いている物体または非平面状物体上にはない。例えば、ポイントｐ_ｋおよびｍ_ｋにおける法線ベクトル各々の差は閾値よりも小さい。しかして、ポイントｐ_ｋとｍ_ｋとの対応データは、共平面性データであり得る。上記プロセス（ａ）〜（ｆ）は、センサ１４０の全てのレーザスキャンビームが横切るまで、較正パラメータ最適化ユニット３１６によって反復実行することができる。

次いで、この例示的なアルゴリズムは、ポイント群中の全ポイントに対し計算された総計距離を、最適化のためのコスト関数として使用する。

上式のｉは各レーザスキャンビームｂ_ｉ∈｛１，２，・・・，Ｂ｝のナンバリングであり、このＢはレーザスキャンビームの合計数を表す。ｊは、ｉ，ｎ_ｊ∈｛ｂ_ｉ−Ｎ，・・・，ｂ_ｉ＋Ｎ｝，ｎ_ｊ≠ｂ_ｉの隣接レーザスキャンビームを表し、このＮは、隣接のレーザスキャンビームの数を表す。η_ｋは法線ベクトルを表す。ω_ｋは式［１］に示されたモデルのウェイトであり、これは、式［２］に示された（上記で詳細に説明された）法線ベクトルの差Δηの逆数など、ポイント群の共平面性の信頼水準を表す。すなわち、モデルのこのウェイトは、各ポイントの共平面性に基づいてよい。例えば、高い共平面性（例えば、複数のスケールにおける小さな法線ベクトルの差で表される）を有するポイントには、大きなウェイトを割り当てることができ、一方、低い共平面性（例えば、複数のスケールにおける大きな法線ベクトルの差で表される）を有するポイントには、小さなウェイトを割り当てることができる。このように、ポイント群データ３０３のセットに関連付けられた共平面性は、ポイント群データフィルタユニット３１４によってポイント群データ３０３のフィルタ処理に使うことができるだけでなく、較正パラメータ最適化ユニット３１６によって較正パラメータ３０１を最適化するためのモデル中の各ポイントのウェイトを判定するためにも使うことができる。

センサ１４０および１５０の較正パラメータ３０１を調整することによって、コスト関数Ｊ（ｘ）の値を変化させることが可能である。較正パラメータ最適化ユニット３１６は、Ｊ（ｘ）の値が低減されるよう較正パラメータ３０１を調整するように構成されてよい。いくつかの実施形態において、較正パラメータ最適化ユニット３１６は、Ｊ（ｘ）を、その値が最小化されるまで反復して調整することができる。較正パラメータ３０１の対応する値は、センサ１４０および１５０を較正するために用いる最適の値となる。

例えば、図６は、本開示の諸実施形態による、センサ較正の前と後との同じ物体（建物の壁）の例示的なポイント群６１０および６２０を示す。建物の壁のポイント群６１０は、（例えば、任意的な初期較正パラメータを使用して）センサ較正の前のセンサ１４０および１５０によって収集されたデータによって生成されている。これに対し、同じ建物の壁のポイント群６２０は、（例えば、最適化較正パラメータを使用して）センサ較正の後のセンサ１４０および１５０によって収集されたデータによって再生成されている。例えば、ポイント群６２０中に表された建物の壁の厚さ（矩形の中に表示）は、最適化較正パラメータによってセンサ１４０および１５０の統合化誤差が低減されているので、ポイント群６１０中に表された同じ建物の壁の厚さ（矩形の中に表示）よりも薄い。

図３に戻って参照すると、メモリ３０６およびストレージ３０８は、プロセッサ３０４が実行する必要のあり得る任意の種類の情報を格納するよう備えられた任意の適切な種類の大容量ストレージを含んでよい。メモリ３０６およびストレージ３０８は、揮発性または不揮発性、磁気、半導体、テープ、光、着脱可能式、固定式、もしくは他の種類のストレージデバイス、または、以下に限らないが、ＲＯＭ、フラッシュメモリ、ダイナミックＲＡＭ、およびスタティックＲＡＭを含む有形の（すなわち、非一時的）コンピュータ可読媒体であってよい。メモリ３０６および／またはストレージ３０８は、本出願で開示されたセンサ較正機能を遂行するためにプロセッサ３０４によって実行可能な１つ以上のコンピュータプログラムを格納するように構成することが可能である。例えば、メモリ３０６および／またはストレージ３０８は、車両１００が軌道に沿って走行しているときに、較正ターゲットデータをキャプチャするようにセンサ１４０を制御し、車両のポーズ情報を取得するようにセンサ１５０を制御し、キャプチャされたデータを処理してセンサ１４０および１５０の較正パラメータを調整するため、プロセッサ３０４によって実行が可能なプログラム（群）を格納するように構成されてよい。

メモリ３０６および／またはストレージ３０８は、プロセッサ３０４によって使用される情報およびデータを格納するようにさらに構成することが可能である。例えば、メモリ３０６および／またはストレージ３０８は、センサ１４０によってキャプチャされたポイント群データおよびセンサ１５０によって得られたリアルタイムのポーズ情報と、較正パラメータを最適化するために用いられるモデルと、較正パラメータの初期値、中間値および最適化値と、を格納するように構成することができる。これらのデータ、情報、およびモデルは、恒久的に格納されてもよく、定期的に除去されてもよく、またはデータの各フレームが処理された後、直ちに没却されてもよい。

図７は、本開示の諸実施形態による、複数のセンサを較正するための例示的な方法７００のフローチャートを示す。例えば、方法７００は、なかんずく、コントローラ３００とセンサ１４０および１５０とを含む、車両１００の統合センサ較正システムによって実装することができる。方法７００は、以下に説明するステップＳ７０２〜Ｓ７１２を含むことができる。

ステップＳ７０２で、較正ターゲットとして、自然光景中の車両１００の周辺の或る物体を識別することができる。車両１００は、車両１００上に備えられたセンサ１４０および１５０を較正するため、自然光景中の或る軌道に沿って繰り返し走行する調査車両であってよい。この較正ターゲットには、建物の壁または道路など、光景中の静的な平面状物体を含めることができる。較正のためには、静的な平面状物体について収集されたデータが理想的である。したがって、光景中の別の車両または植物など、動く物体および非平面状の物体は、較正精度を向上させるために除去されてよい。その結果、センサ較正のため、専用の較正設備および／または人為的な較正ターゲットは必要なく、これにより較正の効率およびフレキシビリティが向上する。

ステップＳ７０４で、センサ較正のため、自然光景中で車両１００が軌道に沿って走行しているときに、センサ１４０は、当該周辺物体（すなわち、識別された較正ターゲット）を示すポイント群データのセットをキャプチャすることができる。車両１００には、ＬｉＤＡＲレーザスキャナなどのセンサ１４０を備えることが可能である。車両１００が軌道に沿って走行しているときに、センサ１４０は、異なる時点で、ローカル座標系でのポイント群データのセットの形で光景データのフレームを継続的にキャプチャすることができる。また、車両１００は、ＧＰＳレシーバおよび１つ以上のＩＭＵセンサなどのセンサ１５０を備えることが可能である。センサ１４０および１５０は統合感知システムを形成してよい。いくつかの実施形態において、車両１００が自然光景中の軌道に沿って走行している際、およびセンサ１４０が較正ターゲットを示すポイント群データのセットをキャプチャしているとき、センサ１５０は、車両１００のリアルタイムのポーズ情報を取得することができる。

ステップＳ７０６で、プロセッサ３０４は、車両１００のポーズ情報に基づいて、ローカル座標系中のポイント群データのセットを地球座標系に投影することができる。いくつかの実施形態において、経度／緯度座標などの地球座標系におけるデータ位置合わせのため、ポイント群データとポーズ情報とを相関させるための初期較正パラメータには、任意の適切な値が用いられてよい。例えば、プロセッサ３０４は、各ポイントが取得された時点での車両１００のポーズに基づいて、ポイント群中のポイントを地球座標系中に投影することが可能である。

ステップＳ７０８で、プロセッサ３０４は、地球座標系中のポイント群データのセットに関連付けられた共平面性を判定することができる。いくつかの実施形態において、この共平面性は、ポイント群データのセットに関連付けられた複数のスケールにおける法線ベクトル間の差に基づいて判定することが可能である。例えば、ポイント群中の各ポイントに対し、プロセッサ３０４は、第一スケール中での当該ポイントに関連する第一法線ベクトルと、第一スケールと異なった第二スケール中でのそのポイントに関連する第二法線ベクトルとを計算し、次いで第一法線ベクトルと第二法線ベクトルとの差を計算することができる。この法線ベクトル差は、ポイント群データのセットに関連付けられた共平面性の示度となり得る。この法線ベクトル差が大きいほど、対応するポイントは非共平面性（すなわち、動いている物体または静的な非平面状物体の表面上のポイント）であり得る尤度が高い。

ステップＳ７１０で、プロセッサ３０４は、共平面性に基づいてポイント群データのセットをフィルタ処理することができる。いくつかの実施形態において、閾値は、或るポイント（およびそれの対応データ）をポイント群（およびポイント群データのセット）から除去すべきかどうかを判断するために使用されてよい。例えば、或るポイントに関連する法線ベクトル差を閾値と比較することができる。法線ベクトル差が閾値を超えない場合、そのポイントは静的な平面状物体の表面上の共平面性ポイントであると考えられるので、そのポイントデータはポイント群データのセットの中に残ることになる。それ以外は、そのポイントは動いている物体または静的な非平面状の物体の表面上の非共平面性ポイントであると考えられるので、そのポイントデータはポイント群データのセットからフィルタ除去されることになる。

ステップＳ７１２で、プロセッサ３０４は、フィルタ処理されたポイント群データのセットをモデルのインプットとして用いた最適化モデルに基づいて、モデルのコスト関数の値が低減されるようにセンサ１４０及び１５０の較正パラメータを調整することができる。このモデルは、ポイント群データのセットに関連付けられた共平面性に基づくウェイトを含んでよい。いくつかの実施形態において、このウェイトは、フィルタされたポイント群データのセット中の各ポイントに関連する法線ベクトル間の差の逆数であってよい。プロセッサ３０４は、モデルのコスト関数の値が最小化されるまで、これら較正パラメータを連続して調整することが可能である。これにより、対応する較正パラメータは、センサ１４０および１５０の較正のために最適の値を有する。

本開示の別の態様は、命令を格納する非一時的コンピュータ可読媒体を対象とし、該命令は、実行されると、１つ以上のプロセッサに前述した方法を実行させる。本コンピュータ可読媒体は、揮発性または不揮発性、磁気、半導体、テープ、光、着脱可能式、固定式、もしくは他の種類のコンピュータ可読媒体またはコンピュータ可読ストレージデバイスを含んでよい。例えば、本コンピュータ可読媒体は、本開示のとおり、格納されたコンピュータ命令を有するストレージデバイスまたはメモリモジュールとすることが可能である。いくつかの実施形態において、本コンピュータ可読媒体は、格納されたコンピュータ命令を有するディスクまたはフラッシュドライブであってよい。

当業者には、本開示のシステムおよび関連する方法に様々な修改および変形を加えることが可能なのは自明であろう。当業者には、本明細書の考察ならびに開示されたシステムおよび関連する方法の実践から、他の諸実施形態も明らかであろう。

本明細書および諸例は、単なる例示と見なされるように意図されており、真の範囲は添付の特許請求の範囲およびそれらの等価物によって示されている。

Claims (15)

1. 複数のセンサを較正する方法であって、
   車両に関連付けられた複数のセンサによって、前記車両が軌道に沿って走行しているときに、少なくとも１つの周辺物体を示すポイント群データのセットをキャプチャするステップと、
   プロセッサによって、前記ポイント群データのセットに関連付けられた複数のスケールにおける各ポイントの法線ベクトルの差に基づいて、前記ポイント群データのセットに関連付けられた共平面性を判定するステップと、
   前記プロセッサによって、前記ポイント群データのセットに関連付けられた前記共平面性に基づいて、前記ポイント群データのセットをフィルタ処理するステップと、
   前記プロセッサによって、前記フィルタ処理されたポイント群データのセットを用いたモデルに基づいて、前記複数のセンサの少なくとも１つの較正パラメータを調整するステップであって、前記モデルは、前記ポイント群データのセットに関連付けられた前記共平面性に対応するウェイトを含む、前記調整するステップと、
   を含む、方法。
2. 前記ウェイトは前記法線ベクトルの前記差の逆数である、請求項１に記載の方法。
3. 前記少なくとも１つの周辺物体が、自然光景中の静的な平面状物体を含む、請求項１または２に記載の方法。
4. 前記車両が、前記軌道に沿って繰り返し走行し、前記ポイント群データのセットがキャプチャされているときに前記車両の方位を変える、請求項１〜３のいずれか１項に記載の方法。
5. 前記ポイント群データのセットに関連付けられた前記共平面性に基づいて前記ポイント群データのセットをフィルタ処理するステップが、
   第一スケール中で前記ポイント群データのセットによって表されるポイント群中のポイントに関連する第一法線ベクトルを計算するステップと、
   前記第一スケールより小さい第二スケール中で前記ポイントに関連する第二法線ベクトルを計算するステップと、
   前記第一法線ベクトルと前記第二法線ベクトルとの差を計算するステップと、
   閾値より大きな前記差に基づいて前記ポイント群から前記ポイントを除去するステップと、
   を含む、請求項１〜４のいずれか１項に記載の方法。
6. 複数のセンサを較正するためのシステムであって、
   車両に関連付けられ、前記車両が軌道に沿って走行しているときに、少なくとも１つの周辺物体を示すポイント群データのセットをキャプチャするように構成された複数のセンサと、
   前記ポイント群データのセットに関連付けられた複数のスケールにおける各ポイントの法線ベクトルの差に基づいて、前記ポイント群データのセットに関連付けられた共平面性を判定し、
   前記ポイント群データのセットに関連付けられた前記共平面性に基づいて、前記ポイント群データのセットをフィルタ処理し、
   前記フィルタ処理されたポイント群データのセットを用いたモデルに基づいて、前記複数のセンサの少なくとも１つの較正パラメータを調整し、前記モデルが、前記ポイント群データのセットに関連付けられた前記共平面性に対応するウェイトを含む、
   ように構成されたプロセッサと、
   を含む、システム。
7. 前記ウェイトが前記法線ベクトルの前記差の逆数である、請求項６に記載のシステム。
8. 前記少なくとも１つの周辺物体が、自然光景中の静的な平面状物体を含む、請求項６または７に記載のシステム。
9. 前記車両が、前記軌道に沿って繰り返し走行し、前記ポイント群データのセットがキャプチャされているときに前記車両の方位を変える、請求項６〜８のいずれか１項に記載のシステム。
10. 前記複数のセンサが、光検知および測距（ＬｉＤＡＲ）レーザスキャナ、全地球ナビゲーション衛星システム、および慣性計測ユニット（ＩＭＵ）センサのうちの少なくとも一つを含む、請求項６〜９のいずれか１項に記載のシステム。
11. 前記ポイント群データのセットに関連付けられた前記共平面性に基づいて前記ポイント群データのセットをフィルタ処理するため、前記プロセッサが、
    第一スケール中で前記ポイント群データのセットによって表されるポイント群中のポイントに関連する第一法線ベクトルを計算し、
    前記第一スケールより小さい第二スケール中で前記ポイントに関連する第二法線ベクトルを計算し、
    前記第一法線ベクトルと前記第二法線ベクトルとの差を計算し、
    閾値より大きな前記差に基づいて前記ポイント群から前記ポイントを除去する
    ようにさらに構成される、請求項６〜１０のいずれか１項に記載のシステム。
12. 格納された命令を有する非一時的コンピュータ可読媒体であって、前記命令は、１つ以上のプロセッサによって実行されると、前記１つ以上のプロセッサに、
    車両が軌道に沿って走行しているときに、複数のセンサによってキャプチャされた少なくとも１つの周辺物体を示すポイント群データのセットを受信するステップと、
    前記ポイント群データのセットに関連付けられた複数のスケールにおける、前記ポイント群データのセット中の各ポイントの法線ベクトルの差に基づいて、前記ポイント群データのセット中の前記各ポイントに関連付けられた共平面性を判定するステップと、
    前記プロセッサによって、前記ポイント群データのセットに関連付けられた前記共平面性に基づいて、前記ポイント群データのセットをフィルタ処理するステップと、
    前記プロセッサによって、前記フィルタ処理されたポイント群データのセットを用いたモデルに基づいて、前記複数のセンサの少なくとも１つの較正パラメータを調整するステップであって、前記モデルは、前記ポイント群データのセットに関連付けられた前記共平面性に対応するウェイトを含む、前記調整するステップと、
    を含むオペレーションを実行させる、
    非一時的コンピュータ可読媒体。
13. 前記ウェイトが前記法線ベクトルの前記差の逆数である、請求項１２に記載の非一時的コンピュータ可読媒体。
14. 前記車両が、前記軌道に沿って繰り返し走行し、前記ポイント群データのセットがキャプチャされているときに前記車両のオイラー角を変える、請求項１２または１３に記載の非一時的コンピュータ可読媒体。
15. 前記ポイント群データのセットに関連付けられた前記共平面性に基づいて前記ポイント群データのセットをフィルタ処理するステップが、
    第一スケール中で前記ポイント群データのセットによって表されるポイント群中のポイントに関連する第一法線ベクトルを計算するステップと、
    前記第一スケールより小さい第二スケール中で前記ポイントに関連する第二法線ベクトルを計算するステップと、
    前記第一法線ベクトルと前記第二法線ベクトルとの差を計算するステップと、
    閾値より大きな前記差に基づいて前記ポイント群から前記ポイントを除去するステップと、
    を含む、請求項１２〜１４のいずれか１項に記載の非一時的コンピュータ可読媒体。

Images