JP6915009B2

JP6915009B2 - センサーキャリブレーション方法と装置、コンピュータ機器、媒体及び車両

Info

Publication number: JP6915009B2
Application number: JP2019169174A
Authority: JP
Inventors: シールイ・リ; ユェンファン・シェ; シュン・ヂョウ; リャン・ワン
Original assignee: バイドゥオンラインネットワークテクノロジー（ベイジン）カンパニーリミテッド
Priority date: 2018-09-19
Filing date: 2019-09-18
Publication date: 2021-08-04
Anticipated expiration: 2039-09-18
Also published as: US20200089971A1; JP2020047276A; CN109343061A; CN109343061B; US11042762B2; EP3627180A1; EP3627180B1

Description

本発明の実施例は、コンピュータ技術分野に関し、特にセンサーキャリブレーション方法と装置、コンピュータ機器、媒体及び車両に関する。

自動運転技術では、カメラとレーザレーダとのいずれもが、自動運転システムでの重要ユニットであり、カメラ及びレーザレーダにより車両の周囲環境に対して感知を行うことができ、具体的には、例えば、車線検出、縁石検出、障害物検出及び道路標識認識等を実現することができる。カメラ及びレーザレーダは、それぞれメリットとデメリットがあるため、カメラ及びレーザレーダを併用することにより、それぞれのメリットを発揮し、自動運転過程での感知をよく実現することができる。

その中、カメラとレーザレーダとの外部パラメーターキャリブレーションは、それらの感知結果の正確度に直接に影響し、これにより、外部パラメーターキャリブレーションが自動運転技術で無視できない重要な部分になっている。従来技術では、カメラからレーザレーダへの外部パラメーターキャリブレーションは、一般的に、特定のキャリブレーションオブジェクト（対象物）が必要となるか、又は、キャリブレーションルームで完了され、操作が複雑であり、車両を定期的に工場に返品してキャリブレーションする必要があるため、走行中における自動的なキャリブレーションに適用できない。したがって、車両の走行中に、カメラ及びレーザレーダの緩みのため、両者によって採集されたデータに大きな偏差が生じる場合に、カメラとレーザレーダとを速く適応キャリブレーションすることは、自動運転には大きな意義がある。

本発明の実施例は、センサーキャリブレーション方法と装置、コンピュータ機器、媒体及び車両を提供し、車両の走行中のセンサーキャリブレーションを実現する。

第１形態では、本発明の実施例は、センサーキャリブレーション方法を提供し、当該方法は、
車両の走行中に周囲物体を検出するステップと、
検出した前記周囲物体から静的物体を認識するステップと、
カメラとレーザレーダとをそれぞれ使用して、前記静的物体の特徴を抽出し、抽出した特徴に基づいて、前記カメラと前記レーザレーダとの外部パラメーターをキャリブレーションするステップとを含む。

第２形態では、本発明の実施例は、さらにセンサーキャリブレーション装置を提供し、当該装置は、
車両の走行中に周囲物体を検出するための物体検出モジュールと、
検出した前記周囲物体から静的物体を認識するための静的物体認識モジュールと、
カメラとレーザレーダとをそれぞれ使用して、前記静的物体の特徴を抽出し、抽出した特徴に基づいて、前記カメラと前記レーザレーダとの外部パラメーターをキャリブレーションするためのキャリブレーションモジュールと、を含む。

第３形態では、本発明の実施例は、さらにコンピュータ機器を提供し、前記コンピュータ機器は、
一つ又は複数のプロセッサと、
一つ又は複数のプログラムを記憶するための記憶装置と、を含み
前記一つ又は複数のプログラムが前記一つ又は複数のプロセッサによって実行される場合に、前記一つ又は複数のプロセッサが本発明のいずれか一つの実施例に記載のセンサーキャリブレーション方法を実現する。

第４形態では、本発明の実施例は、さらに、コンピュータプログラムが記憶されているコンピュータ読み取り可能な記憶媒体を提供し、前記コンピュータプログラムがプロセッサによって実行される場合に、本発明のいずれか一つの実施例に記載のセンサーキャリブレーション方法が実現される。

第５形態では、本発明の実施例は、車体を含む車両を提供し、前記車両は、本発明の実施例に記載のコンピュータ機器と、前記車体に設けられた少なくとも２種類のセンサーとをさらに含み、前記少なくとも２種類のセンサーは、レーザレーダとカメラとを含み、前記少なくとも２種類のセンサーは、それぞれ前記コンピュータ機器と通信する。

本発明の実施例は、まず、車両の走行中に検出された周囲物体から静的物体を認識し、その後、カメラとレーザレーダとをそれぞれ使用して、静的物体の特徴を抽出し、最後に、抽出された特徴に基づいて、カメラとレーザレーダとの外部パラメーターをキャリブレーションする。本発明の実施例は、従来のセンサーキャリブレーション方法が車両の走行中に適用できない問題を解決し、車両の走行中のセンサーキャリブレーションを実現し、センサーキャリブレーションの便利性を向上させ、車両走行の安全性も向上させる。

本発明の実施例１によって提供されるセンサーキャリブレーション方法のフローチャートである。本発明の実施例２によって提供されるセンサーキャリブレーション方法のフローチャートである。本発明の実施例３によって提供されるセンサーキャリブレーション装置の概略構成図である。本発明の実施例４によって提供されるコンピュータ機器の概略構成図である。

以下に、図面を参照しながら本開示の実施例をさらに詳しく説明する。なお、本開示の図面及び実施例は、例示的な作用を奏し、本開示の保護範囲を限定するものと理解されてはならない。さらに、説明の便宜上、図面には、ただ本発明に係る一部を示し、全部の構造を示したものではない。

実施例１
図１は、本発明の実施例１によって提出されるセンサーキャリブレーション方法のフローチャートである。本実施例は、センサーをキャリブレーションする場合に適用し、当該方法は、センサーキャリブレーション装置によって実行されることができ、当該装置は、ソフトウェア及び／又はハードウェアとして実現されることができ、コンピュータ機器に集積することができ、当該コンピュータ機器は、車両、例えば制御と算出能力を有する無人車両等に配置可能である。図１に示すように、当該方法は、具体的に、以下のステップＳ１１０〜ステップＳ１３０を含むことができる。

Ｓ１１０：車両の走行中に周囲物体を検出する。

車両の走行中に、車両に配置された、車両の周囲物体を感知するためのセンサーによって採集されたデータに基づいて、例えば、カメラとレーザレーダ等とによって採集されたデータに基づき、物体認識方法を組み合わせて、周囲物体を検出する。

例示的に、車両の周囲環境の特徴に基づいて、センサーの検出結果の一つを選択して周囲物体を決定する。例えば、周囲環境に含まれる動的物体が少ない場合、カメラによって採集した図像（画像）を選択し、予めトレーニングされた障害物認識モデルの入力として、車両の周囲環境でタイプの異なる物体を検出する。周囲環境に多くの動的物体を含む場合、点群データに基づいて３次元シーンを構築することを選択して、車両の周囲環境でタイプの異なる物体を検出することができ、また、少なくとも２種類のセンサーの検出結果を総合的に考慮して、周囲物体を決定することもできる。

選択可能な例として、周囲物体を検出するステップは、
カメラとレーザレーダとをそれぞれ使用して、障害物を検出するステップと、
カメラとレーザレーダとの障害物検出結果を融合検証し、最終の障害物検出結果を取得して周囲物体とするステップとを含む。

ここで、障害物は、周囲環境で走行する車両以外の物体である。カメラとレーザレーダとが物体検出中にそれぞれ利点を有することを考慮し、例えば、障害物の検出中に、カメラによって採集された図像（画像）に基づいて、ディープラーニングにより、障害物への詳細な分類を実現することができる。レーザレーダによって採集された点群データに基づいて認識された障害物は、大別しか実現できないが、物体の運動状態についての判断は、主にレーザレーダによって実現されるため、カメラとレーザレーダとの検出結果の融合検証に基づいて、両者それぞれの利点を発揮し、物体検出の正確度を向上させることができる。

Ｓ１２０：検出した（検出された）周囲物体から静的物体を認識する。

周囲物体を認識した後、異なる物体の同じ時間における位置変化の特徴に基づいて、運動状態の異なる物体を認識し、分類して、静的物体を取得する。静的物体は、世界（ワールド）座標系で位置の固定された物体であり、車両と、家屋と、木と、電柱とのうち一つ又は複数を含む。

選択可能な例として、検出した周囲物体から静的物体を認識するステップは、
予めトレーニングされた認識モデルにより、検出した（検出された）周囲物体から静的物体を認識する。例えば、予めトレーニングされた物体分類器（クラシファイヤ）により、認識された周囲物体を入力として、静的物体を取得する。

周囲環境での動的物体に比べて、静的物体の車両に対する位置変化は、車両の走行速度のみに関連し、そのため、センサーのキャリブレーション中に、静的物体をキャリブレーション用の標準物体として用いることで、キャリブレーション過程を簡素化し、キャリブレーション中の算出複雑さを低減できる。また、本実施例において、静的物体は、車両の走行中における普遍性を有する自然シーン物体に属していてもよく、本実施例におけるキャリブレーション方法の車両の走行中の適性を向上させることができる。

Ｓ１３０：カメラとレーザレーダとをそれぞれ使用して、静的物体の特徴を抽出し、抽出した（抽出された）特徴に基づいて、カメラとレーザレーダとの外部パラメーターをキャリブレーションする。

同一時点で、カメラとレーザレーダとを順次使用して、認識される静的物体を含む環境データを採集し、その後、物体認識と特徴抽出技術に基づいて、静的物体それぞれのカメラ座標系及びレーザレーダ座標系での位置座標を決定する。ここで、静的物体での当該静的物体を特徴付けることが可能なキーポイント座標をその位置座標として選択し、最後に、異なる座標系の間の座標変換操作に基づいて、決定されたキーポイント座標がカメラ座標系及びレーザレーダ座標系で重なる場合に、２つの座標系での静的物体が重なるとみなし、座標変換過程に係る変換パラメーターを決定し、カメラ及びレーザレーダの間の自動キャリブレーションを実現する。本実施例におけるセンサーキャリブレーション方法は、車両の走行中に任意の時点においてカメラとレーザレーダとが同時に採集したデータに基づいて実現でき、そのため、センサーキャリブレーションの便利性を向上させ、工場に返品するキャリブレーションの煩雑さを回避し、車両走行の安全性をさらに向上させることができる。

本実施例の技術案は、まず、車両の走行中に周囲物体を検出し、検出した周囲物体から静的物体を認識し、その後、カメラとレーザレーダとをそれぞれ使用して、静的物体の特徴を抽出し、最後に、抽出された特徴に基づいて、カメラとレーザレーダとの外部パラメーターをキャリブレーションすることで、従来のセンサーキャリブレーション方法が車両の走行中に適用できない問題を解決し、車両走行過程でのセンサーキャリブレーションを実現し、センサーキャリブレーションの便利性を向上させ、車両走行の安全性も向上させる。また、車両の走行中に、自然シーンでの静的物体をキャリブレーション用標準物として選択し、キャリブレーション過程を簡単化しただけではなく、キャリブレーション中の計算の複雑さを低減し、さらに、キャリブレーション方法の車両走行過程での適性を向上させる。

実施例２
図２は、本発明の実施例２によって提供されるセンサーキャリブレーション方法のフローチャートである。本実施例は、上述の実施例に基づいて、さらに最適化するものである。図２に示すように、当該方法は、以下のステップＳ２１０〜ステップＳ２４０を含むことができる。

Ｓ２１０：車両の走行中に周囲物体を検出する。

Ｓ２２０：検出した周囲物体から静的物体を認識する。

Ｓ２３０：カメラとレーザレーダとをそれぞれ使用して、静的物体のエッジの特徴を抽出し、エッジの複数の特徴点における、カメラ結像平面での第１座標と、レーザレーダ座標系での第２座標とをそれぞれ取得する。

具体的には、車両の走行中に、カメラにより静的物体を含む図像（画像）データを採集し、画像認識技術に基づいて、静的物体の画像での輪郭を認識し、当該輪郭のエッジの複数の特徴点における、カメラ結像平面での第１座標を決定する。ここで、カメラ結像平面がある座標系は、画像座標系である。

カメラが画像データを採集する同一時点において、レーザレーダにより車両の周囲環境の点群データを同時に採集し、３次元シーンを構築することにより、３次元の環境画像（環境図像）を取得し、その後、静的物体認識に基づいて、静的物体の３次元の環境画像での輪郭を決定する。また、当該輪郭のエッジの複数の特徴点におけるレーザレーダ座標系での第２座標を決定する。ここで、第２座標は３次元座標に属し、第２座標と第１座標とは、静的物体のエッジにおける同一の特徴点に対応する。

選択可能な例として、エッジ（エッジのタイプ）は、直線と円環とのうち一つ又は複数を含む。例えば、道端の木のエッジが直線であり、電柱のエッジも直線であり、道端に停車している車両のタイヤのエッジが円環である。直線のエッジの特徴の抽出中には、ノイズが影響を与え、後続のキャリブレーションの正確率に影響を与えることを考慮すると、円環の特徴を抽出することが好ましい。円環は、固定の円の方程式を有するため、当該円の方程式を組み合わせてエッジ特徴の抽出を行うことにより、ノイズの影響を低減し、後続のキャリブレーションの正確率を向上させることができる。

Ｓ２４０：反復法（反復の方法）により、第２座標がカメラ結像平面に投影された座標と第１座標との揃え操作を実行し、揃え操作が達成されたときに、カメラとレーザレーダとの回転行列と並進ベクトルとを決定する。

３次元座標と２次元座標の間の変換操作を簡単化するため、レーザレーダ座標系での第２座標をカメラ結像平面に投影し、即ち、３次元の点群データを２次元データに変換し、その後、反復変換方式により、カメラ結像平面に、第１座標と投影後の第２座標の間の揃え操作を行なう。第１座標と投影後の第２座標とがそれぞれ重なる場合に、即ち、座標が揃う時点で、座標を揃えるときに回転操作が対応する回転行列及び並進操作が対応する並進ベクトルを、カメラとセンサーとのキャリブレーション外部パラメーターとして決定することができる。

例示的に、座標を揃えるときに、その一つの特徴点の座標を選択して固定し、反復法により、２つの特徴点の座標が揃うまで、順に他の特徴点の座標の位置を変える。例えば、第１座標を選択して固定し、投影後の第２座標の位置を第１座標に揃えるまで順に変えることができる。投影後の第２座標に係る座標変換パラメーターは、カメラとセンサーとの外部パラメーターとすることができる。

さらに、カメラ結像平面で、第１座標と第２座標との揃え操作を行った後、さらにカメラ結像平面がある画像座標系とカメラ座標系との変換関係、及び３次元座標の投影変換関係に基づいて、座標を揃えるときに決定された回転行列と並進ベクトルに対して変換計算を行い、カメラ座標系とレーザ点群座標系に対して静的物体のエッジでの特徴点の間の座標変換パラメーター、カメラとレーザレーダとの最終外部パラメーターを取得する。

本実施例の技術案は、まず、車両の走行中に、検出された周囲物体から静的物体を認識し、その後、カメラとレーザレーダとをそれぞれ使用して、静的物体のエッジの特徴を抽出し、最後に、当該エッジの複数の特徴点における、それぞれの画像座標系とレーザ点群座標系での座標変換により、カメラ及びレーザレーダの自動キャリブレーションを実現し、従来のセンサーキャリブレーション方法が車両の走行中に適用できない問題を解决し、車両走行過程でのセンサーキャリブレーションを実現し、センサーキャリブレーションの便利性を向上させる。また、静的物体のエッジの認識中には、簡単な図形を輪郭のエッジとして選択し、エッジ認識の正確度を向上させ、さらにセンサーキャリブレーションの正確度を向上させる。

実施例３
図３は、本発明の実施例３によって提供されるセンサーキャリブレーション装置の概略構成図であり、本実施例は、さらに、センサーに対してキャリブレーションを行う場合に適用できる。当該装置は、ソフトウェア及び／又はハードウェアとして実現されることができ、コンピュータ機器に集積することができ、当該コンピュータ機器は、車両、例えば制御と算出能力を有する無人車両等に配置可能である。

図３に示すように、当該装置は、物体検出モジュール３１０と、静的物体認識モジュール３２０と、キャリブレーションモジュール３３０とを含む。
物体検出モジュール３１０は、車両の走行中に周囲物体を検出するためのものであり、
静的物体認識モジュール３２０は、検出した（検出された）周囲物体から静的物体を認識するためのものであり、
キャリブレーションモジュール３３０は、カメラとレーザレーダとをそれぞれ使用して、静的物体の特徴を抽出し、抽出した（抽出された）特徴に基づいて、カメラとレーザレーダとの外部パラメーターをキャリブレーションするためのものである。

選択可能な例として、物体検出モジュール３１０は、
カメラとレーザレーダとをそれぞれ使用して、障害物を検出するための障害物検出ユニットと、
カメラとレーザレーダとの障害物検出結果を融合検証し、最終の障害物検出結果を取得して周囲物体とするための検出結果検証ユニットとを含む。

選択可能な例として、静的物体認識モジュール３２０は、具体的に、
予めトレーニングされた認識モデルにより、検出した周囲物体から静的物体を認識するためのものである。

選択可能な例として、キャリブレーションモジュール３３０は、
カメラとレーザレーダとをそれぞれ使用して、静的物体のエッジの特徴を抽出し、エッジの複数の特徴点における、カメラ結像平面での第１座標と、レーザレーダ座標系での第２座標とをそれぞれ取得するための座標取得ユニットと、
反復法（反復の方法）により、第２座標がカメラ結像平面に投影された座標と第１座標との揃え操作を実行し、揃え操作が達成されたときに、カメラとレーザレーダとの回転行列と並進ベクトルとを決定するための座標揃えユニットとを含む。

選択可能な例として、静的物体のエッジは、直線と円環とのうち一つ又は複数を含む。

選択可能な例として、静的物体は、車両と、家屋と、木と、電柱とのうち一つ又は複数を含む。
本発明の実施例によって提供されるセンサーキャリブレーション装置は、本発明の任意の実施例によって提供されるセンサーキャリブレーション方法を実行することができ、実行方法に相応する機能モジュール及び有益な効果を有する。

実施例４
図４は、本発明の実施例４によって提供されるコンピュータ機器の概略構成図である。図４は、本発明の実施形態の実現に適する例示的なコンピュータ機器４１２を示すブロック図である。図４に示されるコンピュータ機器４１２は、１つの例示であり、本発明の実施例の機能及び使用範囲に制限を与えるものではない。

図４に示すように、コンピュータ機器４１２は、通常のコンピュータ機器の形式で表現される。コンピュータ機器４１２の構成要素は、１つ又は複数のプロセッサ４１６と、記憶装置４２８と、異なるシステム構成要素（記憶装置４２８及びプロセッサ４１６を含む）を接続するためのバス４１８とを含むことができるが、これらに限定されない。

バス４１８は、複数のバス構造における１つ又は複数を示し、前記複数のバス構造は、メモリバス又はメモリ制御器、外装バス、グラフィックス高速化ポート、プロセッサ又は複数のバス構造におけるいずれのバス構造のローカルバスなどを含むことができる。例えば、これらのアーキテクチャー構造は、工業基準体系構造（ＩＳＡ）バス、マイクロチャネルのアーキテクチャー（ＭＡＣ）バス、増強型ＩＳＡバス、ビデオ電子基準協会（ＶＥＳＡ）ローカルバス及び周辺コンポーネント相互接続（ＰＣＩ（ｐｅｒｉｐｈｅｒａｌｃｏｍｐｏｎｅｎｔｉｎｔｅｒｃｏｎｎｅｃｔ））バスなどを含んでいてもよいが、これらに限定されない。

コンピュータ機器４１２は、典型的には、複数のコンピュータシステム読み取り可能な媒体を含んでいる。これらの媒体は、何れのコンピュータ機器４１２によって接続できる利用可能な媒体で、揮発性及び不揮発性媒体と、ポータブル又はアンポータブルな媒体を含むことができる。

記憶装置４２８は、発揮性メモリ形式のコンピュータシステム読み取り可能な媒体、例えば、ランダムアクセスメモリ（ＲＡＭ）４３０及び／又は高速キャッシュメモリ４３２を含むことができる。コンピュータ機器４１２は、さらに、他のポータブル又はアンポータブルな、揮発性／不揮発性コンピュータシステム記憶媒体を含むことができる。ただの一例として、記憶システム４３４は、アンポータブルな、不揮発性磁気媒体（図４に示していない、通常「ハードドライブ」と呼ばれる）の読み書きに用いられてもよい。図４に示していないが、ポータブルな不揮発性磁気ディスク（例えば、「フロッピー（登録商標）ディスク」）に読み書きすることができる磁気ディスクドライバ、及びポータブルな不揮発性光ディスク（例えば、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ又は他の光媒体）に読み書きすることができる光ディスクドライブを提供してもよい。これらの場合、各ドライブは、１つ又は複数のデータ媒体インターフェースでバス４１８に接続してもよい。記憶装置４２８は、少なくとも１つのプログラム製品を含んでいてもよく、当該プログラム製品は、一組（例えば、少なくとも１つ）のプログラムモジュールを備えており、これらのプログラムモジュールは本発明の各実施例の機能を実行するように構成されている。

一組（少なくとも１つ）のプログラムモジュール４４２を有するプログラム／実用的なアプリ４４０は、例えば記憶装置４２８に記憶されてもよく、このようなプログラムモジュール４４２は、操作システム、１つ又は複数のアプリケーションプログラム、他のプログラムモジュール及びプログラムデータを含んでいてもよいが、これらに限定されない。これらの例示における一種類毎又はある組合せにはネットワーク環境での実現を含むことができる。プログラムモジュール４４２は、通常、本発明に記載した実施例における機能及び／又は方法を実行する。

コンピュータ機器４１２は、１つ又は複数の外部機器４１４（例えば、キーボード、ポインティング機器、ディスプレイ４２４等）と通信してもよく、ユーザーが当該コンピュータ機器４１２と対話できる１つ又は複数の機器と通信してもよく、及び／又は当該コンピュータ機器４１２が１つ又は複数の他のコンピュータ機器と通信できる何れの機器（例えば、ネットワークボード、モデム等）と通信してもよい。このような通信は、入力／出力（Ｉ／Ｏ）インターフェース４２２を通じて実行できる。また、コンピュータ機器４１２は、ネットワークアダプター４２０で１つ又は複数のネットワーク（例えば、ローカルネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）及び／又は公共ネットワーク、例えば、インターネットワーク）と通信してもよい。図４に示すように、ネットワークアダプター４２０は、バス４１８でコンピュータ機器４１２の他のモジュールと通信する。図に示していないが、コンピュータ機器４１２を結合して、マイクロコード、機器ドライバ、冗長処理手段、外部磁気ディスクドライバアレイ、ＲＡＩＤシステム、磁気テープドライバ及びデータバックアップ記憶システム等を含む他のハードウェア及び／又はソフトウェアモジュールを利用することができるが、これらに限定されない。

プロセッサ４１６は、記憶装置４２８に記憶されているプログラムを実行することにより、各種機能アプリおよびデータ処理を実行し、例えば本発明の任意の実施例によって提供されるセンサーキャリブレーション方法を実現する。
当該方法は、
車両の走行中に周囲物体を検出するステップと、
検出した前記周囲物体から静的物体を認識するステップと、
カメラとレーザレーダとをそれぞれ使用して、前記静的物体の特徴を抽出し、抽出した特徴に基づいて、前記カメラと前記レーザレーダとの外部パラメーターをキャリブレーションするステップとを含む。

実施例５
本発明の実施例５は、コンピュータプログラムが記憶されているコンピュータ読み取り可能な記憶媒体をさらに提供し、当該プログラムがプロセッサによって実行される場合に、本発明の任意の実施例によって提出されるセンサーキャリブレーション方法が実現される。
当該方法は、
車両の走行中に周囲物体を検出するステップと、
検出した前記周囲物体から静的物体を認識するステップと、
カメラとレーザレーダとをそれぞれ使用して、前記静的物体の特徴を抽出し、抽出した特徴に基づいて、前記カメラと前記レーザレーダとの外部パラメーターをキャリブレーションするステップとを含むことができる。

本発明の実施例に係るコンピュータ記憶媒体は、１つ又は複数のコンピュータ読み取り可能な媒体のいずれの組み合わせを使用してもよい。コンピュータ読み取り可能な媒体は、コンピュータ読み取り可能な信号媒体、又はコンピュータ読み取り可能な記憶媒体であってもよい。コンピュータ読み取り可能な記憶媒体は、例えば、電気、磁気、光学、電磁、赤外線、並びに半導体のシステム、装置並びに機器、又はこれらの何れの組み合わせであってもよいが、これらに限定されない。コンピュータ読み取り可能な記憶媒体のより具体的な例（非網羅的なリスト）としては、１つ又は複数のリード線を有する電気的接続、携帯型コンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、イーピーロム（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバ、携帯コンパクトディスク読み出し専用メモリ（ＣＤ−ＲＯＭ）、光記憶装置、磁気記憶装置、又はこれらの何れの適切な組み合わせを含む。本明細書において、コンピュータ読み取り可能な記憶媒体は、命令実行システム、装置又は機器によって利用でき又はこれらと組み合わせて利用できるプログラムを含み又は記憶しているいずれかの有形媒体であってもよい。

コンピュータ読み取り可能な信号媒体は、ベースバンド又はキャリヤの一部として伝播するコンピュータ読み取り可能なプログラムコードを搭載したデータ信号を含むことができる。このような伝播するデータ信号は、様々な形態をとることができ、電磁信号、光信号、又はこれらの何れの適切な組み合わせを含むことができるが、これらに限定されない。コンピュータ読み取り可能な信号媒体は、コンピュータ読み取り可能な記憶媒体以外のいずれかのコンピュータ読み取り可能な媒体であってもよく、当該コンピュータ読み取り可能な媒体は、命令実行システム、装置又は機器によって使用され又はこれらに結合されて使用されるプログラムを送信し、伝播し、送信することができる。

コンピュータ読み取り可能な媒体に含まれるプログラムコードは、無線、ワイヤ、ケーブル、ＲＦ等、又はこれらのいずれかの適切な組み合わせの適切な媒体で送信されてもよいが、これらに限定されない。

１つ又は複数のプログラミング言語又はこれらの組合せで、本発明の動作を実行するためのコンピュータプログラムコードを書き込むことができ、前記プログラミング言語は、オブジェクト指向プログラミング言語、例えば、Ｊａｖａ（登録商標）、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋を含み、従来の手続き型プログラミング言語、例えば「Ｃ」言語又は類似なプログラミング言語を含む。プログラムコードは、完全にユーザーのコンピュータ上で実行されてもよく、一部はユーザーのコンピュータで実行されて１つの独立したソフトウェアパッケージとして実行されてもよく、一部はユーザーのコンピュータで、一部はリモートコンピュータで実行されてもよく、又は、完全にリモートコンピュータ又はサーバーで実行されてもよい。リモートコンピュータに関するものの場合は、リモートコンピュータは、ローカル・エリア・ネットワーク（ＬＡＮ）又はワイド・エリア・ネットワーク（ＷＡＮ）を含むいずれの種類のネットワークを介して、ユーザコンピュータに接続されてもよく、あるいは、外部コンピュータ（例えば、インターネット・サービス・プロバイダを利用してインターネットを介して接続する）に接続してもよい。

実施例６
本発明の実施例６は、車体を含む車両をさらに提供し、前記車両は、本発明の実施例に記載のコンピュータ機器と、車体に設けられた少なくとも２種類のセンサーとをさらに含む。ここで、少なくとも２種類のセンサーは、レーザレーダとカメラとを含み、少なくとも２種類のセンサーのそれぞれは、コンピュータ機器に通信する。

センサーの車体での具体的な位置は、車両に設けられることができる。ここで、当該車両は、制御及び算出能力を有する無人車両等であってもよい。車両の走行中に、異なるセンサーがデータの採集を完了した後、データをコンピュータ機器に送信することにより、コンピュータ機器がデータ処理を行い、例えば、レーザレーダとカメラとのキャリブレーション等を実行する。

なお、以上は、本発明の好適な実施形態及び応用技術の原理に過ぎない。当業者は、本発明がここで記載される特定の実施例に限定されないことを理解することができる。当業者であれば、本発明の保護範囲を逸脱することはなく、種々の明らかな変化、新たな調整及び取り換えを行うことができる。したがって、上記実施例により本発明について比較的詳細に説明したが、本発明は、上記実施例のみに限定されず、本発明の構想を逸脱しない場合、より多くの他の効果が同等な実施例をさらに含むことができ、本発明の範囲は、特許請求の範囲によって决定される。

Claims

車両の走行中に周囲物体を検出するステップと、
検出した前記周囲物体から静的物体を認識するステップと、
カメラとレーザレーダとをそれぞれ使用して、前記静的物体の特徴を抽出し、抽出した特徴に基づいて、前記カメラと前記レーザレーダとの外部パラメーターをキャリブレーションするステップと、を含み、
前記カメラと前記レーザレーダとをそれぞれ使用して、前記静的物体の特徴を抽出し、抽出された特徴に基づいて、前記カメラと前記レーザレーダとの外部パラメーターをキャリブレーションするステップは、
前記カメラと前記レーザレーダとをそれぞれ使用して、前記静的物体のエッジの特徴を抽出し、前記エッジの複数の特徴点における、カメラ結像平面での第１座標と、レーザレーダ座標系での第２座標とをそれぞれ取得するステップと、
反復法により、前記第２座標が前記カメラ結像平面に投影された座標と前記第１座標との揃え操作を実行し、前記揃え操作が達成されたときに、前記カメラと前記レーザレーダとの回転行列と並進ベクトルとを決定するステップと、を含む、
ことを特徴とするセンサーキャリブレーション方法。
前記周囲物体を検出するステップは、
前記カメラと前記レーザレーダとをそれぞれ使用して、障害物を検出するステップと、
前記カメラと前記レーザレーダとによる障害物検出結果を融合検証し、最終の障害物検出結果を前記周囲物体として取得するステップと、を含む、
ことを特徴とする請求項１に記載のセンサーキャリブレーション方法。
検出した前記周囲物体から前記静的物体を認識するステップは、
予めトレーニングされた認識モデルにより、検出した前記周囲物体から前記静的物体を認識するステップを含む、
ことを特徴とする請求項１に記載のセンサーキャリブレーション方法。
前記エッジは、直線と円環とのうち一つ又は複数を含む、
ことを特徴とする請求項１に記載のセンサーキャリブレーション方法。
前記静的物体は、車両と、家屋と、木と、電柱とのうち一つ又は複数を含む、
ことを特徴とする請求項１〜４のいずれかに記載のセンサーキャリブレーション方法。
車両の走行中に周囲物体を検出するための物体検出モジュールと、
検出した前記周囲物体から静的物体を認識するための静的物体認識モジュールと、
カメラとレーザレーダとをそれぞれ使用して、前記静的物体の特徴を抽出し、抽出した特徴に基づいて、前記カメラと前記レーザレーダとの外部パラメーターをキャリブレーションするためのキャリブレーションモジュールと、を含み、
前記キャリブレーションモジュールは、
前記カメラと前記レーザレーダとをそれぞれ使用して、前記静的物体のエッジの特徴を抽出し、前記エッジの複数の特徴点における、カメラ結像平面での第１座標と、レーザレーダ座標系での第２座標とをそれぞれ取得するための座標取得ユニットと、
反復法により、前記第２座標が前記カメラ結像平面に投影された座標と前記第１座標との揃え操作を実行し、前記揃え操作が達成されたときに、前記カメラと前記レーザレーダとの回転行列と並進ベクトルとを決定するための座標揃えユニットと、を含む、
ことを特徴とするセンサーキャリブレーション装置。
前記物体検出モジュールは、
前記カメラと前記レーザレーダとをそれぞれ使用して、障害物を検出するための障害物検出ユニットと、
前記カメラと前記レーザレーダとによる障害物検出結果を融合検証し、最終の障害物検出結果を前記周囲物体として取得するための検出結果検証ユニットと、を含む、
ことを特徴とする請求項６に記載のセンサーキャリブレーション装置。
前記静的物体認識モジュールは、
予めトレーニングされた認識モデルにより、検出した前記周囲物体から前記静的物体を認識する、
ことを特徴とする請求項６に記載のセンサーキャリブレーション装置。
前記エッジは、直線と円環とのうち一つ又は複数を含む、
ことを特徴とする請求項６に記載のセンサーキャリブレーション装置。
前記静的物体は、車両と、家屋と、木と、電柱とのうち一つ又は複数を含む、
ことを特徴とする請求項６〜９のいずれかに記載のセンサーキャリブレーション装置。
コンピュータ機器であって、
一つ又は複数のプロセッサと、
一つ又は複数のプログラムを記憶するための記憶装置と、を含み、
前記一つ又は複数のプログラムが前記一つ又は複数のプロセッサによって実行される場合に、前記一つ又は複数のプロセッサが請求項１〜５のいずれかに記載のセンサーキャリブレーション方法を実現する、
ことを特徴とするコンピュータ機器。
コンピュータプログラムが記憶されているコンピュータ読み取り可能な記憶媒体であって、
前記コンピュータプログラムがプロセッサによって実行される場合に、請求項１〜５のいずれかに記載のセンサーキャリブレーション方法が実現される、
ことを特徴とするコンピュータ読み取り可能な記憶媒体。
車体を含む車両であって、
請求項１１に記載のコンピュータ機器と、
前記車体に設けられた少なくとも２種類のセンサーと、をさらに含み、
前記少なくとも２種類のセンサーは、レーザレーダとカメラとを含み、
前記少なくとも２種類のセンサーは、前記コンピュータ機器とそれぞれ通信する、
ことを特徴とする車両。