JP7072759B2 - マルチセンサによる複合キャリブレーション装置及び方法 - Google Patents

マルチセンサによる複合キャリブレーション装置及び方法 Download PDF

Info

Publication number
JP7072759B2
JP7072759B2 JP2021003139A JP2021003139A JP7072759B2 JP 7072759 B2 JP7072759 B2 JP 7072759B2 JP 2021003139 A JP2021003139 A JP 2021003139A JP 2021003139 A JP2021003139 A JP 2021003139A JP 7072759 B2 JP7072759 B2 JP 7072759B2
Authority
JP
Japan
Prior art keywords
calibration
camera
laser radar
calibration plate
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021003139A
Other languages
English (en)
Other versions
JP2022039906A (ja
Inventor
哉 ▲羅▼
文松 江
志▲遠▼ 朱
洪楠 ▲趙▼
▲げい▼文 ▲陳▼
杰伊 黄
Original Assignee
中国計量大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 中国計量大学 filed Critical 中国計量大学
Publication of JP2022039906A publication Critical patent/JP2022039906A/ja
Application granted granted Critical
Publication of JP7072759B2 publication Critical patent/JP7072759B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C25/00—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C25/00—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
    • G01C25/005—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass initial alignment, calibration or starting-up of inertial devices
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Manufacturing & Machinery (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Manipulator (AREA)
  • Image Analysis (AREA)

Description

本発明は、センサ技術分野に関するものである。特に、マルチセンサによるキャリブレーション技術に関するものである。
リアルタイム位置特定と地図構築（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ、ＳＬＡＭと称する）技術は、無人運転のための環境認識情報を提供しており、従来のＳＬＡＭ技術は、レーザーＳＬＡＭと視覚ＳＬＡＭに分けられる。レーザーレーダは測距精度が高く、光の影響を受けない等の利点があり、カメラはコストが低く、画像情報が豊富である等の利点がある。しかしながら、単一センサＳＬＡＭには、大きな局限性がある。例えば、レーザーレーダの場合、更新頻度が遅く、モーション歪みがあって、雨や雪等の過酷な環境下では正確な測定値を提供できない。カメラの場合、正確な三次元情報を取得できなく、周囲光による制限が比較的に大きい。
慣性ナビゲーションシステムは、姿勢推定補助ツールとして、正確な角速度と加速度を提供できる。そのため、レーザーレーダ、視覚センサ、慣性ナビゲーションシステム等のマルチセンサデータを融合することにより、ＳＬＡＭの環境知覚能力を向上させることができる。
ＳＬＡＭシステム中のセンサのキャリブレーションは、内部パラメータキャリブレーションと外部パラメータキャリブレーションに分けられる。センサの内部パラメータキャリブレーションは、主に、センサ測定データの正確さを確保するためのカメラの内部パラメータ行列の計算と慣性ナビゲーションシステムの誤差係数の計算を指す。センサ間の外部パラメータキャリブレーションは、マルチセンサ情報の融合を正確に行うための前提条件であり、センサ間の外部パラメータキャリブレーションは、各センサの座標系間の姿勢変換関係を決定することである。
従来の外部パラメータキャリブレーション方法は、車体座標系を基準として、レーザーレーダの座標系、カメラ座標系、慣性ナビゲーションシステムの座標系から車体座標系への姿勢変換関係を求める。ただし、従来の外部パラメータキャリブレーションでは、すべてのセンサが車体内に固定され、車体は運動次元の制限を受けるため、キャリブレーション過程は複雑であり、ヨー角とロール角の正確なキャリブレーションを実現することは困難である。
レーザーレーダは測距精度が高く、キャリブレーション参照物に対して特別な要件はないが、カメラは二次元画像特性に基づくため、キャリブレーションするためには特定のキャリブレーション参照物が必要である。現在、既存のレーザーレーダとカメラの外部パラメータキャリブレーション方法には、単一の碁盤目キャリブレーションプレートに基づくキャリブレーション方法、「Ｌ」字の形状のキャリブレーションプレートに基づくキャリブレーション方法、及び三次元碁盤目ターゲットに基づくキャリブレーション方法が含まれる。これらの方法は類似しており、すべてレーザーの三次元特徴点とカメラの二次元特徴点をマッチングすることにより、外部パラメータ行列の求解を行うことである。
レーザーレーダと慣性ナビゲーションシステムのキャリブレーションは、運動条件下で行う必要があり、慣性ナビゲーションシステムは、正確な加速度測定値と角速度測定値を提供することができる。従来のキャリブレーション方法は、ハンドアイキャリブレーション方法であるが、そのキャリブレーションの精度を保証することは困難である。中国百度（バイドゥ）のＡｐｏｌｌｏ（アポロ）キャリブレーションツールは、「８」字の形状の回りを運動するように車両を制御することにより、センサのデータ採集と外部パラメータキャリブレーションを実現する。
マルチセンサによる複合キャリブレーションは、現在無人運転の分野で最もホットなトピックの一つである。既存のキャリブレーション技術は、自動化の程度が低く、操作が複雑であり、精度が低い等のデメリットがある。
本発明は従来技術に存在する上記の課題を解決するためになされたものであり、操作が簡単であり、精度が高いマルチセンサによる複合キャリブレーション装置及び方法を提供することを目的とする。
本発明の目的は、以下の技術的解決策を通じて達成することができる。
ロボットアームを含み、前記ロボットアーム上にはセンサ融合フレームが設置され、センサ融合フレーム上にはレーザーレーダ、単眼カメラ、及びデータ処理のためのコンピュータが設置され、レーザーレーダ－カメラによる四キャリブレーションプレート複合キャリブレーションターゲットをさらに含み、前記レーザーレーダ－カメラによる四キャリブレーションプレート複合キャリブレーションターゲットは、一号キャリブレーションプレート、二号キャリブレーションプレート、三号キャリブレーションプレート、四号キャリブレーションプレートを含み、一号キャリブレーションプレート、二号キャリブレーションプレート、三号キャリブレーションプレートの中心位置はドットでマークされ、外部パラメータキャリブレーションの特徴点を提供するために使用され、四号キャリブレーションプレート上には、カメラの内部パラメータキャリブレーションのために黒白の碁盤目模様が配列され、４つのキャリブレーションプレートは、「田」字の形状に配置され、一号キャリブレーションプレートと二号キャリブレーションプレートは並列に配置され、三号キャリブレーションプレートと四号キャリブレーションプレートは一号キャリブレーションと二号キャリブレーションプレートの前方に並列に配置され、三号キャリブレーションプレートと四号キャリブレーションプレートは一号キャリブレーションプレートと二号キャリブレーションプレートより低く、三号キャリブレーションプレート表面の法線ベクトルｎ３と四号キャリブレーションプレート表面の法線ベクトルｎ４との間の角度差は３０°より大きく、一号キャリブレーションプレート表面の法線ベクトルｎ１と二号キャリブレーションプレート表面の法線ベクトルｎ２との間の角度差は３０°より大きい、マルチセンサによる複合キャリブレーション装置を提供する。
カメラの内部パラメータキャリブレーションと、レーザーレーダ－カメラの外部パラメータキャリブレーションとを含むマルチセンサによる複合キャリブレーション方法を提供する。カメラの内部パラメータキャリブレーションの場合、異なる姿勢下でカメラが碁盤目キャリブレーションプレートに対して撮影を行うように、コンピュータユニットがロボットアーム及びカメラを制御し、張正友（ＺｈａｎｇＺｈｅｎｇｙｏｕ）キャリブレーション方法を採用してカメラの内部パラメータＫを計算する。レーザーレーダ－カメラの外部パラメータキャリブレーションの場合、以下のステップを含む。
ステップ１、キャリブレーションプレートモジュールがレーザーレーダ及びカメラの視野範囲に現れるように、コンピュータユニットがロボットアームの姿勢を調整するとともに、ロボットアームを制御して静止状態を維持し、レーザーレーダ及びカメラはデータ採集を行う。
ステップ２、レーザーレーダデータに対して分析及び処理を行い、点群特徴点を抽出し、各点群の座標情報を記録し、異常点をフィルタリングし、点群分割法を採用して点群データを分割し、４つのキャリブレーションプレートの点群データを４つの異なるグループ｛Ｌ１｝、｛Ｌ２｝、｛Ｌ３｝，｛Ｌ４｝へ分け、Ｋ－ｍｅａｎｓ方法を利用して点群のクラスタリング中心点を抽出し、
Figure 0007072759000001
は、第ｉ番目のキャリブレーションプレートの中心点位置のレーザーレーダの座標系における三次元座標値であり、
Figure 0007072759000002
をマッチングのためのレーザー特徴点として選定する。
ステップ３、カメラデータに対して分析及び処理を行い、視覚特徴点を抽出し、各ピクセルのグレー値を記録し、ＦＡＳＴキーポイント抽出アルゴリズムを採用し、キャリブレーションプレートのローカルピクセルのグレー値が明らかに変化された箇所を検出することにより、各キャリブレーションプレートの中心点位置を抽出し、一号キャリブレーションプレート、二号キャリブレーションプレート、三号キャリブレーションプレートのドット中心点位置を抽出し、その座標値Ｃ１、Ｃ２、Ｃ３を記録し、碁盤目間の関係を分析することにより、四号キャリブレーションプレートの中心点座標値Ｃ４を求め、Ｃｉは、第ｉ番目のキャリブレーションプレートの中心点位置のカメラ座標系Ｃにおける二次元座標値であり、Ｃｉをマッチングのための視覚特徴点として選定する。
ステップ４、レーザーレーダの特徴点
Figure 0007072759000003
及びカメラの特徴点
Figure 0007072759000004
によってマッチング関係
Figure 0007072759000005
を確立し、特徴点のマッチング関係によって最小再投影誤差を確立し、誤差方程式を構築し、誤差方程式によって最小二乗法による求解を行い、最適な外部パラメータ行列ＴＬＣを取得する。
いくつかの実施形態では、キャリブレーションプレートの中心位置特徴点に基づいて、キャリブレーションプレートのエッジ位置を採集して特徴点とする。
いくつかの実施形態では、前記カメラの内部パラメータキャリブレーションは、碁盤目キャリブレーション方法を採用しており、前記碁盤目キャリブレーション方法は、異なる姿勢下でカメラが碁盤目キャリブレーションプレートに対して撮影を行うように、コンピュータユニットがロボットアーム及びカメラを制御し、２０～３０枚の画像のエッジ情報を抽出し、張正友（ＺｈａｎｇＺｈｅｎｇｙｏｕ）キャリブレーション方法を採用してカメラの内部パラメータＫを計算することである。
いくつかの実施形態では、センサ融合フレーム上に配置された慣性ナビゲーションシステムをさらに含む。複合キャリブレーション方法には、レーザーレーダ及び慣性ナビゲーションシステムによる複合キャリブレーション方法を含む。ロボットアームの初期運動時刻をｔ０として定義し、ロボットアームの運動終了時刻をｔｎとして定義し、ｔｎ時刻に走査されたレーザー点群をＰｎとして定義し、ｔ０時刻でのレーザーレーダの座標系をＬ０として定義し、ｔ０時刻での慣性ナビゲーションシステムの座標系をＩ０として定義し、ｔｎ時刻でのレーザーレーダの座標系をＬｎとして定義し、ｔｎ時刻での慣性ナビゲーションシステムの座標系をＩｎとして定義し、レーザーレーダのｔ０時刻からｔｎ時刻までの間の姿勢変換行列をＴＬとして定義し、慣性ナビゲーションシステムのｔ０時刻からｔｎ時刻までの間の姿勢変換行列をＴＩとして定義し、レーザーレーダと慣性ナビゲーションシステムとの間の外部パラメータ行列をＴＬＩとして定義する。
前記複合キャリブレーション方法は、以下のステップを含む。
ステップ１、ロボットアームは指定された軌跡に従って運動を行い、ロボットアームの運動過程中に、レーザーレーダ及び慣性ナビゲーションシステムがデータ採集を行う。
ステップ２、ロボットアームを制御して運動を停止し、センサによって採集されたデータに対して処理を行う。レーザーレーダの場合、均一運動モデルに従ってフレーム毎のレーザー点群に対して歪み除去処理を行う。点群フィルタリングアルゴリズムを採用し、点群データ中の外れ値を除去する。計算の複雑さを軽減するために、ボクセルグリッド方法を使用してフレーム毎のレーザー点群データに対してダウンサンプリング処理を行う。
ステップ３、レーザーレーダの座標系
Figure 0007072759000006
の初期時刻ｔ０での座標系Ｌ０と運動終了時刻での座標系Ｌｎとの間の姿勢変換行列ＴＬを計算する。姿勢変換行列ＴＬの計算方法は、下記の通りである。反復最近傍法を採用して第ｉフレーム点群と第ｉ＋１フレーム点群をマッチングし、第ｉフレーム点群
Figure 0007072759000007
と第ｉ＋１フレーム点群
Figure 0007072759000008
のマッチング関係を取得する。第ｉ時刻から第ｉ＋１時刻までのレーザーレーダの姿勢変換は、回転行列Ｒｉと並進ベクトルｔｉから構成されており、２フレーム点群の姿勢変換関係を示す。さらに、誤差方程式を構築し、誤差方程式を最小二乗問題に変換し、ＳＶＤ法を採用してＲｉ、ｔｉを計算する。Ｒｉ、ｔｉによって第ｉ時刻から第ｉ＋１時刻までのレーザーレーダの姿勢変換行列を
Figure 0007072759000009
として取得する。さらに、ｎフレームのレーザーレーダの姿勢変換行列Ｔｉを累積的に乗算し、レーザーレーダのｔ０時刻からｔｎ時刻までの姿勢変換行列ＴＬを取得する。
ステップ４、慣性ナビゲーションシステムの座標系
Figure 0007072759000010
の初期時刻ｔ０での座標系Ｉ０と運動終了時刻ｔｎでの座標系Ｉｎとの間の姿勢変換行列ＴＩを計算する。姿勢変換行列ＴＩの計算方法は、下記の通りである。慣性ナビゲーションシステムの加速度測定データ及び角速度測定データに対して積分を行い、変位データｔＩ及び回転データＲＩを取得すると、慣性ナビゲーションシステムのｔ０時刻からｔｎ時刻までの姿勢変換行列
Figure 0007072759000011
Figure 0007072759000012
に表される。
ステップ５、ＴＬによってｔｎ時刻でのレーザー点群Ｐｎをｔ０時刻でのＬ０座標系に投影し、点群ＰｎＬを取得する。
ステップ６、ＴＩ及びキャリブレーション待ちパラメータＴＬＩによってｔｎ時刻でのレーザー点群Ｐｎをｔ０時刻でのＬ０座標系に投影し、ＰｎＩを取得する。
ステップ７、２グループの点群ＰｎＬ及びＰｎＩをマッチングする。２グループの点群を整列し、外部パラメータ行列ＴＬＩに対して最適化を行う。反復最近傍法を採用してＰｎＬ及びＰｎＩが記述された同一点群領域をレジストレーションし、最近傍誤差Ｔｅｒｒｏｒを構築及び最適化し、Ｔｅｒｒｏｒ、ＴＬ、ＴＩによって外部パラメータ行列ＴＬＩを求解する。
いくつかの実施形態では、視覚条件が十分である場合、単眼カメラの観測データを記録し、視覚－ＩＭＵキャリブレーションツールを採用し、単眼カメラと慣性ナビゲーションシステムとの間の外部パラメータ行列ＴＣＩを計算する。決定された３つの外部パラメータ行列ＴＬＣ、ＴＬＩ、ＴＣＩ間の姿勢一貫性に基づいて複合検証を行い、外部パラメータ行列中の変換パラメータに対して調整を行い、マルチセンサによる複合キャリブレーションの精度を向上する。前記パラメータ最適化は、オンライン調整方法を採用し、レーザーレーダ、単眼カメラ、慣性ナビゲーションシステムのデータを融合し、ＴＬＩ、ＴＣＩに対して調整を行う。
従来技術と比較して、本発明のマルチセンサによる複合キャリブレーション装置及び方法には、以下の利点がある。
本発明は、１６ライン、３２ライン、６４ライン等のマルチラインレーザーレーダ、単眼カメラ、双眼カメラ、ＲＧＢＤカメラ等の視覚センサに適用される。本発明の実施形態は、キャリブレーション及び二次開発に便利な携帯型マルチセンサ融合フレーを構築する。本発明の実施形態は、ロボットアームによる補助キャリブレーション方法を使用することにより、インテリジェントキャリブレーション及びバッチキャリブレーションを実現することができる。
図面（必ずしも一定の縮尺で描かれているわけではない）で、同様の参照番号は異なる図で同様の構成要素を記載する場合がある。異なる文字接尾辞を持つ同様の参照番号は、同様な構成要素の異なる例を表すことができる。図面は、限定ではなく例として、本明細書で論じられる各実施形態を示している。
センサ融合フレームが設置されているロボットアームの概略図である。 マルチセンサ融合フレームの概略図である。 レーザーレーダ－カメラによる四キャリブレーションプレート複合キャリブレーションターゲットの位置関係の概略図である。 キャリブレーションターゲットの空間配置の概略図である。 レーザーレーダ－カメラの複合キャリブレーションの原理概略図である。 特徴点の分布概略図である。 レーザー－視覚特徴マッチングの概略図である。 レーザーレーダの姿勢変換の概略図である。 慣性ナビゲーションシステムの姿勢変換の概略図である。 キャリブレーションのフローチャートである。
以下は、本発明の具体的な実施例であり、図面を結合しながら本発明の技術的解決策をさらに説明するが、本発明は、これらの実施例によって限定されず、以下の実施形態は、請求の範囲に係る本発明を限定するものではない。また、実施形態に記載されている特徴のすべての組み合わせは、本発明の解決に必ずしも必須ではない。
実施例
マルチセンサ融合フレーム１０１、ロボットアーム１０２、連結機構１０３、コンピュータユニット１０４、及び操作プラットフォームを含むマルチセンサによる複合キャリブレーション装置であって、前記マルチセンサ融合フレーム１０１は、マルチセンサによる複合構築法によってレーザーレーダ２０１、単眼カメラ２０２、及び慣性ナビゲーションシステム２０３を自由的に運動可能な金属フレーム２０４に固定され、このフレームは治具２０６を介して無人車両、無人航空機等の環境感知の場合に搭載され、二次開発に適用されるとともに、外部パラメータキャリブレーションの実施に便利である。前記金属フレームは、長さ１８ｃｍ、幅６ｃｍ、高さ８ｃｍである。マルチセンサによる複合構築法を採用して各センサは同じ座標系指向に従って設置される。そのうち、レーザーレーダ２０１は、金属フレーム２０４の上部の中央位置に設置され、固定装置２０５は金属フレームの内部に設置される。単眼カメラ２０２は、固定装置２０５の左側５ｃｍの位置に設置され、慣性ナビゲーションシステム２０３は固定装置２０５の右側５ｃｍの位置に設置される。所述ロボットアーム１０２は、操作プラットフォーム１０５の上方に設置され、三軸方向の並進及び回転運動を提供する。ロボットアームの末端は連結機構１０３を介して固定装置２０５に連接され、初期状態下に、マルチセンサ融合フレーム１０１の地面からの高さは１４０ｃｍである。前記コンピュータユニット１０３は、ボットアーム１０２の運動の制御、センサによるデータ採集の制御、センサデータの処理、外部パラメータ行列の計算を行う機能を有する。
レーザーレーダ－カメラによる四キャリブレーションプレート複合キャリブレーションターゲットをさらに含み、レーザーレーダ－カメラによる四キャリブレーションプレート複合キャリブレーションターゲットは、４つの同じサイズのキャリブレーションプレートから構成されている。前記レーザーレーダ－カメラによる四キャリブレーションプレート複合キャリブレーションターゲット１０４は、４つの３０ｃｍ×３０ｃｍのキャリブレーションプレートから構成されている。図３に示すように、一～三号キャリブレーションプレートの中央位置はドットでマークされ、外部パラメータキャリブレーションのための特徴点を提供する。四号キャリブレーションプレート上には、カメラの内部パラメータキャリブレーションのために黒白の碁盤目模様が配列される。４つのキャリブレーションプレートは、「田」字の形状で空中に配置される。４つのキャリブレーションプレートをより正確に分割するために、それらは異なる距離及び角度で環境中に配置される。図４に示すように、三号キャリブレーションプレート及び四号キャリブレーションプレートは高さ１２０ｃｍのベースを採用して固定し、ベースは水平線一上に配置され、マルチセンサ融合フレームとの距離はＤ１＝１３０ｃｍであり、三号キャリブレーションプレートの法線ベクトルｎ ３ と四号キャリブレーションプレートの法線ベクトルｎ ４ との間の角度差は３０°以上である。一号キャリブレーションプレート及び二号キャリブレーションプレートがカバーされないように確保するために、一号キャリブレーションプレート及び二号キャリブレーションプレートは高さ１６０ｃｍのベースを採用して固定し、ベースは水平線二上に配置され、マルチセンサ融合フレームとの距離はＤ２＝１８０ｃｍである。一号キャリブレーションプレートの法線ベクトルｎ１と二号キャリブレーションプレートの法線ベクトルｎ２との間の角度差は３０°以上である。
前記カメラの内部パラメータキャリブレーションは、異なる姿勢下でカメラが碁盤目キャリブレーションプレートに対して撮影を行うように、コンピュータユニットがロボットアーム及びカメラを制御し、２０～３０枚の画像のエッジ情報を抽出し、張正友（ＺｈａｎｇＺｈｅｎｇｙｏｕ）キャリブレーション方法を採用してカメラの内部パラメータＫを計算する。
前記レーザーレーダ－カメラによる四キャリブレーションプレート複合キャリブレーションターゲットは、単眼カメラの内部パラメータキャリブレーション及びレーザーレーダ－カメラの外部パラメータキャリブレーションに採用される。前記レーザーレーダと単眼カメラによる複合キャリブレーション方法は、以下のステップを含む。
まず、図５に示すように、複合キャリブレーションターゲットがレーザーレーダ及びカメラの視野範囲に現れるように、コンピュータユニットがロボットアームの姿勢を調整する。ロボットアームを制御して静止状態を維持し、レーザーレーダとカメラを採用してデータ採集を行った後、コンピュータユニットが測定データを処理する。最後に、最小二乗問題を構築し、外部パラメータ行列ＴＬＣを求解する。
前記データ採集によってレーザーレーダデータ及びカメラデータに対してそれぞれ処理を行う。
レーザーレーダデータの場合、各点群の座標情報を記録し、異常点をフィルタリングし、点群分割法を採用して点群データを分割し、４つのキャリブレーションプレートの点群データを４つの異なるグループ｛Ｌ１｝、｛Ｌ２｝、｛Ｌ３｝，｛Ｌ４｝に分ける。Ｋ－ｍｅａｎｓ法を利用して点群のクラスタリング中心点を抽出する。
Figure 0007072759000013
は、第ｉ番目のキャリブレーションプレートの中心点位置のレーザーレーダの座標系Ｌにおける三次元座標値である。
Figure 0007072759000014
をマッチングのためのレーザー特徴点として選定する。
カメラデータの場合、各ピクセルのグレー値を記録し、ＦＡＳＴキーポイント抽出アルゴリズムを採用し、キャリブレーションプレートのローカルピクセルのグレー値が明らかに変化された箇所を検出することにより、各キャリブレーションプレートの中心点位置を抽出する。一～三号キャリブレーションプレートのドットの中心位置を抽出し、その座標値Ｃ１、Ｃ２、Ｃ３を記録する。四号キャリブレーションプレートの場合、碁盤目間の関係を分析することにより、キャリブレーションプレートの中心点座標値Ｃ４を求める。
Figure 0007072759000015
は、第ｉ番目のキャリブレーションプレートの中心点位置のカメラ座標系Ｃにおける二次元座標値である。Ｃｉをマッチングのための視覚特徴点として選定する。
レーザーレーダの三次元特徴点
Figure 0007072759000016
及び単眼カメラの二次元特徴点
Figure 0007072759000017
によってマッチング関係
Figure 0007072759000018
を確立する。
図７に示すように、レーザーレーダ座標
Figure 0007072759000019
及び単眼カメラ座標
Figure 0007072759000020
の特徴点Ｐｉに基づくマッチング関係を定義することにより、最小再投影誤差を確立し、最小二乗問題を構築する。レーザーレーダ及びカメラの外部パラメータ行列を次のように定義する。
Figure 0007072759000021
ここで、Ｒが回転行列であり、ｔが並進ベクトルである。マッチング関係及び外部パラメータ行列を結合すると、誤差方程式は次のように表すことができる。
Figure 0007072759000022
ここで、ｓｉは視覚特徴点の深さ値であり、誤差が最小化になるように、誤差方程式に従って最小二乗最適化関数を構築し、最適な外部パラメータ行列を取得する。
Figure 0007072759000023
さらに、必要に応じて、より多くの特徴点を採集してマッチングを行い、キャリブレーションプレートの中心位置特徴点に基づいて、キャリブレーションプレートのエッジ位置を採集して特徴点とする。図６に示すように、キャリブレーションプレート毎の５つの位置を選択して特徴点とし、上記方法に従って最小二乗最適化関数を構築し、外部パラメータ行列を求解する。実験によって特性点の数が多いほど、外部パラメータ行列の計算がより正確であることが証明されている。
さらに、キャリブレーションプレートの角度を調整し、異なる角度の状態下で複数グループのキャリブレーションプレートのセンサデータを採集し、グループ毎のデータのキャリブレーションプレートの中心点座標値
Figure 0007072759000024
をそれぞれ計算し、偏差の大きい中心点座標値を削除し、平均値策略を採用して次のように残りの中心点座標を計算する。
Figure 0007072759000025
既存のキャリブレーション技術では、キャリブレーションプレートの位置及び角度は固定である。レーザーレーダの縦方向点群のスパース性によってレーザーレーダによる走査がキャリブレーションプレートのすべての領域を完全にカバーすることを保証することは困難である。レーザーレーダによる走査ラインがキャリブレーションプレートの完全な輪郭を完全に走査できなかった場合、点群特徴点（キャリブレーションプレートの中心点）の座標は、実際の位置と差異が大きくなってしまう。
本方法は、レーザーレーダ及びカメラが複数グループのキャリブレーションプレートデータを採集するように、キャリブレーションプレートの角度を調整する。キャリブレーションプレートの中心点を角度調整の回転中心として採用するため、キャリブレーションプレートの調整に関係なく、その中心点座標は常に変わらない。本方法は、キャリブレーションプレートの中心点位置の不変性を利用して、異なる角度下で複数グループの点群データによって複数グループの中心点座標をフィッティングし、誤差が大きい中心点座標を除去し、残りの中心点座標の平均値をキャリブレーションプレートの点群特徴点とする。既存技術と比較して、本方法で抽出された特徴点の精度は大幅に向上されている。
レーザーレーダ及び慣性ナビゲーションシステムの複合キャリブレーション方法は、次のステップで構成される。
ロボットアームの支援下で、点群マッチングに基づくレーザーレーダ－慣性ナビゲーションシステムによる外部パラメータキャリブレーションを採用する。具体的なステップは下記の通りである。
まず、ロボットアームを制御して運動し、センサが空間内で運動しながらデータを採集する。
次に、ロボットアームの運動が停止され、センサによって採集されたデータに対して処理を行う。
その後、レーザーレーダの初期時刻ｔ０での座標系Ｌ０と運動終了時刻ｔｎでの座標系Ｌｎとの間の姿勢変換行列ＴＬを計算する。慣性ナビゲーションシステムの初期時刻ｔ０での座標系Ｉ０と運動終了時刻ｔｎでの座標系Ｉｎとの間の姿勢変換行列ＴＩを計算する。
再び、ＴＬによってｔｎ時刻でのレーザー点群Ｐｎをｔ０時刻でのＬ０座標系に投影し、点群ＰｎＬを取得する。ＴＩ及びキャリブレーション待ちパラメータＴＬＩによってｔｎ時刻でのレーザー点群Ｐｎをｔ０時刻でのＬ０座標系に投影し、ＰｎＩを取得する。最後に、２グループの点群ＰｎＬとＰｎＩをマッチングし、２グループの点群を整列することにより、外部パラメータ行列ＴＬＩを計算する。
前記ロボットアームの運動は、指定された軌跡内を運動するようにロボットアームを制御することである。ロボットアームの座標軸を基準として、Ｘ軸の正方向に沿って１００ｃｍ移動し、Ｘ軸の負方向に沿って１００ｃｍ移動し、Ｙ軸の正方向に沿って１００ｃｍ移動し、Ｙ軸の負方向に沿って１００ｃｍ移動し、Ｚ軸の正方向に沿って１００ｃｍ移動し、Ｚ軸の負方向に沿って１００ｃｍ移動する。Ｘ軸を中心に時計回りに１８０°回転し、Ｘ軸を中心に反時計回りに１８０°回転し、Ｙ軸を中心に時計回りに１８０°回転し、Ｙ軸を中心に反時計回りに１８０°回転し、Ｚ軸を中心に時計回りに１８０°回転し、Ｚ軸を中心に反時計回りに１８０°回転する。ロボットアームの運動過程中に、レーザーレーダ及び慣性ナビゲーションシステムがデータ採集を行う。
前記センサのデータ処理は、レーザーレーダの場合、均一運動モデルに従ってフレーム毎のレーザー点群に対して歪み除去処理を行い、点群フィルタリングアルゴリズムを採用し、点群データの外れ値を除去する。計算の複雑さを軽減するために、フレーム毎のレーザー点群データに対して、ボクセルグリッド方法を使用してダウンサンプリング処理を行うことである。
前記姿勢変換行列ＴＬの計算方法は、次の通りである。反復最近傍法を採用して第ｉフレーム点群と第ｉ＋１フレーム点群をマッチングし、第ｉフレーム点群
Figure 0007072759000026
と第ｉ＋１フレーム点群
Figure 0007072759000027
とのマッチング関係を取得する。第ｉ時刻から第ｉ＋１時刻までのレーザーレーダの姿勢変換が回転行列Ｒｉと並進ベクトルｔｉから構成されると定義すると、２フレーム間の対応する関係は次のように表される。
Figure 0007072759000028
誤差方程式は、次のように表される。
Figure 0007072759000029
最小二乗問題を構築することにより、ＳＶＤ法を採用してＲｉ、ｔｉを計算する。
Figure 0007072759000030
第ｉ時刻から第ｉ＋１時刻までのレーザーレーダの姿勢変換行列は次の通りである。
Figure 0007072759000031
ＴＬはレーザーレーダのｔ０時刻からｔｎ時刻までの姿勢変換行列であり、次のように表される。
Figure 0007072759000032
前記姿勢変換行列ＴＩの計算方法は、下記の通りである。慣性ナビゲーションシステムの加速度測定データ及び角速度測定データに対して積分を行い、変位データｔＩ及び回転データＲＩを取得する。ｔ０時刻からｔｎ時刻までの慣性ナビゲーションシステムの姿勢変換行列は、次のように表される。
Figure 0007072759000033
前記ｔｎ時刻でのレーザー点群Ｐｎをｔ０時刻でのＬ０座標系に投影するとは、レーザーレーダの場合、図８に示すように、直接に姿勢変換行列ＴＬによってＰｎのＬ０座標系における座標表示ＰｎＬを取得することができる。
Figure 0007072759000034
慣性ナビゲーションシステムの場合、図９に示すように、姿勢変換行列ＴＩ及び外部パラメータ行列ＴＬＩによってＰｎのＬ０座標系における座標表示ＰｎＩを取得することができる。
Figure 0007072759000035
前記外部パラメータ行列ＴＬＩの計算とは、点群ＰｎＬと点群ＰｎＩを整列することである。理論的に、ＰｎＬ及び点群ＰｎＩは同一領域の点群データを記述しており、それらは空間上でオーバーラップする。即ち、次の通りである。
Figure 0007072759000036
外部パラメータ誤差が存在するため、ＰｎＬ及びＰｎＩは完全にオーバーラップしているわけではない。反復最近傍法を採用して、ＰｎＬ及びＰｎＩが記載している同一領域の点群領域をレジストレーションし、最近傍誤差を構築して最適化する。
Figure 0007072759000037
Ｔｅｒｒｏｒ、ＴＬ，ＴＩによって外部パラメータ行列ＴＬＩを求解する。
Figure 0007072759000038
ここまで、上記キャリブレーション方法によって外部パラメータ行列ＴＬＣ及びＴＬＩを取得する。
本発明は、点群レジストレーションに基づくレーザーレーダ－慣性ナビゲーションキャリブレーションであって、既存技術（点群マッチングに基づくレーザーレーダ／ＩＭＵ複合キャリブレーション方法）は小車にレーザーレーダ及びＩＭＵを搭載する方法を採用しているが、小車は平面内でしか運動できないため、完全な六自由度の運動を提供することはできない。本方法では、キャリブレーションシステムの運動装置としてロボットアームを採用しているため、豊富な空間運動を提供できる。従来技術と比較して、キャリブレーションの精度が向上されている。
さらに、必要に応じて、視覚条件が十分である場合、単眼カメラの観測データを記録し、視覚－ＩＭＵキャリブレーションツールを採用し、単眼カメラと慣性ナビゲーションシステムとの間の外部パラメータ行列ＴＣＩを計算する。決定された３つの外部パラメータ行列ＴＬＣ、ＴＬＩ、ＴＣＩ間の姿勢一貫性に基づいて複合検証を行い、検証が失敗された場合、外部パラメータ行列中の変換パラメータを検証に成功するまで調整する。そのため、検証が失敗された場合、本発明の実施形態は、ＴＬＣ、ＴＬＩ、ＴＣＩに対してパラメータの最適化を行い、マルチセンサによる複合キャリブレーションの精度を向上する。前記パラメータ最適化は、オンライン調整方法を採用し、レーザーレーダ、単眼カメラ、慣性ナビゲーションシステムのデータを融合し、ＴＬＩ、ＴＣＩに対して調整を行う。
さらに、必要に応じて、視覚条件が十分である場合、キャリブレーションターゲットがカメラの視野範囲内に現れるように、ロボットアームを制御する。カメラが常にキャリブレーションターゲットを観測できる条件下で、ロボットアームを制御して空間内で六自由度の運動をする。単眼カメラの観測データを記録し、キャリブレーションツールを採用して視覚－慣性ナビゲーションシステムの外部パラメータ行列ＴＣＩをキャリブレーションする。
Figure 0007072759000039
さらに、レーザーレーダ、単眼カメラ、慣性測定ユニット間の姿勢変換行列に対して複合最適化を行う。決定された３つの外部パラメータ行列ＴＬＣ、ＴＬＩ、ＴＣＩ間の姿勢一貫性に基づいて複合検証を行う。原則的に、３つの外部パラメータ行列間には、次の数学的関係が存在する。
Figure 0007072759000040
ただし、キャリブレーションの過程に誤差が存在するため、実際に姿勢一貫性を完全に達成することはできない。そのため、外部パラメータ行列中の変換パラメータに対して最適化を行い、マルチセンサによる複合キャリブレーションの精度を向上する必要がある。姿勢変換総誤差を最小化することにより、ＴＬＣ、ＴＬＩ、ＴＣＩを調整する。
前記パラメータの最適化の具体的なステップは、次の通りである。
各姿勢変換誤差を計算する。
Figure 0007072759000041
Figure 0007072759000042
がすべて誤差閾値ｅｒｒｏｒｔｈｒより小さい場合、ＴＬＣ、ＴＬＩ、及びＴＣＩ間は既に姿勢一貫性を満たしていると見なされ、調整不要となる。
その後、各姿勢変換行列誤差がすべて誤差閾値より小さいという制約を満たす条件下で、総誤差ｅｒｒｏｒＴが最小になるように、各姿勢変換行列に対して調整を行う。
Figure 0007072759000043
Figure 0007072759000044
の大きさを判断し、３つの誤差の大きさから主な誤差由来を初歩的に特定し、誤差の正負から調整する方向を初歩的に決定する。
並進ベクトル及び回転行列中の各ベクトル成分を分析し、並進ベクトルに対して次の調整を行う。
Figure 0007072759000045
ここで、Δｘ、Δｙ、及びΔｚの大きさ及び正負は、
Figure 0007072759000046
の具体的なベクトル成分を分析することによって取得する。回転行列に対して、次のような調整を行う。
Figure 0007072759000047
ここで、Δｒの大きさと正負は、
Figure 0007072759000048
の具体的なベクトル成分を分析することによって取得する。
例を挙げて説明する。
まず、主な誤差由来を特定する。誤差の大きさの順序が
Figure 0007072759000049
である場合、ＴＬＣが最大の誤差由来と見なされる。ＴＬＣの誤差項目
Figure 0007072759000050
及び
Figure 0007072759000051
を分析する。
しかし、誤差由來はＴＬＣだけではない。ＴＬＩ及びＴＣＩの場合、上記と同様なステップを採用して調整を行う。相違点は、ＴＬＣ、ＴＬＩ、及びＴＣＩに対して、それぞれα、β、及びγのステップサイズの調整（α＞β＞γ）を行うとともに、最大調整範囲を制限することである。
Figure 0007072759000052
最適化過程中で、ＴＬＣ、ＴＬＩ、ＴＣＩを順番に調整し、ｅｒｒｏｒＴの変化を観察することにより、α、β、γのステップサイズを適切に変更する。調整過程中で、ｅｒｒｏｒＴが明らかに低下されることが観察されると、ステップサイズを適切に増やし、調整過程中で、ｅｒｒｏｒＴの緩やかな減少又は増加傾向が見られると、ステップサイズを適切に減らすか又はステップサイズの正負を変更する。
ｅｒｒｏｒＴが最小になるまで、上記のステップに従って外部パラメータ行列を調整する。
調整過程中で、計算結果が局所的な最適化になることを防ぐために、ＴＬＣ、ＴＬＩ、ＴＣＩの調整順番を変更するとともに、最小のｅｒｒｏｒＴが見つかるまで最適化結果を上記方法と比較する。
既存技術と比較して、本発明のマルチセンサによる姿勢変換行列の複合最適化方法は、オフライン最適化方法を採用しており、ＴＬＣ、ＴＬＩ、及びＴＣＩ間の姿勢一貫性に基づいて姿勢変換行列総誤差の最適化関数を構築し、各外部パラメータに対してパラメータの調整を行う。この最適化方法は、各外部パラメータ行列の誤差を最小化し、精度を最大化する効果を達成する。
本明細書では、いくつかの用語が多く使用されているが、他の用語を使用する可能性を排除することではない。これらの用語は、本発明の本質をより便利に記載及び説明するためにのみ使用される。それらをあらゆる追加の制限として解釈することは、本発明の精神に反することである。明細書及び図面に示される装置及び方法における動作、ステップ等の実行順序は、特に明記されていない限り、前の処理の出力が後の処理で使用されていない限り、任意の順序で実施することができる。説明の便宜上、「まず」、「次に」等を採用した説明は、必ずこの順序で実行すべきであることを意味するわけではない。
本明細書に記載された特定の実施形態は、単に本発明の精神を例示するものである。当業者は、記載された特定の実施形態に対して様々な変更又は補足又は類似な方法への置き換えを行うことができるが、それは本発明の精神から逸脱したり、添付の特許請求の範囲によって定義された範囲を超えたりすることはない。
１０１、センサ融合フレーム；１０２、ロボットアーム；１０３、連結機構；１０４、コンピュータユニット；１０５、操作プラットフォーム；２０１、レーザーレーダ；２０２、単眼カメラ；２０３、慣性ナビゲーションシステム；２０４、金属フレーム；２０５、固定装置；２０６、治具。

Claims (9)

  1. ロボットアームを含み、前記ロボットアーム上にはセンサ融合フレームが設置され、センサ融合フレーム上にはレーザーレーダ、単眼カメラ、及びデータ処理のためのコンピュータが設置されるマルチセンサによる複合キャリブレーション装置であって、
    レーザーレーダ－カメラによる四キャリブレーションプレート複合キャリブレーションターゲットをさらに含み、前記レーザーレーダ－カメラによる四キャリブレーションプレート複合キャリブレーションターゲットは、一号キャリブレーションプレート、二号キャリブレーションプレート、三号キャリブレーションプレート、四号キャリブレーションプレートを含み、
    一号キャリブレーションプレート、二号キャリブレーションプレート、三号キャリブレーションプレートの中心位置はドットでマークされ、外部パラメータキャリブレーションの特徴点を提供するために使用され、
    四号キャリブレーションプレート上には、カメラの内部パラメータキャリブレーションのために黒白の碁盤目模様が配列され、
    ４つのキャリブレーションプレートは、「田」字の形状に配置され、一号キャリブレーションプレートと二号キャリブレーションプレートは並列に配置され、三号キャリブレーションプレートと四号キャリブレーションプレートは一号キャリブレーションと二号キャリブレーションプレートの前方に並列に配置され、三号キャリブレーションプレートと四号キャリブレーションプレートは一号キャリブレーションプレートと二号キャリブレーションプレートより低く、
    三号キャリブレーションプレート表面の法線ベクトルｎ３と四号キャリブレーションプレート表面の法線ベクトルｎ４との間の角度差は３０°より大きく、
    一号キャリブレーションプレート表面の法線ベクトルｎ１と二号キャリブレーションプレート表面の法線ベクトルｎ２との間の角度差は３０°より大きい、
    マルチセンサによる複合キャリブレーション装置。
  2. 請求項１に記載のマルチセンサによる複合キャリブレーション装置の複合キャリブレーション方法であって、
    カメラの内部パラメータキャリブレーションと、レーザーレーダ－カメラの外部パラメータキャリブレーションとを含み、
    カメラの内部パラメータキャリブレーションの場合、異なる姿勢下でカメラが碁盤目キャリブレーションプレートに対して撮影を行うように、コンピュータユニットがロボットアームとカメラを制御し、張正友キャリブレーション方法を採用してカメラの内部パラメータＫを計算し、
    レーザーレーダ－カメラの外部パラメータキャリブレーションの場合、以下のステップを含む、
    ａ）キャリブレーションプレートモジュールがレーザーレーダ及びカメラの視野範囲に現れるように、コンピュータユニットがロボットアームの姿勢を調整するとともに、
    ロボットアームを制御して静止状態を維持し、レーザーレーダ及びカメラはデータ採集を行う、
    ｂ）レーザーレーダデータに対して分析及び処理を行い、点群特徴点を抽出し、
    各点群の座標情報を記録し、異常点をフィルタリングし、点群分割法を採用して点群データを分割し、４つのキャリブレーションプレートの点群データを４つの異なるグループ｛Ｌ１｝、｛Ｌ２｝、｛Ｌ３｝，｛Ｌ４｝へ分け、Ｋ－ｍｅａｎｓ方法を採用して点群のクラスタリング中心点を抽出し、
    Figure 0007072759000053
    は、第ｉ番目のキャリブレーションプレートの中心点位置のレーザーレーダの座標系における三次元座標値であり、
    Figure 0007072759000054
    をマッチングのためのレーザー特徴点として選定する、
    ｃ）カメラデータに対して分析及び処理を行い、視覚特徴点を抽出し、
    各ピクセルのグレー値を記録し、ＦＡＳＴキーポイント抽出アルゴリズムを採用し、キャリブレーションプレートのローカルピクセルのグレー値が明らかに変化された箇所を検出することにより、各キャリブレーションプレートの中心点位置を抽出し、
    一号キャリブレーションプレート、二号キャリブレーションプレート、三号キャリブレーションプレートのドット中心点位置を抽出し、その座標値Ｃ１、Ｃ２、Ｃ３を記録し、
    碁盤目間の関係を分析することにより、四号キャリブレーションプレートの中心点座標値Ｃ４を求め、
    Ｃｉは、第ｉ番目のキャリブレーションプレートの中心点位置のカメラ座標系Ｃにおける二次元座標値であり、Ｃｉをマッチングのための視覚特徴点として選定する、
    ｄ）レーザーレーダの特徴点
    Figure 0007072759000055
    及びカメラの特徴点
    Figure 0007072759000056
    によってマッチング関係
    Figure 0007072759000057
    を確立し、
    特徴点のマッチング関係によって最小再投影誤差を確立し、誤差方程式を構築し、誤差方程式によって最小二乗法による求解を行い、最適な外部パラメータ行列ＴＬＣを取得する、
    ことを特徴とするマルチセンサによる複合キャリブレーション方法。
  3. キャリブレーションプレートの中心位置特徴点に基づいて、キャリブレーションプレートのエッジ位置を採集して特徴点とする、
    ことを特徴とする請求項２に記載のマルチセンサによる複合キャリブレーション方法。
  4. キャリブレーションプレートの角度を調整し、異なる角度の状態下で複数グループのキャリブレーションプレートのセンサデータを採集し、グループ毎のデータのキャリブレーションプレートの中心点座標値
    Figure 0007072759000058
    をそれぞれ計算し、偏差の大きい中心点座標値を削除し、平均値策略を採用して残りの中心点座標を計算する、
    ことを特徴とする請求項２に記載のマルチセンサによる複合キャリブレーション方法。
  5. 前記カメラの内部パラメータキャリブレーションは、碁盤目キャリブレーション方法を採用しており、
    前記碁盤目キャリブレーション方法は、異なる姿勢下でカメラが碁盤目キャリブレーションプレートに対して撮影を行うように、コンピュータユニットがロボットアーム及びカメラを制御し、２０～３０枚の画像のエッジ情報を抽出し、張正友キャリブレーション方法を採用してカメラの内部パラメータＫを計算することである、
    ことを特徴とする請求項２に記載のマルチセンサによる複合キャリブレーション方法。
  6. 請求項１に記載のマルチセンサによる複合キャリブレーション装置の複合キャリブレーション方法であって、
    センサ融合フレーム上に配置された慣性ナビゲーションシステムをさらに含み、
    複合キャリブレーション方法には、レーザーレーダ及び慣性ナビゲーションシステムによる複合キャリブレーション方法を含んでおり、
    ロボットアームの初期運動時刻をｔ０として定義し、ロボットアームの運動終了時刻をｔｎとして定義し、ｔｎ時刻に走査されたレーザー点群をＰｎとして定義し、ｔ０時刻でのレーザーレーダの座標系をＬ０として定義し、ｔ０時刻での慣性ナビゲーションシステムの座標系をＩ０として定義し、ｔｎ時刻でのレーザーレーダの座標系をＬｎとして定義し、ｔｎ時刻での慣性ナビゲーションシステムの座標系をＩｎとして定義し、レーザーレーダのｔ０時刻からｔｎ時刻までの間の姿勢変換行列をＴＬとして定義し、慣性ナビゲーションシステムのｔ０時刻からｔｎ時刻までの間の姿勢変換行列をＴＩとして定義し、レーザーレーダと慣性ナビゲーションシステムとの間の外部パラメータ行列をＴＬＩとして定義すると、
    前記複合キャリブレーション方法は、以下のステップを含む、
    ａ）ロボットアームは指定された軌跡に従って運動を行い、ロボットアームの運動過程中に、レーザーレーダ及び慣性ナビゲーションシステムがデータ採集を行う、
    ｂ）ロボットアームを制御して運動を停止し、センサによって採集されたデータに対して処理を行い、
    レーザーレーダの場合、均一運動モデルに従ってフレーム毎のレーザー点群に対して歪み除去処理を行い、
    点群フィルタリングアルゴリズムを採用し、点群データ中の外れ値を除去し、
    計算の複雑さを軽減するために、ボクセルグリッド方法を使用してフレーム毎のレーザー点群データに対してダウンサンプリング処理を行う、
    ｃ）レーザーレーダの座標系
    Figure 0007072759000059
    の初期時刻ｔ０での座標系Ｌ０と運動終了時刻での座標系Ｌｎとの間の姿勢変換行列ＴＬを計算する、
    姿勢変換行列ＴＬの計算方法は、以下の通りである、
    反復最近傍法を採用して第ｉフレーム点群と第ｉ＋１フレーム点群をマッチングし、第ｉフレーム点群
    Figure 0007072759000060
    と第ｉ＋１フレーム点群
    Figure 0007072759000061
    のマッチング関係を取得し、
    第ｉ時刻から第ｉ＋１時刻までのレーザーレーダの姿勢変換は、回転行列Ｒｉと並進ベクトルｔｉから構成されており、２フレーム点群の姿勢変換関係を示し、さらに、誤差方程式を構築し、誤差方程式を最小二乗問題に変換し、ＳＶＤ法を採用してＲｉ、ｔｉを計算し、Ｒｉ、ｔｉによって第ｉ時刻から第ｉ＋１時刻までのレーザーレーダの姿勢変換行列を
    Figure 0007072759000062
    として取得し、ｎフレームのレーザーレーダの姿勢変換行列Ｔｉを累積的に乗算し、レーザーレーダのｔ０時刻からｔｎ時刻までの姿勢変換行列ＴＬを取得する、
    ｄ）慣性ナビゲーションシステムの座標系
    Figure 0007072759000063
    の初期時刻ｔ０での座標系Ｉ０と運動終了時刻ｔｎでの座標系Ｉｎとの間の姿勢変換行列ＴＩを計算する、
    姿勢変換行列ＴＩの計算方法は、以下の通りである、
    慣性ナビゲーションシステムの加速度測定データ及び角速度測定データに対して積分を行い、変位データｔＩ及び回転データＲＩを取得すると、慣性ナビゲーションシステムのｔ０時刻からｔｎ時刻までの姿勢変換行列
    Figure 0007072759000064
    Figure 0007072759000065
    に表される、
    ｅ）ＴＬによってｔｎ時刻でのレーザー点群Ｐｎをｔ０時刻でのＬ０座標系に投影し、点群ＰｎＬを取得する、
    ｆ）ＴＩ及びキャリブレーション待ちパラメータＴＬＩによってｔｎ時刻でのレーザー点群Ｐｎをｔ０時刻でのＬ０座標系に投影し、ＰｎＩを取得する、
    ｇ）２グループの点群ＰｎＬ及びＰｎＩをマッチングし、２グループの点群を整列し、外部パラメータ行列ＴＬＩに対して最適化を行い、反復最近傍法を採用してＰｎＬ及びＰｎＩが記述された同一領域の点群領域をレジストレーションし、最近傍誤差Ｔｅｒｒｏｒを構築及び最適化し、Ｔｅｒｒｏｒ、ＴＬ、ＴＩによって外部パラメータ行列ＴＬＩを求解する、
    ことを特徴とするマルチセンサによる複合キャリブレーション方法。
  7. 視覚条件が十分である場合、単眼カメラの観測データを記録し、視覚－ＩＭＵキャリブレーションツールを採用し、単眼カメラと慣性ナビゲーションシステムとの間の外部パラメータ行列ＴＣＩを計算し、
    決定された３つの外部パラメータ行列ＴＬＣ、ＴＬＩ、ＴＣＩ間の姿勢一貫性に基づいて複合検証を行い、外部パラメータ行列中の変換パラメータを調整し、マルチセンサによる複合キャリブレーションの精度を向上し、
    前記パラメータ最適化は、オンライン調整方法を採用し、レーザーレーダ、単眼カメラ、慣性ナビゲーションシステムのデータを融合し、ＴＬＩ、ＴＣＩに対して調整を行う、
    ことを特徴とする請求項６に記載のマルチセンサによる複合キャリブレーション方法。
  8. 視覚条件が十分である場合、キャリブレーションターゲットがカメラの視野範囲内に現れるように、ロボットアームを制御し、カメラが常にキャリブレーションターゲットを観測できる条件下で、ロボットアームを制御して空間内で六自由度の運動をし、
    単眼カメラの観測データを記録し、キャリブレーションツールを採用して視覚－慣性ナビゲーションシステムの外部パラメータ行列ＴＣＩを次のようにキャリブレーションする、
    Figure 0007072759000066
    ことを特徴とする請求項７に記載のマルチセンサによる複合キャリブレーション方法。
  9. レーザーレーダ、単眼カメラ、慣性測定ユニット間の姿勢変換行列に対して複合最適化を行い、
    決定された３つの外部パラメータ行列ＴＬＣ、ＴＬＩ、ＴＣＩ間の姿勢一貫性に基づいて複合検証を行う、
    具体的なステップは、以下の通りである、
    各姿勢変換誤差を計算する、
    Figure 0007072759000067
    Figure 0007072759000068
    がすべて誤差閾値ｅｒｒｏｒｔｈｒより小さい場合、ＴＬＣ、ＴＬＩ、及びＴＣＩ間は既に姿勢一貫性を満たしていると見なされ、調整不要となる、
    その後、各姿勢変換行列誤差がすべて誤差閾値より小さいという制約を満たす条件下で、総誤差ｅｒｒｏｒＴが最小になるように、各姿勢変換行列に対して調整を行う、
    Figure 0007072759000069
    Figure 0007072759000070
    の大きさを判断し、３つの誤差の大きさから主な誤差由来を初歩的に特定し、誤差の正負から調整する方向を初歩的に決定する、
    並進ベクトル及び回転行列中の各ベクトル成分を分析し、並進ベクトルに対して、次の調整を行う、
    Figure 0007072759000071
     ここで、Δｘ、Δｙ、及びΔｚの大きさ及び正負は、
    Figure 0007072759000072
    の具体的なベクトル成分を分析することによって取得し、
    回転行列に対して、次のような調整を行う、
    Figure 0007072759000073
    ここで、Δｒの大きさと正負は、
    Figure 0007072759000074
    の具体的なベクトル成分を分析することによって取得する、
    ことを特徴とする請求項７に記載のマルチセンサによる複合キャリブレーション方法。

JP2021003139A 2020-08-28 2021-01-12 マルチセンサによる複合キャリブレーション装置及び方法 Active JP7072759B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010881818.4 2020-08-28
CN202010881818.4A CN111735479B (zh) 2020-08-28 2020-08-28 一种多传感器联合标定装置及方法

Publications (2)

Publication Number Publication Date
JP2022039906A JP2022039906A (ja) 2022-03-10
JP7072759B2 true JP7072759B2 (ja) 2022-05-23

Family

ID=72658909

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021003139A Active JP7072759B2 (ja) 2020-08-28 2021-01-12 マルチセンサによる複合キャリブレーション装置及び方法

Country Status (2)

Country Link
JP (1) JP7072759B2 (ja)
CN (1) CN111735479B (ja)

Families Citing this family (72)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112577517A (zh) * 2020-11-13 2021-03-30 上汽大众汽车有限公司 一种多元定位传感器联合标定方法和系统
CN112444798B (zh) * 2020-11-27 2024-04-09 杭州易现先进科技有限公司 多传感器设备时空外参标定方法、装置以及计算机设备
CN114643599B (zh) * 2020-12-18 2023-07-21 沈阳新松机器人自动化股份有限公司 一种基于点激光和面阵相机的三维机器视觉系统及方法
CN112790786A (zh) * 2020-12-30 2021-05-14 无锡祥生医疗科技股份有限公司 点云数据配准方法、装置、超声设备及存储介质
CN112881999B (zh) * 2021-01-25 2024-02-02 上海西虹桥导航技术有限公司 一种用于多线激光雷达与视觉传感器的半自动标定方法
CN112509067B (zh) * 2021-02-02 2021-04-27 中智行科技有限公司 多传感器联合标定方法、装置、电子设备和存储介质
CN112882000B (zh) * 2021-02-05 2023-02-03 北京科技大学 一种激光雷达的自动标定方法
CN112927302B (zh) * 2021-02-22 2023-08-15 山东大学 一种多线激光雷达与相机联合标定的标定板及标定方法
CN113192174B (zh) * 2021-04-06 2024-03-26 中国计量大学 建图方法、装置及计算机存储介质
CN113218435B (zh) * 2021-05-07 2023-01-17 复旦大学 一种多传感器时间同步方法
CN113298881B (zh) * 2021-05-27 2023-09-12 中国科学院沈阳自动化研究所 单目相机-imu-机械臂的空间联合标定方法
CN113269107A (zh) * 2021-06-01 2021-08-17 航天智造（上海）科技有限责任公司 一种基于深度学习的交互式智能拆解装配系统
CN113376618B (zh) * 2021-06-22 2024-03-01 昆明理工大学 一种多路侧激光雷达点云配准装置及使用方法
CN114252099B (zh) * 2021-12-03 2024-02-23 武汉科技大学 一种智能车辆多传感器融合自标定方法及系统
CN114332240B (zh) * 2021-12-23 2024-10-18 赛可智能科技(上海)有限公司 一种多传感器联合标定方法及标定装置
CN114894116B (zh) * 2022-04-08 2024-02-23 苏州瀚华智造智能技术有限公司 一种测量数据融合方法及非接触式测量设备
CN114770517B (zh) * 2022-05-19 2023-08-15 梅卡曼德（北京）机器人科技有限公司 通过点云获取装置对机器人进行标定的方法以及标定系统
CN114993245B (zh) * 2022-05-31 2024-04-05 山西支点科技有限公司 校靶设备在动基座平台和外场振动环境下高精度校靶方法
CN115026814B (zh) * 2022-06-01 2024-04-12 中科苏州智能计算技术研究院 用于机械臂运动空间重建的相机自动标定方法
CN114995497A (zh) * 2022-06-08 2022-09-02 南京航空航天大学 基于编队共用地图的多个体三维协同惯性slam方法及装置
CN114879153A (zh) * 2022-06-08 2022-08-09 中国第一汽车股份有限公司 雷达参数的标定方法、装置和车辆
CN115092671B (zh) * 2022-06-08 2023-09-26 深圳市南科佳安机器人科技有限公司 上下料控制方法
CN114882115B (zh) * 2022-06-10 2023-08-25 国汽智控(北京)科技有限公司 车辆位姿的预测方法和装置、电子设备和存储介质
CN115122331B (zh) * 2022-07-04 2024-07-23 中冶赛迪工程技术股份有限公司 工件抓取方法及装置
CN115153925B (zh) * 2022-07-18 2024-04-23 杭州键嘉医疗科技股份有限公司 一种口腔种植牙手术的钻头自动定位装置及方法
CN115159149B (zh) * 2022-07-28 2024-05-24 深圳市罗宾汉智能装备有限公司 一种基于视觉定位的取料卸货方法及其装置
CN115284289A (zh) * 2022-08-13 2022-11-04 上海由格医疗技术有限公司 机械臂的全自动手眼标定系统、方法、计算机设备及介质
CN115674186A (zh) * 2022-08-13 2023-02-03 苏州深浅优视智能科技有限公司 机械臂与3d相机的标定方法、系统、电子设备及存储介质
CN115241110B (zh) * 2022-08-15 2023-12-08 魅杰光电科技(上海)有限公司 晶圆的运动控制方法及晶圆的运动控制系统
CN115097427B (zh) * 2022-08-24 2023-02-10 北原科技(深圳)有限公司 基于飞行时间法的自动标定方法
CN115442584B (zh) * 2022-08-30 2023-08-18 中国传媒大学 一种多传感器融合的异形面动态投影方法
CN115597624B (zh) * 2022-08-31 2024-08-16 广州文远知行科技有限公司 惯导单元的性能检测方法、装置、设备及存储介质
JP2024066886A (ja) * 2022-11-02 2024-05-16 京セラ株式会社 電子機器、電子機器の制御方法、及びプログラム
CN115712111A (zh) * 2022-11-07 2023-02-24 北京斯年智驾科技有限公司 一种相机雷达联合标定方法、系统、电子装置、计算机设备及存储介质
CN115890677B (zh) * 2022-11-29 2024-06-11 中国农业大学 一种用于标准化笼养鸡舍的捡死鸡机器人及其方法
CN115778445A (zh) * 2022-12-07 2023-03-14 佗道医疗科技有限公司 一种机械臂末端激光指引验证方法
CN115855042B (zh) * 2022-12-12 2024-09-06 北京自动化控制设备研究所 一种基于激光雷达协同辅助的行人视觉导航方法
CN116000927B (zh) * 2022-12-29 2024-06-18 中国工程物理研究院机械制造工艺研究所 一种机器人视觉系统空间位置导引精度的测量装置及方法
CN116366522B (zh) * 2023-01-10 2024-09-27 中通服创立信息科技有限责任公司 缆线设施位置纠偏方法及系统、缆线路由纠偏方法及系统
WO2024161453A1 (ja) * 2023-01-30 2024-08-08 三菱電機株式会社 画像点群データ処理装置、画像点群データ処理方法、及び画像点群データ処理プログラム
CN115793261B (zh) * 2023-01-31 2023-05-02 北京东方瑞丰航空技术有限公司 一种vr眼镜的视觉补偿方法、系统和设备
CN115908121B (zh) * 2023-02-23 2023-05-26 深圳市精锋医疗科技股份有限公司 内窥镜配准方法及装置和标定系统
CN115908589A (zh) * 2023-02-23 2023-04-04 深圳佑驾创新科技有限公司 一种多传感器标定系统及方法
CN116358517B (zh) * 2023-02-24 2024-02-23 杭州宇树科技有限公司 一种用于机器人的高度地图构建方法、系统以及存储介质
CN115965760B (zh) * 2023-03-15 2023-06-09 成都理工大学 一种泥石流冲积模拟实验堆积体表面重构系统
CN116423505B (zh) * 2023-03-30 2024-04-23 杭州邦杰星医疗科技有限公司 一种机械臂导航手术中机械臂配准模块误差校准方法
CN116038719B (zh) 2023-04-03 2023-07-18 广东工业大学 一种机械臂末端位姿跟踪测量方法、装置及设备
CN116512286B (zh) * 2023-04-23 2023-11-14 九众九机器人有限公司 一种六自由度冲压机器人及其冲压方法
CN116449387B (zh) * 2023-06-15 2023-09-12 南京师范大学 多维度环境信息采集平台及其标定方法
CN116563297B (zh) * 2023-07-12 2023-10-31 中国科学院自动化研究所 颅脑靶点定位方法、装置及存储介质
CN116630444B (zh) * 2023-07-24 2023-09-29 中国矿业大学 一种相机与激光雷达融合校准的优化方法
CN117008122A (zh) * 2023-08-04 2023-11-07 江苏苏港智能装备产业创新中心有限公司 基于多雷达融合定位工程机械设备周围物体的方法和系统
CN116687386B (zh) * 2023-08-07 2023-10-31 青岛市畜牧工作站(青岛市畜牧兽医研究所) 牛体形数据综合校准的雷达探测系统及方法
CN117086500B (zh) * 2023-08-17 2024-06-25 深圳市大德激光技术有限公司 一种激光蚀刻设备电气控制系统
CN116862999B (zh) * 2023-09-04 2023-12-08 华东交通大学 一种双摄像机三维测量的标定方法、系统、设备和介质
CN116883516B (zh) * 2023-09-07 2023-11-24 西南科技大学 相机参数标定方法及装置
CN117092625B (zh) * 2023-10-10 2024-01-02 北京斯年智驾科技有限公司 一种雷达与组合惯导系统的外参标定方法和系统
CN117109505B (zh) * 2023-10-24 2024-01-30 中国飞机强度研究所 一种舰载机拦阻钩姿态测量与空间变形数据确定方法
CN117140536B (zh) * 2023-10-30 2024-01-09 北京航空航天大学 一种机器人控制方法、装置和机器人
CN117257459B (zh) * 2023-11-22 2024-03-12 杭州先奥科技有限公司 一种抗呼吸干扰的电磁导航支气管镜术中地图拓展方法及系统
CN117284499B (zh) * 2023-11-24 2024-01-19 北京航空航天大学 一种基于单目视觉-激光的空间展开机构位姿测量方法
CN117433511B (zh) * 2023-12-20 2024-03-12 绘见科技(深圳)有限公司 一种多传感器融合定位方法
CN117554937B (zh) * 2024-01-08 2024-04-26 安徽中科星驰自动驾驶技术有限公司 一种误差可控的激光雷达和组合惯导外参标定方法和系统
CN117646828B (zh) * 2024-01-29 2024-04-05 中国市政工程西南设计研究总院有限公司 一种用于检测顶管接口相对位移和渗漏水的装置及方法
CN118135034A (zh) * 2024-03-20 2024-06-04 南京理工大学 带作业装置工程机械的三维点云传感器与二维图像传感器联合标定方法
CN118205907B (zh) * 2024-03-22 2024-08-27 浙江公链信息科技有限公司 一种机械臂供包方法和系统
CN117974766B (zh) * 2024-03-28 2024-06-07 西北工业大学 基于时空依据的分布式双红外传感器多目标同一性判定方法
CN117968680B (zh) * 2024-03-29 2024-07-12 西安现代控制技术研究所 一种惯性-雷达组合导航有限帧量测变权重更新方法
CN117994359B (zh) * 2024-04-07 2024-06-11 广东工业大学 一种基于辅助相机的线阵相机标定方法及相关装置
CN118288282B (zh) * 2024-04-09 2024-09-13 湖南师范大学 一种立柱安装特种机器人的三维点云定位测量方法及系统
CN118154700B (zh) * 2024-05-10 2024-09-06 常州星宇车灯股份有限公司 车辆传感器外参准确性的在线监测方法
CN118464069A (zh) * 2024-07-12 2024-08-09 中南大学 一种静态外参标定方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103983961A (zh) 2014-05-20 2014-08-13 南京理工大学 一种3d激光雷达和摄像机联合标定立体标定靶
JP2018526641A (ja) 2015-08-24 2018-09-13 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ レーザ深度マップサンプリングのためのシステム及び方法
CN109828262A (zh) 2019-03-15 2019-05-31 苏州天准科技股份有限公司 基于平面和空间特征的激光雷达与相机自动联合标定方法
CN110322519A (zh) 2019-07-18 2019-10-11 天津大学 一种用于激光雷达与相机联合标定的标定装置及标定方法
CN110599541A (zh) 2019-08-28 2019-12-20 贝壳技术有限公司 一种对多传感器进行标定的方法、装置和存储介质
JP2020516883A (ja) 2017-04-17 2020-06-11 コグネックス・コーポレイション 高精密な校正システム及び方法
US10726579B1 (en) 2019-11-13 2020-07-28 Honda Motor Co., Ltd. LiDAR-camera calibration
CN111627072A (zh) 2020-04-30 2020-09-04 贝壳技术有限公司 一种对多传感器进行标定的方法、装置和存储介质
JP2022514912A (ja) 2019-11-19 2022-02-16 浙江商▲湯▼科技▲開▼▲発▼有限公司 センサのキャリブレーション方法、装置、システム、車両、機器及び記憶媒体

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107194983B (zh) * 2017-05-16 2018-03-09 华中科技大学 一种基于点云与影像数据的三维可视化方法和系统
CN109118547A (zh) * 2018-11-01 2019-01-01 百度在线网络技术（北京）有限公司 多摄像头联合标定系统和方法
CN109712189B (zh) * 2019-03-26 2019-06-18 深兰人工智能芯片研究院（江苏）有限公司 一种传感器联合标定的方法和装置
CN110599546A (zh) * 2019-08-28 2019-12-20 贝壳技术有限公司 一种获取三维空间数据的方法、系统、装置和存储介质
CN110686704A (zh) * 2019-10-18 2020-01-14 深圳市镭神智能系统有限公司 激光雷达与组合惯导的位姿标定方法、系统及介质
CN111127563A (zh) * 2019-12-18 2020-05-08 北京万集科技股份有限公司 联合标定方法、装置、电子设备及存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103983961A (zh) 2014-05-20 2014-08-13 南京理工大学 一种3d激光雷达和摄像机联合标定立体标定靶
JP2018526641A (ja) 2015-08-24 2018-09-13 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ レーザ深度マップサンプリングのためのシステム及び方法
JP2020516883A (ja) 2017-04-17 2020-06-11 コグネックス・コーポレイション 高精密な校正システム及び方法
CN109828262A (zh) 2019-03-15 2019-05-31 苏州天准科技股份有限公司 基于平面和空间特征的激光雷达与相机自动联合标定方法
CN110322519A (zh) 2019-07-18 2019-10-11 天津大学 一种用于激光雷达与相机联合标定的标定装置及标定方法
CN110599541A (zh) 2019-08-28 2019-12-20 贝壳技术有限公司 一种对多传感器进行标定的方法、装置和存储介质
US10726579B1 (en) 2019-11-13 2020-07-28 Honda Motor Co., Ltd. LiDAR-camera calibration
JP2022514912A (ja) 2019-11-19 2022-02-16 浙江商▲湯▼科技▲開▼▲発▼有限公司 センサのキャリブレーション方法、装置、システム、車両、機器及び記憶媒体
CN111627072A (zh) 2020-04-30 2020-09-04 贝壳技术有限公司 一种对多传感器进行标定的方法、装置和存储介质

Also Published As

Publication number Publication date
JP2022039906A (ja) 2022-03-10
CN111735479A (zh) 2020-10-02
CN111735479B (zh) 2021-03-23

Similar Documents

Publication Publication Date Title
JP7072759B2 (ja) マルチセンサによる複合キャリブレーション装置及び方法
CN110555889B (zh) 一种基于CALTag和点云信息的深度相机手眼标定方法
CN112396664B (zh) 一种单目摄像机与三维激光雷达联合标定及在线优化方法
CN109035200B (zh) 一种基于单双目视觉协同的螺栓定位及位姿检测方法
CN108932736B (zh) 二维激光雷达点云数据处理方法以及动态机器人位姿校准方法
KR102257610B1 (ko) 자율 주행 시스템을 위한 복수의 3차원 라이다 센서의 외부 파리미터 보정 방법
CN110728715B (zh) 一种智能巡检机器人摄像机角度自适应调整方法
CN110146038B (zh) 筒形件装配转角的分布式单目相机激光测量装置及方法
CN103065323B (zh) 一种基于单应性变换矩阵的分段空间对准方法
CN113627473A (zh) 基于多模态传感器的水面无人艇环境信息融合感知方法
CN112837383B (zh) 相机与激光雷达重标定方法、装置及计算机可读存储介质
CN112837352B (zh) 基于图像的数据处理方法、装置及设备、汽车、存储介质
Mi et al. A vision-based displacement measurement system for foundation pit
CN115371665B (zh) 一种基于深度相机和惯性融合的移动机器人定位方法
CN114608554B (zh) 一种手持slam设备以及机器人即时定位与建图方法
CN114067210A (zh) 一种基于单目视觉导引的移动机器人智能抓取方法
JPWO2018043524A1 (ja) ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法
CN110720113A (zh) 一种参数处理方法、装置及摄像设备、飞行器
CN114777768A (zh) 一种卫星拒止环境高精度定位方法、系统及电子设备
Deng et al. Joint calibration of dual lidars and camera using a circular chessboard
CN112837314A (zh) 基于2D-LiDAR和Kinect的果树冠层参数检测系统和方法
CN114554030A (zh) 设备检测系统以及设备检测方法
CN114998444B (zh) 一种基于两通道网络的机器人高精度位姿测量系统
CN110136168B (zh) 一种基于特征点匹配和光流法的多旋翼速度测量方法
Gao et al. Altitude information acquisition of uav based on monocular vision and mems

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210113

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210312

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220329

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220411

R150 Certificate of patent or registration of utility model

Ref document number: 7072759

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150