JP6432825B2 - 3次元点群データの位置合わせ方法と装置及びその移動体システム - Google Patents

3次元点群データの位置合わせ方法と装置及びその移動体システム Download PDF

Info

Publication number
JP6432825B2
JP6432825B2 JP2014168996A JP2014168996A JP6432825B2 JP 6432825 B2 JP6432825 B2 JP 6432825B2 JP 2014168996 A JP2014168996 A JP 2014168996A JP 2014168996 A JP2014168996 A JP 2014168996A JP 6432825 B2 JP6432825 B2 JP 6432825B2
Authority
JP
Japan
Prior art keywords
data
point cloud
current
immediately preceding
dimensional point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2014168996A
Other languages
English (en)
Other versions
JP2016045330A (ja
Inventor
篤志 梅村
篤志 梅村
肇 坂野
肇 坂野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
IHI Corp
Original Assignee
IHI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by IHI Corp filed Critical IHI Corp
Priority to JP2014168996A priority Critical patent/JP6432825B2/ja
Publication of JP2016045330A publication Critical patent/JP2016045330A/ja
Application granted granted Critical
Publication of JP6432825B2 publication Critical patent/JP6432825B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Instructional Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Description

本発明は、移動体により取得した3次元点群データの位置合わせ方法と装置及びその移動体システムに関する。
自律走行又は半自律走行を行う移動体にレーザ装置(例えば、レーザレンジファインダ:LRF)を搭載し、前方の路面や障害物を検出して、周辺の地形を把握し、経路計画や速度制御などの車両制御を行うための地図情報を構築する手段が既に開示されている(例えば、特許文献1)。
上記地図情報として、構造格子あるいは非構造格子の地図上に、各点の高さ情報を与えたモデルをDEM(Digital Elevation Model:数値標高モデル)と呼ぶ。
レーザレンジファインダ(LRF)の計測密度は、計測位置から離れるほど疎になり、例えば移動体から40〜50m離れた位置では、計測間隔は2〜3m以上となる。そのため、数値標高モデル(DEM)のデータ密度を高めるためには移動体が移動しながら地形計測を繰り返し、複数のデータを統合する必要がある。同様に、広域の数値標高モデルを生成する場合にも、移動体が移動しながら地形計測を繰り返し、複数のデータを統合する必要がある。
複数の点群データを位置合わせする点群位置合わせ手段は、例えば特許文献2〜4に開示されている。
一方、移動体の位置と姿勢の情報(位置姿勢情報)は、加速度センサ、重力センサ、地磁気センサ、ジャイロ、GPSなど各種センサ類の計測値を統合することで推定できる。かかる推定方法は、一般にデッドレコニングと呼ばれる。
特開2011−150473号公報 特開2007−35042号公報 特開2012−63866号公報 特開2008−262307号公報
上記デッドレコニングによっても、移動体の位置情報又は姿勢情報には誤差が発生する。この誤差により、レーザレンジファインダで取得した複数の点群データを位置合わせする際に、位置ずれが生じる。この位置ずれに起因し、移動体から離れた位置の小さい障害物(例えば高さ2〜30cm)が誤差に埋もれて早期に検出できず、直前になって検出されるため、高速走行(例えば時速30〜100km)が困難となる問題が発生し得る。
また、レーザレンジファインダによる3次元点群データは、毎秒約20フレーム(例えば5〜50Hz)の頻度で計測される。従って前回と今回のフレーム(前フレームと現フレーム)の点群位置合わせは、1/20秒以内(1/50〜1/5秒以内)に完了する必要がある。
しかし、特許文献2〜4の点群位置合わせ手段では、複数の点群データから位置合わせの基準となるデータとして、地面、特徴部分、建物のコーナーなどを抽出する前処理が不可欠である。この前処理によって位置合わせに用いる点数を削減できるが、前処理に要する計算コストが大きい、あるいは点数の削減効果が薄いなどの理由により、高速処理が困難又は不可能であった。
本発明は上述した問題点を解決するために創案されたものである。すなわち本発明の目的は、移動体の位置情報又は姿勢情報に誤差が発生しても、移動体から離れた位置の小さい障害物(例えば高さ2〜30cm)を検出でき、かつ短時間(例えば1/20秒以内)に点群位置合わせを完了できる3次元点群データの位置合わせ方法と装置及びその移動体システムを提供することにある。これにより、移動体の位置情報又は姿勢情報を修正でき、かつ移動体の高速走行(例えば時速30〜100km)が可能となる。
本発明によれば、移動体に搭載されたレーザレンジファインダで取得した3次元点群データの位置合わせ方法であって、
(A)直前の3次元点群データのうち、直前の移動体の進行方向である第1方向に位置する鉛直平面上の直前データと、
現在の3次元点群データのうち、前記第1方向に位置する鉛直平面上の現在データと、を抽出するデータ抽出ステップと、
(B)直前データと現在データの距離の差が最小となるように、現在の3次元点群データの位置を修正する位置修正ステップと、
(C)修正した現在の3次元点群データを直前までの3次元点群データに加算して、移動体周辺の高さ情報を含む地図データを更新する地図更新ステップと、を有する、ことを特徴とする3次元点群データの位置合わせ方法が提供される。
前記位置修正ステップにおいて、直前データと現在データの距離の差が最小となるように、現在の3次元点群データの位置を修正する位置合わせ量を算出する。
前記位置修正ステップにおいて、前記第1方向に位置する鉛直平面上に、鉛直平面近傍の直前又は現在の3次元点群データの一部を投影する。
前記位置修正ステップにおいて、鉛直平面上の直前データ又は現在データから前記鉛直平面上の地表面に相当する形状パラメータを求める。
前記位置修正ステップにおいて、現在の3次元点群データの幾何変換を行う。
前記位置修正ステップにおいて、直前データと現在データの距離の差が最小となるように、移動体の現在の位置又は姿勢を修正する。
前記位置修正ステップにおいて、粒子フィルタを用いる。
前記位置修正ステップにおいて、状態推定方法を適用する。
前記位置修正ステップにおいて、路面推定処理を含む。
また、本発明によれば、移動体に搭載されたレーザレンジファインダで取得した3次元点群データの位置合わせ装置であって、
移動体周辺の高さ情報を含む地図データを記憶する地図メモリと、
直前の3次元点群データのうち、直前の移動体の進行方向である第1方向と、該第1方向に位置する鉛直平面上の直前データとを記憶する直前メモリと、
現在の3次元点群データを記憶する現在メモリと、
データ処理装置と、を備え、該データ処理装置は、
(A)現在の3次元点群データのうち、前記第1方向に位置する鉛直平面上の現在データを抽出し、
(B)直前データと現在データの距離の差が最小となるように、現在の3次元点群データの位置を修正し、
(C)修正した現在の3次元点群データを直前までの地図メモリに加算する、ことを特徴とする3次元点群データの位置合わせ装置が提供される。
前記データ処理装置は、前記(C)の後、
前記直前メモリの前記第1方向を、現在の移動体の進行方向に置換し、
前記直前メモリの直前データを、現在の移動体の進行方向に位置する鉛直平面上のデータに置換する。
さらに、本発明によれば、移動体と、上述した3次元点群データの位置合わせ装置を搭載する、ことを特徴とする移動体システムが提供される。
上記本発明の方法と装置及びその移動体システムによれば、データ抽出ステップにおいて、直前データと現在データを抽出する。直前データは、直前の移動体の進行方向である第1方向に位置する鉛直平面上のデータであり、直前の3次元点群データの一部である。また、現在データは、前記第1方向に位置する鉛直平面上のデータであり、現在の3次元点群データの一部である。
直前データと現在データは取得時がわずか(例えば1/20秒以内)に異なるが、同一の第1方向(直前の移動体の進行方向)のデータなので、実質的にほとんど一致する。しかし、移動体の位置又は姿勢に誤差がある場合、その誤差により、直前データと現在データとの間に距離の差が生じる。
本発明では、位置修正ステップにおいて、直前データと現在データの距離の差が最小となるように、現在の3次元点群データの位置を修正する。この修正により、移動体の位置又は姿勢の誤差の影響を排除することができる。
従って、本発明によれば、移動体の位置情報又は姿勢情報に誤差が発生しても、誤差の影響を排除した地図データを作成することができ、移動体から離れた位置の小さい障害物(例えば高さ2〜30cm)を検出できる。
また、直前データと現在データは、レーザレンジファインダで取得した3次元点群データのうち、直前の移動体の進行方向である第1方向のデータであり、それぞれ抽出が容易であり、かつその点数は少ない(例えば、10〜100点)。
従って、追加の処理なしに短時間(例えば1/20秒以内)に点群位置合わせを完了でき、これにより、移動体の位置情報又は姿勢情報を修正でき、かつ移動体の高速走行(例えば時速30〜100km)が可能となる。
言い換えれば、本発明によれば、少ない計算コストで、デッドレコニングによる自己位置姿勢を補正して数値標高モデルの精度を向上することにより、進行方向に存在する背の低い(回避すべき)障害物を発見しやすくなる。
本発明の位置合わせ装置を備えた移動体の構成図である。 本発明の位置合わせ装置の全体構成図である。 本発明による位置合わせ方法の全体フロー図である。 周囲環境計測ステップの説明図である。 データ抽出ステップの説明図である。 平面投影ステップの説明図である。 法線推定ステップの説明図である。 位置合わせ量算出ステップの説明図である。 幾何変換ステップの説明図である。
以下、本発明の好ましい実施形態を添付図面に基づいて詳細に説明する。なお、各図において共通する部分には同一の符号を付し、重複した説明を省略する。
図1は、本発明の位置合わせ装置10を備えた移動体1の構成図である。この図において、(A)は側面図、(B)は平面図である。また図中の○印は、レーザレンジファインダ2による計測点を示している。
移動体1は車両であり、レーザレンジファインダ2を備える。
レーザレンジファインダ2(LRF)は、移動体1の前方あるいは上方に設置されている。レーザレンジファインダ2の設置高さは地面から30cm以上、例えば1.5〜4mの範囲である。
レーザレンジファインダ2は、レーザ光3の入射光の投光から反射光の受光までの時間差から距離を検出する。
レーザレンジファインダ2は、この例では、上下に等ピッチ(例えば0.1〜2度)のチルト角で配列されたレーザ光3を水平旋回軸Zを中心に水平に(水平面内で)旋回させ、1回転で移動体1の周囲の3次元点群データ4(図2参照)を取得する。回転方向の計測ピッチは例えば0.1〜2度である。
水平旋回軸Zの向きは移動体1の姿勢に追随する(移動体1に対して固定されている)。すなわち、移動体1の姿勢が水平であるとき、水平旋回軸Zの向きは鉛直になる。換言すれば、水平旋回軸Zは、移動体1が水平に位置するときの鉛直軸である。
上述したレーザレンジファインダ2は、1秒間に約20回(5〜50回)旋回し、毎秒約20フレーム(例えば5〜50フレーム)の3次元点群データ4を取得する。
各3次元点群データ4は、例えばレーザ光3が50であり、回転方向の計測ピッチが1度の場合、50×360=18000点の点群データを含む。
従って、本発明の位置合わせ装置10は、この例では、2万点程度(18000点)の点群データを扱い、1/20秒以内(1/50〜1/5秒以内)に位置合わせを完了する必要がある。
なお、レーザレンジファインダ2は、上述したものに限定されず、回転することで点群データを取得するレーザレンジファインダであればよい。また本発明はレーザレンジファインダに限定されず、レーダ、あるいは距離画像センサを用いてもよい。
図1において、説明の都合上、n点(例えば50点)のレーザ光3を移動体1に近いほうから、1,2,3,・・・,k,・・・n−1,nと番号を付ける。番号nのレーザ光3は、移動体1から例えば30〜100mの走行路面、番号1のレーザ光3は、移動体1から1〜10mの走行路面を照射するように設定されている。
n=50かつチルト方向の角度ピッチが1度の場合、番号1,2の水平間隔は例えば数cm程度であるが、番号n−1,nの水平間隔は数mにも及ぶため、遠方の小さな障害物を早期に発見することは困難である。
そのため、上述したように、数値標高モデル(DEM)のデータ密度を高めるためには移動体1が移動しながら地形計測を繰り返し、複数のデータを統合する必要がある。
図2は、本発明の位置合わせ装置10の全体構成図である。
この図において、本発明の位置合わせ装置10は、地図メモリ12、直前メモリ14、現在メモリ16、及びデータ処理装置18を備える。
地図メモリ12は、移動体1の周辺の高さ情報を含む地図データ5を記憶する。地図データ5は、上述した数値標高モデル(DEM)に相当し、後述する地図更新ステップS4により、移動体周辺の高さ情報が繰り返し蓄積され、データ密度を高めるようになっている。なお、例えば不要になったときに、地図データ5の一部又は全部を消去することもできる。
直前メモリ14は、直前の3次元点群データ4Aのうち、直前の移動体1の進行方向である第1方向F(図5参照)と、第1方向Fに位置する鉛直平面上の直前データ6とを記憶する。「第1方向Fに位置する鉛直平面」とは、第1方向Fと水平旋回軸Zの張る平面を意味する。
直前データ6は、レーザレンジファインダ2により計測された進行方向である第1方向Fに位置する鉛直平面の直前のデータであり、上述の例では50点のデータ数を有する。以下、この鉛直平面を「直前基準平面P1」と呼ぶ。
直前メモリ14は、直前の3次元点群データ4Aのすべては記憶せず、少なくとも第1方向Fと、第1方向Fに位置する鉛直平面の直前のデータとを記憶すればよい。従って、直前メモリ14の記憶容量を小さく設定することができる。
現在メモリ16は、現在の3次元点群データ4Bを記憶する。現在メモリ16は、現在の3次元点群データ4Bのみを記憶する。また、後述する地図更新ステップS4の後に、現在の3次元点群データ4Bの一部のみを直前メモリ14に置換した後、現在の3次元点群データ4Bは消去される。従って、現在メモリ16は、1フレームの3次元点群データ4Bのみを記憶できればよく、その記憶容量を小さく設定することができる。
データ処理装置18は、例えばコンピュータ(PC)であり、以下の演算を実施する。
(A)初めに、データ処理装置18は、現在メモリ16から、現在の3次元点群データ4Bのうち、上述した第1方向F(図5参照)に位置する鉛直平面上の現在データ7を抽出する。現在データ7は、直前データ6と同一の第1方向F(方位)に位置する鉛直平面上の現在のデータであり、上述の例では50点のデータ数を有する。以下、この鉛直平面を「現在基準平面P2」と呼ぶ。
なお、第1方向Fは、「直前の移動体1の進行方向」であり、「現在の移動体1の進行方向」ではない。現在の移動体1の進行方向は、第1方向Fと一致しても相違してもよい。
また、レーザレンジファインダのレーザ配向、あるいは計測誤差によって、第1方向F(方位)に位置する鉛直平面、すなわち現在基準平面P2上にデータが整列しない場合が有り得る。そのため、現在基準平面P2の近傍に位置し、同時に計測したとみなせるn点(例えば50点)のデータを現在基準平面P2上に投影して現在データ7として用いることが好ましい。この近傍は、第1方向に対して30度以内の範囲であることが好ましい。
直前基準平面P1と現在基準平面P2は、「直前の移動体1の進行方向である第1方向Fに位置する鉛直平面」である点で共通する。すなわち、両平面とも、直前の移動体1の第1方向F(方位)を基準としている。そのため上述した水平旋回軸Zが互いに平行である限り、移動体1の位置と向きが異なっても、直前基準平面P1と現在基準平面P2は互いに平行である。
従って、直前データ6と現在データ7は取得時がわずか(例えば1/20秒程度)に異なるが、同一の第1方向F(方位)の3次元点群データ4A、4Bの一部なので、実質的にはほとんど一致する。しかし、移動体1の位置又は姿勢に誤差がある場合、その誤差により、直前データ6と現在データ7との間に距離の差が生じる。
(B)次に、データ処理装置18は、直前データ6と現在データ7の距離の差が最小となるように、現在の3次元点群データ4Bの位置を修正する。
(C)次いで、データ処理装置18は、修正した現在の3次元点群データ4Cを直前までの地図メモリ12に加算する。ここで「加算」とは、情報を付け加える意味である。
またデータ処理装置18は、(C)の後、直前データ6の第1方向Fを現在の移動体1の進行方向に置換する。さらに、直前メモリ14の直前データ6を現在の移動体1の進行方向に位置する鉛直平面上のデータに置換する。これらの進行方向とデータは、現在の3次元点群データ4Bの一部であり、追加の処理なしに置換することができる。
この場合、現在の移動体1の進行方向(方位)は、直前の移動体1の進行方向(方位)とは通常相違する。
図3は、本発明による位置合わせ方法の全体フロー図である。この図において、本発明の位置合わせ方法は、S1〜S4の各ステップ(工程)からなる。
また、図4〜図9は、本発明による位置合わせ方法の説明図である。
以下、図3〜図9を用いて、本発明の方法を説明する。
ステップS1は、周囲環境計測ステップであり、移動体1の現在の位置姿勢情報と、現在の3次元点群データ4Bを取得する。
移動体1の現在の位置姿勢情報は、移動体1に搭載された加速度センサ、重力センサ、地磁気センサ、ジャイロ、GPSなど各種センサ類の計測値を統合して推定する。従って、移動体1の進行方向(図1参照)は、位置姿勢情報として常に得られている。しかしこの位置姿勢情報(移動体1の位置又は姿勢の情報)には誤差が含まれる。
図4は、ステップS1(周囲環境計測ステップ)の説明図であり、(A)は側面図、(B)は平面図である。また、図中において、Gは、移動体1の進行方向真正面に位置する障害物である。
現在の3次元点群データ4Bは、例えば上述した2万点程度(18000点)の点群データである。3次元点群データ4の各点データは、位置データと、移動体1の進行方向真正面に対する水平旋回軸Zまわりの角度データと、を含んでいる。
ステップS2は、データ抽出ステップであり、直前データ6と現在データ7を抽出する。図3において、ステップS2は、直前データ6の抽出ステップS21と、現在データ7の抽出ステップS22とからなる。抽出ステップS21、S22は順序が逆であってもよい。
図5は、ステップS2(データ抽出ステップ)の説明図である。
図5(A)は、図4(B)と同様の平面図である。この図において、移動体1は、実線は現在、破線は直前のものを示している。また、図5(B)は、移動体1の姿勢変化を(1)(2)(3)の順で示している。
直前データ6は、直前の3次元点群データ4Aのうち、直前メモリ14に記憶された直前の移動体1の進行方向である第1方向Fと、この第1方向Fに位置する直前基準平面P1上の50点のデータである。直前データ6は、直前メモリ14から追加の処理なしに抽出することができる。この直前データ6は、図5(A)の直前基準平面P1(破線の矢印)上のデータに相当する。
なお図5(A)には、直前データ6は示されていない。
現在データ7は、現在の3次元点群データ4Bのうち、直前データ6と同一の第1方向Fに位置する50点のデータである。このデータは、ステップS1で取得した3次元点群データ4の角度データと、移動体1の現在の位置姿勢情報の進行方向から、抽出することができる。この現在データ7は、図5(A)の現在基準平面P2(実線の矢印)上のデータ(●印)に相当する。
図5(B)において、(1)が直前の姿勢(2)が現在の姿勢の場合、(2)の実線の矢印は現在の進行方向、破線の矢印は直前の進行方向である。
同様に、(2)が直前の姿勢(3)が現在の姿勢の場合、(3)の実線の矢印は現在の進行方向、破線の矢印は直前の進行方向である。
図3において、ステップS3は位置修正ステップであり、直前データ6と現在データ7の距離の差が最小となるように、現在の3次元点群データ4Bの位置を修正する。
この際、直前データ6と現在データ7の距離の差が最小となる位置合わせ量に従い、現在の3次元点群データ4Bに幾何変換を実施する。なお、本発明における幾何変換とは、点群全体に対して均一な回転ないし並進移動を行う、いわゆる剛体変換を意図している。
図3において、ステップS3(位置修正ステップ)は、S31〜S36の各ステップ(工程)からなる。
ステップS31は、平面投影ステップである。図6は、平面投影ステップの説明図である。
ステップS31において、図6に示すように、第1方向Fに位置する鉛直平面である直前基準平面P1上に、この鉛直平面近傍の直前又は現在の3次元点群データ4A、4Bの一部を投影する。
直前データ6と現在データ7は、レーザレンジファインダ2による前回と今回のフレーム(前フレームと現フレーム)のデータであるため、例えば1/20秒以内(1/50〜1/5秒以内)の時間差がある。そのため、レーザレンジファインダのレーザ配向、わずかな計測時間のずれ、あるいは計測誤差により、直前データ6と現在データ7のデータが同一方向に整列していない場合がある。この場合、直前データ6と現在データ7を直前基準平面P1上に投影して同一平面上で扱うことが好ましい。
なおステップS3において、点群の位置合わせを行う際、位置合わせ不良の原因となる点群を事前に除去しておくことで、位置合わせ計算を安定化できる。
図3において、ステップS32は、直前データ6の法線推定ステップである。図7は、法線推定ステップの説明図である。
各点における法線は、例えば前後の点との3点による接続角度をもとに推定することができる。各点における法線を推定することは、言い換えれば地表面の形状を各点近傍において平面近似することに他ならない。
また法線推定に限らず、各点を結ぶ折れ線、あるいは折れ線を近似する曲線を用いて、地表面形状を推定してもかまわない。
なお、地表面形状の推定は、現在データ7に適用してもよい。
すなわちこのステップでは、鉛直平面上の直前データ又は現在データから鉛直平面上の地表面に相当する形状パラメータを求める。「形状パラメータ」には、曲線、折れ線、法線などが含まれる。
図3において、ステップS33は、近傍点探索ステップである。直前データ6の各点について、現在データ7の各点のうちもっとも距離が近いと推定される点を探索し、対応付けを行う。上述した推定した地表面形状に対し、現在データ7の各点を投影し、近傍点探索を行うことが好ましい。なお、直前データ6と現在データ7の親子関係は入れ替えてもよい。
図3において、ステップS34は、位置合わせ量算出ステップである。図8は、位置合わせ量算出ステップの説明図である。
この図に示すように、ステップS34において、直前データ6と現在データ7の差が最小となるように、現在の3次元点群データ4Bの位置を修正する位置合わせ量を算出する。
ここで「直前データ6と現在データ7の差が最小となる」とは、「直前データ6と現在データ7の差、例えば図8では直前データ6をもとに推定あるいは近似した地表面に対する現在データ7の垂直距離Lの二乗和が最小となる」ことを意味する。
位置合わせ量は、現在の3次元点群データ4Bを幾何変換するための、位置と姿勢の変換量である。
図3において、ステップS35は、幾何変換ステップである。図9は、幾何変換ステップの説明図である。
図9において、(A)は変換前、(B)は変換後を示している。また各図において、破線は直前データ6、実線は現在データ7である。
図9(A)は、前方の地形が同じであるが、移動体1が上向きにチルトしたため、現在データ7と直前データ6の距離の差が大きい状態を示している。この場合、図9(B)に示すように、ステップS34で求めた位置合わせ量に基づき、現在データ7を直前データ6の位置まで幾何変換することで、直前データ6との誤差を最小化することができる。
なお、この幾何変換は、現在データ7のみではなく、現在の3次元点群データ4Bの全体を幾何変換する。
図3において、ステップS36は、自己位置姿勢情報の修正ステップである。
ステップS36において、直前データ6と現在データ7の距離の差が最小となるように、移動体1の自己位置姿勢情報(現在の位置情報と姿勢情報)を修正することで、計測誤差の影響を低減し、より妥当な自己位置姿勢情報を得ることができる。
このステップS36により、現在の移動体1が有する位置姿勢情報(移動体1の位置又は姿勢の情報)の誤差が修正される。また、このステップを常に繰り返すことから、直前の移動体1の位置姿勢情報の誤差が低減され、同様に数値標高モデル(DEM)である地図データ5は、移動体1の位置姿勢情報の誤差に起因する進行方向の路面上におけるずれが低減されたものとなる。
ステップS34では、所望の最適化手法、例えば最小二乗法を適用できる。あるいは、粒子フィルタ(パーティクルフィルタ、モンテカルロ法などとも呼ばれる)を用いて解探索を行うことができる。
また、ステップS36で自己位置姿勢を修正する際は、各センサの出力値および上述した最適化手法により得られた推定量を統合するため、カルマンフィルタなどの状態推定方法を用いることができる。
さらに、直前データ6ないし現在データ7に対して路面推定処理を行い、ステップS3の位置合わせ量算出への寄与度が小さい点をあらかじめ除去しておくことが好ましい。
例えば最小二乗法やRANSAC(RANdom SAmple Consensus)などのランダムサンプリング手法を用いて、路面推定すなわち路面を構成する点群の抽出を行い、推定後の点群を用いて点群位置合わせ方法を適用することができる。
上述した路面推定処理により障害物Gを除去した状態の地図同士を位置合わせすることができるため、障害物Gに起因するミスマッチを低減できる。
図3において、ステップS4は、地図データ5の地図更新ステップであり、修正した現在の3次元点群データ4Cを直前までの3次元点群データ4に加算して、移動体周辺の高さ情報を含む地図データ5を更新する。
すなわち、ステップS3で現在の3次元点群データ4Bを幾何変換した3次元点群データ4Cを、直前までの3次元点群データ4に重ね合わせることで、ずれの少ない地図データ5を得ることができる。
なお、上述した第1方向Fは、直前の移動体1の進行方向に限定されず、その他の方向であってもよい。また、直前データ6と現在データ7は、上述したそれぞれ直前基準平面P1と現在基準平面P2上のデータに限定されず、その他の任意の部分データであってもよい。以下、この場合の直前データ6と現在データ7をそれぞれ単に、「第1の部分点群」、「第2の部分点群」と呼ぶ。
この場合、上述したステップS2では、位置合わせ対象となる前後の点群データについて、前フレームの点群から前フレームの進行方向中央付近すなわち第1方向Fに沿った第1の部分点群を抽出し、後フレームの点群から同一の第1方向Fに沿った方向の第2の部分点群を抽出する。
<進行方向の部分地形抽出、前フレームの進行方向に沿った部分地形抽出>
位置合わせ対象となる前後の点群について、前フレームの点群から前フレームの進行方向中央付近すなわち第1方向Fに沿った第1の部分点群を抽出し、後フレームの点群から第1方向Fに沿った方向の第2の部分点群を抽出する。以下、第1の部分点群と第2の部分点群に点群位置合わせ方法を適用し、双方のずれを減少する位置合わせ量を得る。
本発明の目的においては、少なくとも重力方向の併進ずれ、およびピッチ角方向の回転ずれ量を得る必要がある。また、一般的な車道においては進行方向に障害物Gが少なく、点群位置合わせのみでは進行方向のずれ量が推測できない場合があるため、進行方向の移動量はGPSによる位置情報、あるいは加速度センサや車速パルスなどを統合して得られる移動量などを用いることができる。点群位置合わせ方法として、例えばICP法(Iterative Closest Point法)が利用できる。ICP法は、対応点同士の距離を繰り返し計算により最小化し、点群の位置合わせを行う解析手段である。
<平面投影、近傍点探索>
上述した第1の部分点群あるいは第2の部分点群を得る際、レーザレンジファインダ2の仕様によって同一方向に点群が整列していない場合がある。また移動体1の姿勢変化や計測誤差などの要因により、第1の部分点群と第2の部分点群の向きは厳密には一致しない。そこで重力方向軸と上述した第1方向Fが張る平面に点群を投影することで、部分点群同士の向きを揃え、3次元点群の位置合わせを2次元的に行うことができる。
第1の部分点群と第2の部分点群の間には上述した平面に対し垂直方向のオフセットが生じてしまう場合があるが、上述した投影により同一平面上で点群位置合わせを行い、上述したオフセットの影響は少ないものと見なす。
ICP法のような近傍点探索を必要とする点群位置合わせ方法において、近傍点探索による計算コストの増大が課題となる場合があるが、上述した投影により点群が第1方向Fに沿って配置されるため、近傍点探索が容易になる。点群の位置合わせを行う際、位置合わせ不良の原因となる点群を事前に除去しておくことで、位置合わせ計算を安定化できる。例えば路面推定により路面のみを含む点群同士で位置合わせを行うのが好適である。
<前フレームの法線推定、位置合わせ量算出>
ICP法などの点群位置合わせ方法は、対応点同士の結びつきが強く、局所解に陥りやすい。そのため、レーザレンジファインダ2のような疎な点群同士の位置合わせには向いていない。本発明では、上述した局所解への解析手段として、一方あるいは双方の点群を折れ線や曲線で補間する、あるいは一方の点群の法線を推定し上述した法線による疑似平面を仮定することで位置合わせ量を得る。
例えば、点群対疑似平面の垂直距離をもとに位置合わせを行うよう拡張されたICP法は「Point‐to‐Plane型ICP法」などと呼ばれ、本発明に適用可能な解析手段の1つである。ICP法を適用する際、初期姿勢の決定方法が課題となる場合がある。例えば、パーティクルフィルタを用いて初期値探索を行うことができる。パーティクルフィルタは粒子フィルタ、あるいはモンテカルロフィルタなどと呼ばれることもあるが、本発明に適用可能な解析手段の別称にすぎない。また、本発明はパーティクルフィルタ以外の初期値探索の可能性を拒絶するものではなく、他の初期値探索方法を適用することも可能である。
<地形情報の幾何変換、自己位置姿勢情報の修正>
上述した位置合わせ量に従い、各部分点群の親である3次元点群に幾何変換、例えば回転変換および並進変換を行う。上述した幾何変換により、ずれの少ない合成地形を得ることができる。このとき、上述した位置合わせ量に応じて移動体1の自己位置姿勢情報を修正することで、計測誤差の影響を低減し、より妥当な自己位置姿勢情報を得ることができる。センサ情報や自己位置姿勢情報を統合する際、カルマンフィルタなどの状態推定方法を用いることができる。
<前フレームの部分地形の上書き>
複数の点群を連続して位置合わせしていく際、不要になった点群を極力早期に削除ないし削減したい場合がある。例えば部分点群を得る際、上述した第1の部分点群および第2の部分点群に加え、後フレームの進行方向すなわち第2の方向に沿った第3の部分点群さえ確保できれば、上述した位置合わせを連続して行うことができる。また、第1の部分点群を毎回更新せず、特定の時間保持し続けてもよい。
<計算時間が低減できることに関する具体的説明>
レーザレンジファインダ2で取得した2組以上の点群の位置ずれ量を求め位置合わせを行う場合、計測点数の増大に伴い計算時間も増大することが課題とされてきた。
上述した課題に対し、従来方法では例えば点間の起伏などをもとに点群の特徴部分を抽出し位置合わせを行う方法が提案されている。しかし、特徴部分の抽出のための前処理コストが生じ、抽出方法によっては十分に点数を削減することができない、あるいは適切に特徴部分を抽出することができないなどの課題があった。
本発明は位置合わせに必要な点を取得する際に全点群のうち所望の方位に分布する点群を選択するだけなので、追加の処理が不要である。また、位置合わせのために抽出する点数も高々レーザレンジファインダ2のレイヤ数(進行方向のレーザ照射点数)程度なので、位置合わせ計算のコストを容易に低減できる。
本発明の移動体システムは、移動体が3次元点群データの位置合わせ装置を搭載する。
また、移動体とは別の場所に設置され移動体と通信する通信装置を備え、この通信装置が3次元点群データの位置合わせ装置の一部を搭載してもよい。
上述した本発明の方法と装置及びその移動体システムによれば、データ抽出ステップS2において、直前データ6と現在データ7を抽出する。直前データ6は、直前の移動体1の進行方向である第1方向Fに位置する鉛直平面上のデータであり、直前の3次元点群データ4Aの一部である。また、現在データ7は、第1方向Fに位置する鉛直平面上のデータであり、現在の3次元点群データ4Bの一部である。
直前データ6と現在データ7は取得時がわずか(例えば1/20秒程度)に異なるが、同一の第1方向F(直前の移動体1の進行方向)のデータなので、実質的にほとんど一致する。しかし、移動体1の位置又は姿勢に誤差がある場合、その誤差により、直前データ6と現在データ7との間に距離の差が生じる。
本発明では、位置修正ステップS3において、直前データ6と現在データ7の距離の差が最小となるように、現在の3次元点群データ4Bの位置を修正する。この修正により、移動体1の位置又は姿勢の誤差の影響を排除することができる。
従って、本発明によれば、移動体1の位置情報又は姿勢情報に誤差が発生しても、誤差の影響を排除した地図データ5を作成することができ、移動体1から離れた位置の小さい障害物G(例えば高さ2〜30cm)を検出できる。
また、直前データ6と現在データ7は、レーザレンジファインダ2で取得した3次元点群データ4A、4Bのうち、直前の移動体1の進行方向である第1方向Fのデータであり、それぞれ3次元点群データ4A、4Bから追加の処理なしに抽出でき、かつその点数は少ない(例えば50点)。
従って、追加の処理なしに短時間(例えば1/20秒以内)に点群位置合わせを完了でき、これにより、移動体1の位置情報又は姿勢情報を修正でき、かつ移動体1の高速走行(例えば時速30〜100km)が可能となる。
言い換えれば、本発明によれば、少ない計算コストで、デッドレコニングによる自己位置姿勢を補正し数値標高モデルの精度を向上することにより、進行方向に存在する背の低い(回避すべき)障害物Gを発見しやすくなる。
なお本発明は上述した実施の形態に限定されず、本発明の要旨を逸脱しない範囲で種々変更を加え得ることは勿論である。
F 第1方向、G 障害物、L 垂直距離、
P1 直前基準平面、P2 現在基準平面、Z 水平旋回軸、
1 移動体、2 レーザレンジファインダ(LRF)、
3 レーザ光、4 3次元点群データ、4A 直前の3次元点群データ、
4B 現在の3次元点群データ、4C 修正した現在の3次元点群データ、
5 地図データ、6 直前データ、7 現在データ、10 位置合わせ装置、
12 地図メモリ、14 直前メモリ、16 現在メモリ、18 データ処理装置

Claims (12)

  1. 移動体に搭載されたレーザレンジファインダで取得した3次元点群データの位置合わせ方法であって、
    (A)直前の3次元点群データのうち、直前の移動体の進行方向である第1方向に位置する鉛直平面上の直前データと、
    現在の3次元点群データのうち、前記第1方向に位置する鉛直平面上の現在データと、を抽出するデータ抽出ステップと、
    (B)直前データと現在データの距離の差が最小となるように、現在の3次元点群データの位置を修正する位置修正ステップと、
    (C)修正した現在の3次元点群データを直前までの3次元点群データに加算して、移動体周辺の高さ情報を含む地図データを更新する地図更新ステップと、を有する、ことを特徴とする3次元点群データの位置合わせ方法。
  2. 前記位置修正ステップにおいて、直前データと現在データの距離の差が最小となるように、現在の3次元点群データの位置を修正する位置合わせ量を算出する、ことを特徴とする請求項1に記載の3次元点群データの位置合わせ方法。
  3. 前記位置修正ステップにおいて、前記第1方向に位置する鉛直平面上に、鉛直平面近傍の直前又は現在の3次元点群データの一部を投影する、ことを特徴とする請求項1に記載の3次元点群データの位置合わせ方法。
  4. 前記位置修正ステップにおいて、鉛直平面上の直前データ又は現在データから前記鉛直平面上の地表面に相当する形状パラメータを求める、ことを特徴とする請求項1に記載の3次元点群データの位置合わせ方法。
  5. 前記位置修正ステップにおいて、現在の3次元点群データの幾何変換を行う、ことを特徴とする請求項1に記載の3次元点群データの位置合わせ方法。
  6. 前記位置修正ステップにおいて、直前データと現在データの距離の差が最小となるように、移動体の現在の位置又は姿勢を修正する、ことを特徴とする請求項1に記載の3次元点群データの位置合わせ方法。
  7. 前記位置修正ステップにおいて、粒子フィルタを用いる、ことを特徴とする請求項1に記載の3次元点群データの位置合わせ方法。
  8. 前記位置修正ステップにおいて、状態推定方法を適用する、ことを特徴とする請求項1に記載の3次元点群データの位置合わせ方法。
  9. 前記位置修正ステップにおいて、路面推定処理を含む、ことを特徴とする請求項1に記載の3次元点群データの位置合わせ方法。
  10. 移動体に搭載されたレーザレンジファインダで取得した3次元点群データの位置合わせ装置であって、
    移動体周辺の高さ情報を含む地図データを記憶する地図メモリと、
    直前の3次元点群データのうち、直前の移動体の進行方向である第1方向と、該第1方向に位置する鉛直平面上の直前データとを記憶する直前メモリと、
    現在の3次元点群データを記憶する現在メモリと、
    データ処理装置と、を備え、該データ処理装置は、
    (A)現在の3次元点群データのうち、前記第1方向に位置する鉛直平面上の現在データを抽出し、
    (B)直前データと現在データの距離の差が最小となるように、現在の3次元点群データの位置を修正し、
    (C)修正した現在の3次元点群データを直前までの地図メモリに加算する、ことを特徴とする3次元点群データの位置合わせ装置。
  11. 前記データ処理装置は、前記(C)の後、
    前記直前メモリの前記第1方向を、現在の移動体の進行方向に置換し、
    前記直前メモリの直前データを、現在の移動体の進行方向に位置する鉛直平面上のデータに置換する、ことを特徴とする請求項10に記載の3次元点群データの位置合わせ装置。
  12. 移動体と、請求項10又は11に記載の3次元点群データの位置合わせ装置を搭載する、ことを特徴とする移動体システム。
JP2014168996A 2014-08-22 2014-08-22 3次元点群データの位置合わせ方法と装置及びその移動体システム Expired - Fee Related JP6432825B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014168996A JP6432825B2 (ja) 2014-08-22 2014-08-22 3次元点群データの位置合わせ方法と装置及びその移動体システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014168996A JP6432825B2 (ja) 2014-08-22 2014-08-22 3次元点群データの位置合わせ方法と装置及びその移動体システム

Publications (2)

Publication Number Publication Date
JP2016045330A JP2016045330A (ja) 2016-04-04
JP6432825B2 true JP6432825B2 (ja) 2018-12-05

Family

ID=55635955

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014168996A Expired - Fee Related JP6432825B2 (ja) 2014-08-22 2014-08-22 3次元点群データの位置合わせ方法と装置及びその移動体システム

Country Status (1)

Country Link
JP (1) JP6432825B2 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6817721B2 (ja) * 2016-05-20 2021-01-20 アジア航測株式会社 地形変化解析方法
JP7208708B2 (ja) * 2016-07-27 2023-01-19 株式会社エムアールサポート 三次元測定対象物の形状測定方法、及び装置、並びにプログラム
JP6670712B2 (ja) * 2016-09-12 2020-03-25 株式会社日立製作所 自己位置推定装置、移動体及び自己位置推定方法
JP6826421B2 (ja) * 2016-12-02 2021-02-03 東日本旅客鉄道株式会社 設備巡視システム及び設備巡視方法
JP7119724B2 (ja) * 2018-08-01 2022-08-17 トヨタ自動車株式会社 軸ずれ検出装置及び車両
CN109146938B (zh) * 2018-08-30 2020-09-15 百度在线网络技术(北京)有限公司 动态障碍物的位置校准方法、装置、设备及存储介质
DE102020007645A1 (de) 2020-04-03 2021-10-07 Daimler Ag Verfahren zur Kalibrierung eines Lidarsensors
JP6905772B2 (ja) * 2020-06-02 2021-07-21 株式会社センシンロボティクス 飛行体、点検方法及び点検システム
JP6905771B2 (ja) * 2020-06-02 2021-07-21 株式会社センシンロボティクス 飛行体、点検方法及び点検システム
JP6832598B1 (ja) * 2020-07-30 2021-02-24 株式会社センシンロボティクス 飛行体、点検方法及び点検システム
WO2022064665A1 (ja) * 2020-09-28 2022-03-31 日本電気株式会社 測定装置、情報処理装置、位置合わせ方法、及びコンピュータ可読媒体
KR102470705B1 (ko) * 2022-03-15 2022-11-25 (주)뷰런테크놀로지 라이다 포인트 데이터의 보정 방법 및 시스템

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4848871B2 (ja) * 2006-07-13 2011-12-28 トヨタ自動車株式会社 自律移動装置
KR101461185B1 (ko) * 2007-11-09 2014-11-14 삼성전자 주식회사 스트럭쳐드 라이트를 이용한 3차원 맵 생성 장치 및 방법
JP2009193240A (ja) * 2008-02-13 2009-08-27 Toyota Motor Corp 移動ロボット及び環境地図の生成方法
WO2010024212A1 (ja) * 2008-08-29 2010-03-04 三菱電機株式会社 俯瞰画像生成装置、俯瞰画像生成方法および俯瞰画像生成プログラム
JP5493097B2 (ja) * 2010-04-06 2014-05-14 株式会社国際電気通信基礎技術研究所 ロボット自己位置同定システム
JP5639874B2 (ja) * 2010-12-24 2014-12-10 株式会社日立製作所 運転支援装置
JP5429901B2 (ja) * 2012-02-08 2014-02-26 富士ソフト株式会社 ロボット及び情報処理装置のプログラム
JP2013205130A (ja) * 2012-03-28 2013-10-07 Zenrin Co Ltd 路面形状データの生成方法、路面形状データ生成装置およびコンピュータプログラム

Also Published As

Publication number Publication date
JP2016045330A (ja) 2016-04-04

Similar Documents

Publication Publication Date Title
JP6432825B2 (ja) 3次元点群データの位置合わせ方法と装置及びその移動体システム
JP6354556B2 (ja) 位置推定装置、位置推定方法、位置推定プログラム
JP6827627B2 (ja) ビークル環境マップを生成および更新するための方法およびシステム
Stöcker et al. Quality assessment of combined IMU/GNSS data for direct georeferencing in the context of UAV-based mapping
JP6694395B2 (ja) デジタル地図に対する位置を決定する方法およびシステム
Nagai et al. UAV-borne 3-D mapping system by multisensor integration
CN110703268B (zh) 一种自主定位导航的航线规划方法和装置
KR101625486B1 (ko) 지도 기반 측위 시스템 및 그 방법
Di et al. Photogrammetric processing of rover imagery of the 2003 Mars Exploration Rover mission
KR100912715B1 (ko) 이종 센서 통합 모델링에 의한 수치 사진 측량 방법 및장치
Carle et al. Global rover localization by matching lidar and orbital 3d maps
JP2013187862A (ja) 画像データ処理装置、画像データ処理方法および画像データ処理用のプログラム
KR102127679B1 (ko) 정사영상에 기반한 센서 탑재 이동형 플랫폼의 기하 보정 시스템
WO2018142057A1 (fr) Procédé et dispositif pour l'étalonnage d'un système de perception comportant un ensemble de télémètres lidar
Li et al. MER Spirit rover localization: Comparison of ground image–and orbital image–based methods and science applications
CN113706702A (zh) 矿区三维地图构建系统和方法
US11568638B2 (en) Image targeting via targetable 3D data
CN110986888A (zh) 一种航空摄影一体化方法
JP2023127588A (ja) 情報処理装置
Li et al. Aerial-triangulation aided boresight calibration for a low-cost UAV-LiDAR system
KR101409802B1 (ko) 3차원 3d 스캐너를 활용한 최적의 공간정보 분석 시스템
Hussnain et al. Enhanced trajectory estimation of mobile laser scanners using aerial images
Previtali et al. Accurate 3D surface measurement of mountain slopes through a fully automated image-based technique
Toth et al. Terrain-based navigation: Trajectory recovery from LiDAR data
Li et al. Integration of orbital and ground images for enhanced topographic mapping in Mars landed missions

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170628

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180427

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180601

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180620

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181012

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181025

R151 Written notification of patent or utility model registration

Ref document number: 6432825

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees