JP6529463B2 - 道路構造化装置、道路構造化方法、及び道路構造化プログラム - Google Patents

道路構造化装置、道路構造化方法、及び道路構造化プログラム Download PDF

Info

Publication number
JP6529463B2
JP6529463B2 JP2016118198A JP2016118198A JP6529463B2 JP 6529463 B2 JP6529463 B2 JP 6529463B2 JP 2016118198 A JP2016118198 A JP 2016118198A JP 2016118198 A JP2016118198 A JP 2016118198A JP 6529463 B2 JP6529463 B2 JP 6529463B2
Authority
JP
Japan
Prior art keywords
boundary
point
traveling
road
line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016118198A
Other languages
English (en)
Other versions
JP2017223511A (ja
Inventor
仁 新垣
仁 新垣
直之 郡司
直之 郡司
慎吾 安藤
慎吾 安藤
隆行 黒住
隆行 黒住
筒口 けん
けん 筒口
杵渕 哲也
哲也 杵渕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2016118198A priority Critical patent/JP6529463B2/ja
Publication of JP2017223511A publication Critical patent/JP2017223511A/ja
Application granted granted Critical
Publication of JP6529463B2 publication Critical patent/JP6529463B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Description

本発明は、道路構造化装置、道路構造化方法、及び道路構造化プログラムに係り、特に、入力された3次元点群による道路面構造化装置、道路構造化方法、及び道路構造化プログラムに関する。
コンピュータビジョンの分野において、車載カメラにより計測された2次元画像を入力として、区画線(白線)の検出の研究が活発に行われてきた。しかし、カメラ画像では日照条件に強く影響されてしまう。特にトンネル等の入り口や出口のように照明(日光)が急激に変化する場合等は、その傾向が著しい。また、道路面の色と類似した歩道との境界(段差)の検出が原理的に難しいという問題から、ステレオ画像により得られるデプス画像や、高精度に奥行が推定可能なレーザー計測機器が利用されるようになった。
特に近年では、モバイルマッピングシステム(MMS)と呼ばれるカメラやレーザースキャナを車に搭載したシステムが注目されている。MMSは、GPS(Global Positioning System:全地球測位システム)やIMS(慣性計測装置)を用いて道路周辺の地物(電柱や街灯のような柱、ガードレール、標識、及び信号等の物体)の表面を3次元の座標情報として記録できる。この技術を利用して、道路周辺の地物自動検出による、道路周辺構造物のインフラ設備や地面の保守・保全業務のコスト削減が期待されている。
非特許文献1では、Lidar(レーザー計測)によって得られた3次元点群における反射強度を用いて、車線境界として区画線を検出している。事前に区画線の幅を設定し、区間内と外部との反射強度の差分値を指標とし、区画線境界の候補を検出している。さらに、検出した境界線候補をトラッキングすることにより、車線境界線として検出を行っている。
非特許文献2では、レーザー計測された3次元点群について、ある領域内に含まれる点群における高さ(z値)の分布のピークの差分値を指標として、道路の段差境界を検出している。地面に垂直な段差部分の垂直面上の点群は、地面等の水平面に比べて相対的に点数が少ないため、地面と歩道等の2つの水平面の差分情報を検出に用いている。境界の位置を検出したあとは、Hough変換により直線として認識をしている。投票処理により区画線を直線として検出できるため、破線の区画線でも同一の区画線として検出が可能である。
非特許文献3では、カメラで計測した画像から線分形状の特徴(linear feature)を抽出し、そのライン情報の距離と方向、さらにテクスチャ等の情報の類似度を指標として、区画線等の連結を行っている。連結後、セグメント(Lane Line Segment)について、ある注目位置の前後の特定の範囲で、特徴量が変化しているかどうかを調べ、分割位置を検出している。これにより、破線の区画線と実線の区画線等の種類の異なるセグメント(LLS)を識別している。
赤松駿一、冨澤哲雄、"LIDARを用いた車線境界線の検出と予測"、2A-H05、日本機械学会ロボティクス・メカトロニクス講演会2014 花田吏、崎賢一" MMS点群データの密度に依存しない道路図化情報取得手法"、 地理情報システム学会講演論文集、21巻、D2-2、2012 WANG Cheng, T.Hassan, N.El-Sheimy, M.Lavigne,"Automatic road vector extraction for mobile mapping systems", Int Arch Photogramm Remote Sens 37 (Part B3b), 515-521
非特許文献1では、注目点とその周辺の点群の反射強度の差分値の閾値処理により、区画線境界を検出していたが、かすれた区画線では区画線とアスファルトの反射強度の差分値が小さくなり検出漏れが生じやすい。閾値を下げれば検出漏れは抑えられるが、誤検出が大量に発生する問題がある。特に、走行量が多い道路等では、かすれている白線が多いため、検出精度が低くなりやすい。また、区画線の幅を考慮してエッジの強さ(境界線度合い)を計算するため、区画線の幅の種類が増えるほど、計算量が増加するという課題もある。
非特許文献2では、推定した境界点を用いて、Hough変換により境界線(区画線や段差境界線)を検出している。しかし、Hough変換では投票処理をしているため、同じ形状が長い距離に続いているような箇所、例えば直進している走行レーンにおける区画線の検出精度は高いが、S字カーブの道路等の曲率変化が大きい箇所では、検出精度が低下しやすい。
また、段差を検出するときに、特定の区間の2つの点群のZ値の領域のピークを検出しているが、高速道路のように道路の端が壁と接しているときは、壁側の領域の点群の高さの値の分布はピークが立ちづらいという問題がある。なぜなら、壁面表面上の点群のZ値は小さい値から大きな値まで幅広く一様に分布している、つまり特定のZ値に存在していないためである。
非特許文献3では、検出した線分(エッジ)の方向および左右のテクスチャの類似度を考慮して、区画線や道路端点の境界を連結することで、境界線を検出しているため、破線区画線を連結できる利点はあるが、交差点をまたいで区画線を連結してしまう欠点もある。区画線は非常に長いものという仮定をおいているため、導流帯(いわゆる、ゼブラゾーン、以下、「ゼブラゾーン」という)のように短い白線が記載された領域を検出することはできない。
また、非特許文献3を、MMSで計測した点群に適用した場合、道路と壁との境界線を検出も可能であるが、道路と計測した並走車との境界線も誤検出しやすいという課題がある。なぜなら、壁との境界であっても車との境界のLinear特徴は類似しているためであり、また並走車との境界線は壁との境界線の方向も類似しているため、壁との境界線が誤って検出した車との境界線と連結される課題がある。
本発明は上記問題点を考慮してなされたものであり、かすれた区画線やゼブラゾーンが存在する場合や、並走車によるオクルージョンの点群欠損が生じている状況でも、精度よく道路の走行レーン区画を検出することができる道路構造化装置、道路構造化方法、及び道路構造化プログラムを提供することを目的とする。
上記目的を達成するために、本発明の道路構造化装置は、物体の表面上の位置を表す3次元点の集合である3次元点群に含まれる3次元点の各々について、平面度及び法線方向を算出し、前記3次元点群に対して、前記3次元点の法線方向の類似度を用いたクラスタリングを行い、3次元点群クラスタの法線方向及び平面度に基づいて、地面及び壁面を検出し、地面及び壁面の境界情報を検出する地面及び壁面検出部と、前記3次元点の各々について、仮境界線方向による分離度及び仮境界線曲線による分離度を算出して境界点であるか否かを判定し、接線方向の類似度及び曲率の大きさの類似度に基づいて前記境界点を連結し、前記連結された境界点に基づいて、走行領域規定線を検出する走行領域検出部と、前記走行領域規定線に基づいて、道路の走行レーン区間を検出し、前記検出された走行レーン区間に基づいて、分岐点又は交差点を検出する車道構造化処理部と、を備える。
また、本発明の道路構造化装置の前記走行領域検出部は、前記境界点を連結して得られる境界線候補クラスタの接線方向に存在する、類似する境界線候補クラスタの出現頻度を指標として、ゼブラゾーンおよび横断歩道を検出し、前記境界線候補クラスタから、特定の範囲内に含まれる曲率方向の変動率を指標として、オクルージョン領域による段差境界を検出してもよい。
また、本発明の道路構造化装置は、前記3次元点が、GPSを搭載した車両に搭載された計測器により計測され、前記GPSにより得られた前記車両の走行軌跡情報を補正する走行軌跡補正部をさらに備え、前記走行領域検出部は、前記走行軌跡補正部によって補正された前記車両の走行軌跡情報と、前記連結された境界点とに基づいて、前記走行領域規定線を検出してもよい。
また、本発明の道路構造化装置の前記走行軌跡補正部は、前記GPSの時刻情報を特定の時間で分割した際に、各分割された時刻毎に検出した最密度点の密度の値に基づいて設定される閾値を用いて検出した、前記最密度点の近傍の点群を細線化処理して得られた細線化曲線に、前記GPSにより得られた前記車両の走行軌跡情報を近づけることにより、前記車両の走行軌跡情報を補正してもよい。なお、GPSにより得られた前記車両の走行軌跡情報は、ICP(Iterative Closest Point)処理により最密度点の近傍の点群を細線化処理して得られた細線化曲線に近づけることが好ましい。
また、本発明の道路構造化装置の前記走行領域検出部は、注目点について、前記注目点から特定の距離に含まれる点群である周辺点群から、仮境界線方向をサンプリングにより決定し、前記仮境界線方向の各々について、前記周辺点群に含まれる3次元点の反射強度及びZ値に基づいて、前記仮境界線方向の分離度を算出し、前記算出された分離度が閾値以上である場合、前記注目点が境界点であると判定し、前記注目点が境界点であると判定された場合、前記分離度が最大となる仮境界線方向に対して、曲率を考慮した2次以上の多項式曲線で表現される方向の各々について、前記周辺点群に含まれる3次元点の反射強度及び高さを示すZ値に基づいて、前記多項式曲線で表現される方向の分離度を算出し、前記分離度が最大となる曲率であると決定してもよい。
また、上記目的を達成するために、本発明の道路構造化方法は、地面及び壁面検出部が、物体の表面上の位置を表す3次元点の集合である3次元点群に含まれる3次元点の各々について、平面度及び法線方向を算出し、前記3次元点群に対して、前記3次元点の法線方向の類似度を用いたクラスタリングを行い、3次元点群クラスタの法線方向及び平面度に基づいて、地面及び壁面を検出し、地面及び壁面の境界情報を検出するステップと、走行領域検出部が、仮境界線方向による分離度及び仮境界線曲線による分離度を算出して境界点を判定し、接線方向及び曲率の大きさの類似度に基づいて前記境界点を連結し、前記連結された境界点に基づいて、走行領域規定線を検出するステップと、車道構造化処理部が、前記走行領域規定線に基づいて、道路の走行レーン区間を検出し、前記検出された走行レーン区間に基づいて、分岐点又は交差点を検出するステップと、を含む。
また、上記目的を達成するために、本発明の道路構造化プログラムは、コンピュータを、本発明の道路構造化装置の各部として機能させるためのものである。
本発明によれば、かすれた区画線やゼブラゾーンが存在する場合や、並走車によるオクルージョンの点群欠損が生じている状況でも、精度よく道路の走行レーンを検出することができる、という効果が得られる。
本実施形態の道路構造化装置による高速道路の道路構造化例を表すイメージ図である。 本実施形態の道路構造化装置の概略構成の一例を示す構成図である。 本実施形態の道路構造化装置の車道構造化部により実行される道路構造化処理の流れの一例を示すフローチャートである。 本実施形態の地面及び壁面検出部により実行される地面壁面検出処理の流れの一例を示すフローチャートである。 地面点群クラスタと壁面点群クラスタの地面付近の代表点群とについて水平面から視た点群例を説明するための説明図である。 地面点群クラスタと壁面点群クラスタの境界点を説明するための説明図である。 本実施形態の走行軌跡補正部により実行される走行軌跡補正処理の流れの一例を示すフローチャートである。 本実施形態の走行領域検出部により実行される走行可能領域検出処理の流れの一例を示すフローチャートである。 地面壁面検出処理において実行される境界度合算出処理の流れの一例を示すフローチャートである。 仮境界線方向による分離度計算について説明するための説明図である。 曲率も考慮した場合の分離経度計算について説明するための説明図である。 幾何関係による2次曲線パラメータの算出について説明するための説明図である。 曲率も考慮した場合の分離経度ηの計算について説明するための説明図である。 並走車によるオクルーションの除去について説明するための説明図である。 破線の区間線境界線の認識について説明するための説明図である。 本実施形態の車道構造化処理部により実行される車道構造化処理の流れの一例を示すフローチャートである。 本実施形態のその他の道路構造化装置の概略構成を示す構成図である。 図17に示した道路構造化装置の車道構造化部により実行される道路構造化処理の流れの一例を示すフローチャートである。
以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、本実施の形態は本発明を限定するものではない。
[発明の概要]
まず、本発明の実施の形態における概要を説明する。
本発明では、区画線および段差境界について、狭いスケールの解析処理によって検出した境界(点位置)における、その境界の接線方向と境界点位置の近さ、さらに曲率の大きさの類似度を考慮して連結を行い、境界線候補クラスタを生成する。この境界線候補クラスタの種類を広いスケールでの解析処理により認識し、その種類が同一のもののみを、再度連結することで高精度に境界線を検出することができる。ここで、狭いスケールの解析処理とは、高だか数メートルの範囲に存在する点群を用いた処理を意味し、広いスケールとは数十メートルに存在する地物や点群や点群から抽出された物理情報を考慮した処理を意味する。
具体的には、まず直線区間での境界線、カーブのような曲率の大きな区間での境界線、実線と破線の区画線境界線、及び段差境界線を検出する。本発明では、破線の区画線は短いため、まずは境界線候補クラスタとして、一つ一つ独立して検出する。
次に、短い境界線について、その境界線の曲率方向(2次関数)の延長上に、類似形状の境界線候補クラスタが繰り返し存在しているか判定を行うことで、破線区画線の境界線であると認識する。カーブのような区間であっても、道路に沿って、数十メートルの範囲に破線の区画線は存在するため、検出が可能である。
また、横断歩道については、道路の実線の区画線や段差境界と平行な走行方向(段差境界の存在する方向)と垂直な方向に、数メートルの短い区間に繰り返しパターンとして存在しており、ゼブラゾーンについては、道路に沿った方向ではあるが、境界の方向が段差方向と平行でなくて斜めな状況で、複数の短い境界線クラスタが存在しており、広いスケールにおける同一境界線候補クラスタの出現数を指標とすることで、道路ペイントの領域を検出可能としている。
並走車等によるオクルージョンが生じた場所については、各曲率の大きな境界線候補クラスタについて、近傍の直線の段差境界もしくは区画線境界を延長することにより連結可能か調べることで、オクルージョン境界であると判定をすることにより、段差境界であると誤検出することを防ぐ。
非特許文献3でも、境界線の接線方向の類似性の項目を重視し、かつスケールを大きくすることで、上記と同じ効果を得られる。しかしながら、非特許文献3を用いてオクルージョン境界により分断された区画線を繋ぐようにパラメータを調整した場合には、誤って交差点をまたいで区画線を連結することや、分岐路で誤った区画線同士を連結すること、つまり誤検出を生じる可能性がある。これに対して、本発明では、離れた位置の境界線を連結することは、オクルージョン境界を検出してオクルージョン境界をまたぐ境界線同士を連結する場合と、短い境界線が繰り返し生じている領域の境界線クラスタを連結する場合とだけである。これにより、非特許文献3のように単純にスケールのパラメータを広く設定すると生じるような誤検出を抑制しつつ、離れた位置に存在する境界線を連結可能とする。
[実施形態の概説]
本実施形態の道路構造化装置は、物体の表面上の位置を表す3次元点の集合である3次元点群を入力として、区画線および道路の端点として段差境界である走行領域規定線を検出することにより、道路を構造化することを目的とするものである。具体的には、本実施形態の道路構造化装置は、道路上での車の走行可能領域を認識し、さらには道路を走行レーン区間(走行レーンの存在する区間)、カーブ区間、さらには交差点やT字路等のメタ情報を付与する。
本実施形態における3次元情報とは、緯度、経度、及び海抜(高さ)情報でもよいし、ユーザーが設定した特定の位置を原点とした3次元ユークリッド座標系でも極座標系でもよい。以下の例では、ユーザーが設定した原点における3次元ユークリッド座標系(各方向をX,Y,Z座標とする)を想定する。各座標の単位はメートル(m)やセンチメートル(cm)、及びミリメートル(mm)で表現するが、他の単位でもよい。以下の説明において距離の単位が記載されていない場合は、単位はメートル(m)とする。また、Z値とはZ座標の値を意味し、高さ情報を意味する。
3次元点とは、各点に上記の3次元座標に、その点群が撮影された時刻や、レーザーの反射強度や赤・青・緑等の色情報等が付与されている点である。3次元点に付与される情報に制限はないが、少なくとも位置情報(X,Y,Z座標)と時刻が付与されたものであり、3次元点群とはその3次元点が2点以上集まった集合である。また、本実施形態において、ユークリッド座標系のZ軸の方向は鉛直(高さ)方向を意味し、X軸とY軸の張る二次元平面は水平面を意味する。
ここで、本実施形態における重要な用語の説明を記載する。点群を「クラスタリング」するとは、設定した指標をもとに、同一の物体や異なる物体の接する部分(境界)に属する点であると判定して統合する処理を意味し、その結果を「クラスタ」と定義する。点群をクラスタリングした結果は、点群集合そのもの、もしくは、そのクラスタ化された点群の3次元位置をベクタ形式で表現した情報でもよい。本実施形態では、境界位置と判定された点群をクラスタリングするために、境界線候補クラスタ、もしくは境界線クラスタと表現する。また、ベクタ形式とは、各点をどのように連結したかというリンク情報を位置情報に付与した形式とする。例えば、地図データフォーマットであるシェープファイル形式がその一例である。
本実施形態において、「境界線」とは物理的には、道路上にペイントされた区画線の境界線(エッジ)および道路と中央分離帯もしくは壁との境界線を意味する。
走行領域規定線である区画線は、区画線領域のペアとして認識される。ゼブラゾーンにおいては、最も外側の境界線を、ゼブラゾーンにおける境界線とする。
「走行可能領域」とは、物理的に車が安全に走行できる領域とし、道路面における段差境界に挟まれた領域であり、図1に例示したように、各種レーン(走行レーン、進入レーン等)とスペースと走行領域規定線により構成されるとする。図1には、高速道路の道路構造化をイメージしたイメージ図が示されている。図1に示した例では、道路端の段差境界の間が走行可能領域であり、走行可能領域には、走行レーン及び進入レーンとスペースとを分ける一組の実線からなる区画線、及び走行レーンと進入レーンとを分ける破線の区画線がペイントされている。
[実施形態]
次に、本実施形態の道路構造化装置の構成について説明する。
図2に示すように、本実施形態の道路構造化装置10は、記憶部12及び車道構造化部14を備える。また、道路構造化装置10には、被写体計測部1及び入力部2が接続されている。
被写体計測部1は、物体の表面上の位置を表す3次元点の集合である3次元点群を計測するものであり、3次元点群を計測する装置は、レーザースキャナ、レーザーレンジファインダ、超音波センサ、マイクロソフト社のKinect(登録商標)のような赤外線センサ、または超音波センサ等、被写体とセンサとの距離を測定可能な装置である。例えば、レーザースキャナをGPSが搭載された車の上等に搭載し、移動しながら計測することで、屋外の環境の地物を被写体とし、例えば、ガードレール、道路地面、ケーブル、及び建物等であり、これら被写体表面の3次元位置を計測するシステムである。本実施形態では、被写体計測部1として、車上にGPSとレーザースキャナとが搭載されているMMS(Mobile Mapping System)を想定している。なお、被写体計測部1は、ステレオカメラにより取得した奥行き情報から求めた3次元点群を出力するものであってもよい。
入力部2は、マウスやキーボード等のユーザーインターフェースであり、道路構造化装置10で使用するパラメータを入力するものである。また、パラメータを記憶したUSB(Universal Serial Bus)メモリ等の外部記憶媒体でもよく、記憶部12にパラメータを出力する。入力部2が出力するパラメータとしては、例えば、後述する各処理に用いられるパラメータが挙げられる。
道路構造化装置10の記憶部12は、3次元点群記憶部20、演算処理パラメータ記憶部22、及び車道構造化情報記憶部24を含む。3次元点群記憶部20は、被写体計測部1から取得した3次元点群情報を記憶し、記憶した3次元点群情報を車道構造化部14に出力する。演算処理パラメータ記憶部22は、入力部2から取得した演算パラメータ(以下、単に「パラメータ」という)の値を記憶し、記憶したパラメータの値を車道構造化部14に出力する。
車道構造化情報記憶部24は、車道構造化部14から出力される車道構造化情報を記憶する。記憶部12は、例えば、HDD(Hard Disk Drive)や、SSD(Solid State Drive)等のハードウェアによる記憶装置である。
車道構造化部14は、地面及び壁面検出部30、走行軌跡補正部32、走行領域検出部34、及び車道構造化処理部36を備える。また、走行領域検出部34は、境界線度合算出処理部40、境界線連結処理部42、及び走行領域規定線検出処理部44を備える。
地面及び壁面検出部30は、入力された3次元点群、及びパラメータに基づいて、道路における地面及び壁面を検出し、地面及び壁面の境界情報を検出し、地面と判定された3次元点群、地面及び壁面の境界情報(位置、曲率、及び折線方向)を走行軌跡補正部32へ出力する。
走行軌跡補正部32は、地面及び壁面検出部30から入力された、3次元点群、地面及び壁面の境界情報、及び記憶部12から入力されるGPSによる走行軌跡情報に基づいて、走行軌跡情報を補正し、補正した走行軌跡情報、及び走行軌跡補正部32から入力された3次元点群、地面及び壁面の境界情報を走行領域検出部34へ出力する。
走行領域検出部34は、走行軌跡補正部32から入力された走行軌跡情報、3次元点群、及び地面及び壁面の境界情報に基づいて、走行領域規定線を検出し、検出した走行領域規定線及び3次元点群を車道構造化処理部36へ出力する。
車道構造化処理部36は、走行領域検出部34から入力された3次元点群及び走行領域規定線に基づいて、走行レーンを構造化し、構造化情報(本実施形態では、走行レーン区間、走行レーン区間毎の車道属性情報、分岐点情報、補助規定線等)を記憶部12へ出力する。
なお、本実施形態の道路構造化装置10は、CPU(Central Processing Unit)と、RAM(Random Access Memory)と、後述する道路構造化処理を実行するための道路構造化プログラムや各種データを記憶したROMと(Read Only Memory)、を含むコンピュータで構成することが出来る。本実施形態のCPUが道路構造化プログラムを実行することにより、車道構造化部14が有する各部として機能する。
次に、本実施形態の道路構造化装置10(車道構造化部14)の動作について説明する。
図3は、本実施形態の道路構造化装置10の車道構造化部14において実行される道路構造化処理全体の流れを示すフローチャートである。
ステップS1で地面及び壁面検出部30は、図4に示した地面壁面検出処理を実行し、入力された3次元点群について、平面度合いが大きい(曲率が小さい)点からクラスタリングをし、各点群クラスタについて、道路面(地面)もしくは壁面との判定処理を行い、地面と判定された点群番号と壁面と、地面及び壁面の境界情報とを走行軌跡補正部32(ステップS2)へ出力する。
入力点群を区別する番号をiとすると、各3次元点の3次元位置を、下記(1)式で表現する。
ただし、[x,y,z]は、X,Y,Z軸の座標成分を意味し、右上の添え字の記号「T」は転置を意味する。また、後述する数式において用いた記号「・」は、数値の掛け算もしくはベクトル間の内積を意味し、記号「×」はベクトルの外積、及び記号「←」は変数に値を代入することを意味する。
まず、図4に示すように、ステップS1−1で地面及び壁面検出部30は、入力された3次元点群のすべてについて、法線方向、平面度、及び密度を算出する。注目点pについて、半径r以内の距離を局所領域と定義し、この局所領域内部の点をp(j∈1,2,3,…,N)、局所領域内の点群の総数を
と表記する。
半径r以内の距離に含まれる点は、下記(2)式を満たす点として求められる。
ただし、記号「|| ||」はベクトルの2ノルムを意味する。このとき注目点pの密度Dense(p)は、下記(3)式により求まる。
平注目点pの平面度の算出は、下記(4)式に示す局所領域内の点群の平面近似誤差Dplaneにより行われる。平面度は、平面近似誤差の逆数として求まる。
ただし、
は注目点pの局所領域の点群の重心位置であり、nは局所領域の点群を平面近似したときの法線方向である。注目点pの法線方向nは、共分散行列Pを固有値分解したときの第3固有値(一番小さい固有値)に対応する固有ベクトルが法線ベクトルである。共分散行列Pは、下記(5)式により求まる。
次に、ステップS1−2において、地面及び壁面検出部30は、法線方向の類似度を用いて点群クラスタリングを行う。本実施形態においては、平面度の大きな点から順番にシードとして、法線方向の類似度を用いてRegion Growing法(領域成長法)によりクラスタリングを行って、点群クラスタを得る。Region Growing法とは、コンピュータビジョンの分野で広く利用されているアルゴリズムであり、条件を満たす点を事前に決めた指標で優先度付けし、当該優先度の高い点から順番にクラスタリングする。本発明においては、平面度の大きな点群から順番にシード点とし、法線方向がΔθである点をクラスタリングする。
次に、ステップS1−3において、地面及び壁面検出部30は、地面および壁面判定を行う。
地面及び壁面検出部30は、点群クラスタについて、法線方向の平均値がZ軸方向との方向差分が±Δθ度であり、かつ最も大きな点群クラスタについて地面と判定する。次に、法線方向の平均値がZ軸方向との方向差分が±Δθ度であり、かつ該当する点群クラスタの重心のZ値と最も大きな点群クラスタの最近傍点のZ値との差分がΔZ[m]以内で、かつ水平面に点群を射影したときの面積がSground[m]のときに地面と判定する。ただし、最近傍点とは、最も大きな点群クラスタ(地面)に属する3次元点の中で、かつ注目する点群クラスタとの3次元距離が最も近い点を意味する。
また、地面及び壁面検出部30は、法線方向の平均値が水平面と±Δθ度以内であり、かつ点群クラスタをdresamp[m]間隔でリサンプリングした代表点について、全ての代表点について半径dresampの距離内の点群の平面近似精度が閾値THplane以下で、かつリサンプリングされた代表点間の最も離れた距離がDmax以上の点群クラスタのものを壁面点群クラスタと判定する。
なお、ステップS1において、局所領域を定義するための半径r、リサンプリング距離dresamp、及び法線の角度差分の閾値は実験的に決めるパラメータであり、本実施形態においてはr=0.2[m]、dresamp=1.0[m]、THplane=0.05[m]、Saround=5[m]、Dmax=1[m]、Δθ=20[度]、及びΔθ=15[度]とした。
次に、ステップS1−4で地面及び壁面検出部30は、地面と壁面との交線上の3次元点群を境界点として検出する。ここで、交線上の3次元点群とは、図5に例示するように地面点群クラスタから最も近い壁面点群クラスタの代表点からZ軸方向にr[m]以内に存在する壁面点群クラスタの代表点について、その代表点に対する最近傍点を代表点の位置における平面近似した際の平面に射影したときの3次元位置を境界点とする。図6に例示するように、平面近似は上記(5)式で求めた各代表点の第三固有ベクトルの張る平面であり、各代表点に対する最近傍点(地面点群)を各代表点の法線の張る平面に射影すれば求まる。
後述するステップS3の前に壁面と地面との境界を見つける理由は、対向車等によるオクルージョンの影響や地面側溝のくぼみにより、地面点群クラスタと壁面との間に水平面での距離が離れてしまったときに、ステップS3の処理では地面点群を注目点として扱うために、正しい境界位置が検出されないためである。
ステップS1の最後に、地面と判定された3次元点群(点群クラスタ)と各点の密度、地面及び壁面の境界情報(3次元位置)を走行軌跡補正部32に出力する。これにより、ステップS1を終了する。
次に、ステップS2において、走行軌跡補正部32は、3次元点群と各点の密度、地面の点群番号、GPSによる車両走行軌跡を入力とし、図7に示した走行軌跡補正処理を実行して、補正された走行軌跡情報を出力する。
走行軌跡補正部32は、点群を区別する番号をiとし、注目点pから半径R以内に含まれる点群を周辺点群p(j∈1,2,3,..,N (R))、この周辺点群の総数をN (R)とし、この周辺点群を用いて走行軌跡を補正する。ただし、半径Rは演算処理パラメータ記憶部22に記憶されているパラメータであり、本実施形態ではR=0.4[m]とした。
ステップS2−1で走行軌跡補正部32は、高密度点群の細線化処理を実行する。走行軌跡補正部32は、GPSの記録時間から±ΔT時間以内の点群について、点群の密度の中で最も高い密度の値を最密度値として算出する。走行軌跡補正部32は、算出した最密度値に係数γ(0<α<1)を乗じて得られた閾値以上の密度を有する点からなる点群を、高密度点群と決定し、高密度点群の細線化処理を実行して細線化曲線を算出する。ここで、γは実験的に決めるパラメータであり、本実施形態ではγ=0.5とした。
次のステップS2−2で走行軌跡補正部32は、走行軌跡の変換を実行して、補正された走行軌跡情報を走行領域検出部34へ出力する。走行軌跡補正部32は、ICPアルゴリズムに従って、入力された走行軌跡を、移動及び回転を用いて細線化曲線の位置に合わせることにより、走行軌跡を補正し、補正された走行軌跡情報を走行領域検出部34へ出力する。
次に、ステップS3において、走行領域検出部34は、図8に示した走行可能領域検出処理を実行する。
まず、ステップS3−1で境界線度合算出処理部40が図9に示した境界線度合算出処理により、入力された地面点群クラスタの注目点の各々について、境界点であるか否かを判定すると共に、境界線の接線方向および曲率の大きさを推定する。壁面点群クラスタと地面点群との境界点について境界との判定処理である後述するS3−1−3では無条件で境界と判定するため処理としては不要だが、接線方向と曲率算出のために同様の処理を行う。
ステップS3−1には、大きくは2段階のステップが存在し、まず矩形領域(2つの領域を持つ)の最大分離度を出力する境界線方向を決定し、次に決定した境界線方向に曲率を考慮した多項式関数による境界領域(2つの領域を持つ)を設定して最大分離度を出力する曲率の値を算出する。
ステップS3−1−1において、境界線度合算出処理部40は、サンプリングによって仮境界線方向を算出し、次に分離度を算出する。
まず、境界線度合算出処理部40は、図10に示すように、仮境界線方向を算出する。図10は地面の点群を真上から(Z軸正の方向から)見た図である。注目代表点群pの周辺点群p(j∈1,2,3,...,N (R))からランダムに(規則性なく)選択した2つのサンプリング点の番号をj1、j2と表記すると、ステップS3−1−1の繰り返し処理Loop回目の仮境界線方向m(Loop)は下記(6)式により求まる。
なお、右上の添え字(Loop)は、繰り返し処理の回数の変数Loopを意味する。
ここで、ランダムにサンプリング点を選択する方法に限定はない。例えば、下記(7)式により、周辺点群の番号Noを選択できる。
ただし、rand()は乱数を発生する関数である。例えば、メルセンヌ・ツイスタという擬似乱数生成器を用いればよい。関数mod(x,y)は、実数xを整数yで割り算したときの余りを出力する関数とする。サンプリング点の数が2つの場合、上記の関数modを用いて、番号を2回出力すればよい。
次に、境界線度合算出処理部40は、仮境界線方向による分離度を算出する。図10に示すように、注目点を原点として仮境界線方向をy軸、仮境界線方向と注目点位置の法線方向の外積の方向を仮境界軸x軸と設定する。この仮境界軸の正と負の方向の向きはどちらでもよく、境界線方向y軸および注目点の法線方向と直交していればよいとする。また、物理的には、境界線方向y軸は区画線のエッジの接線方向を意味する。
図10に示すように、幅が2・w[m]、接線方向に長さ2・R[m]の矩形領域を設定し、仮境界軸の正の側をP+、負の側をP−の領域と定義すると、正側と負側の領域内に含まれる局所領域内の点群の反射強度と高さ(z座標)により、それぞれ、下記(8)式により算出される分離度ηintensity、ηと勾配方向を出力する。
ただし、Pは入力値(反射強度もしくは高さ)であり、
は正側と負側の領域の入力値の平均値とし、
は矩形領域内部の平均値である。n、nは正側と負側の点群の総数である。正側と負側の判定は、注目点から矩形領域内部の点群の相対ベクトルと境界軸方向のベクトルの内積の値が正であれば正側、負であれば負側であると判定できる。勾配方向は
において、
の場合は、境界軸x軸の正の方向を出力し、それ以外の場合は境界軸x軸の正の方向にマイナス1を乗じた方向、つまりx軸の負の方向を勾配方向として出力する。
ここで、n、nの合計値が閾値THnumallよりも少ない場合は、出力結果の信頼性が少ないと判断し、分離度の値は0を出力する。n及びnのいずれか一方が、相対的に数が少ない場合は、道路端に側溝等の窪みが存在すると考えて、段差境界が生じていると判定する。下記(9)式を満たす場合、境界線度合算出処理部40は、凹段差境界が存在すると判定し、その場合に分離度は1−n/n及び1−n/nのうちの大きい値の方を分離度ηとして出力する。
勾配方向は、n>nのとき境界軸方向x軸の正の方向を出力し、それ以外は境界軸方向x軸の負の方向を出力する。矩形領域の幅wおよび長さR、閾値THnumと閾値THnumallは実験的に決めるパラメータであり、本実施形態ではw=0.1[m]、R=0.4[m]、閾値THnum=0.001、及び閾値THnumall=3[点]とした。仮境界線方向に関わらず、矩形領域内に点群が入るように、局所領域の半径は
とした。
次のステップS3−1−2で境界線度合算出処理部40は、上記ステップS3−1−1をK回繰り返したか否かを判定する。境界線度合算出処理部40は、仮境界線方向による分離度算出を反射強度および高さそれぞれについてK回処理をするまで、上記ステップS3−1−1の処理を繰り返す。Kは実験的に決定するパラメータであり、本実施形態ではK=200[回]とした。ステップS3−1−2において否定判定となった場合は、上記ステップS3−1−1に戻り、肯定判定となった場合は、ステップS3−1−3へ移行する。
ステップS3−1−3で境界線度合算出処理部40は、境界点判定を実行する。境界線度合算出処理部40は、K回ループ処理後の最大分離度ηについて、閾値THηよりも値が大きくて、かつ勾配量が勾配閾値THgradientより大きい場合のみ、注目点が境界点であると判定する。注目点が境界点でないと判定された場合には、ステップS3−1−4以降の処理については実行しない。
次のステップS3−1−4で境界線度合算出処理部40は、仮境界曲線による分離度算出処理を実行する。境界線度合算出処理部40は、図11に示すように、上記ステップS3−1−1と同様に、サンプリングによって仮境界線方向に対する2次曲線(円弧の曲線パラメータ)を求める。図12に示すように、幾何的な関係から、サンプリング点と注目点を通る2次曲線パラメータは求まる。
ここで、Rは曲率半径であり、
はサンプリングした点と境界軸方向(x軸)に沿った距離、
はサンプリングした点と注目点の境界線方向に沿った距離、βは三角形ABHの角度Bの角度であり、上記(10)式の連立方程式から求まる。ただし、本実施形態では、境界線度合算出処理部40は、サンプリングした結果求めた曲率半径が0.5[m]よりも小さい場合はノイズとして無視して、再度サンプリングを行う。
次に、図13に示すように、求めた2次曲線よりも境界軸方向の正側と負側に2つの領域を設定する。矩形領域(図10参照)の幅と長さと同様に、正と負の領域の境界軸方向に沿った長さはそれぞれwとし、y軸に沿った方向の長さはRとし、ステップS3−1−1同様に、上記(8)式を用いて分離度を計算する。
本実施形態ではW=0.1[m]、R=0.4[m]、閾値THnum=0.001、閾値THnumall=3[点]とした。また、仮境界線方向に関わらず、矩形領域内に点群が入るように、局所領域の半径は
の1.5倍とした。
次に、ステップS3−1−5で境界線度合算出処理部40は、上記ステップS3−1−4をK回繰り返したか否かを判定する。否定判定となった場合は、上記ステップS3−1−4に戻り、肯定判定となった場合は、ステップS3−1−6へ移行する。
ステップS3−1−6で境界線度合算出処理部40は、境界線情報の算出を行う。境界線度合算出処理部40は、ステップS3−1−4をK回ループ処理後の最大分離度ηにおける多項式曲線を真の境界形状と判定する。
本実施形態においては、2次曲線を用いたので、求めた最大分離度での曲率半径Rの逆数が曲率となる。
最後に極大値であるか判定を行う。注目点における半径rlocalの範囲内の点群について最大分離度を比較し、半径rlocal以内の点の最大分離度全てよりも大きい場合のみ、極大値であると判定し、境界点情報として出力する。半径rlocal以内の点と比較して、全ての点よりも最大分離度が大きくない場合は、極大値でないと判定し、境界情報は出力しない。つまり、その注目点を境界点とした以降の処理は実行しない。本実施形態では、rlocal=0.05[m]とした。
次のステップS3−2で境界線連結処理部42は、境界点の連結処理を実行することにより、境界点を連結し、境界線候補クラスタを生成する。
境界線連結処理部42は、段差境界(段差凹境界、段差凸境界)及び区画線境界それぞれについて、近傍半径r(=0.3[m])に存在する境界点についてRegion Growingにより連結処理を行う。本ステップでは、条件を満たす点(境界点)をある指標で優先度づけし、その優先度の高い点から順番に連結処理を行う。
境界線連結処理部42は、代表曲率半径が大きい境界線候補クラスタについて優先して(順番に)、下記の4つの連結条件を満たすものを連結し、連結された境界線候補クラスタを走行領域規定線検出処理部44へ出力する。
第1の条件は、勾配方向が同じもの、すなわち、境界軸方向のベクトルの内積が正になる場合である。
第2の条件は、クラスタ化された境界候補点群について、各クラスタ化された境界点の曲率半径の平均値を代表曲率半径とすることである。なお、初期においては各境界点の曲率半径が代表曲率半径と等しい。
第3の条件は、代表曲率半径の大きい方の差分値が代表曲率値に係数αを掛けた値ΔR[m]以内の場合である。本実施形態では、α=0.3とした。例えば、代表曲率半径500[m]の境界候補点群クラスタについて、その点群に属している境界点は、別の境界候補点群クラスタに属する半径r以内の点と連結する。
第4の条件は、接線方向の成す角度が±Δθの場合である。本実施形態では、Δθ=15[度]とした。
なお、境界線連結処理部42は、上記連結条件を満たし、連結を実行した際には、境界点の曲率半径の平均値を計算し、代表曲率半径の値を更新する。
次のステップS3−3では、走行領域規定線検出処理部44は、入力された境界線候補クラスタについて、境界線であるかどうかを判定し、検出した境界線のペア(境界線の組み合わせ)により、走行領域規定線として認識する。
まず、走行領域規定線検出処理部44は、連結された境界線候補クラスタについて、長さにより閾値処理を行い、閾値TH_lengthよりも長い場合には、境界線クラスタとして認識する。本実施形態では、閾値TH_length=10[m]とした。
次に、走行領域規定線検出処理部44は、破線区画線やゼブラゾーン等の短い線分、またオクルージョン境界の除去処理を行う。
段差境界について、走行領域規定線検出処理部44は、図14に示すように、並走車等によるオクルージョン境界を検出し補助曲線を生成することにより、オクルージョンの影響を除去する。
走行領域規定線検出処理部44は、段差境界線において、周辺の区画線境界と大きく異なる曲率半径を多く含み、かつ、境界線の端点を延長した際に、連結可能な境界線が存在する場合、当該段差境界線をオクルージョン境界と判定する。
ここで、周辺の区画線境界とは、注目する境界線の境界点から半径Rmiddle以内に含まれる境界線全てを意味する。走行領域規定線検出処理部44は、注目する境界線について、その境界線に含まれる境界点の曲率半径が、周辺の区画線境界の代表曲率半径との差分がΔRcurveよりも大きい場合、周辺の区画線境界と大きく異なると判定する。
そして、走行領域規定線検出処理部44は、大きく異なる境界点の割合がΔratio以上のものを、オクルージョン境界と判定する。
オクルージョン境界が存在する場合、端点が連結可能な境界線については、補助曲線を媒介として、以降は一本の境界線として扱う。
ここで、実験的に決めるパラメータについて、本実施形態では、周辺距離Rmiddle=1.0[m]、ΔRcurve=50[m]、Δratio=0.3とした。
なお、区画線境界については、オクルージョンの判定を行わない。
また、走行領域規定線検出処理部44は、区画線境界について、同一の境界線候補クラスタをRegionGrowingにより連結する。この際、最も長い境界線候補クラスタから優先して(順番に)処理する。
走行領域規定線検出処理部44は、注目した境界線候補クラスタについて、その境界線候補クラスタの代表曲率半径の円弧上(種類が直線形状の場合は、直線上)について、距離L[m]以内の範囲で、類似した境界線候補クラスタがNc個以上存在しているか判定する。なお、この際の類似度の指標は、境界線候補クラスタの長さの差分値が、ΔLcluster [m]以下、境界線方向の成す角度がΔθ、及び法線勾配方向が同一方向(境界軸方向の内積が正)としている。
次に、走行領域規定線検出処理部44は、連結した境界線候補クラスタを境界線候補クラスタ群とすると、各境界線候補クラスタ群について、連結したクラスタの数が、Ncluster以上である場合、破線区画線境界線として認識する。例えば、図15に示した場合では、円弧上に同一の境界線候補クラスタが存在する場合、境界線候補クラスタ群Aを破線区画線境界線として認識する。また、直線上に同一の境界線候補クラスタが存在する場合、境界線候補クラスタ群Bを破線区画線境界線として認識する。また、特定の方向にN個以上の同一の境界線候補クラスタが存在しない場合、境界線候補クラスタ群Cは、破線区画線境界線として認識しない。
走行軌跡曲線がある場合は、各破線区画線境界線について、走行軌跡曲線と平行する境界線方向の割合が多い場合、破線区画線境界と認識する。各破線区画線境界線について、走行軌跡曲線に対して斜めの境界線方向の割合が多い場合、ゼブラゾーンの区画境界線と認識する。各破線区画線境界線について、走行軌跡曲線と垂直な向きの境界線方向の割合が多い場合、横断歩道と認識する。
一方、走行軌跡曲線がない場合は、各破線区画線境界線について、最も近傍にある段差境界と「平行」する境界線方向の割合が多い場合、破線区画線境界と認識する。なお、「平行」とは、略平行も含み、予め定められた平行とみなせる状態であればよい。
各破線区画線境界線について、最も近傍にある段差境界に対して「斜め」の境界線方向の割合が多い場合、ゼブラゾーンの区画境界線と認識する。各破線区画線境界線について、最も近傍にある段差境界と「垂直」な向きの境界線方向の割合が多い場合、横断歩道と認識する。ただし、境界線方向の成す角度について、Δθ以下の場合は、平行と判定する。境界線方向の成す角度が、Δθより大きく、90度−境界線方向の成す角度Δθの場合斜めと判定する。また、境界線方向の成す角度が上記条件を満たさない場合は垂直と判定する。
次に、走行領域規定線検出処理部44は、区画線境界線の検出を行う。走行領域規定線検出処理部44は、各区画線境界に属する各境界点から、距離が0.5cm以内に、同一種類で勾配方向が逆である接線方向が平行した境界点が、Nline_pair以上含むような勾配方向が逆(境界軸方向の内積が負)である、同一種類の境界線が存在する場合に、この境界線をペアとなる区画線境界線と判定し、注目区画線境界とペアとなる区画線境界をあわせて区画線と認識する。
走行領域規定線検出処理部44は、ゼブラゾーンを形成する、繰り返し出現する境界線近傍の区画線境界について、ゼブラゾーン構成境界線を挟む(交差しないで外側に存在する)区画線境界線ペア(勾配方向が逆向き)とする。ただし、区画線境界線ペアに挟まれた領域内にゼブラゾーン境界線を内包する場合、外側に存在すると判定する。また、走行領域規定線検出処理部44は、走行軌跡曲線(もしくは段差境界)に平行な境界線について、最も距離の近い境界線ペアをゼブラゾーン区画線境界として判定する。
ここで、実験的に決めるパラメータについて、本実施形態では、距離L=20[m]、距離ΔLcluster=0.5[m]、Δθ=15[度]、Nc=3[回]、Ncluster=10[回]、Nline_pair=20[点] とした。
次のステップS4で車道構造化処理部36は、図16に示した、車道構造化処理を実行し、上記ステップS3により検出された走行領域規定線(区画線および段差境界)を用いて、道路の構造化処理を行う。
ステップS4−1で車道構造化処理部36は、同一走行レーン構造化処理を実行する。
車道構造化処理部36は、走行領域規定線のペアについて、一定の曲率の領域ごとに走行レーン区間と認識する。車道構造化処理部36は、検出された段差境界線もしくは区画線のペアの存在を確認し、次に、そのペアの特徴から走行レーン及びスペースのいずれであるかの判定を行う。なお、走行区間としては、直線レーン区間、カーブレーン区間、及びその他のレーン区間の3種類のうちのいずれかに分類する。
車道構造化処理部36は、被写体計測部1の計測時間に応じて、走行レーンの種類を分類する。本実施形態では、MMSのレーザーの周波数(Hz)の時間毎に上記3種類の走行区間に分類する。
車道構造化処理部36は、各区間において、段差境界ペアの検出を行う。車道構造化処理部36は、平行に存在する段差境界のうち、走行軌跡を挟むように存在して、かつ最も境界点の平均距離が近いものを、段差境界とし、それ以外の段差境界を除去する。
なお、走行軌跡情報が無い場合は、最も平均距離の近い段差境界ペアのみを残し、それ以外の段差境界を除去する。ただし、段差境界ペアが存在しない区間は、その他のレーン区間と設定する。
また、車道構造化処理部36は、段差境界ペアに含まれる区画線について、距離が1m以上で、かつ、平行に存在する区画線のうち平均距離が最も近いものを1番目のペアと判定する。次に、車道構造化処理部36は、2番目に平均距離が近いものについて、1番目のペアと逆方向に存在する場合にペアと判定する。
また、車道構造化処理部36は、段差境界に対して、平行で平均距離が最も近い区画線もしくはゼブラゾーン境界線をペアとし、その間の領域を、その他のスペースと判定する。
また、車道構造化処理部36は、区画線のペアの総数について、注目区間の走行レーン数とする。ここで、その他のスペースを構成する、走行レーン数には、段差境界と区画線のペア数は含めない。ただし、各区間において、区画線が1つしか存在しない場合は、走行レーン数を2とし、区画線の数が0の場合は、走行レーン数を1とする。
さらに、車道構造化処理部36は、注目区間から前後Llane[m]の区間内について、ペアと認識された全ての区画線および段差境界線の代表曲率半径の平均値が、閾値TH_curve以下の場合、直線レーン区間であると判定する。また、代表曲率半径の平均値が、閾値TH_curve以下より大きい場合はカーブ区間と認識する。また、直進レーン区間と判定された場合は、各ペア境界線について、注目する区間に含まれる境界点の境界線方向の平均値を、区間方向として算出する。
なお、本ステップにおいて用いる実験的に決めるパラメータは、パラメータ Llane=5[m]、TH_curve=50[m]とした。
次に、ステップS4−2で車道構造化処理部36は、直線走行レーン区間の方向ベクトルについて、各走行区間の境界線から半径Llane[m]以内に存在する直進レーン区間について、注目区間が直進レーン区間の場合、隣接する直進レーン区間の区間方向との成す角度が、閾値HT_Angle_lane以上の場合に、分岐点であると判定する。また、注目区間が直進レーン区間の場合、隣接する2つ以上の直進レーン区間の区間方向の成す角度が、閾値HT_Angle_lane以上の場合に、交差点であると判定する。
実験的に決めるパラメータについて、本実施形態では、HT_Angle_lane=30[度]とした。
車道構造化処理部36は、このようにして走行レーンを構造化して得られた構造化情報(本実施形態では、走行レーン区間、走行レーン区間毎の車道属性情報、分岐点情報、補助規定線等)を記憶部12へ出力する。本ステップの終了により、車道構造化部14は、図3に示した道路構造化処理を終了する。
以上説明したように、本実施形態の道路構造化装置10によれば、地面及び壁面検出部が物体の表面上の位置を表す3次元点の集合である3次元点群に含まれる3次元点の各々について、平面度及び法線方向を算出し、3次元点群に対して、3次元点の法線方向の類似度を用いたクラスタリングを行い、3次元点群クラスタの法線方向及び平面度に基づいて、地面及び壁面を検出し、地面及び壁面の境界情報を検出する。また、走行領域検出部が、3次元点の各々について、仮境界線方向による分離度及び仮境界線曲線による分離度を算出して境界点であるか否かを判定し、接線方向の類似度及び曲率の大きさの類似度に基づいて境界点を連結し、連結された境界点に基づいて、走行領域規定線を検出する。さらに、車道構造化処理部が、走行領域規定線に基づいて、道路の走行レーン区間を検出し、検出された走行レーン区間に基づいて、分岐点又は交差点を検出する。
これにより、本実施形態の道路構造化装置10によれば、かすれた区画線やゼブラゾーンが存在する場合や、並走車によるオクルージョンの点群欠損が生じている状況でも、精度よく道路の走行レーン区画を検出することができる、という効果が得られる。
本実施形態の道路構造化装置10によれば、3次元点群を入力として、道路面の区画線と段差境界線を検出すること、さらに交差点やT字路等の分岐位置と、道路ペイントによる特殊用途の領域等を検出することができる。特に、本実施形態の道路構造化装置10は、部分的な区画線のかすれが生じている道路や、区画線の幅が一律に決定されていない道路でも有効である。
なお、本実施形態の道路構造化装置10は、図17に示すように、走行軌跡補正部32を備えていなくてもよい。この場合の道路構造化装置10における地面及び壁面検出部30は、上述したステップS1−1において算出していた、3次元点の密度の算出を行わなくてよい。また、地面及び壁面検出部30から走行領域検出部34へ3次元点群、壁面との境界情報(位置、曲率、及び折線方向)が出力される。また、図17に示した道路構造化装置10の場合、車道構造化部14が実行する道路構造化処理は、ステップS2が設けられておらず、ステップS1からステップS3へ移行する点で、図18に示すように、走行軌跡補正部32を備える場合の道路構造化処理(図3参照)場合と異なっている。なお、この場合、ステップS4以降の処理においては、補正していない(GPSから得られたままの)走行軌跡を用いるか、走行軌跡を用いないとするかは任意である。
なお、本実施形態は一例であり、具体的な構成は本実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計等も含まれ、状況に応じて変更可能であることは言うまでもない。
10 道路構造化装置
12 記憶部
14 車道構造化部
30 地面及び壁面検出部
32 走行軌跡補正部
34 走行領域検出部
36 車道構造化処理部
40 境界線度合算出処理部
42 境界線連結処理部
44 走行領域規定線検出処理部

Claims (7)

  1. 物体の表面上の位置を表す3次元点の集合である3次元点群に含まれる3次元点の各々について、平面度及び法線方向を算出し、前記3次元点群に対して、前記3次元点の法線方向の類似度を用いたクラスタリングを行い、3次元点群クラスタの法線方向及び平面度に基づいて、地面及び壁面を検出し、地面及び壁面の境界情報を検出する地面及び壁面検出部と、
    前記3次元点の各々について、仮境界線方向による分離度及び仮境界線曲線による分離度を算出して境界点であるか否かを判定し、接線方向の類似度及び曲率の大きさの類似度に基づいて前記境界点を連結し、前記連結された境界点に基づいて、走行領域規定線を検出する走行領域検出部と、
    前記走行領域規定線に基づいて、道路の走行レーン区間を検出し、前記検出された走行レーン区間に基づいて、分岐点又は交差点を検出する車道構造化処理部と、
    を備えた道路構造化装置。
  2. 前記走行領域検出部は、前記境界点を連結して得られる境界線候補クラスタの接線方向に存在する、類似する境界線候補クラスタの出現頻度を指標として、ゼブラゾーンおよび横断歩道を検出し、前記境界線候補クラスタから、特定の範囲内に含まれる曲率方向の変動率を指標として、オクルージョン領域による段差境界を検出する、
    請求項1に記載の道路構造化装置。
  3. 前記3次元点は、GPSを搭載した車両に搭載された計測器により計測され、
    前記GPSにより得られた前記車両の走行軌跡情報を補正する走行軌跡補正部をさらに備え、
    前記走行領域検出部は、前記走行軌跡補正部によって補正された前記車両の走行軌跡情報と、前記連結された境界点とに基づいて、前記走行領域規定線を検出する
    請求項1または請求項2に記載の道路構造化装置。
  4. 前記走行軌跡補正部は、前記GPSの時刻情報を特定の時間で分割した際に、各分割された時刻毎に検出した最密度点の密度の値に基づいて設定される閾値を用いて検出した、前記最密度点の近傍の点群を細線化処理して得られた細線化曲線に、前記GPSにより得られた前記車両の走行軌跡情報を近づけることにより、前記車両の走行軌跡情報を補正する、
    請求項3に記載の道路構造化装置。
  5. 前記走行領域検出部は、注目点について、前記注目点から特定の距離に含まれる点群である周辺点群から、仮境界線方向をサンプリングにより決定し、
    前記仮境界線方向の各々について、前記周辺点群に含まれる3次元点の反射強度及びZ値に基づいて、前記仮境界線方向の分離度を算出し、前記算出された分離度が閾値以上である場合、前記注目点が境界点であると判定し、
    前記注目点が境界点であると判定された場合、前記分離度が最大となる仮境界線方向に対して、曲率を考慮した2次以上の多項式曲線で表現される方向の各々について、前記周辺点群に含まれる3次元点の反射強度及び高さを示すZ値に基づいて、前記多項式曲線で表現される方向の分離度を算出し、前記分離度が最大となる曲率であると決定する請求項1〜請求項4の何れか1項に記載の道路構造化装置。
  6. 地面及び壁面検出部が、物体の表面上の位置を表す3次元点の集合である3次元点群に含まれる3次元点の各々について、平面度及び法線方向を算出し、前記3次元点群に対して、前記3次元点の法線方向の類似度を用いたクラスタリングを行い、3次元点群クラスタの法線方向及び平面度に基づいて、地面及び壁面を検出し、地面及び壁面の境界情報を検出するステップと、
    走行領域検出部が、仮境界線方向による分離度及び仮境界線曲線による分離度を算出して境界点を判定し、接線方向及び曲率の大きさの類似度に基づいて前記境界点を連結し、前記連結された境界点に基づいて、走行領域規定線を検出するステップと、
    車道構造化処理部が、前記走行領域規定線に基づいて、道路の走行レーン区間を検出し、前記検出された走行レーン区間に基づいて、分岐点又は交差点を検出するステップと、
    を含む道路構造化方法。
  7. コンピュータを、請求項1〜請求項5の何れか1項に記載の道路構造化装置の各部として機能させるための道路構造化プログラム。
JP2016118198A 2016-06-14 2016-06-14 道路構造化装置、道路構造化方法、及び道路構造化プログラム Active JP6529463B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016118198A JP6529463B2 (ja) 2016-06-14 2016-06-14 道路構造化装置、道路構造化方法、及び道路構造化プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016118198A JP6529463B2 (ja) 2016-06-14 2016-06-14 道路構造化装置、道路構造化方法、及び道路構造化プログラム

Publications (2)

Publication Number Publication Date
JP2017223511A JP2017223511A (ja) 2017-12-21
JP6529463B2 true JP6529463B2 (ja) 2019-06-12

Family

ID=60686946

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016118198A Active JP6529463B2 (ja) 2016-06-14 2016-06-14 道路構造化装置、道路構造化方法、及び道路構造化プログラム

Country Status (1)

Country Link
JP (1) JP6529463B2 (ja)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11585665B2 (en) 2017-11-30 2023-02-21 Mitsubishi Electric Corporation Three-dimensional map generation system, three-dimensional map generation method, and computer readable medium
CN108256446B (zh) * 2017-12-29 2020-12-11 百度在线网络技术(北京)有限公司 用于确定道路中的车道线的方法、装置和设备
US11112504B2 (en) * 2018-02-20 2021-09-07 Mitsubishi Electric Corporation Measurement monitoring device and computer readable medium
JP7154026B2 (ja) * 2018-03-30 2022-10-17 株式会社小松製作所 作業機械の制御装置、掘削機械の制御装置、及び作業機械の制御方法
JP7204087B2 (ja) * 2018-04-25 2023-01-16 成典 田中 対象物認識装置
US11959769B2 (en) 2018-10-15 2024-04-16 Mitsubishi Electric Corporation Information processing device that generates boundary location information of a road on which a vehicle travels by automated driving
US11592524B2 (en) * 2018-11-02 2023-02-28 Waymo Llc Computation of the angle of incidence of laser beam and its application on reflectivity estimation
JP7203587B2 (ja) * 2018-12-14 2023-01-13 株式会社デンソーテン 画像処理装置および画像処理方法
KR102279405B1 (ko) * 2018-12-26 2021-07-19 바이두닷컴 타임즈 테크놀로지(베이징) 컴퍼니 리미티드 자율 주행 차량의 고속 계획을 위한 다항식 피팅 기반의 기준선 평활화 방법
JP7130580B2 (ja) * 2019-03-11 2022-09-05 本田技研工業株式会社 路面検出装置
CN111695373B (zh) * 2019-03-12 2024-02-02 中国科学院上海高等研究院 斑马线的定位方法、系统、介质及设备
CN111696048B (zh) * 2019-03-15 2023-11-14 北京四维图新科技股份有限公司 墙体采样线的平滑处理方法和装置
CN110704560B (zh) * 2019-09-17 2021-12-24 武汉中海庭数据技术有限公司 一种基于道路级拓扑的车道线组结构化的方法及装置
WO2021131260A1 (ja) * 2019-12-24 2021-07-01 三菱電機株式会社 遮蔽検出装置および遮蔽検出プログラム
CN111696170B (zh) * 2020-06-05 2023-07-04 百度在线网络技术(北京)有限公司 地图绘制方法、装置、设备和介质
JP7339588B2 (ja) * 2020-07-29 2023-09-06 日本電信電話株式会社 データ補正方法及びデータ補正装置
CN112084853B (zh) * 2020-08-04 2023-12-29 深圳市优必选科技股份有限公司 一种脚印预测方法、脚印预测装置及人形机器人
CN112433203B (zh) * 2020-10-29 2023-06-20 同济大学 一种基于毫米波雷达数据的车道线形检测方法
CN112905576B (zh) * 2021-03-02 2023-09-08 中国农业大学 一种基于农机作业轨迹确定农田和道路的方法及系统
JP7149385B1 (ja) 2021-07-12 2022-10-06 株式会社デンソーテン 車線検出装置、車線検出方法および車線検出プログラム
CN114216476A (zh) * 2021-12-10 2022-03-22 北京百度网讯科技有限公司 一种车道数据处理方法、装置、电子设备和存储介质
WO2023175741A1 (ja) * 2022-03-15 2023-09-21 日立Astemo株式会社 外界認識装置
CN114821541B (zh) * 2022-06-23 2022-10-04 深圳大学 一种基于网格模型的道路面损伤检测方法及相关设备
CN115018897B (zh) * 2022-06-24 2023-04-07 滁州学院 一种激光点云城市典型地物要素提取方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4185083B2 (ja) * 2005-09-20 2008-11-19 株式会社東芝 形状認識装置及びその方法
JP5817422B2 (ja) * 2011-10-18 2015-11-18 朝日航洋株式会社 建物抽出装置、方法及びプログラム
JP2014115109A (ja) * 2012-12-06 2014-06-26 Canon Inc 距離計測装置及び方法
JP2014228941A (ja) * 2013-05-20 2014-12-08 株式会社日立製作所 地表面3次元サーフェス形状計測装置、走行可能領域検出装置およびそれを搭載した建設機械並びに走行可能領域検出方法

Also Published As

Publication number Publication date
JP2017223511A (ja) 2017-12-21

Similar Documents

Publication Publication Date Title
JP6529463B2 (ja) 道路構造化装置、道路構造化方法、及び道路構造化プログラム
US11227398B2 (en) RGB point clouds based map generation system for autonomous vehicles
US11468690B2 (en) Map partition system for autonomous vehicles
US11113544B2 (en) Method and apparatus providing information for driving vehicle
US11608078B2 (en) Point clouds registration system for autonomous vehicles
EP3361278B1 (en) Autonomous vehicle localization based on walsh kernel projection technique
JP6644742B2 (ja) 頑健で効率的な車両測位用のアルゴリズム及びインフラ
US20210370968A1 (en) A real-time map generation system for autonomous vehicles
US11651597B2 (en) Method and apparatus for estimating position
US20210327128A1 (en) A point clouds ghosting effects detection system for autonomous driving vehicles
JP5181704B2 (ja) データ処理装置、姿勢推定システム、姿勢推定方法およびプログラム
CN110386142A (zh) 用于自动驾驶车辆的俯仰角校准方法
JP6600610B2 (ja) 路面凹凸量推定装置、方法、及びプログラム
US20110282581A1 (en) Object and vehicle detection and tracking using 3-d laser rangefinder
WO2020198134A1 (en) Lighting-invariant sensor system for object detection, recognition, and assessment
US11216951B2 (en) Method and apparatus for representing environmental elements, system, and vehicle/robot
JP6381137B2 (ja) 標識検出装置、方法、及びプログラム
US11367213B2 (en) Method and apparatus with location estimation
EP3324359B1 (en) Image processing device and image processing method
US20090226094A1 (en) Image correcting device and method, and computer program
WO2023009180A1 (en) Lidar-based object tracking
JP7165630B2 (ja) 認識システム、車両制御システム、認識方法、およびプログラム
JP6553586B2 (ja) 計測十分度算出装置、方法、及びプログラム
Aronsson et al. Ego vehicle localisation using LIDAR and compressed digital maps

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180621

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190313

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190507

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190514

R150 Certificate of patent or registration of utility model

Ref document number: 6529463

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150