JP4232167B1 - 対象特定装置、対象特定方法および対象特定プログラム - Google Patents

対象特定装置、対象特定方法および対象特定プログラム Download PDF

Info

Publication number
JP4232167B1
JP4232167B1 JP2007220405A JP2007220405A JP4232167B1 JP 4232167 B1 JP4232167 B1 JP 4232167B1 JP 2007220405 A JP2007220405 A JP 2007220405A JP 2007220405 A JP2007220405 A JP 2007220405A JP 4232167 B1 JP4232167 B1 JP 4232167B1
Authority
JP
Japan
Prior art keywords
group
point
data
unit
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007220405A
Other languages
English (en)
Other versions
JP2009053059A (ja
Inventor
真和 小崎
純一 瀧口
隆二郎 黒崎
尚幸 梶原
嘉宏 島
匠 橋詰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Waseda University
Mitsubishi Electric Corp
Original Assignee
Waseda University
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Waseda University, Mitsubishi Electric Corp filed Critical Waseda University
Priority to JP2007220405A priority Critical patent/JP4232167B1/ja
Application granted granted Critical
Publication of JP4232167B1 publication Critical patent/JP4232167B1/ja
Publication of JP2009053059A publication Critical patent/JP2009053059A/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Navigation (AREA)

Abstract

【課題】道路周辺の地物の高精度な位置情報を容易に取得できるようにすることを目的とする。
【解決手段】計測車両200は道路を走行し、カメラ240は異なる地点から同一の道路標識を撮像し、GPS受信機210は各時刻における計測車両200の位置を測定し、LRF250は道路周辺の地物に対して距離方位データを取得する。三次元点群モデル復元部130は距離方位データを座標値で表した三次元点群モデルを生成し、点群画像投影部140は三次元点群モデルを撮像画像Aおよび撮像画像Bに投影する。グルーピング部150は道路標識の撮像範囲に投影された点群を抽出し、撮像範囲内の点群をグループ分けする。そして、標識点群特定部160は撮像画像Aの撮像範囲と撮像画像Bの撮像範囲とで一致したグループの点群を道路標識の点群として特定し、標識位置計算部170は特定された点群の座標値に基づいて道路標識の位置を算出する。
【選択図】図1

Description

本発明は、例えば、レーザレーダで計測したデータに基づいて生成された三次元点群モデルとカメラ画像とを用いて道路標識の位置を計測する対象特定装置、対象特定方法および対象特定プログラムに関するものである。
近年、カーナビゲーションシステムなどに代表される、GIS(Geographical Information System)とGPS(Global Positioning System)を組み合わせた製品が普及著しい。また、交通事故や交通渋滞などを解消するためにITS(Intelligent Transport Systems)の開発が推進されている。また、各自治体では道路周辺(道路、道路上、道路脇など)の地物(道路標識、キロポスト、信号機、白線、ガードレール、電柱など)の情報を道路管理台帳として記録しており、この道路管理台帳の高度化・高精度化が望まれている。
これらの理由により、道路周辺の地物の位置情報を高精度に容易に取得することが重要となる。
しかしながら、道路周辺の地物の位置情報を高精度に容易に取得することは非常に困難なことである。
例えば、道路周辺の地物の位置情報を1/500のスケールで記録した道路管理台帳の作成には、高い精度の測量が必要なため、GPSと距離・角度を計測するトータルステーションとを用いた静止測量が行われている。また、国道には往復30kmの区間に計測対象となる地物が約2000も存在していることもある。そのため、全国の道路管理台帳の高度化・高精度化には莫大な費用と時間とを要する。
そこで、情報収集時間および費用の縮減を目的として道路を走行する車両から各種情報を取得するMMS(Mobile Mapping System)が注目され研究開発されている。
また、特許文献1では道路線形を測量する装置の一例を開示している。
特開平10−267650号公報
本発明は、例えば、MMSを用いて道路周辺の地物の高精度な位置情報を容易に取得できるようにすることを目的とする。
本発明の対象特定装置は、3次元座標を示す複数の3次元点データにより地物を3次元で表す3次元点群データを記憶機器を用いて記憶する点群データ記憶部と、異なる位置で撮像された2次元画像を表す第1の画像データと第2の画像データとを記憶機器を用いて記憶する画像データ記憶部と、前記画像データ記憶部に記憶された第1の画像データの表す2次元画像と前記画像データ記憶部に記憶された第2の画像データの表す2次元画像とから特定の対象物が撮像された対象撮像範囲をCPU(Central Proccessing Unit)を用いて特定する対象撮像範囲特定部と、前記点群データ記憶部に記憶された3次元点群データを前記画像データ記憶部に記憶された第1の画像データの表す2次元画像に対してCPUを用いて投影する第1の点群画像投影部と、前記対象撮像範囲特定部が特定した第1の画像データの対象撮像範囲に対して前記第1の点群画像投影部が投影した3次元点群データをCPUを用いて抽出する第1の対象投影点群抽出部と、前記第1の対象投影点群抽出部が抽出した3次元点群データを各3次元点データの示す3次元座標に基づいて複数のグループ点群データとしてCPUを用いてグループ分けする点群グルーピング部と、前記点群グルーピング部がグループ分けした複数のグループ点群データを前記画像データ記憶部に記憶された第2の画像データの表す2次元画像に対してCPUを用いて投影する第2の点群画像投影部と、前記対象撮像範囲特定部が特定した第2の画像データの対象撮像範囲に対して前記第2の点群画像投影部が投影した各グループ点群データをCPUを用いて抽出する第2の対象投影点群抽出部と、前記点群グルーピング部がグループ分けした各グループ点群データを前記第2の対象投影点群抽出部が抽出した各グループ点群データと比較し、前記点群グルーピング部がグループ分けした各グループ点群データの中で3次元点データの残存率が最も大きいグループ点群データを前記特定の対象物を3次元で表す対象点群データとしてCPUを用いて特定する対象点群特定部とを備えたことを特徴とする。
本発明によれば、例えば、計測対象の地物を表す対象点群データを3次元点群データと画像データとを用いて特定することができる。そして、対象点群データに基づいて計測対象の地物の位置を高精度に算出することができる。また、3次元点群データと画像データとはMMSで道路を走行することにより容易に取得できる。つまり、本発明によれば、道路周辺の地物の高精度な位置情報を容易に取得することができる。
実施の形態1.
図1は、実施の形態1における道路標識位置計測システム900の機能構成図である。
図1に示すように、実施の形態1における道路標識位置計測システム900は、道路を走行して道路周辺の画像データと道路周辺の地物を表す距離方位データとを取得する計測車両200(MMS)と、計測車両200が取得した画像データと距離方位データとに基づいて道路標識の三次元座標を計測する道路標識位置計測装置100とを有する。
実施の形態1の説明では道路標識の三次元座標を計測するが、道路標識位置計測装置100はその他の道路周辺の地物(路面の白線、電柱、信号機、走行車両など)の三次元座標を道路標識と同様にして計測しても構わない。
計測車両200(MMS)は、GPS受信機210、3軸ジャイロ220、オドメータ230、カメラ240およびLRF250(Lazer Range Finder)が屋根部分に設けられた天板201(基台)に固定して設置されている。
また、計測車両200はGPS受信機210、3軸ジャイロ220、オドメータ230、カメラ240およびLRF250で取得されたデータを記憶機器を用いて記憶する観測データ記憶部291、画像データ記憶部292および距離方位点群記憶部293を備える。
GPS受信機210は計測車両200に3機備わり、各GPS受信機210は複数のGPS衛星それぞれから発信された測位信号の搬送波を観測する。そして、各GPS受信機210は、搬送波の観測情報に基づいて、各GPS衛星と自GPS受信機210との擬似距離、自GPS受信機210のアンテナ位置を3次元座標で示す単独測位結果、搬送波の位相情報、測位信号が示す航法メッセージ(衛星軌道情報)などを観測データとして観測データ記憶部291に記憶する。
3軸ジャイロ220は計測車両200の方位角[ヨー角]、仰角[ピッチ角]、回転角[ロール角]の角加速度(レートともいう)を計測し、各時刻における角加速度を角加速度データとして観測データ記憶部291に記憶する。
オドメータ230は計測車両200の走行速度を計測し、各時刻における走行速度を車速データとして観測データ記憶部291に記憶する。
カメラ240は走行する計測車両200の前方(走行方向)を異なる時刻に撮像し、撮像した各画像の画像データを画像データ記憶部292に記憶する。つまり、カメラ240は異なる地点で撮像した道路の画像データを画像データ記憶部292に記憶する。
以下、画像データ記憶部292には計測車両200がP地点を通過した際にカメラ240が撮像した道路の画像データ(以下、撮像画像Aとする)と計測車両200がP地点を通過した際にカメラ240が撮像した道路の画像データ(以下、撮像画像Bとする)とが記憶されているものとする。また、撮像画像Aと撮像画像Bとには同一の道路標識が写っているものとする。実施の形態1において道路標識位置計測装置100は撮像画像Aおよび撮像画像Bに写っている道路標識について三次元座標を計測する。
LRF250は、走行する計測車両200の側方にレーザを照射し、地物に反射して戻ってきたレーザを観測し、レーザを観測した各観測点での観測値に基づいて当該地物が位置するLRF250に対する相対距離および相対方位を示す複数の点データ(点群データ)を生成するレーザレーダである。LRF250は生成した点群データを地物を表す距離方位点群データとして距離方位点群記憶部293に記憶する。
以下、距離方位点群記憶部293に記憶された距離方位点群データには、撮像画像Aおよび撮像画像Bに写っている道路標識を表す点群データも含まれているものとする。実施の形態1において道路標識位置計測装置100は距離方位点群データが表す道路標識について三次元座標を計測する。
道路標識位置計測装置100(対象特定装置)は、車両位置姿勢標定部110、道路標識画像認識部120、三次元点群モデル復元部130、点群画像投影部140、グルーピング部150、標識点群特定部160および標識位置計算部170を備える。
また、道路標識位置計測装置100は、各データを記憶機器を用いて記憶する車両位置姿勢記憶部191、認識画像記憶部192、三次元点群モデル記憶部193、二次元投影点群記憶部194および標識候補点群記憶部195を備える。また、道路標識位置計測装置100は計測車両200の観測データ記憶部291、画像データ記憶部292および距離方位点群記憶部293から記憶された各データを入力し、入力した各データを記憶機器を用いて記憶する。つまり、道路標識位置計測装置100は観測データ記憶部291、画像データ記憶部292および距離方位点群記憶部293に相当する記憶部(図示省略)を備えるものとする。
車両位置姿勢標定部110は観測データ記憶部291に記憶されたGPS受信機210の観測データ、3軸ジャイロ220の角加速度データおよびオドメータ230の車速データに基づいて各時刻における計測車両200の三次元座標および姿勢角(ロール、ピッチ、ヨー)を標定する。
車両位置姿勢標定部110は計測車両200の三次元座標および姿勢角を車両位置・姿勢データとして車両位置姿勢記憶部191に記憶する。
道路標識画像認識部120(対象撮像範囲特定部)は画像データ記憶部292に記憶された撮像画像A(第1の画像データ)の表す2次元画像と撮像画像B(第2の画像データ)の表す2次元画像とから道路標識(特定の対象物)が撮像された標識撮像範囲Aa・Ba(対象撮像範囲、ウィンドウ)をCPU(Central Proccessing Unit)を用いて特定する。
道路標識画像認識部120は標識撮像範囲A、標識撮像範囲Bを示す認識画像A、認識画像Bを認識画像記憶部192に記憶する。
三次元点群モデル復元部130は、距離方位点群記憶部293に記憶された距離方位点群データに基づいて、3次元座標を示す複数の3次元点データにより道路周辺の地物を3次元で表す3次元点群データ(以下、三次元点群モデルとする)を生成する。
三次元点群モデル復元部130は三次元点群モデルを三次元点群モデル記憶部193(点群データ記憶部)に記憶する。
点群画像投影部140(第1の点群画像投影部)は三次元点群モデルを撮像画像Aの表す2次元画像に対してCPUを用いて投影する。
以下、撮像画像Aの表す2次元画像に対して投影された点群データを画像投影点群Aipとする。
さらに、点群画像投影部140(第2の点群画像投影部)は標識点群ラベル限定部153が画像投影点群Aipから特定した各グループ点群データ(以下、標識候補点群Aとする)を撮像画像Bの表す2次元画像に対してCPUを用いて投影する。
以下、撮像画像Bの表す2次元画像に対して投影された点群データを画像投影点群Bipとする。
点群画像投影部140は画像投影点群Aip、画像投影点群Bipを二次元投影点群記憶部194に記憶する。
グルーピング部150は標識投影点群抽出部151、標識点群ラベリング部152および標識点群ラベル限定部153を備え、標識撮像範囲Aに投影された点群データ(以下、標識投影点群Aspとする)を抽出し、標識投影点群Aspを異なる地物を表すグループ点群にグループ分けし、道路標識と同程度の大きさを示すグループ点群(標識候補点群A)を特定する。
また、グルーピング部150は標識撮像範囲Bに投影された点群データ(以下、標識投影点群Bspとする)について標識候補点群Bを特定する。
グルーピング部150は標識候補点群A、標識候補点群Bを標識候補点群記憶部195に記憶する。
標識投影点群抽出部151(第1の対象投影点群抽出部)は標識撮像範囲Aに投影された画像投影点群AipをCPUを用いて抽出する。
また、標識投影点群抽出部151(第2の対象投影点群抽出部)は標識撮像範囲Bに投影された画像投影点群BipをCPUを用いて抽出する。
以下、標識撮像範囲Aに投影された点群データを標識投影点群Asp、標識撮像範囲Bに投影された点群データを標識投影点群Bspとする。
標識点群ラベリング部152(点群グルーピング部)は標識投影点群Aspを各3次元点データの示す3次元座標に基づいて複数のグループ点群データとしてCPUを用いてグループ分けする。
特に、標識点群ラベリング部152は、複数の3次元領域(以下、ボクセルとする)に分割した3次元空間(以下、ボクセル空間とする)を設定し、標識投影点群Aspを各3次元点データの示す3次元座標に基づいてボクセル空間に投票し、隣接する各ボクセルに投票された各3次元点データを1つのグループ点群データとする。
標識点群ラベル限定部153(点群グループ限定部)は複数のグループ点群データのそれぞれが表す地物(グループ体)のサイズを各3次元点データの示す3次元座標に基づいてCPUを用いて特定し、特定した地物のサイズを道路標識のサイズとCPUを用いて比較し、地物のサイズが道路標識のサイズに対応する各グループ点群データ(標識候補点群A)をCPUを用いて特定する。
標識点群特定部160(対象点群特定部)は標識候補点群Aを構成する各グループ点群データを標識投影点群Bspを構成する当該グループ点群データと比較し、標識候補点群Aを構成する各グループ点群データの中で標識投影点群Bspにおいて3次元点データの残存率が最も大きいグループ点群データを道路標識を3次元で表す標識三次元点群(対象点群データ)としてCPUを用いて特定する。
標識点群特定部160は標識三次元点群を標識三次元点群記憶部196に記憶する。
標識位置計算部170(対象位置算出部)は標識三次元点群を構成する各3次元点データの示す3次元座標に基づいて道路標識の中心を示す3次元座標を道路標識の位置としてCPUを用いて算出する。
図2は、実施の形態1における道路標識位置計測装置100のハードウェア資源の一例を示す図である。
図3は、実施の形態1における計測車両200のハードウェア資源の一例を示す図である。
図2、図3において、道路標識位置計測装置100および計測車両200は、プログラムを実行するCPU911(Central・Processing・Unit、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサともいう)を備えている。CPU911は、バス912を介してROM913、RAM914、通信ボード915、磁気ディスク装置920と接続され、これらのハードウェアデバイスを制御する。磁気ディスク装置920の代わりにその他の記憶装置(例えば、RAMやフラッシュメモリなどの半導体メモリ)を用いてもよい。
さらに、道路標識位置計測装置100はCRT(Cathode・Ray・Tube)やLCD(液晶)の表示画面を有する表示装置901、キーボード902(Key・Board:K/B)、マウス903、FDD904(Flexible・Disk・Drive)、CDD905(コンパクトディスク装置)も備え、CPU911はこれらハードウェアデバイスも制御する。
また、計測車両200は、さらに、カメラ240、GPS受信機210、3軸ジャイロ220、オドメータ230、LRF250も備え、CPU911はこれらハードウェアデバイスも制御する。
RAM914は、揮発性メモリの一例である。ROM913、磁気ディスク装置920の記憶媒体は、不揮発性メモリの一例である。これらは、記憶機器、記憶装置あるいは記憶部の一例である。また、入力データが記憶されている記憶機器は入力機器、入力装置あるいは入力部の一例であり、出力データが記憶される記憶機器は出力機器、出力装置あるいは出力部の一例である。
通信ボード915、キーボード902、マウス903、FDD904、CDD905は、入力機器、入力装置あるいは入力部の一例である。
また、通信ボード915、表示装置901、FDD904、CDD905は、出力機器、出力装置あるいは出力部の一例である。
通信ボード915は、有線または無線で、LAN(Local Area Network)、インターネット、ISDN等のWAN(ワイドエリアネットワーク)、電話回線などの通信網に接続されている。
磁気ディスク装置920には、OS921(オペレーティングシステム)、プログラム群923、ファイル群924が記憶されている。プログラム群923のプログラムは、CPU911、OS921により実行される。
上記プログラム群923には、実施の形態において「〜部」として説明する機能を実行するプログラムが記憶されている。プログラムは、CPU911により読み出され実行される。
ファイル群924には、実施の形態において、「〜部」の機能を実行した際の「〜の判定結果」、「〜の計算結果」、「〜の処理結果」などの結果データ、「〜部」の機能を実行するプログラム間で受け渡しするデータ、その他の情報やデータや信号値や変数値やパラメータが、「〜ファイル」や「〜データベース」の各項目として記憶されている。撮像画像、観測データ、距離方位点群、車両位置・姿勢、認識画像、三次元点群モデル、画像投影点群、標識候補点群、標識三次元点群、道路標識位置などのデータはファイル群924に含まれるものの一例である。
「〜ファイル」や「〜データベース」は、ディスクやメモリなどの記録媒体に記憶される。ディスクやメモリなどの記憶媒体に記憶された情報やデータや信号値や変数値やパラメータは、読み書き回路を介してCPU911によりメインメモリやキャッシュメモリに読み出され、抽出・検索・参照・比較・演算・計算・処理・出力・印刷・表示などのCPUの動作に用いられる。抽出・検索・参照・比較・演算・計算・処理・出力・印刷・表示のCPUの動作の間、情報やデータや信号値や変数値やパラメータは、メインメモリやキャッシュメモリやバッファメモリに一時的に記憶される。
また、実施の形態において説明するフローチャートの矢印の部分は主としてデータや信号の入出力を示し、データや信号値は、RAM914のメモリ、磁気ディスク装置920の磁気ディスク、その他の記録媒体に記録される。また、データや信号値は、バス912や信号線やケーブルその他の伝送媒体によりオンライン伝送される。
また、実施の形態において「〜部」として説明するものは、「〜回路」、「〜装置」、「〜機器」であってもよく、また、「〜ステップ」、「〜手順」、「〜処理」であってもよい。すなわち、「〜部」として説明するものは、ROM913に記憶されたファームウェアで実現されていても構わない。或いは、ソフトウェアのみ、或いは、素子・デバイス・基板・配線などのハードウェアのみ、或いは、ソフトウェアとハードウェアとの組み合わせ、さらには、ファームウェアとの組み合わせで実施されても構わない。ファームウェアとソフトウェアは、プログラムとして、磁気ディスクやその他の記録媒体に記憶される。プログラムはCPU911により読み出され、CPU911により実行される。すなわち、対象特定プログラムは、「〜部」としてコンピュータを機能させるものである。あるいは、「〜部」の手順や方法をコンピュータに実行させるものである。
図4は、実施の形態1における計測車両200の配置関係図である。
図5は、実施の形態1におけるLRF250のレーザ計測方法を示す図である。
実施の形態1におけるLRF250のレーザ計測方法について図4および図5に基づいて説明する。
図4に示すように、計測車両200は車両本体202の屋根に天板201が固定して設置され、天板201には3台のGPS受信機210(210a〜210b)、カメラ240、3軸ジャイロ220およびLRF250が固定して設置されている。
3軸ジャイロ220の設置点Oの座標および3軸ジャイロ220の設置点での姿勢角を計測車両200の位置および姿勢角とする。
以下、3軸ジャイロ220の設置点Oを原点O(0,0,0)とする極座標系xyzを車両座標系とする。車両座標系で表された座標および姿勢角は計測車両200に対する相対座標および相対姿勢角を示す。
z軸は計測車両200の進行方向(長手方向、奥行き方向、縦方向)を示し、x軸は計測車両200の幅方向(横方向)を示し、y軸は計測車両200の高さ方向(垂直方向)を示し、z軸回りの角度Φは回転角(ロール角)を示し、x軸回りの角度θは仰角(ピッチ角)を示し、y軸回りの角度ψは方位角(ヨー角)を示す。
また、車両座標系におけるカメラ240の座標、姿勢角を(Δxcam,Δycam,Δzcam)、(Φcam,θcam,ψcam)とする。以下、(Δxcam,Δycam,Δzcam)、(Φcam,θcam,ψcam)をカメラ取付オフセットという。
また、車両座標系におけるLRF250の座標、姿勢角を(Δxlrf,Δylrf,Δzlrf)、(Φlrf,θlrf,ψlrf)とする。以下、(Δxlrf,Δylrf,Δzlrf)、(Φlrf,θlrf,ψlrf)をLRF取付オフセットという。
また、同様に、各GPS受信機210の車両座標系における座標、姿勢角を受信機取付オフセットとする。
また、カメラ240の位置を原点としてカメラ240に対する相対座標および相対姿勢角を表す極座標系をカメラ座標系とし、LRF250の位置を原点としてLRF250に対する相対座標および相対姿勢角を表す極座標系をLRF座標系とし、各GPS受信機210の位置を原点として各GPS受信機210に対する相対座標および相対姿勢角を表す極座標系を受信機座標系とする。
計測車両200は走行中、継続して各GPS受信機210によりGPS衛星からの搬送波を観測し、カメラ240により前方の道路周辺を撮像し、LRF250により左側方の地物に対してレーザ計測する。
図5において、LRF250は上下方向(y軸方向)に機首を1°単位で180°振りながらレーザを照射し、地物に反射したレーザを観測して地物までの距離と方位とを計測し、これを繰り返す。
例えば、LRF250は、a地点において走査ラインSの各点について地物までの距離と方位(方向)とを示す距離方位点群データを取得し、計測車両200が進行したb地点において走査ラインSの各点について距離方位点群データを取得する。そして、LRF250は、計測車両200の走行中、このレーザ計測を繰り返すことにより、計測車両200が走行した道路の左方に位置する各地物について距離方位点群データを取得する。また、計測車両200は、道路を往復して、道路の左右両側に位置する各地物について距離方位点群データを取得する。なお、LRF250がレーザ計測する際に計測車両200がa地点、b地点、・・・と各点で停車するのではなく、計測車両200が連続走行しながらLRF250がレーザ計測を連続して行う。
例えば、距離方位点群データの示す各点の間隔が10〜14センチメートル程度になるような速さで、LRF250は機首を上下動しながらレーザの照射・観測を行う。または、計測車両200の走行速度を調整する。
図6は、実施の形態1における道路標識位置計測処理を示すフローチャートである。
図7は、実施の形態1における前処理(S100)を示すフローチャートである。
実施の形態1における道路標識位置計測装置100が実行する道路標識位置計測処理(対象特定方法)について、図6および図7に基づいて以下に説明する。
道路標識位置計測装置100を構成する各部は、以下に説明する各処理をCPU911を用いて実行する。
<S100:前処理>
まず、道路標識位置計測装置100は計測車両200から異なる地点で撮像された撮像画像Aおよび撮像画像Bに対して道路標識が写っている範囲を特定した認識画像Aおよび認識画像Bを認識画像記憶部192に記憶する。
また、道路標識位置計測装置100は計測車両200で計測された距離方位点群データに基づいて生成した三次元点群モデルを三次元点群モデル記憶部193に記憶する。
ここで、前処理(S100)の詳細を図7に基づいて説明する。
<S110>
まず、車両位置姿勢標定部110は各時刻における計測車両200の位置および姿勢角を特定の座標系で標定する。例えば、車両位置姿勢標定部110は座標を緯度、経度および高度で表す緯度経度座標系で計測車両200の位置および姿勢角を標定する。また例えば、車両位置姿勢標定部110は、計測車両200の走行開始地点を原点として、座標を東方向、北方向および上方向(垂直方向)で表すENU(East North Up)座標系で計測車両200の位置および姿勢角を標定する。
このとき、車両位置姿勢標定部110は観測データ記憶部291から各時刻における観測データ、角加速度データおよび車速データを入力し、入力した各データに基づいて各時刻における計測車両200の位置および姿勢角(ロール角、ピッチ角、ヨー角)を標定する。車両位置姿勢標定部110は標定した各時刻における計測車両200の位置および姿勢角を車両位置・姿勢データとして車両位置姿勢記憶部191に記憶する。
ここで、観測データには単独測位結果、擬似距離、搬送波位相、衛星軌道情報などが含まれている。
例えば、車両位置姿勢標定部110は、GPS受信機210の単独測位結果を受信機取付オフセット分補正して、計測車両200の三次元座標を標定する。
また例えば、車両位置姿勢標定部110は、3軸ジャイロ220の角加速度データおよびオドメータ230の車速データを積分した変化量を前回の標定値に加算して行うデッドレコニングにより、計測車両200の三次元座標および姿勢角を標定する。
また例えば、車両位置姿勢標定部110はデッドレコニングの結果に含まれる誤差をカルマンフィルタ処理で推定し、推定誤差を用いてデッドレコニングの結果を補正して計測車両200の三次元座標および姿勢角を標定する。カルマンフィルタ処理とは、状態量のダイナミクスをモデル化した状態方程式と、観測量と状態量との関係を定式化した観測方程式との両方程式に基づいて状態量の誤差を推定する処理である。カルマンフィルタ処理において、車両位置姿勢標定部110は擬似距離の観測残差や搬送波位相の観測残差を観測量とし、デッドレコニングによる標定結果を状態量とする。例えば、車両位置姿勢標定部110はデッドレコニングにより算出したGPS受信機210の位置と衛星軌道情報が示すGPS衛星の位置とによりGPS受信機210とGPS衛星との距離を算出し、算出した距離と観測データが示す擬似距離との差を観測残差とする。また例えば、車両位置姿勢標定部110はデッドレコニングにより算出したGPS受信機210の位置と衛星軌道情報が示すGPS衛星の位置とによりGPS受信機210から見たGPS衛星の位置する方向を示すLOS(Line Of Sight)ベクトルを算出し、受信機取付オフセットに基づいてGPS受信機210間の距離および方向を示す基線ベクトルを算出し、LOSベクトルと基線ベクトルとに基づいて搬送波位相を算出し、算出した搬送波位相と観測データが示す搬送波位相との差を観測残差とする。
<S120:対象撮像範囲特定処理>
次に、道路標識画像認識部120は撮像画像Aおよび撮像画像Bから同一の道路標識が写っている標識撮像範囲Aおよび標識撮像範囲Bを特定する。
このとき、道路標識画像認識部120は画像データ記憶部292から撮像画像Aおよび撮像画像Bを入力し、撮像画像Aおよび撮像画像Bに対して同一の道路標識を認識する任意の画像認識処理を行う。そして、道路標識画像認識部120は、画像認識処理結果に基づいて、撮像画像Aに対して当該道路標識が写っている標識撮像範囲Aを特定し、撮像画像Bに対して当該道路標識が写っている標識撮像範囲Bを特定する。例えば、道路標識画像認識部120は予め記憶機器に記憶された各道路標識の特徴情報(形状、色、模様など)とのパターンマッチングにより撮像画像から標識撮像範囲を特定する。または、道路標識画像認識部120は画像データ記憶部292から複数の撮像画像を入力し、各撮像画像に対して画像認識処理を行い、標識撮像範囲を特定できた2枚の撮像画像を撮像画像Aおよび撮像画像Bとして選択する。
また、道路標識画像認識部120は車両位置姿勢記憶部191から撮像画像Aを撮像時の計測車両200の位置および姿勢角と撮像画像Bを撮像時の計測車両200の位置および姿勢角とを取得する。
次に、道路標識画像認識部120は、計測車両200の位置および姿勢角とカメラ取付オフセットとに基づいて、撮像画像Aを撮像時のカメラ240の位置および姿勢角と撮像画像Bを撮像時のカメラ240の位置および姿勢角とを特定の座標系で算出する。カメラ取付オフセットは予め記憶機器に記憶されているものとする。
そして、道路標識画像認識部120は撮像画像A、標識撮像範囲Aおよび撮像画像Aを撮像時のカメラ240の位置・姿勢角を示す認識画像Aと、撮像画像B、標識撮像範囲Bおよび撮像画像Bを撮像時のカメラ240の位置・姿勢角を示す認識画像Bとを認識画像記憶部192に記憶する。
以下、標識撮像範囲は、四角形で表され、撮像画像の左上を原点として撮像画像のピクセル(画素)を単位とする画像座標系において、四角形を表す対角線上の2つの座標値を示すものとする。例えば、この画像座標系は、撮像画像が横1600ピクセル×縦1200ピクセルであれば、画像左上の座標が(0,0)、画像右上の座標が(1599,0)、画像左下の座標が(0,1199)、画像右下の座標が(1599,1199)となる。
<S130>
そして、三次元点群モデル復元部130は三次元座標を示す複数の三次元点データにより道路周辺の地物を三次元で表す三次元点群モデルを生成する。
このとき、三次元点群モデル復元部130は距離方位点群記憶部293から距離方位点群データを入力する。
次に、三次元点群モデル復元部130は、距離方位点群データの各点が示すLRF250に対する相対距離および相対方位(方向)に基づいて、距離方位点群データの各点についてLRF座標系における三次元座標を算出する。
次に、三次元点群モデル復元部130は車両位置姿勢記憶部191から各時刻における計測車両200の位置および姿勢角を取得する。
そして、三次元点群モデル復元部130は、計測車両200の位置および姿勢角とLRF取付オフセットとに基づいて、LRF座標系における各点の三次元座標を三次元アフィン変換して三次元点群モデルを生成する。LRF取付オフセットは予め記憶機器に記憶されているものとする。
三次元点群モデルの各点は特定の座標系(例えば、ENU座標系および車両座標系)で表される。
三次元点群モデル復元部130は生成した三次元点群モデルを三次元点群モデル記憶部193に記憶する。
ここで、三次元アフィン変換について説明する。以下の各式で用いている各記号は図4に示す記号に対応している。
まず、距離方位点群データから得られたLRF座標系における各点の三次元座標(x,y0,)は、計測車両200に対するLRF250の相対位置(Δxlrf,Δylrf,Δzlrf)および相対姿勢(Φlrf,θlrf,ψlrf)(LRF取付オフセット)を用いた以下の式1、式2によって、車両座標系の三次元座標(x,y,z)に変換される。
そして、車両座標系における各点の三次元座標(x,y,z)は、ENU座標系における計測車両200の座標(Ev,Nv,Uv)および姿勢角(Φv,θv,ψv)を用いた以下の式3、式4によって、ENU座標系の三次元座標(Elrf,Nlrf,Ulrf)に変換される。
図8は、実施の形態1における三次元点群モデル復元部130が生成する三次元点群モデルの一例を示す図である。
三次元点群モデル復元部130が生成した三次元点群モデルは表示装置901により図8に示すような三次元画像として表示される。図8では、車道(計測車両200の進行方向)と平行して道路脇に道路標識、電柱、木が順に並んでいることを示している。
なお、三次元点群モデル復元部130はLRF250からの水平距離が所定値以下である点のみについて三次元点群モデルを生成するものとする。例えば、図8は、塀の向こうに存在する地物が三次元点群モデルに含まれていないことを示している。
次に、図6に戻り、前処理(S100)後の道路標識位置計測処理について説明する。
実施の形態1における道路標識位置計測装置100は、三次元点群モデルを構成する複数の点のうち、どの点群が道路標識を表しているかを特定するために、撮像画像上で認識した道路標識に対応する点群を特定する。
そこで、前処理(S100)後、道路標識位置計測装置100は三次元点群モデルを構成する各点を撮像画像Aおよび撮像画像Bに投影し(S140、S160)、投影した各点のうち道路標識が写っている標識撮像範囲A、標識撮像範囲Bに位置する各点を抽出し(S151、S171)、抽出した各点をグルーピングし(S152)、各グループ点群のうち標識撮像範囲Aと標識撮像範囲Bとで共通するグループ点群を道路標識を表すグループ点群として特定する(S180)。そして、道路標識位置計測装置100は特定した道路標識を表すグループ点群を構成する各点が示す三次元座標に基づいて当該道路標識の三次元座標を算出する(S190)。
図9は、実施の形態1における道路標識位置計測処理の概念図である。
ここで、車道(計測車両200の進行方向)と平行して道路標識、木および電柱が並ぶ三次元点群モデルを点Pで撮像された二次元の撮像画像A(画像平面I)に投影した場合、標識撮像範囲Aにはカメラ240のLOS(視線方向)に位置する道路標識、木および電柱のそれぞれを表す各グループ点群が重畳して投影される。しかし、同一の三次元点群モデルを点Pで撮像された二次元の撮像画像B(画像平面I)に投影した場合、同一の道路標識に対する点PからのLOSは点PからのLOSと異なるため、標識撮像範囲Bには道路標識を表す点群グループと木の一部を表す点群グループのみが投影される。このため、道路標識位置計測装置100は視点が異なる標識撮像範囲Aと標識撮像範囲Bとに共通して投影されたグループ点群を道路標識を表すグループ点群として特定することができる。
図6に従い、以下に、S140〜S190の各処理の詳細について説明する。
<S140:点群画像投影処理A>
まず、点群画像投影部140は三次元点群モデルを撮像画像Aに投影する。
このとき、点群画像投影部140は認識画像記憶部192から認識画像Aを取得し、三次元点群モデル記憶部193から三次元点群モデルを取得する。ここで、認識画像Aは、前述の通り、撮像画像A、標識撮像範囲Aおよび撮像画像Aを撮像時のカメラ240の位置・姿勢角を示す。
そして、以下のようにして、三次元点群モデルを構成する各点を撮像画像Aに投影し、各点について三次元点群モデルが示す三次元座標と撮像画像Aに投影後の二次元座標とを示す画像投影点群Aipを二次元投影点群記憶部194に記憶する。以下、三次元点群モデルを投影後の画像を投影画像とする。また、画像投影点群の二次元座標は、前述の標識撮像範囲と同様、撮像画像の左上を原点とし、撮像画像のピクセル(画素)を単位とする座標値を示すものとする。
図10は、実施の形態1における二次元の画像平面Iに対する三次元座標の点の投影を示す概念図である。
以下の各式で用いている各記号は図4、図10に示す記号に対応している。
まず、三次元点群モデルの点Dが示す車両座標系の座標(xlrf,ylrf,zlrf)は、車両座標系におけるカメラ240の座標(Δxcam,Δycam,Δzcam)および姿勢角(Φcam,θcam,ψcam)を用いた以下の式5、式6によって、カメラ座標系の座標(xcam,ycam,zcam)に変換される。
そして、カメラ座標系における点Dの座標(xcam,ycam,zcam)とカメラ中心C(xcam0,ycam0,zcam0)とを結ぶ直線Lは以下の式7、式8、式9および式10で表わされる。カメラ中心Cはカメラ240の撮像素子の中心またはカメラ座標の原点を示す。
また、画像平面Iはカメラ240を理想的なピンホールカメラと仮定すると焦点距離fを用いて以下の式11で表される。焦点距離fはカメラ中心Cと画像平面Iの中心C’との距離を示す。
z=f ・・・(式11)
点群画像投影部140は、上記式7〜式11を用いて、画像平面Iと直線Lとの交点D’の座標を算出する。この交点D’の座標が撮像画像に投影した三次元点群モデルの点Dの二次元座標である。
図11は、実施の形態1における投影画像Aの一例を示す図である。
例えば、点群画像投影部140は三次元点群モデルを撮像画像Aに投影して図11に示すような投影画像Aを生成する。図11では、上記の点群画像投影処理A(S140)により、三次元点群モデルを投影した画像投影点群Aipを構成する各点が撮像画像Aに写っている各地物に対応していることを示している。例えば、図11において、左側の画像のα部分を拡大した右側の画像は、電柱の伸張方向に沿って点群が投影されていることを示している。
<S151:対象投影点群抽出処理A>
図6において、標識投影点群抽出部151は撮像画像Aに対して標識撮像範囲Aに投影された標識投影点群Aspを抽出する。
このとき、標識投影点群抽出部151は認識画像記憶部192から認識画像Aを取得し、二次元投影点群記憶部194から画像投影点群Aipを取得する。ここで、撮像画像A、標識撮像範囲Aおよび撮像画像Aを撮像時のカメラ240の位置・姿勢角を示し、画像投影点群Aipは各点について三次元座標と撮像画像A上の二次元座標とを示す。
そして、標識投影点群抽出部151は、標識撮像範囲Aと撮像画像A上の二次元座標とに基づいて、画像投影点群Aipから標識撮像範囲A内に位置する点群を抽出し、抽出した点群を標識投影点群Aspとする。標識投影点群Aspは標識撮像範囲A内に位置する各点について三次元座標と撮像画像A上の二次元座標とを示す。
図12は、実施の形態1における標識投影点群Asp[2次元]の一例を示す図である。
図13は、実施の形態1における標識投影点群Asp[3次元]の一例を示す図である。
例えば、標識投影点群抽出部151は、図12に示すように、認識画像Aが示す標識撮像範囲A内に投影された標識投影点群Aspを抽出する。図12では、左側に認識画像Aの全体を示し、中央に拡大した標識撮像範囲Aを示している。なお、図12の標識撮像範囲Aには、右図に示すように、横断歩道の標識、標識の背後に位置する電柱および木が写っている。
つまり、標識投影点群Aspは、図13に示すように、道路標識を表す点群と電柱を表す点群と木を表す点群とを含んでいる。
<S152:点群グルーピング処理>
図6において、標識点群ラベリング部152は標識投影点群Aspをグループ毎にラベリングする。
例えば、図13に示した標識投影点群Aspに対して、標識点群ラベリング部152は、以下のようにして、道路標識を表す点群と電柱を表す点群と木を表す点群とにグループ分けし、各グループ点群にラベルを設定する。
図14は、実施の形態1におけるボクセルモデルを示す図である。
図15は、実施の形態1におけるラベリング(グルーピング)を示す図である。
以下に、点群グルーピング処理(S152)の詳細について図14および図15に基づいて説明する。
まず、標識点群ラベリング部152はボクセル空間を設定する(S152a[図14左図参照])。
ボクセル空間とは三次元空間を立方体(ボクセル)を単位とする立方格子状に分割したものである。例えば、標識点群ラベリング部152は標識投影点群Aspを構成する各点の三次元座標について座標成分x、yおよびzそれぞれの最小値を検索し、最小値が示す座標を原点として一辺が20センチメートルのボクセルを分割単位とするボクセル空間を設定する。但し、標識点群ラベリング部152は直方体や三角錐など他の立体形により三次元空間を分割してもよい。
次に、標識点群ラベリング部152は標識投影点群Aspを構成する各点を三次元座標に基づいて該当するボクセルに投票する。このとき、標識点群ラベリング部152は、標識投影点群Aspを構成する各点の三次元座標と各ボクセルが形成する三次元空間の座標とに基づいて、各ボクセル内に位置する標識投影点群Aspの点を特定する。以下、標識投影点群Aspを構成する各点が位置するボクセルを特定し、標識投影点群Aspの点とボクセルとを対応付けることを投票という(S152b[図14中央図参照])。
次に、標識点群ラベリング部152は標識投影点群Aspのいずれかの点が投票されたボクセルをボクセルモデルとして抽出する(S152c[図14右図参照])。
次に、標識点群ラベリング部152はボクセルモデルに対して隣接するボクセルを一つのグループとしてグループ分けし、各グループに対して当該グループを構成する各ボクセルに投票されたグループ点群にラベルを設定する(S152d[図15右図参照])。
例えば、標識点群ラベリング部152は周囲26方向において隣接するボクセルを連結してグループ分けを行い、各グループにラベルを設定する。つまり、ある一つのボクセルは自身を中心とした3×3×3のキューブ内に位置する他のボクセルと同じグループに属する。
図15では、ボクセルモデルがグループ1、グループ2、グループ3およびグループ4の4つのグループにグループ分けされていることを示す。グループ1のボクセルに投票されたグループ点群はラベル1で識別され、グループ2のボクセルに投票されたグループ点群はラベル2で識別され、グループ3のボクセルに投票されたグループ点群はラベル3で識別され、グループ4のボクセルに投票されたグループ点群はラベル4で識別される。
S152aにおいて設定されたボクセルのサイズが大きすぎる場合、道路標識を表す点群とその他の地物を表す点群とが同一のボクセルまたは隣接するボクセルに投票され、道路標識を表す点群とその他の地物を表す点群とにグループ分けすることができない。また、ボクセルのサイズが小さすぎる場合、同一の道路標識を表す各点が同一のボクセルにも隣接するボクセルにも投票されずにそれぞれ離れたボクセルに投票され、道路標識を表す各点を一つのグループ点群にすることができない。そこで、標識点群ラベリング部152はLRF250が計測する各点の間隔や計測対象とする道路標識の大きさなどに応じてボクセルのサイズを設定する。例えば、標識点群ラベリング部152はLRF250が計測する各点の間隔(例えば、10〜14センチメートル)の1.5倍以上2.0倍以下程度を一辺の長さとしてボクセルを設定する。また例えば、標識点群ラベリング部152は計測対象とする道路標識の一辺の長さ(例えば、40〜180センチメートル)の0.1倍以上0.5倍以下程度を一辺の長さとしてボクセルを設定する。
図16は、実施の形態1における点群グルーピング処理(S152)後の標識投影点群Asp[3次元]の一例を示す図である。
標識点群ラベリング部152は、上記点群グルーピング処理(S152)により、図13に示した標識投影点群Asp[3次元]をラベル1で識別する点群、ラベル2で識別する点群およびラベル3で識別する点群にグループ分けすることができる。
<S153:点群グループ限定処理>
図6において、標識点群ラベル限定部153は標識点群ラベリング部152がグループ分けした各グループ点群に対して標識候補点群Aとなる点群グループを限定する。
このとき、標識点群ラベル限定部153は各グループ点群について各点の三次元座標に基づいて当該グループ点群で表される地物のサイズ(幅、高さ、奥行き)を算出する。
次に、標識点群ラベル限定部153は計測対象とする道路標識の大きさを示すサイズ範囲と各グループ点群が表す地物のサイズとを比較して地物のサイズが道路標識のサイズ範囲内であるグループ点群を特定する。道路標識のサイズ範囲は予め記憶機器に定義されているものとする。
そして、標識点群ラベル限定部153は特定した各グループ点群を構成する点群それぞれを標識候補点群Aとして標識候補点群記憶部195に記憶し、標識候補点群A以外の点群を除去する。標識候補点群Aは計測対象の道路標識と同程度のサイズである地物を表す各グループ点群について各点の三次元座標と各点の撮像画像A上の二次元座標とを示す。
図17は、実施の形態1における標識投影点群Asp[3次元]がEast−North平面で存在する範囲の一例を示すグラフである。
図18は、実施の形態1における標識投影点群Asp[3次元]がEast−Up平面で存在する範囲の一例を示すグラフである。
図19は、実施の形態1における標識候補点群A[3次元]の一例を示す図である
図16に示したラベル1、ラベル2またはラベル3で識別される各グループ点群を構成する各点はEast−North平面において図17のように存在し、East−Up平面において図18のように存在する。図17は上方から見た場合の各点の存在範囲を示し、図18は側方から見た場合の各点の存在範囲を示している。図17および図18における目盛りはLRF250がレーザ計測を開始した地点からの距離を示している。なお、図17においてカメラ240のLOS(視線方向)はグラフの右上からの方向であり、図18においてカメラ240のLOSはグラフの右下から方向である。
ここで、計測対象とする道路標識(例えば、横断歩道標識)のサイズ範囲を幅方向で0.4メートル以上1.8メートル以下、高さ方向で0.4メートル以上1.8メートル以下とした場合、図18において、ラベル1、ラベル2またはラベル3で識別される各グループ点群はいずれも高さ方向のサイズ条件を充たしている。一方、図17において、ラベル1またはラベル3で識別される各グループ点群は幅方向のサイズ条件を充たしているが、ラベル2で識別されるグループ点群は幅方向のサイズ条件を充たしていない。
この場合、標識点群ラベル限定部153は“ラベル2”で識別されるグループ点群を削除し、図19に示すように、“ラベル3”で識別されていたグループ点群のラベル名を“ラベル2”に更新する。図19において、“ラベル1”で識別されるグループ点群と“ラベル2(旧ラベル1)”で識別されるグループ点群とが標識候補点群Aとなる。
<S160:点群画像投影処理B>
図6において、点群画像投影部140は標識候補点群Aを撮像画像Bに投影する。
このとき、点群画像投影部140は認識画像記憶部192から認識画像Bを取得し、標識候補点群記憶部195から標識候補点群Aを取得する。
そして、点群画像投影部140は、点群画像投影処理A(S140)と同様に、標識候補点群Aを撮像画像Bに投影し、撮像画像Bに投影した画像投影点群Bipを二次元投影点群記憶部194に記憶する。
但し、点群画像投影部140は三次元点群モデルを構成する全ての点を撮像画像Bに投影するのではなく、標識点群ラベル限定部153が限定した標識候補点群Aを構成する点のみを撮像画像Bに投影する。
ここで、認識画像Bは撮像画像B、標識撮像範囲Bおよび撮像画像Bを撮像時のカメラ240の位置・姿勢角を示している。また、標識候補点群Aは計測対象の道路標識と同程度のサイズである地物を表す各点群グループについて各点の三次元座標と撮像画像A上の二次元座標とを示し、画像投影点群Bipは標識候補点群Aの各点の三次元座標と撮像画像B上の二次元座標とを示す。
<S171:対象投影点群抽出処理B>
次に、標識投影点群抽出部151は撮像画像Bに対して標識撮像範囲Bに投影された標識投影点群Bspを標識候補点群Bとして抽出する。
このとき、標識投影点群抽出部151は認識画像記憶部192から認識画像Bを取得し、二次元投影点群記憶部194から画像投影点群Bipを取得する。
そして、標識投影点群抽出部151は、対象投影点群抽出処理A(S151)と同様に、標識撮像範囲Bに投影された標識投影点群Bspを抽出する。標識投影点群抽出部151は抽出した標識投影点群Bspを標識候補点群Bとして標識候補点群記憶部195に記憶 する。
つまり、標識投影点群抽出部151は標識候補点群Aを構成する複数の点を標識撮像範囲Bに投影された点に絞り込んで標識候補点群Bとしている。
<S180:対象点群特定処理>
次に、標識点群特定部160は標識候補点群Aと標識候補点群Bとを比較して道路標識を表す標識三次元点群を特定する。
このとき、標識点群特定部160は標識候補点群記憶部195から標識候補点群Aと標識候補点群Bとを取得する。
そして、標識点群特定部160は標識候補点群Aを構成する各グループ点群と標識候補点群Bを構成する各グループ点群とを比較し、点群の一致度が最も大きいグループ点群を道路標識を表す標識三次元点群として標識三次元点群記憶部196に記憶する。標識候補点群Bを構成する各点は標識候補点群Aを構成するいずれかの点であり、標識候補点群Aにおけるグループと同じグループに属するものとして扱う。標識点群特定部160は、標識候補点群Aを構成する各グループ点群の中で、当該グループ点群を構成する各点が標識候補点群Bを構成する点として残存した割合の最も高いグループ点群を標識三次元点群とする。標識三次元点群は道路標識を表す各点の三次元座標を示す。
ここで、図9に示したように、点Pで撮像された撮像画像Aと点Pで撮像された撮像画像Bとでは道路標識に対するカメラ240のLOS(視線方向)が異なるため、標識撮像範囲Aに投影された標識投影点群Aspと標識撮像範囲Bに投影された標識投影点群Bspとは一致しない。しかし、撮像画像Aと撮像画像Bとは共に同一の道路標識の全体を写しているため、標識投影点群Aと標識投影点群Bとにおいて道路標識を表すグループ点群については一致する。つまり、図19に示した標識候補点群Aと標識候補点群Bとを比較した場合、道路標識を表すグループ点群(ラベル2)の方が木を表すグループ点群(ラベル1)より点群の一致度・残存率が高くなる。このため、標識点群特定部160は、図20に示すように、木を表すグループ点群(ラベル1)を棄却し、道路標識を表すグループ点群(ラベル2)を標識三次元点群として特定することができる。
図20は、実施の形態1における標識三次元点群の一例を示す図である。
<S190:対象位置算出処理>
図6において、標識位置計算部170は標識三次元点群に基づいて道路標識の位置を算出する。
このとき、標識位置計算部170は標識三次元点群記憶部196から標識三次元点群を取得する。
そして、標識位置計算部170は標識三次元点群が示す各点の三次元座標に基づいて道路標識の中心点(重心点)の三次元座標を道路標識の位置として算出する。このとき、標識位置計算部170は標識三次元点群を構成する各点の三次元座標について座標成分x、yおよびzそれぞれの平均値を道路標識の位置として算出する。例えば、標識位置計算部170は、座標成分x、yおよびzそれぞれについて、各点の座標値から最小値と最大値とを検索し、最小値と最大値との合計値を2で除算した値を道路標識の位置として算出する。また例えば、標識位置計算部170は、座標成分x、yおよびzそれぞれについて、各点の座標値を合計し、合計値を点の数で除算した値を道路標識の位置として算出する。
図21は、実施の形態1における道路標識位置を示す図である。
標識位置計算部170は、図21に示すように、図20に示した標識三次元点群の中心点を道路標識位置として算出する。図21は道路標識を正面から表した標識三次元点群(左図)と道路標識を側方から表した標識三次元点群(右図)とを示している。
実施の形態1では、高精度な車体位置姿勢を基にLRFにより得られたデータから計算した三次元復元点群(三次元点群モデル)およびカメラ画像を用いて道路標識位置を計測する道路標識位置計測方法について説明した。本手法の特徴は、視点の異なる複数カメラ画像間の視差を利用することで、標識の周辺や裏に隠れている標識以外の地物に対応するレーザ計測点を棄却し、標識から直接反射して戻っているレーザ点のみを用いて標識の位置を計測する点である。
実施の形態1における道路標識位置計測装置100は、点群画像投影部140が三次元点群モデルではなく標識候補点群Acを撮像画像Bに投影することにより(S160)、処理する点データの数を減らし、処理時間を短縮することができる。
また、道路標識位置計測装置100は、標識点群ラベル限定部153が各グループ点群の表す地物の大きさに基づいてグループ点群を限定することにより(S153)、道路標識とは大きさの異なる地物のグループ点群を標識三次元点群として誤検出することを防ぐことができる。
実施の形態2.
実施の形態2では、点群グループ限定処理(S153)を実行しない道路標識位置計測処理について説明する。
以下、実施の形態1と異なる事項について主に説明し、説明を省略する事項は実施の形態1と同様であるものとする。
図22は、実施の形態2における道路標識位置計測処理を示すフローチャートである。
図22に示すように、実施の形態2における道路標識位置計測装置100は点群グループ限定処理(S153)を実行しない。
そして、点群グルーピング処理(S152b)において、標識点群ラベリング部152は標識投影点群Aspを構成する各グループ点群を標識候補点群Aとして標識候補点群記憶部195に記憶し、点群画像投影処理B(S160b)において、点群画像投影部140は標識点群ラベリング部152が記憶した標識候補点群Aを撮像画像Bに投影する。
これにより、道路標識位置計測装置100は標識点群ラベル限定部153を備えなくても道路標識の位置を算出することができる。
実施の形態3.
実施の形態3では、実施の形態1とは異なる対象点群特定処理(S180)を実行する道路標識位置計測処理について説明する。
以下、実施の形態1と異なる事項について主に説明し、説明を省略する事項は実施の形態1と同様であるものとする。
図23は、実施の形態3における道路標識位置計測処理を示すフローチャートである。
実施の形態3における道路標識位置計測処理について、図23に基づいて以下に説明する。
対象点群特定処理(S180c)において、標識点群特定部160は標識候補点群Aと標識候補点群Bとを比較して算出した各グループ点群の一致度(残存率)を比較し、一致度が他の全てのグループ点群の一致度より所定の閾値以上大きい1つのグループ点群を標識三次元点群として特定する。
そして、S181cにおいて、道路標識位置計測装置100は標識点群特定部160が標識三次元点群を特定できなかった場合、つまり、各グループ点群の一致度に所定の閾値以上の差が無かった場合、点群画像投影処理B(S160c)から処理を繰り返す。
このとき、点群画像投影処理B(S160c)では、点群画像投影部140が標識候補点群Aを新たに別の撮像画像x(第3の撮像画像)に投影する。
以後、標識投影点群抽出部151が撮像画像xについて標識候補点群xを抽出し(S171c)、標識点群特定部160が標識候補点群Aと標識候補点群xとを比較して標識三次元点群を特定する。
道路標識位置計測装置100は標識三次元点群が特定できるまでS160c〜S181cを異なる撮像画像を用いて繰り返す。
つまり、道路標識位置計測装置100は撮像画像Aと撮像画像Bとが近接する地点で撮像され、視点の差が小さい場合であっても、撮像画像Aとの視点の差が大きい他の撮像画像を利用して標識三次元点群を特定することができる。これにより、道路標識位置計測装置100は標識三次元点群の誤検出を防ぐことができる。
実施の形態4.
実施の形態4では、各撮像画像に対して、三次元点群モデルについて点群画像投影処理(S140d)〜点群グループ限定処理(S153d)を実行する道路標識位置計測処理について説明する。
以下、実施の形態1と異なる事項について主に説明し、説明を省略する事項は実施の形態1と同様であるものとする。
図24は、実施の形態4における道路標識位置計測処理を示すフローチャートである。
実施の形態4における道路標識位置計測処理について、図24に基づいて以下に説明する。
点群画像投影処理(S140d)において、点群画像投影部140は撮像画像Aと撮像画像Bとに対して三次元点群モデルを投影する。
そして、標識投影点群抽出部151は標識投影点群Aspおよび標識投影点群Bspを抽出し(S151d)、標識点群ラベリング部152は標識投影点群Aspおよび標識投影点群Bspをグループ分けし(S152d)、標識点群ラベル限定部153は標識候補点群Aおよび標識候補点群Bを特定する(S153d)。
これにより、道路標識位置計測装置100は点群画像投影処理(S140d)〜点群グループ限定処理(S153d)を撮像画像毎に並列に実行し、処理時間を短縮することができる。
道路標識位置計測装置100は実施の形態2と同様に点群グループ限定処理(S153d)を省略しても構わない。
また、道路標識位置計測装置100は3つ以上の撮像画像について処理を行い、3つ以上の標識候補点群を比較して標識三次元点群を特定しても構わない。
実施の形態1における道路標識位置計測システム900の機能構成図。 実施の形態1における道路標識位置計測装置100のハードウェア資源の一例を示す図。 実施の形態1における計測車両200のハードウェア資源の一例を示す図。 実施の形態1における計測車両200の配置関係図。 実施の形態1におけるLRF250のレーザ計測方法を示す図。 実施の形態1における道路標識位置計測処理を示すフローチャート。 実施の形態1における前処理(S100)を示すフローチャート。 実施の形態1における三次元点群モデル復元部130が生成する三次元点群モデルの一例を示す図。 実施の形態1における道路標識位置計測処理の概念図。 実施の形態1における二次元の画像平面Iに対する三次元座標の点の投影を示す概念図。 実施の形態1における投影画像Aの一例を示す図。 実施の形態1における標識投影点群A[2次元]の一例を示す図。 実施の形態1における標識投影点群A[3次元]の一例を示す図。 実施の形態1におけるボクセルモデルを示す図。 実施の形態1におけるラベリング(グルーピング)を示す図。 実施の形態1における点群グルーピング処理(S152)後の標識投影点群A[3次元]の一例を示す図。 実施の形態1における標識投影点群A[3次元]がEast−North平面で存在する範囲の一例を示すグラフ。 実施の形態1における標識投影点群A[3次元]がEast−Up平面で存在する範囲の一例を示すグラフ。 実施の形態1における標識候補点群A[3次元]の一例を示す図。 実施の形態1における標識三次元点群の一例を示す図。 実施の形態1における道路標識位置を示す図。 実施の形態2における道路標識位置計測処理を示すフローチャート。 実施の形態3における道路標識位置計測処理を示すフローチャート。 実施の形態4における道路標識位置計測処理を示すフローチャート。
符号の説明
100 道路標識位置計測装置、110 車両位置姿勢標定部、120 道路標識画像認識部、130 三次元点群モデル復元部、140 点群画像投影部、150 グルーピング部、151 標識投影点群抽出部、152 標識点群ラベリング部、153 標識点群ラベル限定部、160 標識点群特定部、170 標識位置計算部、191 車両位置姿勢記憶部、192 認識画像記憶部、193 三次元点群モデル記憶部、194 二次元投影点群記憶部、195 標識候補点群記憶部、196 標識三次元点群記憶部、200 計測車両、201 天板、202 車両本体、210 GPS受信機、220 3軸ジャイロ、230 オドメータ、240 カメラ、250 LRF、291 観測データ記憶部、292 画像データ記憶部、293 距離方位点群記憶部、900 道路標識位置計測システム、901 表示装置、902 キーボード、903 マウス、904 FDD、905 CDD、911 CPU、912 バス、913 ROM、914 RAM、915 通信ボード、920 磁気ディスク装置、921 OS、923 プログラム群、924 ファイル群。

Claims (8)

  1. 3次元座標を示す複数の3次元点データにより地物を3次元で表す3次元点群データを記憶機器を用いて記憶する点群データ記憶部と、
    異なる位置で撮像された2次元画像を表す第1の画像データと第2の画像データとを記憶機器を用いて記憶する画像データ記憶部と、
    前記画像データ記憶部に記憶された第1の画像データの表す2次元画像と前記画像データ記憶部に記憶された第2の画像データの表す2次元画像とから特定の対象物が撮像された対象撮像範囲をCPU(Central Proccessing Unit)を用いて特定する対象撮像範囲特定部
    前記点群データ記憶部に記憶された3次元点群データを前記画像データ記憶部に記憶された第1の画像データの表す2次元画像に対してCPUを用いて投影する第1の点群画像投影部と、
    前記対象撮像範囲特定部が特定した第1の画像データの対象撮像範囲に対して前記第1の点群画像投影部が投影した3次元点群データをCPUを用いて抽出する第1の対象投影点群抽出部と、
    前記第1の対象投影点群抽出部が抽出した3次元点群データを各3次元点データの示す3次元座標に基づいて複数のグループ点群データとしてCPUを用いてグループ分けする点群グルーピング部
    前記点群グルーピング部がグループ分けした複数のグループ点群データを前記画像データ記憶部に記憶された第2の画像データの表す2次元画像に対してCPUを用いて投影する第2の点群画像投影部と、
    前記対象撮像範囲特定部が特定した第2の画像データの対象撮像範囲に対して前記第2の点群画像投影部が投影した各グループ点群データをCPUを用いて抽出する第2の対象投影点群抽出部と、
    前記点群グルーピング部がグループ分けした各グループ点群データを前記第2の対象投影点群抽出部が抽出した各グループ点群データと比較し、前記点群グルーピング部がグループ分けした各グループ点群データの中で3次元点データの残存率が最も大きいグループ点群データを前記特定の対象物を3次元で表す対象点群データとしてCPUを用いて特定する対象点群特定部と
    を備えたことを特徴とする対象特定装置。
  2. 前記対象特定装置は、さらに、
    前記点群グルーピング部がグループ分けした複数のグループ点群データのそれぞれが表すグループ体のサイズを各3次元点データの示す3次元座標に基づいてCPUを用いて特定し、特定したグループ体のサイズを前記特定の対象物のサイズとCPUを用いて比較し、グループ体のサイズが前記特定の対象物のサイズに対応する各グループ点群データをCPUを用いて特定する点群グループ限定部を備え、
    前記第2の点群画像投影部は、前記点群グループ限定部が特定した各グループ点群データを第2の画像データの表す2次元画像に対して投影する
    ことを特徴とする請求項記載の対象特定装置。
  3. 前記対象特定装置は、さらに、
    前記対象点群特定部が特定した対象点群データを構成する各3次元点データの示す3次元座標に基づいて前記特定の対象物の中心を示す3次元座標を前記特定の対象物の3次元座標としてCPUを用いて算出する対象位置算出部
    を備えたことを特徴とする請求項〜請求項いずれかに記載の対象特定装置。
  4. 前記点群グルーピング部は、複数の3次元領域に分割した3次元空間を設定し、前記第1の対象投影点群抽出部が抽出した3次元点群データを各3次元点データの示す3次元座標に基づいて前記3次元空間に投票し、隣接する各3次元領域に投票された各3次元点データを1つのグループ点群データとする
    ことを特徴とする請求項〜請求項いずれかに記載の対象特定装置。
  5. 3次元座標を示す複数の3次元点データにより地物を3次元で表す3次元点群データを記憶機器を用いて記憶する点群データ記憶部と、
    異なる位置で撮像された2次元画像を表す複数の画像データを記憶機器を用いて記憶する画像データ記憶部と、
    前記画像データ記憶部に記憶された各画像データの表す2次元画像から特定の対象物が撮像された対象撮像範囲をCPU(Central Proccessing Unit)を用いて特定する対象撮像範囲特定部と、
    前記点群データ記憶部に記憶された3次元点群データを前記画像データ記憶部に記憶された第1の画像データの表す2次元画像に対してCPUを用いて投影する第1の点群画像投影部と、
    前記対象撮像範囲特定部が特定した第1の画像データの対象撮像範囲に対して前記第1の点群画像投影部が投影した3次元点群データをCPUを用いて抽出する第1の対象投影点群抽出部と、
    前記第1の対象投影点群抽出部が抽出した3次元点群データを各3次元点データの示す3次元座標に基づいて複数のグループ点群データとしてCPUを用いてグループ分けする点群グルーピング部と、
    前記点群グルーピング部がグループ分けした複数のグループ点群データを前記画像データ記憶部に記憶された第2の画像データの表す2次元画像に対してCPUを用いて投影する第2の点群画像投影部と、
    前記対象撮像範囲特定部が特定した第2の画像データの対象撮像範囲に対して前記第2の点群画像投影部が投影した各グループ点群データをCPUを用いて抽出する第2の対象投影点群抽出部と、
    前記点群グルーピング部がグループ分けした各グループ点群データを前記第2の対象投影点群抽出部が抽出した各グループ点群データと比較し、前記点群グルーピング部がグループ分けした各グループ点群データを構成する各3次元点データの残存率を算出し、残存率が他の全てのグループ点群データの残存率より所定の閾値以上大きい1つのグループ点群データを前記特定の対象物を3次元で表す対象点群データとしてCPUを用いて特定する対象点群特定部とを備え、
    前記対象点群特定部が対象点群データとして1つのグループ点群データを特定できなかった場合、
    前記第2の点群画像投影部は、第3の画像データの表す2次元画像に対して複数のグループ点群データを投影し、
    前記第2の対象投影点群抽出部は、第3の画像データの対象撮像範囲に対して前記第2の画像投影部が投影した各グループ点群データを抽出し、
    前記対象点群特定部は、前記点群グルーピング部がグループ分けした各グループ点群データを前記第2の対象投影点群抽出部が第3の画像データに対して抽出した各グループ点群データと比較して対象点群データを特定する
    ことを特徴とする対象特定装置。
  6. 3次元座標を示す複数の3次元点データにより地物を3次元で表す3次元点群データを記憶機器を用いて記憶する点群データ記憶部と、
    異なる位置で撮像された2次元画像を示す複数の画像データを記憶機器を用いて記憶する画像データ記憶部と、
    前記画像データ記憶部に記憶された各画像データの表す2次元画像から特定の対象物が撮像された対象撮像範囲をCPU(Central Proccessing Unit)を用いて特定する対象撮像範囲特定部と、
    前記点群データ記憶部に記憶された3次元点群データを前記画像データ記憶部に記憶された各画像データの表す2次元画像に対してCPUを用いて投影する点群画像投影部と、
    前記対象撮像範囲特定部が特定した各画像データの対象撮像範囲に対して前記点群画像投影部が投影した3次元点群データを対象投影点群データとしてCPUを用いて抽出する対象投影点群抽出部と、
    前記対象投影点群抽出部が対象投影点群データを抽出した各画像データについて、当該画像データの対象投影点群データを各3次元点データの示す3次元座標に基づいて複数のグループ点群データとしてCPUを用いてグループ分けする点群グルーピング部と、
    前記点群グルーピング部がグループ分けした複数のグループ点群データのうち、複数の画像データ間で当該グループ点群データに含まれる各3次元点データの一致度が最も大きいグループ点群データを前記特定の対象物を3次元で表す対象点群データとしてCPUを用いて特定する対象点群特定部と
    を備えたことを特徴とする対象特定装置。
  7. 対象撮像範囲特定部が、異なる位置で撮像された2次元画像を表す第1の画像データと第2の画像データとを記憶機器を用いて記憶する画像データ記憶部に記憶された第1の画像データの表す2次元画像と前記画像データ記憶部に記憶された第2の画像データの表す2次元画像とから特定の対象物が撮像された対象撮像範囲をCPU(Central Proccessing Unit)を用いて特定する対象撮像範囲特定処理を行い、
    1の点群画像投影部が、3次元座標を示す複数の3次元点データにより地物を3次元で表す3次元点群データを記憶機器を用いて記憶する点群データ記憶部に記憶された3次元点群データを前記画像データ記憶部に記憶された第1の画像データの表す2次元画像に対してCPUを用いて投影する第1の点群画像投影処理を行い、
    第1の対象投影点群抽出部が、前記対象撮像範囲特定部の特定した第1の画像データの対象撮像範囲に対して前記第1の点群画像投影部の投影した3次元点群データをCPUを用いて抽出する第1の対象投影点群抽出処理を行い、
    点群グルーピング部が、前記第1の対象投影点群抽出部の抽出した3次元点群データを各3次元点データの示す3次元座標に基づいて複数のグループ点群データとしてCPUを用いてグループ分けする点群グルーピング処理を行い、
    2の点群画像投影部が、前記点群グルーピング部のグループ分けした複数のグループ点群データを前記画像データ記憶部に記憶された第2の画像データの表す2次元画像に対してCPUを用いて投影する第2の点群画像投影処理を行い、
    第2の対象投影点群抽出部が、前記対象撮像範囲特定部の特定した第2の画像データの対象撮像範囲に対して前記第2の点群画像投影部の投影した各グループ点群データをCPUを用いて抽出する第2の対象投影点群抽出処理を行い、
    象点群特定部が、前記点群グルーピング部のグループ分けした各グループ点群データを前記第2の対象投影点群抽出部の抽出した各グループ点群データと比較し、前記点群グルーピング部のグループ分けした各グループ点群データの中で3次元点データの残存率が最も大きいグループ点群データを前記特定の対象物を3次元で表す対象点群データとしてCPUを用いて特定する対象点群特定処理を行う
    ことを特徴とする対象特定方法。
  8. 請求項記載の対象特定方法をコンピュータに実行させることを特徴とする対象特定プログラム。
JP2007220405A 2007-08-27 2007-08-27 対象特定装置、対象特定方法および対象特定プログラム Expired - Fee Related JP4232167B1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007220405A JP4232167B1 (ja) 2007-08-27 2007-08-27 対象特定装置、対象特定方法および対象特定プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007220405A JP4232167B1 (ja) 2007-08-27 2007-08-27 対象特定装置、対象特定方法および対象特定プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2008301775A Division JP4978615B2 (ja) 2008-11-27 2008-11-27 対象特定装置

Publications (2)

Publication Number Publication Date
JP4232167B1 true JP4232167B1 (ja) 2009-03-04
JP2009053059A JP2009053059A (ja) 2009-03-12

Family

ID=40504259

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007220405A Expired - Fee Related JP4232167B1 (ja) 2007-08-27 2007-08-27 対象特定装置、対象特定方法および対象特定プログラム

Country Status (1)

Country Link
JP (1) JP4232167B1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019103158A1 (ja) * 2017-11-27 2019-05-31 パイオニア株式会社 データ構造、情報送信装置、情報処理装置、制御方法、プログラム及び記憶媒体
JP2019194900A (ja) * 2012-09-05 2019-11-07 ウェイモ エルエルシー 複数の情報源を用いる建設区域検出
CN113167903A (zh) * 2018-12-12 2021-07-23 日立安斯泰莫株式会社 外界识别装置
WO2021166912A1 (ja) * 2020-02-18 2021-08-26 株式会社デンソー 物体検出装置
CN113566839A (zh) * 2021-07-23 2021-10-29 湖南省计量检测研究院 基于三维建模的道路区间最短路程距离测量方法
JP7501398B2 (ja) 2020-02-18 2024-06-18 株式会社デンソー 物体検出装置

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5559997B2 (ja) * 2009-07-17 2014-07-23 株式会社トプコン 位置測定方法及び位置測定装置
JP5355443B2 (ja) * 2010-02-15 2013-11-27 三菱電機株式会社 位置補正システム
JP5501101B2 (ja) * 2010-06-03 2014-05-21 三菱電機株式会社 位置標定装置、位置標定方法および位置標定プログラム
JP5535025B2 (ja) * 2010-10-08 2014-07-02 三菱電機株式会社 屋外地物検知システム、屋外地物検知システム用プログラム、および屋外地物検知システム用プログラムの記録媒体
JP2012144355A (ja) * 2011-01-13 2012-08-02 Nittetsu Hokkaido Control Systems Corp 原料ヤードにおける移動機の作業位置検出装置及び作業位置検出方法
JP5814620B2 (ja) * 2011-05-23 2015-11-17 三菱電機株式会社 位置補正データ生成装置、位置標定装置、位置補正データ生成装置の位置補正データ生成方法、位置標定装置の位置標定方法、位置補正データ生成プログラムおよび位置標定プログラム
JP6114052B2 (ja) * 2013-02-13 2017-04-12 日本電信電話株式会社 点群解析処理装置及び点群解析処理プログラム
US9110163B2 (en) * 2013-06-14 2015-08-18 Microsoft Technology Licensing, Llc Lidar-based classification of object movement
JP6320638B2 (ja) * 2015-07-03 2018-05-09 三菱電機株式会社 3次元点群選択装置および3次元点群選択方法
JP6381137B2 (ja) * 2015-07-21 2018-08-29 日本電信電話株式会社 標識検出装置、方法、及びプログラム
CN105184852B (zh) * 2015-08-04 2018-01-30 百度在线网络技术(北京)有限公司 一种基于激光点云的城市道路识别方法及装置
JP6499047B2 (ja) * 2015-09-17 2019-04-10 株式会社東芝 計測装置、方法及びプログラム
JP6062020B2 (ja) * 2015-11-18 2017-01-18 三菱電機株式会社 指定点投影方法、プログラムおよびコンピュータ
JP6650864B2 (ja) * 2016-12-13 2020-02-19 三菱電機株式会社 設備管理装置および表示データ生成方法
US10885398B2 (en) * 2017-03-17 2021-01-05 Honda Motor Co., Ltd. Joint 3D object detection and orientation estimation via multimodal fusion
JP6740470B2 (ja) * 2017-05-19 2020-08-12 パイオニア株式会社 測定装置、測定方法およびプログラム
JP6692320B2 (ja) * 2017-05-22 2020-05-13 日本電信電話株式会社 設備状態検出装置およびプログラム
JP7003594B2 (ja) * 2017-11-20 2022-01-20 三菱電機株式会社 3次元点群表示装置、3次元点群表示システム、3次元点群表示方法および3次元点群表示プログラム、記録媒体
JP7253323B2 (ja) 2018-02-14 2023-04-06 オムロン株式会社 3次元計測システム及び3次元計測方法
JP7147176B2 (ja) * 2018-02-27 2022-10-05 国際航業株式会社 可搬型レーザー測量機台座、計測車両、及びレーザー計測方法
JP7060157B2 (ja) * 2019-03-14 2022-04-26 日本電信電話株式会社 データ圧縮装置、データ圧縮方法、及びプログラム
EP3985615A4 (en) * 2019-06-14 2022-08-10 FUJIFILM Corporation DEVICE, METHOD AND PROGRAM FOR PROCESSING POINT CLOUD DATA
JP7316442B2 (ja) * 2019-07-31 2023-07-27 ボルボトラックコーポレーション 車両の走行経路を形成するための方法、制御システム、車両、およびコンピュータプログラムプロダクト
JP7399312B2 (ja) * 2020-11-05 2023-12-15 日立Astemo株式会社 車両制御装置
WO2023286217A1 (ja) * 2021-07-14 2023-01-19 日本電信電話株式会社 位置検出装置、位置検出方法、及び位置検出プログラム
WO2023007660A1 (ja) * 2021-07-29 2023-02-02 日本電信電話株式会社 3次元点群識別装置、3次元点群識別方法、及び3次元点群識別プログラム
WO2023058092A1 (ja) * 2021-10-04 2023-04-13 日揮株式会社 構造物表示システム、構造物表示方法、プログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4321142B2 (ja) * 2003-07-02 2009-08-26 日産自動車株式会社 標識認識装置
JP4874607B2 (ja) * 2005-09-12 2012-02-15 三菱電機株式会社 物体測位装置

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019194900A (ja) * 2012-09-05 2019-11-07 ウェイモ エルエルシー 複数の情報源を用いる建設区域検出
WO2019103158A1 (ja) * 2017-11-27 2019-05-31 パイオニア株式会社 データ構造、情報送信装置、情報処理装置、制御方法、プログラム及び記憶媒体
CN113167903A (zh) * 2018-12-12 2021-07-23 日立安斯泰莫株式会社 外界识别装置
CN113167903B (zh) * 2018-12-12 2024-05-17 日立安斯泰莫株式会社 外界识别装置
US12061267B2 (en) 2018-12-12 2024-08-13 Hitachi Astemo, Ltd. External environment recognition device
WO2021166912A1 (ja) * 2020-02-18 2021-08-26 株式会社デンソー 物体検出装置
CN115176175A (zh) * 2020-02-18 2022-10-11 株式会社电装 物体检测装置
JP7501398B2 (ja) 2020-02-18 2024-06-18 株式会社デンソー 物体検出装置
CN113566839A (zh) * 2021-07-23 2021-10-29 湖南省计量检测研究院 基于三维建模的道路区间最短路程距离测量方法
CN113566839B (zh) * 2021-07-23 2024-02-06 湖南省计量检测研究院 基于三维建模的道路区间最短路程距离测量方法

Also Published As

Publication number Publication date
JP2009053059A (ja) 2009-03-12

Similar Documents

Publication Publication Date Title
JP4232167B1 (ja) 対象特定装置、対象特定方法および対象特定プログラム
JP4978615B2 (ja) 対象特定装置
Brenner Extraction of features from mobile laser scanning data for future driver assistance systems
CN105512646B (zh) 一种数据处理方法、装置及终端
US8571265B2 (en) Measurement apparatus, measurement method, and feature identification apparatus
JP5404861B2 (ja) 静止物地図生成装置
JP5388082B2 (ja) 静止物地図生成装置
CN104280036B (zh) 一种交通信息的检测与定位方法、装置及电子设备
KR101444685B1 (ko) 영상기반 멀티센서 데이터를 이용한 차량의 위치자세 결정 방법 및 장치
US20090154793A1 (en) Digital photogrammetric method and apparatus using intergrated modeling of different types of sensors
EP3842735B1 (en) Position coordinates estimation device, position coordinates estimation method, and program
CN110119698A (zh) 用于确定对象状态的方法、装置、设备和存储介质
Cao et al. Camera to map alignment for accurate low-cost lane-level scene interpretation
US11846520B2 (en) Method and device for determining a vehicle position
Jende et al. A fully automatic approach to register mobile mapping and airborne imagery to support the correction of platform trajectories in GNSS-denied urban areas
CN113284239B (zh) 一种关于智慧城市的电子沙盘制作方法及装置
CN112805766A (zh) 用于更新详细地图的装置和方法
Soheilian et al. Generation of an integrated 3D city model with visual landmarks for autonomous navigation in dense urban areas
CN116147613A (zh) 利用交叉传感器特征点参考生成环境模型并定位的方法和系统
JP2009204385A (ja) 標定装置、標定方法および標定プログラム
Senapati et al. Geo-referencing system for locating objects globally in LiDAR point cloud
Roncella et al. Photogrammetric bridging of GPS outages in mobile mapping
CN116465422A (zh) 地图信息的生成方法、装置、电子设备及存储介质
CN112446234A (zh) 一种基于数据关联的位置确定方法及装置
CN112556701A (zh) 用于定位交通工具的方法、装置、设备和存储介质

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081127

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111219

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111219

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121219

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121219

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131219

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees