JP5582691B2 - 計測装置、計測方法および計測プログラム - Google Patents
計測装置、計測方法および計測プログラム Download PDFInfo
- Publication number
- JP5582691B2 JP5582691B2 JP2008267247A JP2008267247A JP5582691B2 JP 5582691 B2 JP5582691 B2 JP 5582691B2 JP 2008267247 A JP2008267247 A JP 2008267247A JP 2008267247 A JP2008267247 A JP 2008267247A JP 5582691 B2 JP5582691 B2 JP 5582691B2
- Authority
- JP
- Japan
- Prior art keywords
- point
- image
- measurement
- unit
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 321
- 238000005259 measurement Methods 0.000 claims description 741
- 230000008569 process Effects 0.000 claims description 282
- 238000004364 calculation method Methods 0.000 claims description 266
- 238000012545 processing Methods 0.000 claims description 85
- 238000001514 detection method Methods 0.000 claims description 77
- 238000000691 measurement method Methods 0.000 claims description 32
- 238000000605 extraction Methods 0.000 description 56
- 238000013500 data storage Methods 0.000 description 47
- 238000010586 diagram Methods 0.000 description 36
- 230000033001 locomotion Effects 0.000 description 34
- 238000003384 imaging method Methods 0.000 description 27
- 239000000284 extract Substances 0.000 description 20
- 230000006870 function Effects 0.000 description 17
- 238000002372 labelling Methods 0.000 description 13
- 238000004891 communication Methods 0.000 description 9
- 230000014509 gene expression Effects 0.000 description 9
- 230000000007 visual effect Effects 0.000 description 8
- 238000007726 management method Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 6
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 5
- 230000002457 bidirectional effect Effects 0.000 description 5
- 238000013507 mapping Methods 0.000 description 5
- 210000000746 body region Anatomy 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 238000012217 deletion Methods 0.000 description 3
- 230000037430 deletion Effects 0.000 description 3
- 230000001105 regulatory effect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- BYJQAPYDPPKJGH-UHFFFAOYSA-N 3-(2-carboxyethyl)-1h-indole-2-carboxylic acid Chemical compound C1=CC=C2C(CCC(=O)O)=C(C(O)=O)NC2=C1 BYJQAPYDPPKJGH-UHFFFAOYSA-N 0.000 description 1
- 241000287462 Phalacrocorax carbo Species 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000011960 computer-aided design Methods 0.000 description 1
- 238000013481 data capture Methods 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- VJYFKVYYMZPMAB-UHFFFAOYSA-N ethoprophos Chemical compound CCCSP(=O)(OCC)SCCC VJYFKVYYMZPMAB-UHFFFAOYSA-N 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000013518 transcription Methods 0.000 description 1
- 230000035897 transcription Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20101—Interactive definition of point of interest, landmark or seed
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Automation & Control Theory (AREA)
- Optics & Photonics (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Measurement Of Optical Distance (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Image Input (AREA)
Description
また一方で、道路周辺の地物の情報を記録した道路管理台帳の高精度化、高度化が望まれている。しかしながら、1/500のスケールでキロポスト、標識、ガードレール、白線などの道路上・道路脇の地物の位置を記録する道路管理台帳の作成には、高い精度を持つ測量を行う必要があるため、GPSと距離・角度を計測するトータルステーションとを用いた静止測量が行われている。また、国道には往復30kmの区間に計測対象となる地物が約2000も存在していることもある。そのため、全国の道路管理台帳の高度化・高精度化には莫大な費用と時間とを要する。
そこで、情報収集時間および費用の縮減を目的としてMMS(Mobile Mapping System)が注目され研究開発が行われている。
DorotaA.Grejner−Brzezinska and Charles Toth、「High Accuracy Dynamic Highway Mapping Using a GPS/INS/CCD System with On−The−Fly GPS Ambiguity Resolution」、Center for Mapping Department of Civil and Environmental Engineering and Geodetic Science The Ohio State University、Ohio Department of Transportation,District1、September 2004 H.Gontran,J,Skaloud,P.−Y.Gilliron、「A MOBILE MAPPING SYSTEM FOR ROAD DATA CAPTURE VIA A SINGLE CAMERA」、[online]、[平成18年2月14日検索]、インターネット<URL:http://topo.epfl.ch/personnes/jsk/Papers/3dopt_hg.pdf G.Manzoni,R.G.Rizzo,C.Robiglio、「MOBLE MAPPING SYSTEMS IN CULTURAL HERITAGES SURVEY」、CIPA 2005 XX International Symposium、26 September−01 October,2005、Torino,Italy
a)ステレオ視による白線位置検知
(1)2台のカメラで白線位置の取得が可能。
(2)切れ目のない白線の場合、対応点探索の自動化が困難なため、手動による対応点探索が必要。
(3)有効視野角が狭い。
(4)絶対精度が低い。
b)カメラパラメータによる白線位置推定
(1)カメラから道路までの設定距離を一定として計算するため精度が悪い。
(2)精度が車両動揺に左右される。
(3)平坦でない道路では著しく精度が悪化する。
(4)1台のカメラで白線位置の取得が可能。
特に、本発明は走行しながら計測データを取得するMMSでは計測データを取得することが困難なキロポストのような幅細の地物やガラスのような鏡面反射性の地物についても高精度に位置を計測することを目的とする。
また、本発明は、ユーザに所望の地点の計測結果を提供するために、ユーザが計測対象としたい地物を指定することを補助することを目的とする。
さらに、本発明は平坦でない道路においても高精度に地物の位置を計測することを目的とする。
また本発明は、レーザ点群で表される前記路面形状モデルにおいて、該当地点の近傍3点に基づいて位置を計測することにより、例えば、走行しながらレーザレーダで計測データを取得するMMSでは、レーザビームが当らない可能性のあるキロポストのような幅細の地物やガラスのような鏡面反射性の地物についても高精度に位置を計測することができる。
また、例えば、本発明は、道路上を走行している車両や歩道上の歩行者等の移動物体による目標地物の隠蔽に対して、移動物体のみを前記路面形状モデルから取り除くことができるため、道路や歩道上の移動物体の有無によらず、精度よく地物の位置を計測することができる。
また例えば、本発明は、画像と共に移動体を除去した三次元モデルや静止物の種別を表示することにより、ユーザが計測対象としたい地物を指定することを補助することができる。
図1は、実施の形態1における道路地物計測システム101のシステム構成および道路地物計測装置100の機能構成を示す図である。
実施の形態1における道路地物計測システム101はオドメトリ装置200、3台のジャイロ210(測位部、姿勢検出部、GPSジャイロの一部)、3台のGPS220(測位部、姿勢検出部、GPSジャイロの一部)、カメラ230(撮像部)、レーザレーダ240(光走査部、レーザスキャナ、LRF[Laser Range Finder])および道路地物計測装置100(計算機)を備える。
オドメトリ装置200はオドメトリ手法を実行し車両の走行距離を示す距離データを算出する。
3台のジャイロ210は車両の3軸方向の傾き(ピッチ角、ロール角、ヨー角)を示す角速度データを算出する。
3台のGPS220は車両の走行位置(座標)を示す測位データを算出する。
オドメトリ装置200とジャイロ210とGPS220とはGPS/デッドレコニング複合演算により車両の位置、姿勢を測定する。
カメラ230は撮影を行い時系列の画像データを出力する。
レーザレーダ240は、車体の前方または後方に設置され、横方向に光軸を振りながらレーザをななめ下方向に照射して、路面までの距離を各方位について示す方位・距離データ(以下、LRFデータとする)を算出する。
道路地物計測装置100は車両位置姿勢(3軸)演算部110、カメラ位置姿勢演算部130、カメラLOS演算部140、路面形状モデル生成部150、レーザレーダ位置姿勢演算部160、路面モデル対応点探索部170、地物識別装置300、観測データ入力部191、観測データ記憶部199を備える。
車両位置姿勢(3軸)演算部110は距離データ、角速度データ、測位データに基づいて車両の位置と姿勢(車両位置姿勢)を算出する。
地物識別装置300は画像データに基づいて静止物の3次元モデルを生成し、静止物の3次元モデルと後述するLRFデータに基づく路面形状モデルとを比較して静止物の路面形状モデルを生成する。また、地物識別装置300は路面形状モデルを構成するレーザ計測点群をグループ分けし、レーザ計測点群が形成する形状に基づいて各グループが示す地物の種類を識別する。また、地物識別装置300は画像と静止物の路面形状モデルと地物の種別とを重畳表示してユーザに提供する。そして、地物識別装置300はユーザに指定された地物の画像上の位置を計測画像点として入力する。
カメラ位置姿勢演算部130は車両位置姿勢とカメラ取付オフセットとに基づいてカメラ230の位置と姿勢(カメラ位置姿勢)を算出する。カメラ取付オフセットは車両軸(直交座標)に対するカメラ230の取り付け軸のズレの量を示す。カメラ取付オフセットは図4のカメラ230と天板103との関係に対応する値である。
カメラLOS演算部140(ベクトル算出部の一例)はユーザが画像上で指定した計測画像点とカメラ位置姿勢とに基づいてカメラから計測画像点に向けた視線方向(LOS:Line Of Sight)の角度(LOSベクトル)を算出する。
レーザレーダ位置姿勢演算部160は車両位置姿勢とレーザレーダ取付オフセットとに基づいてレーザレーダ240の位置と姿勢(レーザレーダ位置姿勢)を算出する。レーザレーダ取付オフセットは車両軸(直交座標)に対するレーザレーダ240の取り付け軸のズレの量を示す。レーザレーダ取付オフセットは図4のレーザレーダ240と天板103との関係に対応する値である。
路面形状モデル生成部150は方位・距離データとレーザレーダ位置姿勢とに基づいて車両が走行した平坦でない路面の形状(曲面、傾斜、凹凸など)を示す路面形状モデル(三次元点群モデル)を生成する。
路面モデル対応点探索部170(地物位置算出部の一例)は計測画像点に対するLOSベクトルと路面形状モデルとに基づいてユーザが指定した地物の位置を算出する。路面モデル対応点探索部170は路面の曲面、傾斜、凹凸などを考慮することにより高い精度で地物位置を算出することができる。
距離データ、角速度データ、測位データ、画像データ、方位・距離データを観測データとする。
観測データ入力部191は計測台車102で取得された観測データを入力して観測データ記憶部199に記憶する。
観測データ記憶部199は計測台車102で取得された観測データ、レーザレーダ取付オフセット、カメラ取付オフセットおよび観測データに基づいて生成された各種データを記憶する。道路地物計測装置100が備える各部および地物識別装置300が備える各部は使用するデータを観測データ記憶部199から入力して各種処理を行い、生成したデータを観測データ記憶部199に記憶する。
図2において、道路地物計測装置100、地物識別装置300は、プログラムを実行するCPU911(Central・Processing・Unit、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサともいう)を備えている。CPU911は、バス912を介してROM913、RAM914、通信ボード915、表示装置901、キーボード902、マウス903、FDD904(Flexible・Disk・Drive)、CDD905(コンパクトディスク装置)、プリンタ装置906、スキャナ装置907、マイク908、スピーカー909、磁気ディスク装置920と接続され、これらのハードウェアデバイスを制御する。磁気ディスク装置920の代わりに、光ディスク装置、メモリカード読み書き装置などの記憶装置でもよい。
RAM914は、揮発性メモリの一例である。ROM913、FDD904、CDD905、磁気ディスク装置920の記憶媒体は、不揮発性メモリの一例である。これらは、記憶機器、記憶装置あるいは記憶部の一例である。
通信ボード915、キーボード902、スキャナ装置907、FDD904などは、入力機器、入力装置あるいは入力部の一例である。
また、通信ボード915、表示装置901、プリンタ装置906などは、出力機器、出力装置あるいは出力部の一例である。
磁気ディスク装置920には、OS921(オペレーティングシステム)、ウィンドウシステム922、プログラム群923、ファイル群924が記憶されている。プログラム群923のプログラムは、CPU911、OS921、ウィンドウシステム922により実行される。
ファイル群924には、実施の形態の説明において、「〜部」や「〜手段」の機能を実行した際の「〜の判定結果」、「〜の計算結果」、「〜の処理結果」などの結果データ、「〜部」や「〜手段」の機能を実行するプログラム間で受け渡しするデータ、その他の情報やデータや信号値や変数値やパラメータが、「〜ファイル」や「〜データベース」の各項目として記憶されている。「〜ファイル」や「〜データベース」は、ディスクやメモリなどの記録媒体に記憶される。ディスクやメモリなどの記憶媒体に記憶された情報やデータや信号値や変数値やパラメータは、読み書き回路を介してCPU911によりメインメモリやキャッシュメモリに読み出され、抽出・検索・参照・比較・演算・計算・処理・出力・印刷・表示などのCPUの動作に用いられる。抽出・検索・参照・比較・演算・計算・処理・出力・印刷・表示・抽出のCPUの動作の間、情報やデータや信号値や変数値やパラメータは、メインメモリやキャッシュメモリやバッファメモリに一時的に記憶される。
また、実施の形態の説明において説明するフローチャートの矢印の部分は主としてデータや信号の入出力を示し、データや信号値は、RAM914のメモリ、FDD904のフレキシブルディスク、CDD905のコンパクトディスク、磁気ディスク装置920の磁気ディスク、その他光ディスク、ミニディスク、DVD(Digital・Versatile・Disc)等の記録媒体に記録される。また、データや信号値は、バス912や信号線やケーブルその他の伝送媒体によりオンライン伝送される。
道路地物計測システム101を構成する「〜部」や「〜装置」は以下に説明する各処理をCPUを用いて実行する。
実施の形態1における道路地物計測システム101の道路地物位置計測処理の流れについて、図3に基づいて以下に説明する。
まず、車両で地物を計測する対象の道路を走行し、走行時にオドメトリ装置200、ジャイロ210、GPS220はそれぞれ計測を行い、車両についての距離データ、角速度データおよび測位データ(以下、GPS/IMU[Inertial Measurement Unit]データとする)を時系列に取得する。また、走行時にカメラ230は撮像して時系列の画像データと各画像の撮像時刻を示す画像時刻データとを取得する。また、走行時にレーザレーダ240は車両の横方向に振りながらレーザを照射して道路上・道路脇(道路周辺)の地物に対する距離と方位とを時系列に示す方位・距離データ(LRFデータ)を取得する。
例えば、LRFデータは地物に対する距離・方位をバイナリ形式で示し、画像データはRAW画像をベイヤー配列で示し、画像時刻データは画像の識別番号と撮像時刻とを対応付けてCSV(Comma Separated Values)形式で示す。
次に、道路地物計測装置100において、観測データ入力部191は車両の各計測センサが取得したGPS/IMUデータ(距離データ、角速度データ、測位データ)、画像データ、画像時刻データ、LRFデータ(方位・距離データ)を入力する。そして、観測データ入力部191は圧縮されているデータ(例えば、GPS/IMUデータ、LRFデータ)を解凍し(S102a:データデコード処理)、また、必要であれば特定のデータ(例えば、画像データ、画像時刻データ)をコピー(S102b:画像データコピー処理)して、各データを観測データ記憶部199に記憶する。
例えば、データデコード処理(S102a)によりLRFデータはバイナリ形式からテキスト形式に変換される。
また例えば、画像データコピー処理(S102b)により24bitBMP(ビットマップ)形式の画像データが生成される。
また、観測データ入力部191はカメラ230が設置された車両の天板103に対するカメラ取付オフセットとレーザレーダ240が設置された車両の天板103に対するレーザレーダ取付オフセットとを観測データ記憶部199に記憶する。
次に、道路地物計測装置100において、車両位置姿勢(3軸)演算部110はGPS/IMUデータに基づいてENU座標系における車両の位置および姿勢を算出する。以下、ENU座標系における車両の位置および姿勢を時系列に示すデータを車両位置姿勢データとする。
例えば、車両位置姿勢データは車両のENU座標、回転角(roll)、仰角(pitch)、方位角(yaw)をCSV形式で示す。
また、地物識別装置300は画像データとLRFデータとに基づいて画像に写る地物を移動体(例えば、車両、歩行者)と静止物(車道、歩道、壁、その他[例えば、キロポスト、標識])とに分類して識別し、画像と共に画像に写る各地物の種類を表示装置に表示する。
そして、地物識別装置300は表示装置に表示した画像と地物の種別情報とに基づいてユーザが指定した位置計測対象の画像上の位置(以下、計測画像点とする)と計測画像点に写る地物の種別(以下、地物種別ID[Identifier]とする)と計測画像点が指定された画像の識別番号(以下、指定画像番号とする)とをキーボード902、マウス903、タッチパネルなどの入力機器から入力する。
例えば、計測画像点はユーザが指定した画像上の2次元の位置(u、v)を示す。
デジタイジング処理(S104)の詳細について後述する。
次に、道路地物計測装置100において、路面形状モデル生成部150は、車両位置姿勢データとLRFデータと画像時刻データと指定画像番号とレーザレーダ位置姿勢データとに基づいて、計測画像点が指定された画像に対応するLRFデータの各レーザ計測点をENU座標で表した三次元の路面形状モデルを生成する。
3Dモデリング処理(S105)の詳細について後述する。
次に、道路地物計測装置100において、カメラLOS演算部140は、車両位置姿勢データと画像データと画像時刻データと指定画像番号とカメラ位置姿勢データと計測画像点とに基づいて、カメラ中心から計測画像点へのLOSベクトルをENU座標系で算出する。
そして、路面モデル対応点探索部170は、路面形状モデルのレーザ計測点群から計測画像点の近傍3点を抽出し、計測画像点へのLOSベクトルと計測画像点の近傍3点が形成する平面との交点のENU座標をユーザが指定した地物の位置として算出する。
地物位置標定処理(S106)の詳細について後述する。
地物識別装置300は、デジタイジング処理(S104)により、ユーザが計測したい地物を指定することを補助する。
デジタイジング処理(S104)を実行する地物識別装置300の機能構成について、図11に基づいて以下に説明する。
また、地物識別装置300は観測データ記憶部199にアクセスして観測データを取得できるものとする。但し、地物識別装置300は観測データ記憶部199に相当する記憶部を備えてもよい。
また、地物識別装置300は路面形状モデル生成部150からLRFデータに基づく路面形状モデルを取得できるものとする。但し、地物識別装置300は路面形状モデル生成部150に相当する処理部を備えてもよい。
静止物特定部311は静止物が写る画像部分を特定する。
静止物モデル生成部312は画像に写る静止物の三次元モデルを生成する。
移動体特定部321は路面形状モデル中の移動体に対するレーザ計測点群を特定する。
移動体除去モデル生成部322は移動体に対応するレーザ計測点群を除去して路面形状モデルを生成する。
ラベリング部331は路面形状モデルの各レーザ計測点群をグループ分けする。
エッジ判定部332はレーザ計測点のグループを細分化する際の境界とするエッジ部分を特定する。
地物判定部333はレーザ計測点の各グループについて地物の種別を特定する。例えば、自車が走行しているグループは“道路”であり、その隣接しているグループは“道路外“という具合に地物の種別を特定する。
画像表示部341は画像と路面形状モデルと画像に写る地物の種別とを重畳して表示装置に表示する。
画像点入力部342はユーザが指定した画像上の位置を示す計測画像点を入力装置から入力する。
実施の形態1における地物識別装置300が実行するデジタイジング処理(S104)の流れについて図12に基づいて説明する。なお、以下に説明するデジタイジング処理(S104)を構成する各処理の詳細については別途説明する。
まず、モーションステレオ部310は走行する車両から1台のカメラで撮像した車両前方道路の複数の画像をステレオ視することにより、静止物が写る画像部分を特定し(S201a:静止物特定処理)、特定した画像部分をENU座標系に投影して画像に写る静止物の三次元モデル(以下、静止物モデルとする)を生成する(S201b:静止物モデル生成処理)。
次に、移動体除去部320はモーションステレオ部310が生成した画像に基づく静止物モデルと路面形状モデル生成部150が生成したLRFデータに基づく路面形状モデルとを比較して移動体に対するレーザ計測点群を特定し(S202a:移動体特定処理)、移動体に対するレーザ計測点群を除去して静止物モデルを生成する(S202b:移動体除去モデル生成処理)。
次に、地物識別部330は移動体除去部320が生成した移動体を除去した路面形状モデルが示すレーザ計測点群をグループ分けし(S203a:ラベリング処理)、レーザ計測点群が表す線分のエッジ部分を特定し(S203b:エッジ判定処理)、レーザ計測点のグループをエッジを境界とするグループに細分化し、グループ毎に各レーザ計測点に位置した地物の種別を特定する(S203c:地物判定処理)。
次に、計測画像点取得部340は、移動体除去部320が生成した移動体を除去した路面形状モデルをカメラ230の撮像面に投影し、画像と移動体を除去した路面形状モデルと地物識別部330が特定した地物の種別とを重畳して表示装置に表示する(S204a:画像表示処理)。
そして、計測画像点取得部340は、ユーザが指定した画像上の位置(計測画像点)と計測画像点に写る地物の種別(地物種別ID)と計測画像点が指定された画像の識別番号(指定画像番号)とをキーボード902、マウス903、タッチパネルなどの入力機器から入力する(S204b:画像点入力処理)。
図14は、トラックがポールを隠蔽しているときの路面形状モデルを示す。
図13と図14とは、それぞれ別の視点で同一のトラックとポールとに対するLRFデータを三次元モデルに投影したものである。図13ではトラックとポールとが別々になっているためポールのレーザ計測点群が判別できるが、図14ではトラックによってポールの点群が隠れてしまっている。このため、図14の状態においてポールの位置を計測する場合、路面形状モデルからポールの点群を正しく選択することができず、大きな計測誤差が発生することも考えられる。
そして、このモーションステレオ法で得た静止物モデルを用いてLRFデータに基づく路上形状モデルのレーザ計測点群から移動体に対するレーザ計測点群のみを除去することができる。
地物識別装置300においてモーションステレオ部310が実行するモーションステレオ処理(S201)について、図15に基づいて以下に説明する。
まず、静止物特定部311は画像上の任意点に対して、カメラ位置姿勢演算部130によるカメラ位置姿勢に基づいてエピポーラ線を算出する。
静止物特定部311が用いるエピポーラ線L1の算出方法について、図16に基づいて以下に説明する。
次に、静止物特定部311は、図16に示すように、各画像について撮像時のカメラ中心とカメラ中心から焦点距離離れた撮像面を示す画像(画像平面)とで三角錐を形成するように三次元空間を設定する(S301b)。
次に、静止物特定部311は、画像平面Aのカメラ中心C1と画像平面A上の特徴点P1と画像平面Bのカメラ中心C2とが成す面d1を含む平面として、エピポーラ平面D1を算出する(S301c)。
ここで、カメラ中心点C1の座標を(E1、N1、U1)とし、設定した三次元空間における特徴点P1の座標(以下、三次元リアル空間座標とする)を(Ep1、Np1、Up1)とし、カメラ中心C2の座標を(E2、N2、U2)とする。
一方、カメラも計測対象点Pも移動する場合、図17に示すように、移動前(時刻T1)の計測対象点PT1を示す画像平面A上の特徴点P1に基づいて設定されるエピポーラ線L1上に、移動後(時刻T2)の計測対象点PT2に対応する画像平面B上の対応点P2は存在しない。図17に示すように、もし、計測対象点Pが移動しなければ、計測対象点PT1に対応する画像平面B上の対応点P1’はエピポーラ線L1上に存在する。
静止物特定部311は、以下のようにして、エピポーラ線上を探索し、画像平面A上の特徴点P1に対応する画像平面B上の対応点P2を求める。
そして、静止物特定部311は特徴点P1の画素と色情報が対応するエピポーラ線L1上の画素を特徴点P1に対する対応点P2として特定する(S302b)。
このとき、静止物特定部311はカラーエッジの微分値やRGB値が特徴点P1と一致または類似(値の差が特定の範囲内)する対応点P2を特定する。また、静止物特定部311はウインドウマッチングにより対応点P2を特定する。
次に、静止物特定部311は画像平面Bの対応点P2に基づいて画像平面Aにエピポーラ線L2を設定し、画像平面Bの対応点P2に対応するエピポーラ線L2上の対応点P3を特定し、画像平面Aの特徴点P1と対応点P3との位置関係に基づいて対応点P2を特定する。
次に、静止物特定部311は、第1の対応点探索処理(S302)と同様に、画像Bにおける対応点P2の画素の色情報と画像Aにおけるエピポーラ線L2上の各画素の色情報とを比較し、対応点P2の画素と色情報が対応するエピポーラ線L2上の画素を対応点P2に対する対応点P3として特定する(S303b)。
そして、静止物特定部311は、画像平面A上の特徴点P1の位置と対応点P3の位置とを比較し、特徴点P1と対応点P3との距離が所定の範囲内である場合に対応点P2を特徴点P1に対する正しい対応点として特定し、特徴点P1と対応点P3との距離が所定の範囲内でない場合に対応点P2を削除する(S303c)。
次に、静止物モデル生成部312は、以下のようにして特徴点P1として画像Aに撮像された計測対象点Poutの三次元座標を算出することにより、画像Aに写る静止物について三次元モデルを生成する。
そして、静止物モデル生成部312はLOSベクトルV1とLOSベクトルV2との交点が示す三次元座標を計測対象点Poutの三次元座標として算出する(S304b)。
また、静止物モデル生成部312は計測対象点Poutの色情報として画像A上の特徴点P1の画素の色情報を設定する(S304c)。
ここで算出した計測対象点Poutの三次元座標は、カメラ中心C1と画像平面Aとが三角錐を形成するように設定した三次元リアル空間における座標値である。
つまり、これまでの処理により、全画像の全画素について静止物か移動体かの特定がなされ、静止物を示す画素については三次元座標と色情報とが特定されている。そして、全画像に対して三次元座標と色情報とを示す点群データで表した静止物モデルが生成されている。この静止物モデルは前記三次元リアル空間上のモデルである。
次に、静止物モデル生成部312は、以下のように静止物モデルをボクセル空間に投票して、誤抽出された移動体部分を削除する。
次に、静止物モデル生成部312は静止物モデルを構成する各点について三次元座標に基づいて当該点が位置するボクセルを特定し、特定したボクセルに投票する(S305b)。
次に、静止物モデル生成部312は各ボクセルの点密度を算出し、算出した点密度が閾値より小さいボクセルをボクセル空間から削除する(S305c)。
図18は、設定されたボクセル空間(1)と静止物モデルを投票後のボクセル空間(2)と低密度ボクセルを削除後の高密度ボクセルのみで構成された処理後のボクセル空間(3)とを示している。
そこで、静止物モデル生成部312は、このボクセル空間処理(S305)により、静止物モデルからエラー点を除去する。ボクセル空間投票の際に、移動体が位置するボクセルは点密度が低くなるため除去される。
静止物モデル生成部312は視体積交差法により静止物モデルからエラー部分を削除する。
そこで、静止物モデル生成部312は、以下のように、ボクセル空間投票処理(S305)により得られたボクセル空間に対して視体積交差法を適用してボクセル空間内のエラー部分を削除する。
次に、静止物モデル生成部312は当該ボクセルの色情報と当該ボクセルが投影された画素の色情報とを比較する(S306b)。
ここで、ボクセルの色情報はボクセルに含まれる静止物モデルの点の色情報とする。
そして、静止物モデル生成部312は色情報が対応しない場合に当該ボクセルをボクセル空間から削除する(S306c)。
図19において、静止物モデルを表すボクセル集合(ボクセル空間)が存在している。
視体積交差法では以下のような処理がなされる。
(1)あるボクセルAが画像Aに投影されたときのピクセルAの色情報を取得する。
(2)ここでボクセルAの色情報とピクセルAの色情報とを比較し、色情報が同一または類似の場合、ボクセルAは存在すると仮想する。
(3)さらに、ボクセルAが画像Aとは視点の異なる画像Bに投影されたときのピクセルBの色情報を取得する。
(4)このとき、ボクセルAの色情報とピクセルBの色情報とを比較し、色情報が非類似の場合、ボクセルAを実環境上に存在しないものとして削除する。
以上の処理を時系列の複数画像間において行う。
そこで、移動体特定部321はこの画像データに基づいて得られた三次元モデル(静止物モデル)とLRFデータに基づいて得られた三次元モデル(路面形状モデル)とを入力し、比較し、差分を抽出することにより、差分領域を移動体の領域として路面形状モデルから抽出する(S202a:移動体特定処理)。
そして、移動体除去モデル生成部322は、移動体特定部321が抽出した領域だけを路面形状モデルから除去することにより、静止物を表す路面形状モデルを生成する。
移動体特定処理(S202a)において、三次元モデルの差分比較は、各三次元モデルを構成する点ごとに行ってもよいし、計算時間の短縮を図るために、各三次元モデルを構成する各点をボクセル空間に投票してボクセル単位で行ってもよい。
図20は、ユーザの指定した地物を誤認識しやすい箇所の画像である。
例えば、図20のような画像に対してユーザが計測画像点を指定した場合、道路地物計測装置100はユーザの意図する計測画像点とは異なる点に対して路面形状モデルの3点を選択することがある。
例えば、図20において、ユーザがガードレールの奥にあるポール部分を計測画像点として指定した場合、道路地物計測装置100は誤ってガードレール部分のレーザ計測点群を選択する可能性がある。
そこで、地物識別部330はユーザに示すために路面形状モデルが示す各地物の種類を識別する。これにより、ユーザは計測したい地物部分を計測画像点として正確に指定することができ、道路地物計測装置100は正確に指定された計測画像点に基づいて路面形状モデルから正しい近傍3点を抽出して精度の高い計測結果を出力することができる。
また、道路地物計測装置100は道路面上の点が計測画像点として指定された場合に精度の高い計測結果を出力することができる。そこで、地物の種類を示すことにより、指定しようとしている点が道路面上なのか道路面よりも高い位置にあるのかをユーザに判断させることができ、道路地物計測装置100が高い計測結果を出力することができる。
地物識別部330が実行する地物識別処理(S203)について、図21に基づいて以下に説明する。
図21は、車両からレーザレーダ240を横方向に一度振って取得したLRFデータに基づく路面形状モデルの例を示している。これは、丁度道路を進行方向に対して垂直方向に輪切りにした場合の道路断面に相当する。本例では、第1グループAは、自車が走行する車道であり、エッジ位置は、道路と歩道の境界である、路肩であり、第1グループBは歩道、第1グループCは壁面、そして第2グループはポール等である。
このとき、ラベリング部331は車両が走行した位置の三次元座標を有するレーザ計測点とそのレーザ計測点から三次元座標値が連続するレーザ計測点群とを第1グループとし、それ以外のレーザ計測点群を第2グループとする。
次に、エッジ判定部332は第1グループのレーザ計測点群が表す線分において角度変化が閾値以上である部分をエッジ部分として特定する(S203b:エッジ判定処理)。
そして、地物判定部333はエッジ部分を境界として第1グループのレーザ計測点群を複数のグループに細分化し、グループ毎に各レーザ計測点に位置した地物の種別を特定する(S203c:地物判定処理)。
このとき、地物判定部333は第1グループのレーザ計測点群を車両が走行した位置に対応する第1グループAと第1グループAから特定の範囲に収まる高さに位置する縦横方向に連続する第1グループBと縦方向に連続する第1グループCとにグループ分けする。
また、地物判定部333は第1グループAを「車道」、第1グループBを「歩道」、第1グループCを「壁面」、第2グループを「その他(ポール、キロポスト、標識など)」として識別する。
またこの場合、地物識別部330は路面形状モデル生成部150に相当する処理部を備える。ここでは、路面形状モデル生成部150に相当する処理部を3Dモデル生成部334(図示省略)とする。
図22において、ラベリング部331は観測データ記憶部199からLRFデータを入力し、LRFデータが示す距離・方位から得た二次元距離情報に対してラベリングを行い、LRFデータを車道と連続する第1グループとその他の地物を表す第2グループとにグループ分けする(S203a:ラベリング処理)。
このとき、ラベリング部331は、車両の真下に位置するレーザ計測点は必ず車道であるということを利用して、LRFデータを車道と連続した点群の第1グループとそれ以外の第2グループとに分ける。ここで、車両の真下に位置するレーザ計測点とは車両の進行方向に相当する90[deg]を方位とする距離データのことである。
次に、エッジ判定部332は車道と連続した点群である第1グループからエッジを抽出する(S203b:エッジ判定処理)。
次に、地物判定部333はエッジに基づいて第1グループを歩道、車道、壁面に分類分けする(S203c:地物判定処理)。
そして、3Dモデル生成部334は観測データ記憶部199から車両位置姿勢データおよびレーザレーダ位置姿勢データを入力し、車両の位置・姿勢およびレーザレーダ240の位置・姿勢に基づいてLRFデータを三次元アフィン変換し、三次元の点群で表される路面形状モデルを生成する(S203d:3Dモデル生成処理)。
計測画像点取得部340は地物識別部330が識別した車道面と歩道面と壁面とその他の地物との種別についてユーザへの通知を行い(S204a:画像表示処理)、ユーザが指定した計測画像点を入力する(S204b:画像点入力処理)。
ユーザに地物の種別を通知する具体的な通知方法には、ユーザが指定した選択領域について“車道”、“歩道”、“壁面”、“その他の地物”という属性を表示する方法がある。
また、移動体除去部320が生成した移動体除去モデルまたは路面形状モデルをカメラ230の撮像面に投影し、画像と移動体除去モデル(または路面形状モデル)と地物の種別とを重畳して表示装置に表示してもよい。また、移動体除去モデル(または路面形状モデル)と地物の種別とのいずれかを画像に重畳させて表示してもよい。また、表示は重畳ではなく、上下・左右など並べて形で行ってもよい。地物の種別は、移動体除去モデル(または路面形状モデル)のレーザ計測点群に対応しているため、移動体除去モデル(または路面形状モデル)に対応する位置に表示することで画像に重畳させることができる。また、除去した移動体領域について路面形状モデルと地物の種別(移動体)との少なくともいずれかを画像に重畳させてもよい。
さらに、移動体除去モデルを地物の種別に応じて色分け表示してもよい。
移動体除去モデルをカメラ230の撮像面に投影して画像に重畳表示する方法は、後述する3Dモデリング処理(S105)における処理方法と同様である。
図23は、実施の形態1における3Dモデリング処理(S105)の流れを示すフローチャートである。
まず、路面形状モデル生成部150は車両位置姿勢データとLRFデータ(方位・距離データ)とを同期させた車両・レーザ同期データを生成する。
また、路面形状モデル生成部150はLRFデータと画像時刻データとを同期させたレーザ・カメラ同期データを生成する。
次に、路面形状モデル生成部150は、ユーザが計測画像点を指定した画像(以下、指定画像とする)を識別する指定画像番号に基づいて、レーザ・カメラ同期データから指定画像と同期するLRFデータ(以下、対応LRFデータとする)を抽出する。
そして、路面形状モデル生成部150は、車両・レーザ同期データから対応LRFデータと同期する車両の位置・姿勢を抽出し、車両の位置・姿勢とレーザレーダの位置・姿勢とに基づいて対応LRFデータを三次元アフィン変換する。三次元アフィン変換により、路面形状モデル生成部150は、計測画像点が指定された画像に対応するレーザ計測点群をENU座標で表した路面形状モデルを生成する。
LRFデータから得られたレーザ計測点の三次元座標を(x0,y0,z0)とおくとLRFデータのレーザ計測点群は以下の式1、式2によって車両位置に対する三次元座標(x2,y2,z2)へ変換される。また、車両の上に搭載される天板103と、LRF(レーザレーダ240)、カメラ230の位置関係を図4および図5に示す。
例えば、図7では路面形状モデルの三次元点群データ(路肩)において左側に位置する歩道(段差部分)と右側の道路との境目が見て取れる。
また、図9に示す光学画像を三次元点群データで表わした図8では道路に沿った斜面の形状(道路断面形状)が見て取れる。
実施の形態1における地物位置の算出方法の概要について図24に基づいて以下に説明する。
まず、カメラLOS演算部140は、車両位置姿勢データと画像時刻データとを同期させた車両・カメラ同期データを生成する。
次に、路面モデル対応点探索部170のモデル投影部172は車両・カメラ同期データから指定画像と同期する車両の位置・姿勢を抽出し、車両の位置・姿勢およびカメラの位置・姿勢に基づいて路面形状モデルを画像平面に投影する。そして、画像と路面形状モデルとを重畳して表示装置に表示する。
モデル投影部172は路面形状モデルをカメラの画像平面に対し投影変換する。
カメラ座標系に対する路面形状モデルの点群データの位置(xcam,ycam,zcam)は以下の式5、式6で表わされる。
z=f ・・・(式11)
投影変換を行った画像を図10に示す。図からもわかるように投影変換された点と画像とのマッチングがしっかりと取れていることがわかる。例えば、投影変換した点が表す段差と画像が示す路面の段差とが一致していることが図から分かる。
路面モデル対応点探索部170の近傍抽出部171は路面形状モデルのレーザ計測点群から計測画像点の近傍3点を抽出する。
図26は、実施の形態1における近傍3点抽出処理(S503)の流れ示すフローチャートである。
図27は、実施の形態1における近傍3点抽出処理(S503)を示す図である。
路面モデル対応点探索部170の近傍抽出部171が実行する近傍3点抽出処理(S503)の詳細について、図26、図27に基づいて以下に説明する。
次に、近傍抽出部171は、最近傍点P1を含むスキャンラインS2の前後のスキャンラインS1、S3から、スキャンラインS2との間で計測画像点Pinを内部に含むスキャンラインS3を選択する(S602)。
次に、近傍抽出部171は最近傍点P1と計測画像点Pinとを結ぶ直線Lを算出する(S603)。
そして、近傍抽出部171は、選択したスキャンラインS3において、直線Lの右側において直線Lに最も近い点P2、直線Lの左側において直線Lに最も近い点P3を算出し、算出した最近傍点P1、点P2、点P3に対応する画像平面投影前の点を計測画像点Pinの近傍3点として出力する(S604)。
カメラLOS演算部140は車両・カメラ同期データから指定画像と同期する車両の位置・姿勢を抽出し、車両の位置・姿勢とカメラの位置・姿勢とに基づいて計測画像点と指定画像のカメラ中心とのENU座標を算出し、カメラ中心から計測画像点へのLOSベクトルをENU座標系で算出する。
Standards Committee)カメラでは640[pixel]、V_SIZEは垂直CCD画素サイズで同様に480[pixel]、(UL,VL)は画像面上の計測画像点の位置、Pixel_SIZEは画素の大きさで正方形のCCD素子を例にとると数十[μm]である。
路面モデル対応点探索部170は近傍3点抽出処理(S503)で抽出した近傍3点が成す平面とLOS計算処理(S504)で算出されたLOSベクトルとの交点のENU座標をユーザが指定した計測画像点に写る地物の位置として算出する。
実施の形態2では、実施の形態1で説明した道路地物位置計測処理中の画像表示処理(S204a)において画像表示部341が表示する道路地物計測画面400について説明する。
道路地物計測装置B500は、実施の形態1で説明した道路地物計測装置100から車両位置姿勢(3軸)演算部110、路面形状モデル生成部150、レーザレーダ位置姿勢演算部160および地物識別装置300の一部(モーションステレオ部310、移動体除去部320、地物識別部330)を外部に除いた装置である。
画像点入力部342は、OS921(またはブラウザ)の機能を用いて、ユーザがマウス903やキーボード902などの入力機器を用いて指定した情報(例えば、計測画像点)を入力する。
路面モデル対応点探索部170は、計測画像点に対応する三次元座標値として算出した地物位置を計測位置データ記憶部599に記憶する。また、路面モデル対応点探索部170は、地物位置と対応付けて、計測画像点、計測画像点の指定がなされた撮影画像401を識別する指定画像番号および計測画像点で指し示される地物の種類を識別する地物種別を計測位置データ記憶部599に記憶する。以下、対応付けて記憶された地物位置、計測画像点、指定画像番号および地物種別を計測位置データという。
画像表示部341は、実施の形態1で説明した画像表示処理(S204a)において、図29に示すような道路地物計測画面400を道路地物計測装置B500として機能するパーソナルコンピュータの表示装置901に表示する。道路地物計測画面400は、ユーザに計測画像点の指定を促し、ユーザに計測結果(地物位置)を提供するユーザインタフェース(マンマシンインタフェース)となる。
さらに、道路地物計測画面400には、指定画像番号411、計測画像点412および地物位置414それぞれを示すテキストボックスが含まれる。
さらに、道路地物計測画面400には、地物種別の一覧を示す種別リストボックス417が含まれる。
さらに、道路地物計測画面400には、地物位置414の算出要求時に押下される計算要求ボタン415および計測位置データの保存要求時に押下される保存要求ボタン416が含まれる。
道路地物計測画面400は画像表示部341により表示装置901に表示される。
例えば、ユーザは種別リストボックス417に示される複数の地物種別の中から計測画像点412に対応する地物種別を一つ選び、選んだ地物種別413上にマウスカーソル402を移動させ、マウス903をクリックして地物種別413を指定する。画像表示部341は指定された地物種別413の背景色を変更する。
図29では、「左側白線左エッジ」、「左側白線右エッジ」、「右側白線左エッジ」、「右側白線右エッジ」、「規制標識(青○)」、「規制標識(赤○)」、「警戒標識(黄△)」、「指示標識(青□)」、「横断標識(青△)」、「案内標識(緑□)」などから、「kmポスト」が地物種別413として指定されている。
また、画像点入力部342は、ユーザのマウス操作で指定された計測画像点412、PC画面上でマウス操作によりスクロール選択された画像の指定画像番号411、地物の種別を示す地物ID(地物種別413)を取得する。
また、路面モデル対応点探索部170は、撮像時刻で関連付けされた車両位置姿勢角のデータ、カメラ取付オフセットおよび路面形状モデルなどの観測データ記憶部199に格納されているデータと計測画像点412と指定画像番号411とに基づいて地物位置414(アウトプットデータ)を算出する。
そして、画像表示部341は地物位置414をPC画面上に表示し、計測位置データ記憶部599は地物位置414と計測画像点412と指定画像番号411と地物種別413とを関連付けて計測位置データとして格納する。
画像表示部341は、「aaaの座標は(x、y、z)である」というように、地物種別413および地物位置414を用いた文章で計測結果を表示してもよい。「aaa」には地物種別413が設定され、「x、y、z」には地物位置414が設定される。
計測装置(例えば、道路地物計測装置B500)は画像記憶部(観測データ記憶部199)、三次元点群モデル記憶部(観測データ記憶部199)、画像表示部、計測画像点取得部(画像点入力部342)および位置算出部(路面モデル対応点探索部170)を備える。
三次元点群モデル記憶部は、前記カメラが撮像する撮像箇所をレーザ装置により計測した点群から構成されると共に各点群の位置が判明している三次元点群モデル(路面形状モデル)を記憶する。
画像表示部は、前記画像記憶部に記憶された画像を表示装置の画面に表示して、ユーザに画像内の位置を指定することを促す。画像内の位置とは、画像平面の画素の2次元座標位置(u、v)のことである。
計測画像点取得部は、ユーザが指定した画像内の位置を計測画像点として入力装置から入力する。
位置算出部は、前記三次元点群モデル記憶部が記憶した前記三次元点群モデルの点群のなかから、前記計測画像点取得部が取得した前記計測画像点に対応する対応点(近傍点)を検出して、検出した前記対応点の位置を用いて前記計測画像点取得部が取得した前記計測画像点の三次元の位置(地物位置414)を特定する。
さらに、前記計測装置は、前記計測画像点取得部が取得した前記計測画像点と、前記位置算出部が特定した前記計測画像点の位置と、前記種別入力部が入力した地物の種別とを関連付けて記憶機器に記憶する結果記憶部(計測位置データ記憶部599)を備える。
実施の形態3では、路面モデル対応点探索部170が実行する地物位置標定処理(S106)について説明する。
以下、実施の形態1と異なる事項を主に説明し、説明を省略する事項については実施の形態1と同様とする。
近傍抽出部171は、モデル投影部172により画像平面に投影された路面形状モデルの点群から計測画像点の近傍1点を抽出する。
近傍平面算出部173は、近傍抽出部171が抽出した近傍1点を含む特定の平面(近傍平面)を算出する。
地物位置算出部174は、近傍平面算出部173が算出した特定の平面とカメラLOS演算部140(ベクトル算出部)が算出したLOSベクトルとの交点を地物位置(計測画像点の三次元位置)として算出する。
図31に示すように、実施の形態3における地物位置標定処理(S106)では、実施の形態1での近傍3点抽出処理(S503)の代わりに、近傍抽出処理(S503B1)および近傍平面算出処理(S503B2)が実行される。その他の処理は実施の形態1と同じである。
近傍抽出処理(S503B1)および近傍平面算出処理(S503B2)について、図32に基づいて以下に説明する。
計測装置(例えば、道路地物計測装置100)は計測画像点取得部(画像点入力部342)、ベクトル算出部(カメラLOS演算部140)、近傍抽出部171、近傍平面算出部173および地物位置算出部174を備える。
ベクトル算出部は、前記カメラのカメラ中心から前記計測画像点取得部が入力した計測画像点への方向を示すベクトル(LOSベクトル)を算出する。
近傍抽出部171は、前記計測画像点の近傍1点(少なくとも1点又は1点のみ)を前記三次元点群モデルの点群から抽出する。
近傍平面算出部173は、前記近傍抽出部171が抽出した前記近傍1点を含む特定の平面(近傍平面)を算出する。
地物位置算出部174は、前記近傍平面算出部173が算出した特定の平面と前記ベクトル算出部が算出したベクトルとの交点を前記計測画像点の三次元の位置(地物位置)として算出する。
そして、前記近傍抽出部171は、前記モデル投影部172により前記撮像面に投影された前記三次元点群モデルの点群のうち前記撮像面内で前記計測画像点から最も近い点と前記撮像面の横軸方向で前記計測画像点から最も近い点と前記撮像面の縦軸方向で前記計測画像点から最も近い点とのいずれかの点を前記近傍1点として抽出する。
前記近傍平面算出部173は、前記種別入力部により入力された地物の種別に基づいて、前記計測画像点の前記近傍1点の含まれる点群により表される地物の成す面を平面で表して前記特定の平面を算出する。
道路地物計測システム101は、3次元地物位置計測台車(MMS、計測台車102)により取得した道路周辺の方位・距離データ(3次元点群データ、路面形状モデル)および画像データ(撮影画像401)を用いて、道路周辺地物の位置を計測する。
道路地物計測システム101は、端末画面(道路地物計測画面400)内に表示される画像データ(撮影画像401)について、地物の位置をクリックすることで得られる2次元表示点(計測画像点412)を3次元点群データに対応付けることにより、道路周辺地物の3次元位置を端末画面内で計測する。
例えば、計測台車102においてカメラ230が道路を撮像して道路の画像データを取得し、レーザレーダ240が道路周辺の地物に対する方位・距離データを取得する。また、路面形状モデル生成部150は画像に撮像された静止物の三次元モデルを生成し、静止物の三次元モデルと方位・距離データに基づく路面形状モデルとを比較して静止物のみを示す路面形状モデルを生成する。そして、路面モデル対応点探索部170はカメラ230で撮像した道路画像上でマウスなどにより指定された地物の位置を路面形状モデルの点群データに対応付け、カメラ230の視線ベクトルに基づいて指定点の3次元位置を計測する。
実施の形態2で説明した道路地物計測装置B500を組み込んだCAD装置600(CAD:Computer Aided Design)について説明する。
例えば、CAD装置600は道路を製図し、製図された道路を表す道路データ(作図データ)を生成する。道路管理台帳やカーナビゲーションシステムで用いられる地図は道路データ(作図データ)の一例である。
以下、実施の形態2と異なる事項について主に説明し、説明を省略する事項については実施の形態2と同様であるものとする。
図33において、CAD装置600は、実施の形態2で説明した道路地物計測装置B500の構成に加えて、製図部610とCAD記憶部699とを備える。例えば、CAD装置600は、道路管理台帳用付図作成用のCADである。
製図部610(描画部)はCADの機能を実行する。例えば、製図部610は、作成する図の内容を示す作図命令を入力機器から入力し、入力した前記作図命令に基づいて複数の要素を含んだ図をCPUを用いて表示装置901の画面に描画する(描画処理)。
また、製図部610(作図部)は、描画した図に含まれる複数の要素からいずれかの要素をユーザに指定させ、指定された要素に対応する地物位置(計測画像点の三次元の位置)を路面モデル対応点探索部170(位置算出部)から取得して、描画した図を表すと共に地物位置をユーザに指定された要素の三次元の位置として示す作図データ(例えば、道路データ)をCPUを用いて作成する(作図処理)。
CAD記憶部699は製図部610により作成された作図データを記憶機器を用いて記憶する。
製図部610および画像表示部341は図34に示すようなCAD画面620をCAD装置600の表示装置901に表示する。例えば、CAD画面620は道路管理台帳用付図作成用のCADの画面である。
図形ツールバー621は直線、曲線、円、多角形、矢印などの複数の図形の種類を示し、ユーザに描画する図形の種類の指定を促す図形描画用のツールバーである。
道路図622はユーザの指定に基づいて描画された図である。
計測画面表示ボタン623は道路地物計測画面400(実施の形態2参照)の表示要求時に押下されるボタンである。
保存要求ボタン624は道路図622の保存要求時に押下されるボタンである。
道路地物計測画面400は計測画面表示ボタン623が押下されたときに道路図622と並べられて又は道路図622に重畳されて表示される。但し、道路地物計測画面400は予め表示されていてもよい。
CAD画面620は製図部610および画像表示部341により表示装置901に表示される。
以下、ユーザが道路図622のkmポスト625に三次元座標を設定したい場合について説明する。
つまり、製図部610はCADの機能により作成した道路図622に、実施の形態2で説明した道路地物計測装置B500の機能で得られた地物位置および地物種別413を設定して道路データを作成する。
実施の形態5では、近傍平面を算出せずに地物位置を特定する形態について説明する。
以下、実施の形態1〜実施の形態4と異なる事項について主に説明し、説明を省略する事項については実施の形態1〜実施の形態4と同様であるものとする。
実施の形態5における道路地物計測装置C700の機能構成について、図35に基づいて以下に説明する。
近傍抽出部171およびモデル投影部172は、各実施の形態で説明した機能を有する。
また、地物位置算出部174は、各実施の形態で路面モデル対応点探索部170の処理として説明した地物位置を算出する処理(位置算出処理)を実行する機能を有する。
また、画像記憶部708および三次元点群モデル記憶部709は、各実施の形態における観測データ記憶部199に相当する。
三次元点群モデル記憶部709には、路面形状モデル(三次元点群モデル)が記憶されている。
画像と路面形状モデルとは、互いに、同一の場所を示すデータ同士が対応付けられて記憶されている。つまり、対応付けられた画像と路面形状モデルの点群とは同一の場所を示している。
例えば、画像表示部341は、画像記憶部708に記憶された画像と三次元点群モデル記憶部709に記憶された路面形状モデル(三次元点群モデル)とを表示装置901の画面に重ね合わせて表示して、路面形状モデルの点群の中からユーザが注目する画像内の位置に対応する点を指定することを促す。
例えば、近傍抽出部171は、三次元点群モデル記憶部709が記憶した路面形状モデルの点群の中から、画像点入力部342が入力した前記計測画像点に対応する対応点を検出する。
対応点とは、例えば、画像平面の画素の2次元座標における同一座標点、最も距離が近い座標点または近傍の座標点に投影された路面形状モデルの点である。以下、対応点を近傍点という。
三次元点群モデル記憶部709は、レーザ装置により計測した点群から構成されると共に各点群の三次元の位置が既知である点群を三次元点群モデルとして記憶する。
実施の形態5における計測方法について、図36に基づいて以下に説明する。
まず、画像表示部341はユーザに指定された画像を表示装置901に表示する。
例えば、画像表示部341は、実施の形態2で説明したように、画像記憶部708に記憶されている画像の一覧として画像番号のリストや画像のサムネイルの一覧を表示装置901に表示する。そして、画像表示部341は、表示された画像の一覧の中からユーザに指定された画像を画像記憶部708から取得し、取得した画像を撮影画像401として道路地物計測画面400(実施の形態2参照)を表示装置901に表示する。
次に、モデル投影部172は、路面形状モデルを画像平面に投影する。
このとき、モデル投影部172は、画像表示処理A(S1111)で表示された画像(以下、撮影画像401という)の撮影時刻および撮影位置に対応する路面形状モデルを三次元点群モデル記憶部709から取得し、取得した路面形状モデルを撮影画像401の画像平面に投影する。路面形状モデルの画像平面への投影は、実施の形態1で説明した「3Dモデル投影処理(S502)」で行われる。
以下、画像平面に投影された路面形状モデルの点群を「投影点群」という。
次に、画像表示部341は、投影点群を画像に重畳して表示装置901に表示する。
画像表示処理B(S1113)において、画像表示部341は、図37に示すように、撮影画像401に投影点群を重ねて表示する。道路地物計測画面400および撮影画像401は画像表示処理A(S1111)において画像表示部341により表示装置901に表示されたものである。撮影画像401内の複数の黒点は点群投影処理(S1112)で撮影画像401の画像平面に投影された投影点群を示している。a点421a、b点421b、c点421c、d点421dなどは投影点群を構成する投影点421である。
a点421aおよびd点421dは、kmポスト403で反射して得られたレーザ計測点を示すため、kmポスト403の緯度および経度を正しく示す。kmポスト403の高さを下端(歩道404との接地点)で求める場合、a点421aの方が下方に位置するためd点421dより正確な高さを示す。
b点421bおよびc点421cは、歩道404で反射して得られたレーザ計測点を示すため、kmポスト403の3次元座標を示さない。b点421bとc点421cとでは、c点421cの方がb点421bよりkmポスト403に近いため、c点421cの方がb点421bよりkmポスト403の3次元座標に近い値を示す。
次に、画像点入力部342は、計測画像点412、地物種別413および指定画像番号411をマウス903やFDD904などの入力機器からOS921を介して入力する。画像点入力部342により入力された計測画像点412、地物種別413および指定画像番号411は後述する結果記憶処理(S1150)において地物位置414と共に計測位置データ記憶部599に記憶される。
例えば、画像点入力部342は、実施の形態2で説明したように、ユーザによりマウス903がクリックされたときにマウスカーソル402が指し示している画像内での2次元座標(uv座標)を計測画像点412として入力し、入力した計測画像点412を道路地物計測画面400に表示する。
また例えば、画像点入力部342は、実施の形態2で説明したように、マウス903のクリックにより種別リストボックス417内でユーザに指定された種別を地物種別413として入力し、指定された地物種別413部分の背景色を変化させる。
また、指定画像番号411は、道路地物計測画面400に表示されている撮影画像401の識別番号である。
例えば、各投影点421は、1ドット(ピクセル、画素)で示される。
これにより、ユーザは計測対象の地物に重なって表示されている投影点421(例えば、a点421a)を計測画像点412として指定できるまでマウス903の操作を繰り返すこともできる。
次に、近傍抽出部171は、計測画像点412の近傍点(対応点)を投影点群から抽出する。
このとき、近傍抽出部171は、撮影画像401内でuv座標が計測画像点412に最も近い投影点421(対応点の一例)を投影点群の中から近傍点として特定する。
例えば、図37に示すように、ユーザは計測画像点取得処理(S1120)においてマウスカーソル402でa点421aから少しずれた画素を計測画像点412として指定した場合、近傍点はa点421aとなる。また、計測画像点取得処理(S1120)においてa点421aが投影されている画素そのものが計測画像点412として指定された場合も、a点421aを近傍点とする。
次に、地物位置算出部174は、近傍点の三次元の位置を地物位置414として取得する。
ユーザは、計測画像点412の三次元の位置を計測したい場合、マウス903を操作して道路地物計測画面400の計算要求ボタン415(図37参照)を押下する。
計算要求ボタン415が押下された場合、地物位置算出部174は、対応点検出処理(S1130)において抽出された近傍点に対応するレーザ計測点を三次元点群モデル記憶部709に記憶されている路面形状モデルの点群から抽出し、抽出したレーザ計測点が示す3次元座標を地物位置414として取得する。
そして、計測位置データ記憶部599は、地物位置414、計測画像点412、指定画像番号411および地物種別413を記憶する。
ユーザは、地物位置414を記憶したい場合、マウス903を操作して道路地物計測画面400の保存要求ボタン416(図37参照)を押下する。
保存要求ボタン416が押下された場合、計測位置データ記憶部599は、計測画像点取得処理/種別入力処理(S1120)において入力された指定画像番号411、計測画像点412および地物種別413と位置算出処理(S1140)で取得された地物位置414とを対応付けて計測位置データとして記憶する。
上記の道路地物計測装置C700は、実施の形態4と同様に、CAD機能(製図部610)を備えてCAD装置600として使用されてもよい。
実施の形態6では、画像から地物を検出し、検出した地物の三次元の位置を計測する形態について説明する。
以下、実施の形態5と異なる事項について主に説明し、説明を省略する事項については実施の形態5と同様であるものとする。
実施の形態6における道路地物計測装置C700の機能構成について、図38に基づいて以下に説明する。
近傍抽出部171(対応点検出部)は、計測画像点により示される画像内の位置に地物領域検出部701が検出した地物画像領域内に表示された点群の点が有る場合に、当該点を計測画像点に対応する対応点として検出する。
また、近傍抽出部171は、計測画像点により示される画像内の位置に地物領域検出部701が検出した地物画像領域内に表示された点群の点が無い場合に、計測画像点に最も近い点を計測画像点に対応する対応点として検出する。
実施の形態6における計測方法について、図39に基づいて以下に説明する。
実施の形態6において画像表示処理A(S1211)〜結果記憶処理(S1250)(地物領域検出処理[S1213]を除く)は、実施の形態5における画像表示処理A(S1111)〜結果記憶処理(S1150)と同様である。
以下に、地物領域検出処理(S1213)および画像表示処理B(S1214)について説明する。
地物領域検出部701は、画像表示処理A(S1211)においてユーザに指定された画像を画像処理し、ユーザに指定された画像から計測対象の候補となる地物が映っている部分を地物画像領域として検出する。
例えば、形および色により特定の地物が表された地物パターンが予め記憶部(例えば、画像記憶部708)に記憶されており、地物領域検出部701は画像と地物パターンとをパターンマッチングして地物パターンに当てはまる画像内の領域を地物画像領域として特定する。例えば、地物パターンには、規制標識を表す青い円形や赤い円形、警戒標識を表す黄色い三角形、指示標識を表す青い四角形、横断標識を表す青い三角形、案内標識を表す緑の四角形、白線を表す白い直線などがある。
規制標識、警戒標識、指示標識、横断標識および案内標識はそれぞれ道路標識の一種である。白線は道路標示の一種である。
例えば、地物領域検出部701は、図40において撮影画像401内のkmポスト403が映っている領域を地物画像領域として検出する。
画像表示部341は、実施の形態5と同じく投影点群を画像に重畳して表示すると共に、地物領域検出処理(S1213)により検出された地物画像領域を画像内に示す。
例えば、画像表示部341は、地物画像領域を指し示すようにマーク(例えば、矢印や枠線)を表示する。
例えば、画像表示部341は、図40において撮影画像401内のkmポスト403が映っている領域を指し示すようにマーク(図示省略)を表示する。
以下に、対応点検出処理(S1230)における地物画像領域の利用方法について説明する。
この場合、対応点検出処理(S1230)では、A点412Aに最も近い投影点421であるe点421eが抽出されることになる。e点421eはkmポスト403に重なって表示されている投影点421ではない。
つまり、e点421eに対応するレーザ計測点は、kmポスト403で反射して取得された点ではなく、kmポスト403の背後の遠く離れた歩道404上の一点で反射して取得された点である。従って、e点421eに対応するレーザ計測点は、kmポスト403の3次元座標ではなく、kmポスト403から遠く離れた歩道404上の一点の3次元座標を示す。
しかし、c点421cに対応するレーザ計測点は、kmポスト403が設置されている地点の近くにおいて歩道404から反射して取得された点であるため、kmポスト403の3次元座標に近い値を示す。レーザ計測点はレーザレーダ240により高密度(例えば、数cm間隔)で取得されるため、c点421cに対応するレーザ計測点をkmポスト403の3次元座標としても、誤差は小さい。
実施の形態7では、計測画像点の近傍点を地物位置の第1の候補として取得すると共に近傍平面と計測画像点に対するLOSベクトルとの交点を地物位置の第2の候補として算出し、第1の候補と第2の候補とのいずれかを地物位置として特定する形態について説明する。
以下、実施の形態6と異なる事項について主に説明し、説明を省略する事項については実施の形態6と同様であるものとする。
実施の形態7における道路地物計測装置C700の機能構成について、図41に基づいて以下に説明する。
カメラLOS演算部1401(ベクトル算出部)は、カメラ230のカメラ中心から計測画像点への方向を示すLOSベクトルを算出する。
近傍平面算出部173(平面算出部)は、近傍抽出部171(対応点検出部)が検出した近傍点(対応点)を含む特定の平面を算出する。
画像表示部341(位置表示部)は、地物位置算出部174が得た第1の候補と第2の候補とを表示装置901の画面に表示して、第1の候補と第2の候補とのいずれかを指定することをユーザに促す。
計測位置データ記憶部599(結果記憶部)は、第1の候補と第2の候補とのうちユーザが指定した方を計測画像点の三次元の位置(地物位置)として記憶する。
実施の形態7における計測方法について、図42に基づいて以下に説明する。
実施の形態7における画像表示処理A(S1311)〜対応点検出処理(S1330)、位置算出処理A(S1340)および結果記憶処理(S1370)は、実施の形態6における画像表示処理A(S1211)〜対応点検出処理(S1230)、位置算出処理(S1240)および結果記憶処理(S1250)と同様である。
以下、平面算出処理(S1351)、ベクトル算出処理(S1352)、位置算出処理B(S1353)および位置表示処理(S1360)について説明する。
近傍平面算出部173は、対応点検出処理(S1330)において抽出された近傍点を含む特定の平面を近傍平面として算出する。
例えば、近傍平面算出部173は、近傍点を含む水平面を近傍平面として算出する。
平面算出処理(S1351)は、実施の形態3で説明した近傍平面算出処理(S503B)と同じである。
カメラLOS演算部140は、計測画像点取得処理(S1320)において入力された計測画像点に対するカメラ230のLOSベクトルを画像表示処理A(S1311)で表示された画像が撮像されたときのカメラ230の姿勢角に基づいて算出する。画像点入力部342からカメラLOS演算部140へは、計測画像点取得処理(S1320)において入力された計測画像点と画像表示処理A(S1311)で表示された画像を識別する指定画像番号が出力される。カメラLOS演算部140は画像点入力部342から出力された指定画像番号に基づいて画像が撮像された時刻を特定し、特定した時刻におけるカメラ230の姿勢角を取得する。
平面算出処理(S1352)は、実施の形態1で説明したLOS計算処理(S504)と同じである。
次に、地物位置算出部174は、平面算出処理(S1351)で算出された近傍平面とベクトル算出処理(S1352)で算出されたLOSベクトルとの交点を地物位置の第2の候補として算出する。
位置算出処理B(S1353)による地物位置の第2の候補の算出方法は、実施の形態3で説明した交点計算処理(S505)による地物位置の算出方法と同じである。
次に、画像表示部341は、位置算出処理A(S1340)で取得された地物位置の第1の候補と位置算出処理B(S1353)で算出された地物位置の第2の候補とを表示装置901に表示する。
例えば、画像表示部341は、位置表示処理(S1360)において、図43に示すように、地物位置の第1の候補(地物位置414a)と地物位置の第2の候補(地物位置414b)とを道路地物計測画面400に表示する。
ここで、道路地物計測画面400には、地物位置414aと地物位置414bとのいずれかユーザに指定させるための選択リストボックス420が含まれる。ユーザは選択リストボックス420で地物位置414aと地物位置414bとのいずれかを地物位置として指定する。例えば、図43では、「地物位置1」として表示されている地物位置414a(第1の候補)が指定されている。
そして、保存要求ボタン416が押下されたとき、計測位置データ記憶部599は、結果記憶処理(S1370)において、選択リストボックス420で指定されている地物位置を計測画像点412、指定画像番号411および地物種別413と対応付けて計測位置データとして記憶する。
しかし、白線407のエッジ424(白線407のふちの線)のように幅のない地物(レーザ計測点の取得密度に比べて幅が狭い線状の地物)の位置を計測したい場合、地物に重なって表示されている投影点421が存在するとは限らないため、ユーザは、投影点421の無い地物上の一点(一画素)(例えば、x点423)を計測画像点として指定することになる。このため、計測画像点に最も近い投影点421(例えば、f点421f)に対応するレーザ計測点の3次元座標を地物位置(第1の候補)とする位置算出処理A(S1340)では、位置算出処理B(S1353)で算出される地物位置(第2の候補)より高い精度の地物位置が得られるとは限らない。
また、ユーザは、投影点421の無い地物上の一点を計測画像点412として指定した場合、位置算出処理B(S1353)で算出された地物位置(第2の候補)を示す「地物位置2」を選択リストボックス420で指定するとよい。
位置算出処理B(S1353)では、計測画像点に対するLOSベクトルに基づいて地物位置(第2の候補)を算出しているため、地物上に投影点421が無い場合でも高い精度の地物位置(第2の候補)が得られる。
実施の形態8では、ユーザによる選択を要さずに、地物位置の第1の候補と第2の候補とのうち精度の高い方を地物位置として特定する形態について説明する。
以下、実施の形態7と異なる事項について主に説明し、説明を省略する事項については実施の形態7と同様であるものとする。
実施の形態8における計測方法について、図44に基づいて以下に説明する。
以下に、位置算出処理C(S1360B)について説明する。
地物位置算出部174は、種別入力処理(S1320)において入力された地物種別に基づいて、位置算出処理A(S1340)で取得された地物位置(第1の候補)と位置算出処理B(S1353)で算出された地物位置(第2の候補)とのいずれかを地物位置として特定する。
実施の形態2〜8では、計測装置(例えば、道路地物計測装置、あるいはCAD装置600)は、画像記憶部(観測データ記憶部199)、三次元点群モデル記憶部(観測データ記憶部199)、画像表示部341、計測画像点取得部(画像点入力部342)および位置算出部(路面モデル対応点探索部170)を備えている。そして、位置算出部は、前記三次元点群モデル記憶部が記憶した前記三次元点群モデルの点群のなかから、前記計測画像点取得部が取得した前記計測画像点に対応する対応点を検出して、検出した前記対応点の位置を用いて前記計測画像部が取得した前記計測画像点の三次元の位置を特定した。
ユーザ端末は計測画像点の情報をサーバに送信し、サーバは受信した計測画像点の三次元位置(地物位置)を特定してユーザ端末に送信する。
以下、実施の形態1〜実施の形態8と異なる事項について主に説明し、説明を省略する事項について実施の形態1〜実施の形態8と同様であるものとする。
図45において、計測端末装置720(以下、ユーザ端末という)と計測サーバ装置710(以下、サーバという)とはインターネット940を介して通信を行う。
サーバ(計測サーバ装置710)は、Webサーバとして、インターネット940に接続するユーザ端末に地物位置を計測する機能を提供する。
ユーザ端末(計測端末装置720)は、Webブラウザを用いてサーバにアクセスし、計測画像点に対応する地物位置の計測をサーバに要求し、計測された地物位置をサーバから受信することにより、計測画像点に対応する地物位置を得る。
また、サーバ側画像点入力部342sとユーザ側画像点入力部342uとは、他の実施の形態で説明した画像点入力部342に対応する構成である。
実施の形態9における計測方法について、図46に基づいて以下に説明する。
サーバ(計測サーバ装置)の画像提示部711は、ブロードバンドによるデータ通信により、3)画像記憶部708に記憶された画像と、4)三次元点群モデル記憶部709に記憶された路面形状モデルとを、ユーザ端末に送信する。このとき、ユーザ端末に送信される路面形状モデルは、一緒に送信された画像に対してモデル投影部172により投影された投影点群である。また、画像のみがユーザ端末に送信され、投影点群はユーザ端末に送信されなくても構わない。
ユーザ端末(計測端末装置)において、2)画像表示部341は、ユーザ端末のディスプレイ(表示装置901)に、サーバから送信された画像と投影点群とを重畳させた計測画面を表示する。例えば、画像表示部341は、道路地物計測画面400(図37)やCAD画面620(図34)を計測画面として、画像と投影点群とを重畳させて表示する。
ユーザの選択により、画像と投影点群との重畳表示と画像のみの表示とを切り替えてもよい。
画像表示部341は、サーバからユーザ端末に提供されるプログラムであってもよい。この場合、画像表示部341は、予め、サーバからダウンロードされ、ユーザ端末にインストールされているものとする。
画像表示処理(S1412)は、例えば、画像表示処理A(S1111)および画像表示処理B(S1113)に相当する。
ユーザは、ユーザ端末にて、マウスやライトペン等の入力装置で、計測画面の画像内の点(画素)を計測画像点としてクリックする。ユーザ端末は、クリックされたポイントに基づいて、ユーザ側画像点入力部342u((1)計測画像点取得部)により計測画像点を取得し、計測画像点をサーバに送信する。
また、ユーザ側画像点入力部342uは、計測画像点と共に、画像の識別番号を送信してもよい。また、ユーザ側画像点入力部342uは、種別入力処理(S1120)と同様にして地物種別を入力し、計測画像点と地物種別とをサーバに送信しても構わない。
<S1422:サーバ側計測画像点取得処理>
サーバでは、サーバ側画像点入力部342sが計測画像点をユーザ端末から受信する。
端末側計測画像点取得処理(S1421)とサーバ側計測画像点取得処理(S1422)とは、例えば、計測画像点取得処理(S1120)に相当する。
サーバにおいて、近傍抽出部171は、対応点検出処理(S1130)と同様に、計測画像点の近傍点を投影点群から抽出する。
サーバにおいて、地物位置算出部174は、位置算出処理(S1140)と同様に、近傍点の三次元の位置を地物位置として三次元点群モデル記憶部709から取得し、地物位置をユーザ端末に送信する。
ユーザ端末において、画像表示部341はサーバから送信された地物位置を計測画面に表示し、計測位置データ記憶部599はサーバから送信された地物位置を計測画像点、地物種別および画像番号と対応付けて計測位置データとして記憶する。
結果記憶処理(S1450)は、例えば、結果記憶処理(S1150)に相当する。
例えば、サーバが画像番号のリストや画像のサムネイルの一覧などの画像一覧をユーザ端末に送信し、画像一覧からユーザにより選択された画像の要求をユーザ端末がサーバに送信し、要求された画像をサーバがユーザ端末に送信してもよい。
また例えば、サーバからユーザ端末に全ての画像が送信され、全ての画像がユーザ端末に記憶されても構わない。
また例えば、サーバは全画像を縦横(上下左右)に並べ、または、前後に重ね合わせて配置した場合を仮定して全画像の配置情報を生成し、一つ(または、複数)の画像Aをユーザ端末に送信する。また、ユーザ端末は、サーバから送信された画像Aを画像選択画面に表示する。また、ユーザはマウスを操作して画像選択画面内のマウスカーソルを動かし、ユーザ端末はマウスの操作情報をサーバに送信する。例えば、マウスの操作は、画像選択画面を上下左右にスクロールする操作であったり、画像選択画面に表示された画像をめくり上げる操作であったりする。そして、サーバは、マウス操作に応じて、配置情報において画像Aの上下左右または前後に配置された画像Bをユーザ端末に送信し、ユーザ端末はサーバから送信された画像Bをマウス操作に合わせて画像選択画面に表示する。例えば、ユーザ端末は、画像選択画面のスクロールに合わせて、縦横に並ぶ画像Aと画像Bとをスクロールさせて表示する。また例えば、ユーザ端末は、画像Aがめくり上げられ、画像Bが画像Aの下から表れるような表示をする。
つまり、非常に高速なブロードバンド環境において、ユーザが計測画面をスクロールするとスクロール情報がサーバ側に送られ、サーバはスクロールされた移動先の画像(例えば、表示されている画像をめくった先の画像)を、その都度、ユーザ端末に送る。
但し、サーバは、スクロールに応じてその都度、画像を送るようなことをせずに、表示対象の画像と共に表示対象の画像の前後(または、上下左右)に配置された画像をユーザ端末に送信したり、始めに全ての画像をユーザ端末に送信したりしてもよい。ユーザ端末は送信された画像を記憶部に記憶しておく。これにより、サーバからユーザ端末への画像の送信回数を減らすことができる。
例えば、サーバは、近傍平面算出部173とカメラLOS演算部140とを備えてもよい。この場合、近傍平面算出部173は平面算出処理(S1351)と同様に近傍点を含む近傍平面を算出し、カメラLOS演算部140はベクトル算出処理(S1352)と同様にLOSベクトルを算出する。そして、地物位置算出部174は近傍平面とLOSベクトルとの交点を地物位置として算出する。
また例えば、サーバは地物領域検出部701を備えてもよい。この場合、地物領域検出部701は地物領域検出処理(S1213)と同様に画像から地物画像領域を検出し、画像提示部711はユーザ端末に画像と共に地物画像領域を送信する。そして、ユーザ端末の画像表示部341は画像表示処理B(S1214)と同様に画像と地物画像領域とを表示する。
また、サーバを自ら所有しないユーザであったも、ユーザ端末を用いて画像に映る地物の三次元座標を特定することが可能となり、利便性が向上する。
Claims (6)
- カメラにより地物が撮像された画像と前記画像に対応すると共に三次元の位置が既知である点群とを表示装置の画面に重ね合わせて表示して、計測対象とする地物の画像内の位置を指定することをユーザに促す画像表示部と、
ユーザが指定した画像内の位置を計測画像点として入力装置から入力する計測画像点取得部と、
前記カメラのカメラ中心から前記計測画像点取得部が入力した計測画像点への方向を示すベクトルを算出するベクトル算出部と、
前記点群の中から、前記計測画像点取得部が取得した前記計測画像点に対応する対応点を検出する対応点検出部と、
前記対応点検出部が検出した前記対応点を含む特定の平面を算出する平面算出部と、
前記対応点検出部が検出した前記対応点の三次元の位置を前記計測画像点取得部が取得した前記計測画像点の三次元の位置を示す第1の候補として取得し、前記平面算出部が算出した特定の平面と前記ベクトル算出部が算出したベクトルとの交点を前記計測画像点の三次元の位置を示す第2の候補として算出する位置算出部と、
前記位置算出部が得た前記第1の候補と前記第2の候補とを表示装置の画面に表示して、前記第1の候補と前記第2の候補とのいずれかを指定することをユーザに促す位置表示部と、
前記第1の候補と前記第2の候補とのうちユーザが指定した方を前記計測画像点の三次元の位置として記憶する結果記憶部と
を備えることを特徴とする計測装置。 - カメラにより地物が撮像された画像と前記画像に対応すると共に三次元の位置が既知である点群とを表示装置の画面に重ね合わせて表示して、計測対象とする地物の画像内の位置を指定することをユーザに促す画像表示部と、
ユーザが指定した画像内の位置を計測画像点として入力装置から入力する計測画像点取得部と、
前記カメラのカメラ中心から前記計測画像点取得部が入力した計測画像点への方向を示すベクトルを算出するベクトル算出部と、
前記点群の中から、前記計測画像点取得部が取得した前記計測画像点に対応する対応点を検出する対応点検出部と、
前記対応点検出部が検出した前記対応点を含む特定の平面を算出する平面算出部と、
計測対象とする地物の種別をユーザに指定させ、ユーザにより指定された地物の種別を入力装置から入力する種別入力部と、
前記種別入力部が入力した地物の種別に基づいて、前記対応点検出部が検出した前記対応点と、前記平面算出部が算出した特定の平面と前記ベクトル算出部が算出したベクトルとの交点とのいずれかを前記計測画像点取得部が取得した前記計測画像点の三次元の位置として特定する位置算出部と
を備えることを特徴とする計測装置。 - 前記計測装置は、さらに、
前記画像を記憶する画像記憶部と、
前記点群を三次元点群モデルとして記憶する三次元点群モデル記憶部とを備え、
前記画像表示部は、前記画像記憶部に記憶された前記画像と前記三次元点群モデル記憶部に記憶された前記三次元点群モデルとを重ね合わせて表示して、前記三次元点群モデルの前記点群の中からユーザが注目する画像内の位置に対応する点を指定することを促し、
前記計測画像点取得部は、ユーザが指定した点に対応する画像内の位置を前記計測画像点として入力する
ことを特徴とする請求項1または請求項2記載の計測装置。 - 画像表示部が、カメラにより地物が撮像された画像と前記画像に対応すると共に三次元の位置が既知である点群とを表示装置の画面に重ね合わせて表示して、計測対象とする地物の画像内の位置を指定することをユーザに促す画像表示処理を行い、
計測画像点取得部が、ユーザが指定した画像内の位置を計測画像点として入力装置から入力する計測画像点取得処理を行い、
ベクトル算出部が、前記カメラのカメラ中心から前記計測画像点取得部が入力した計測画像点への方向を示すベクトルを算出するベクトル算出処理を行い、
対応点検出部が、前記点群の中から、前記計測画像点取得部が取得した前記計測画像点に対応する対応点を検出する対応点検出処理を行い、
平面算出部が、前記対応点検出部が検出した前記対応点を含む特定の平面を算出する平面算出処理を行い、
位置算出部が、前記対応点検出部が検出した前記対応点の三次元の位置を前記計測画像点取得部が取得した前記計測画像点の三次元の位置を示す第1の候補として取得し、前記平面算出部が算出した特定の平面と前記ベクトル算出部が算出したベクトルとの交点を前記計測画像点の三次元の位置を示す第2の候補として算出する位置算出処理を行い、
位置表示部が、前記位置算出部が得た前記第1の候補と前記第2の候補とを表示装置の画面に表示して、前記第1の候補と前記第2の候補とのいずれかを指定することをユーザに促す位置表示処理を行い、
結果記憶部が、前記第1の候補と前記第2の候補とのうちユーザが指定した方を前記計測画像点の三次元の位置を示す計測位置データとして記憶する結果記憶処理を行う
ことを特徴とする計測方法。 - 画像表示部が、カメラにより地物が撮像された画像と前記画像に対応すると共に三次元の位置が既知である点群とを表示装置の画面に重ね合わせて表示して、計測対象とする地物の画像内の位置を指定することをユーザに促す画像表示処理を行い、
計測画像点取得部が、ユーザが指定した画像内の位置を計測画像点として入力装置から入力する計測画像点取得処理を行い、
ベクトル算出部が、前記カメラのカメラ中心から前記計測画像点取得部が入力した計測画像点への方向を示すベクトルを算出するベクトル算出処理を行い、
対応点検出部が、前記点群の中から、前記計測画像点取得部が取得した前記計測画像点に対応する対応点を検出する対応点検出処理を行い、
平面算出部が、前記対応点検出部が検出した前記対応点を含む特定の平面を算出する平面算出処理を行い、
種別入力部が、計測対象とする地物の種別をユーザに指定させ、ユーザにより指定された地物の種別を入力装置から入力する種別入力処理を行い、
位置算出部が、前記種別入力部が入力した地物の種別に基づいて、前記対応点検出部が検出した前記対応点と、前記平面算出部が算出した特定の平面と前記ベクトル算出部が算出したベクトルとの交点とのいずれかを前記計測画像点取得部が取得した前記計測画像点の三次元の位置として特定し、特定した前記計測画像点の三次元の位置を示す計測位置データを作成する位置算出処理を行う
ことを特徴とする計測方法。 - 請求項4または請求項5記載の計測方法をコンピュータに実行させる計測プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008267247A JP5582691B2 (ja) | 2007-02-16 | 2008-10-16 | 計測装置、計測方法および計測プログラム |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007035918 | 2007-02-16 | ||
JP2007035918 | 2007-02-16 | ||
JP2008267247A JP5582691B2 (ja) | 2007-02-16 | 2008-10-16 | 計測装置、計測方法および計測プログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008558146A Division JP4344869B2 (ja) | 2007-02-16 | 2008-02-15 | 計測装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009075117A JP2009075117A (ja) | 2009-04-09 |
JP5582691B2 true JP5582691B2 (ja) | 2014-09-03 |
Family
ID=39690140
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008558146A Active JP4344869B2 (ja) | 2007-02-16 | 2008-02-15 | 計測装置 |
JP2008267247A Active JP5582691B2 (ja) | 2007-02-16 | 2008-10-16 | 計測装置、計測方法および計測プログラム |
JP2009095609A Active JP5546151B2 (ja) | 2007-02-16 | 2009-04-10 | 道路地物計測装置、道路地物計測方法、道路地物計測プログラム、計測装置、計測方法および計測サーバ装置 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008558146A Active JP4344869B2 (ja) | 2007-02-16 | 2008-02-15 | 計測装置 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009095609A Active JP5546151B2 (ja) | 2007-02-16 | 2009-04-10 | 道路地物計測装置、道路地物計測方法、道路地物計測プログラム、計測装置、計測方法および計測サーバ装置 |
Country Status (6)
Country | Link |
---|---|
US (3) | US8483442B2 (ja) |
EP (2) | EP3112802B1 (ja) |
JP (3) | JP4344869B2 (ja) |
CN (1) | CN101617197B (ja) |
CA (1) | CA2678156C (ja) |
WO (1) | WO2008099915A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7117408B1 (ja) | 2021-02-26 | 2022-08-12 | 株式会社パスコ | 位置算出装置、プログラム及び位置算出方法 |
Families Citing this family (195)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10223828B2 (en) * | 2006-05-02 | 2019-03-05 | Digitalglobe, Inc. | Automated registration of three-dimensional vectors to three-dimensional linear features in remotely-sensed data |
US9633426B2 (en) * | 2014-05-30 | 2017-04-25 | General Electric Company | Remote visual inspection image capture system and method |
JP4341705B2 (ja) * | 2007-07-17 | 2009-10-07 | トヨタ自動車株式会社 | 車載画像処理装置 |
JP4982410B2 (ja) * | 2008-03-10 | 2012-07-25 | 株式会社東芝 | 空間移動量算出装置及びその方法 |
DE102008060684B4 (de) | 2008-03-28 | 2019-05-23 | Volkswagen Ag | Verfahren und Vorrichtung zum automatischen Einparken eines Kraftfahrzeugs |
CN102138163B (zh) | 2008-08-29 | 2014-04-30 | 三菱电机株式会社 | 俯瞰图像生成装置及俯瞰图像生成方法 |
JP5448429B2 (ja) * | 2008-11-28 | 2014-03-19 | 綜合警備保障株式会社 | 移動体検知装置および移動体検知方法 |
JP5361421B2 (ja) * | 2009-01-30 | 2013-12-04 | 三菱電機株式会社 | 計測装置、計測装置のレーザー位置姿勢値補正方法およびレーザー位置姿勢値補正プログラム |
JP5339953B2 (ja) * | 2009-02-17 | 2013-11-13 | 三菱電機株式会社 | 三次元地図補正装置及び三次元地図補正プログラム |
JP5464915B2 (ja) * | 2009-06-09 | 2014-04-09 | 三菱電機株式会社 | 対象物検出装置及び対象物検出方法 |
JP5322789B2 (ja) * | 2009-06-15 | 2013-10-23 | 三菱電機株式会社 | モデル生成装置、モデル生成方法、モデル生成プログラム、点群画像生成方法および点群画像生成プログラム |
JP5567908B2 (ja) * | 2009-06-24 | 2014-08-06 | キヤノン株式会社 | 3次元計測装置、その計測方法及びプログラム |
US8547374B1 (en) * | 2009-07-24 | 2013-10-01 | Lockheed Martin Corporation | Detection and reconstruction of 3D objects with passive imaging sensors |
JP2011095858A (ja) * | 2009-10-27 | 2011-05-12 | Panasonic Electric Works Co Ltd | 3次元デジタイザ |
US8723987B2 (en) * | 2009-10-30 | 2014-05-13 | Honeywell International Inc. | Uncertainty estimation of planar features |
US9384659B2 (en) | 2009-11-10 | 2016-07-05 | Mitsubishi Electric Corporation | Driving support system |
JP5442022B2 (ja) | 2009-11-10 | 2014-03-12 | 三菱電機株式会社 | 運転支援システムおよび運転支援方法 |
TWI391874B (zh) | 2009-11-24 | 2013-04-01 | Ind Tech Res Inst | 地圖建置方法與裝置以及利用該地圖的定位方法 |
CN102080958B (zh) * | 2009-11-26 | 2013-04-10 | 财团法人资讯工业策进会 | 三维影像分析系统、处理装置及其方法 |
WO2011070927A1 (ja) * | 2009-12-11 | 2011-06-16 | 株式会社トプコン | 点群データ処理装置、点群データ処理方法、および点群データ処理プログラム |
US20110232719A1 (en) * | 2010-02-17 | 2011-09-29 | Freda Robert M | Solar power system |
JP5473683B2 (ja) * | 2010-03-09 | 2014-04-16 | 三菱電機株式会社 | 地物検出システム |
DE102010011093A1 (de) * | 2010-03-11 | 2011-09-15 | Daimler Ag | Verfahren zur Bestimmung einer Fahrzeugaufbaubewegung |
JP4796194B1 (ja) * | 2010-03-31 | 2011-10-19 | 株式会社パスコ | カーソルの表示方法およびカーソルの表示プログラム |
JP5501101B2 (ja) * | 2010-06-03 | 2014-05-21 | 三菱電機株式会社 | 位置標定装置、位置標定方法および位置標定プログラム |
JP5488518B2 (ja) * | 2010-07-05 | 2014-05-14 | 株式会社デンソー | 道路端検出装置、運転者支援装置、および道路端検出方法 |
US8660365B2 (en) | 2010-07-29 | 2014-02-25 | Honeywell International Inc. | Systems and methods for processing extracted plane features |
JP5161936B2 (ja) * | 2010-08-11 | 2013-03-13 | 株式会社パスコ | データ解析装置、データ解析方法、及びプログラム |
JP5535025B2 (ja) * | 2010-10-08 | 2014-07-02 | 三菱電機株式会社 | 屋外地物検知システム、屋外地物検知システム用プログラム、および屋外地物検知システム用プログラムの記録媒体 |
CN101986350B (zh) * | 2010-10-22 | 2012-03-28 | 武汉大学 | 基于单目结构光的三维建模方法 |
JP5616200B2 (ja) * | 2010-11-18 | 2014-10-29 | 古野電気株式会社 | レーダ装置、注目物標検出方法及び注目物標検出プログラム |
CN102034104B (zh) * | 2010-12-10 | 2013-04-03 | 中国人民解放军国防科学技术大学 | 三维点云中基于随机采样一致性的特征线检测方法 |
CN102073981B (zh) * | 2011-02-23 | 2012-11-14 | 中国测绘科学研究院 | 一种关联要素限制下的点群地理实体选取方法 |
JP2012226689A (ja) * | 2011-04-22 | 2012-11-15 | Fuji Heavy Ind Ltd | 環境認識装置および環境認識方法 |
US8655094B2 (en) * | 2011-05-11 | 2014-02-18 | The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration | Photogrammetry system and method for determining relative motion between two bodies |
US8565958B1 (en) * | 2011-06-02 | 2013-10-22 | Google Inc. | Removing extraneous objects from maps |
US8938257B2 (en) | 2011-08-19 | 2015-01-20 | Qualcomm, Incorporated | Logo detection for indoor positioning |
PL2687631T3 (pl) * | 2011-08-22 | 2016-01-29 | Joseph Voegele Ag | Wykańczarka z urządzeniem pomiarowym |
JP6041127B2 (ja) * | 2011-08-29 | 2016-12-07 | 国立大学法人北海道大学 | 柱状物体抽出方法、柱状物体抽出プログラム、及び柱状物体抽出装置 |
CN103017741A (zh) * | 2011-09-26 | 2013-04-03 | 上海久隆电力(集团)有限公司 | 一种电力电缆线路数据的测量方法 |
KR101740259B1 (ko) | 2011-10-07 | 2017-05-29 | 한국전자통신연구원 | 3차원 포인트 클라우드의 공간 분할 방법 |
JP5808656B2 (ja) * | 2011-11-29 | 2015-11-10 | 株式会社アスコ | 三次元レーザ計測システムおよび路面の縦断プロファイルの作成方法 |
CN102538684B (zh) * | 2011-12-30 | 2014-08-06 | 苏州临点三维科技有限公司 | 基于三维摄影技术的楼梯测量方法 |
KR101901588B1 (ko) * | 2012-01-02 | 2018-09-28 | 삼성전자주식회사 | 물체 인식 방법과, 물체 인식을 위한 기술자 생성 방법, 물체 인식을 위한 기술자 생성 장치 |
EP2620908A1 (en) | 2012-01-30 | 2013-07-31 | PASCO Corporation | Data analysis device, data analysis method, and program |
US20130201339A1 (en) * | 2012-02-08 | 2013-08-08 | Honeywell International Inc. | System and method of optimal video camera placement and configuration |
JP5823021B2 (ja) | 2012-03-23 | 2015-11-25 | 三菱電機株式会社 | 配線ボックス |
KR101356192B1 (ko) | 2012-04-26 | 2014-01-24 | 서울시립대학교 산학협력단 | 영상매칭 기반의 스마트폰의 위치자세 결정 방법 및 시스템 |
US9948897B2 (en) * | 2012-05-23 | 2018-04-17 | Sony Corporation | Surveillance camera management device, surveillance camera management method, and program |
CN103575292B (zh) * | 2012-07-19 | 2016-07-06 | 国基电子(上海)有限公司 | 测量装置及测量方法 |
CN102818550A (zh) * | 2012-08-23 | 2012-12-12 | 四川电力科学研究院 | 一种测量输电线路的地面投影线与房屋间距方法 |
JP2014089104A (ja) * | 2012-10-30 | 2014-05-15 | Mitsubishi Electric Corp | 体積推定装置、体積推定システム、体積推定方法および体積推定プログラム |
US20140123507A1 (en) * | 2012-11-02 | 2014-05-08 | Qualcomm Incorporated | Reference coordinate system determination |
US20140163885A1 (en) * | 2012-12-07 | 2014-06-12 | Caterpillar Inc. | Terrain map updating system |
TWI485630B (zh) * | 2012-12-14 | 2015-05-21 | Sintai Optical Shenzhen Co Ltd | 瞄準器,其操作方法,及其電腦程式產品 |
US9267792B2 (en) * | 2013-01-21 | 2016-02-23 | Systèmes Pavemetrics Inc. | Method and apparatus for compensating lateral displacements and low speed variations in the measure of a longitudinal profile of a surface |
JP6018959B2 (ja) * | 2013-03-15 | 2016-11-02 | 株式会社パスコ | データ解析装置、データ解析方法、及びプログラム |
US9809169B1 (en) * | 2013-03-15 | 2017-11-07 | Mouhamad A. Naboulsi | Safety control system for vehicles |
US10359290B2 (en) * | 2013-03-22 | 2019-07-23 | Here Global B.V. | Method and apparatus for two dimensional edge-based map matching |
US9110163B2 (en) | 2013-06-14 | 2015-08-18 | Microsoft Technology Licensing, Llc | Lidar-based classification of object movement |
US9523772B2 (en) | 2013-06-14 | 2016-12-20 | Microsoft Technology Licensing, Llc | Object removal using lidar-based classification |
JP6097182B2 (ja) * | 2013-08-28 | 2017-03-15 | 株式会社パスコ | データ解析装置、データ解析方法、及びプログラム |
US9406138B1 (en) | 2013-09-17 | 2016-08-02 | Bentley Systems, Incorporated | Semi-automatic polyline extraction from point cloud |
EP2853916A1 (en) * | 2013-09-25 | 2015-04-01 | Application Solutions (Electronics and Vision) Limited | A method and apparatus for providing a 3-dimensional ground surface model used for mapping |
JP6299167B2 (ja) * | 2013-11-12 | 2018-03-28 | 富士通株式会社 | 凹凸分析プログラム、凹凸分析方法、および凹凸分析装置 |
JP5991492B2 (ja) * | 2013-11-13 | 2016-09-14 | 株式会社パスコ | データ解析装置、データ解析方法、及びプログラム |
CN103605135B (zh) * | 2013-11-26 | 2015-09-16 | 中交第二公路勘察设计研究院有限公司 | 一种基于断面剖分的道路特征提取方法 |
CN103644896B (zh) * | 2013-12-30 | 2015-11-04 | 中国电建集团成都勘测设计研究院有限公司 | 一种基于三维激光扫描的工程地质测绘方法 |
WO2015110162A1 (fr) * | 2014-01-23 | 2015-07-30 | Hygie-Tech Sa | Methode de traitement d'un nuage de points |
JP5895955B2 (ja) * | 2014-02-07 | 2016-03-30 | トヨタ自動車株式会社 | 車線境界線検出装置 |
US9619927B2 (en) | 2014-02-21 | 2017-04-11 | International Business Machines Corporation | Visualization of objects along a street |
JP2015184929A (ja) * | 2014-03-24 | 2015-10-22 | 株式会社東芝 | 立体物検出装置、立体物検出方法、および立体物検出プログラム |
CN103940434B (zh) * | 2014-04-01 | 2017-12-15 | 西安交通大学 | 基于单目视觉和惯性导航单元的实时车道线检测系统 |
CN104729464B (zh) * | 2014-05-05 | 2017-02-01 | 河南理工大学 | 三维激光扫描仪平缓地形分区扫描方法 |
JP6180999B2 (ja) * | 2014-06-10 | 2017-08-16 | 日本電信電話株式会社 | たわみ推定装置、及びプログラム |
US11959749B2 (en) * | 2014-06-20 | 2024-04-16 | Profound Positioning Inc. | Mobile mapping system |
WO2015198423A1 (ja) * | 2014-06-25 | 2015-12-30 | 三菱電機株式会社 | 建築限界測定図の作成装置、建築限界測定図データの作成装置、建築限界測定図の作成方法、建築限界測定図および建築限界測定図データ |
KR102235046B1 (ko) * | 2014-07-02 | 2021-04-05 | 삼성전자주식회사 | 3차원 반도체 메모리 장치 |
CZ305470B6 (cs) * | 2014-07-15 | 2015-10-14 | R.O.G. S.R.O. | Způsob měření, zpracování a využívání dat digitálního modelu terénu pro objektivní hodnocení geometrických parametrů měřených objektů a měřící zařízení pro provádění uvedeného způsobu |
US9808213B2 (en) * | 2014-08-11 | 2017-11-07 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, medical image diagnostic system, and storage medium |
JP2016057108A (ja) * | 2014-09-08 | 2016-04-21 | 株式会社トプコン | 演算装置、演算システム、演算方法およびプログラム |
US9619922B2 (en) * | 2014-09-09 | 2017-04-11 | Disney Enterprises, Inc. | Distribution caching for direct lights |
DE102014013678B3 (de) | 2014-09-10 | 2015-12-03 | Faro Technologies, Inc. | Verfahren zum optischen Abtasten und Vermessen einer Umgebung mit einem Handscanner und Steuerung durch Gesten |
DE102014013677B4 (de) | 2014-09-10 | 2017-06-22 | Faro Technologies, Inc. | Verfahren zum optischen Abtasten und Vermessen einer Umgebung mit einem Handscanner und unterteiltem Display |
US9602811B2 (en) | 2014-09-10 | 2017-03-21 | Faro Technologies, Inc. | Method for optically measuring three-dimensional coordinates and controlling a three-dimensional measuring device |
US9671221B2 (en) | 2014-09-10 | 2017-06-06 | Faro Technologies, Inc. | Portable device for optically measuring three-dimensional coordinates |
US9693040B2 (en) | 2014-09-10 | 2017-06-27 | Faro Technologies, Inc. | Method for optically measuring three-dimensional coordinates and calibration of a three-dimensional measuring device |
CN113643569B (zh) * | 2014-10-30 | 2024-02-02 | 三菱电机株式会社 | 自动驾驶辅助系统 |
CN104391340A (zh) * | 2014-11-26 | 2015-03-04 | 中国电建集团成都勘测设计研究院有限公司 | 水电环境边坡危岩体地质检测方法 |
CN105760809B (zh) * | 2014-12-19 | 2019-05-31 | 联想(北京)有限公司 | 用于头部姿态估计的方法和设备 |
CN104482872B (zh) * | 2014-12-31 | 2018-02-13 | 中联重科股份有限公司 | 基于平行结构光的路缘边界检测方法及装置、工程机械 |
DE102015201317A1 (de) | 2015-01-27 | 2016-07-28 | Bayerische Motoren Werke Aktiengesellschaft | Vermessen einer Abmessung auf einer Oberfläche |
JP6603993B2 (ja) * | 2015-01-30 | 2019-11-13 | 株式会社リコー | 画像処理装置、画像処理方法、画像処理システム、及びプログラム |
DE112015006383B4 (de) * | 2015-03-27 | 2019-01-03 | Fujifilm Corporation | Abstandsbild-Erfassungsvorrichtung und Abstandsbild-Erfassungsverfahren |
CN107532917B (zh) * | 2015-06-30 | 2018-06-12 | 三菱电机株式会社 | 显示控制装置和显示控制方法 |
WO2017006577A1 (ja) * | 2015-07-03 | 2017-01-12 | 三菱電機株式会社 | 3次元点群選択装置および3次元点群選択方法 |
JP6184447B2 (ja) * | 2015-07-13 | 2017-08-23 | 株式会社豊田中央研究所 | 推定装置及び推定プログラム |
CN105184852B (zh) * | 2015-08-04 | 2018-01-30 | 百度在线网络技术(北京)有限公司 | 一种基于激光点云的城市道路识别方法及装置 |
JP6561670B2 (ja) * | 2015-08-10 | 2019-08-21 | 日産自動車株式会社 | 段差検出装置及び段差検出方法 |
JP6462544B2 (ja) | 2015-09-17 | 2019-01-30 | 株式会社東芝 | 推定装置、方法及びプログラム |
JP6695016B2 (ja) * | 2015-10-19 | 2020-05-20 | 田中 成典 | 道路特徴決定装置 |
JP6552944B2 (ja) * | 2015-11-18 | 2019-07-31 | 三菱電機株式会社 | 情報処理装置及び車両 |
JP6062020B2 (ja) * | 2015-11-18 | 2017-01-18 | 三菱電機株式会社 | 指定点投影方法、プログラムおよびコンピュータ |
EP3176013B1 (en) * | 2015-12-01 | 2019-07-17 | Honda Research Institute Europe GmbH | Predictive suspension control for a vehicle using a stereo camera sensor |
CN105719284B (zh) * | 2016-01-18 | 2018-11-06 | 腾讯科技(深圳)有限公司 | 一种数据处理方法、装置及终端 |
JP6723748B2 (ja) * | 2016-01-22 | 2020-07-15 | キヤノン株式会社 | 画像管理装置、画像管理方法及びプログラム |
CN107015259B (zh) * | 2016-01-27 | 2021-03-19 | 中联天通科技(北京)有限公司 | 采用多普勒测速仪计算伪距/伪距率的紧组合方法 |
JP6811534B2 (ja) * | 2016-02-04 | 2021-01-13 | 株式会社トプコン | 道路性状の表示方法、及び道路性状の表示装置 |
AU2016396487B2 (en) * | 2016-03-07 | 2019-01-24 | Mitsubishi Electric Corporation | Map creation system and map creation method |
JP6660228B2 (ja) * | 2016-03-31 | 2020-03-11 | セコム株式会社 | 物体検出センサ |
KR102671067B1 (ko) * | 2016-04-08 | 2024-05-30 | 팅크웨어(주) | 도로면 생성 방법, 도로면 생성 장치, 포인트 클라우드 데이터 처리 방법, 포인트 클라우드 데이터 처리 장치, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체 |
CN109074731B (zh) * | 2016-04-28 | 2021-08-27 | 爱知制钢株式会社 | 磁性标识器及驾驶支援系统 |
JP6717113B2 (ja) * | 2016-08-22 | 2020-07-01 | 株式会社Ihi | 観察装置および観察方法 |
CN114359487A (zh) * | 2016-09-16 | 2022-04-15 | 松下电器(美国)知识产权公司 | 三维数据制作方法以及三维数据制作装置 |
CN107871129B (zh) * | 2016-09-27 | 2019-05-10 | 北京百度网讯科技有限公司 | 用于处理点云数据的方法和装置 |
US10599150B2 (en) | 2016-09-29 | 2020-03-24 | The Charles Stark Kraper Laboratory, Inc. | Autonomous vehicle: object-level fusion |
US10377375B2 (en) | 2016-09-29 | 2019-08-13 | The Charles Stark Draper Laboratory, Inc. | Autonomous vehicle: modular architecture |
WO2018083999A1 (ja) * | 2016-11-01 | 2018-05-11 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 表示方法及び表示装置 |
CN106776996B (zh) * | 2016-12-02 | 2018-09-07 | 百度在线网络技术(北京)有限公司 | 用于测试高精度地图的准确性的方法和装置 |
JP6546898B2 (ja) * | 2016-12-13 | 2019-07-17 | 日本電信電話株式会社 | 3次元空間特定装置、方法、及びプログラム |
US10545029B2 (en) * | 2016-12-30 | 2020-01-28 | DeepMap Inc. | Lane network construction using high definition maps for autonomous vehicles |
JP6501420B2 (ja) * | 2017-01-31 | 2019-04-17 | 株式会社トヨタマップマスター | プローブ情報処理装置、プローブ情報処理方法、コンピュータプログラム及びコンピュータプログラムを記録した記録媒体 |
US10692252B2 (en) * | 2017-02-09 | 2020-06-23 | GM Global Technology Operations LLC | Integrated interface for situation awareness information alert, advise, and inform |
CN110476037B (zh) | 2017-04-03 | 2022-01-11 | 富士通株式会社 | 距离信息处理装置、距离信息处理方法以及距离信息处理程序 |
CN107093210B (zh) * | 2017-04-20 | 2021-07-16 | 北京图森智途科技有限公司 | 一种激光点云标注方法及装置 |
US10101745B1 (en) | 2017-04-26 | 2018-10-16 | The Charles Stark Draper Laboratory, Inc. | Enhancing autonomous vehicle perception with off-vehicle collected data |
EP3435333B1 (en) * | 2017-07-26 | 2020-01-29 | Aptiv Technologies Limited | Method of determining the roll angle of a vehicle mounted camera |
EP3663712A4 (en) * | 2017-07-31 | 2020-09-09 | Mitsubishi Electric Corporation | STRUCTURAL MEASURING DEVICE, DEVICE FOR MEASURING POINT CORRECTION AND MEASURING POINT CORRECTION METHOD |
CN107589434A (zh) * | 2017-08-23 | 2018-01-16 | 西安中阔卫星技术应用有限责任公司 | 一种自动获取并记录实际道路标线gps坐标的装置和方法 |
JP6517298B2 (ja) * | 2017-10-10 | 2019-05-22 | 株式会社Cygames | 対象物取得確認のためのシステム、サーバ、プログラム及び方法 |
CN107870326A (zh) * | 2017-10-13 | 2018-04-03 | 深圳天珑无线科技有限公司 | 一种通信终端及其测距方法以及具有存储功能的装置 |
CN109798830B (zh) * | 2017-11-17 | 2020-09-08 | 上海勘察设计研究院(集团)有限公司 | 隧道附属物几何特征测量方法 |
JP7003594B2 (ja) * | 2017-11-20 | 2022-01-20 | 三菱電機株式会社 | 3次元点群表示装置、3次元点群表示システム、3次元点群表示方法および3次元点群表示プログラム、記録媒体 |
JP7064163B2 (ja) * | 2017-12-07 | 2022-05-10 | コニカミノルタ株式会社 | 3次元情報取得システム |
US10169680B1 (en) * | 2017-12-21 | 2019-01-01 | Luminar Technologies, Inc. | Object identification and labeling tool for training autonomous vehicle controllers |
JP2019117432A (ja) * | 2017-12-26 | 2019-07-18 | パイオニア株式会社 | 表示制御装置 |
JP7024401B2 (ja) * | 2017-12-27 | 2022-02-24 | 富士通株式会社 | 情報処理装置、プログラム、及び情報処理方法 |
CN108460791A (zh) * | 2017-12-29 | 2018-08-28 | 百度在线网络技术(北京)有限公司 | 用于处理点云数据的方法和装置 |
CN108225348B (zh) * | 2017-12-29 | 2021-08-24 | 百度在线网络技术(北京)有限公司 | 地图创建以及运动实体定位的方法和装置 |
CN108195315B (zh) * | 2018-01-16 | 2021-02-19 | 常景测量科技(武汉)有限公司 | 手持式激光扫描仪数据传输系统 |
KR102112849B1 (ko) * | 2018-03-06 | 2020-05-19 | 제주대학교 산학협력단 | 나셀 라이다 각도 검증 장치 |
JP7003219B2 (ja) * | 2018-03-16 | 2022-01-20 | 三菱電機株式会社 | 重畳表示システム |
DE102018110774A1 (de) * | 2018-05-04 | 2019-11-07 | Valeo Schalter Und Sensoren Gmbh | Verfahren zum Bestimmen eines Rollwinkels eines optoelektronischen Sensors mittels Abtastpunkten eines Sensorbildes sowie optoelektronischer Sensor |
DE102018113344A1 (de) * | 2018-06-05 | 2019-12-05 | Valeo Schalter Und Sensoren Gmbh | Verfahren zum Lokalisieren eines Kraftfahrzeugs in einer Umgebung nach einer Lernfahrt; Steuereinrichtung sowie Fahrassistenzsystem |
JP6849634B2 (ja) * | 2018-06-08 | 2021-03-24 | 朝日航洋株式会社 | 端末装置および端末装置の制御方法 |
US20200014909A1 (en) | 2018-07-03 | 2020-01-09 | Faro Technologies, Inc. | Handheld three dimensional scanner with autofocus or autoaperture |
CN109118574A (zh) * | 2018-07-04 | 2019-01-01 | 北京航空航天大学 | 一种基于三维特征提取的快速逆向建模方法 |
JP2020017198A (ja) * | 2018-07-27 | 2020-01-30 | パイオニア株式会社 | 情報処理装置 |
CN109285220B (zh) * | 2018-08-30 | 2022-11-15 | 阿波罗智能技术(北京)有限公司 | 一种三维场景地图的生成方法、装置、设备及存储介质 |
CN109101952A (zh) * | 2018-09-04 | 2018-12-28 | 北京邮电大学 | 基于移动互联网的地物识别方法、装置、系统及服务器 |
US11630436B2 (en) * | 2018-10-22 | 2023-04-18 | Mitutoyo Corporation | Measurement program selection assisting apparatus and measurement control apparatus |
CN109559373B (zh) * | 2018-10-25 | 2022-10-18 | 武汉亘星智能技术有限公司 | 一种基于2d人体图像进行量体的方法及系统 |
JP7188798B2 (ja) * | 2018-11-29 | 2022-12-13 | Necソリューションイノベータ株式会社 | 座標算出装置、座標算出方法、及びプログラム |
WO2020118619A1 (en) | 2018-12-13 | 2020-06-18 | Continental Automotive Gmbh | Method for detecting and modeling of object on surface of road |
CN110782459B (zh) * | 2019-01-08 | 2021-02-19 | 北京嘀嘀无限科技发展有限公司 | 一种图像处理方法及装置 |
KR102014097B1 (ko) * | 2019-01-16 | 2019-08-26 | 주식회사 나노시스템즈 | 스캐너와 카메라의 캘리브레이션 시스템 |
KR102319036B1 (ko) * | 2019-01-30 | 2021-10-28 | 바이두닷컴 타임즈 테크놀로지(베이징) 컴퍼니 리미티드 | 자율 주행 차량을 위한 포인트 클라우드 고스트 효과 검출 시스템 |
JP7183058B2 (ja) * | 2019-01-30 | 2022-12-05 | 三菱電機株式会社 | 三次元計測装置および三次元計測プログラム |
JP7159900B2 (ja) * | 2019-02-15 | 2022-10-25 | 日本電信電話株式会社 | 位置座標導出装置、位置座標導出方法、位置座標導出プログラム及びシステム |
JP7257814B2 (ja) * | 2019-02-21 | 2023-04-14 | 日立Astemo株式会社 | 走行路認識装置 |
US10949707B2 (en) * | 2019-02-27 | 2021-03-16 | Here Global B.V. | Method, apparatus, and system for generating feature correspondence from camera geometry |
CN110096454B (zh) * | 2019-05-15 | 2021-06-01 | 武昌理工学院 | 一种基于非易失存储器的遥感数据快存方法 |
CN110211177A (zh) * | 2019-06-05 | 2019-09-06 | 视云融聚(广州)科技有限公司 | 摄像画面线性目标指北方法、电子设备及存储介质 |
US11620832B2 (en) * | 2019-06-22 | 2023-04-04 | Hendrik J. Volkerink | Image based locationing |
CN110502973B (zh) * | 2019-07-05 | 2023-02-07 | 同济大学 | 一种基于车载激光点云的道路标线自动化提取和识别方法 |
US20220290990A1 (en) * | 2019-07-10 | 2022-09-15 | Nippon Telegraph And Telephone Corporation | Measuring method, measuring apparatus and program |
EP4024330B1 (en) * | 2019-08-28 | 2023-08-09 | NISSAN MOTOR Co., Ltd. | Object recognition method and object recognition device |
JP6785933B1 (ja) * | 2019-09-13 | 2020-11-18 | 株式会社パスコ | 空隙率推定装置、空隙率推定方法及びプログラム |
JP7298435B2 (ja) * | 2019-10-11 | 2023-06-27 | 株式会社デンソー | 車両用周辺監視装置及び車両用周辺監視方法 |
JP7327083B2 (ja) * | 2019-10-30 | 2023-08-16 | 富士通株式会社 | 領域切り出し方法および領域切り出しプログラム |
JP7392101B2 (ja) * | 2020-02-18 | 2023-12-05 | 富士フイルム株式会社 | 点群データ処理装置、点群データ処理方法及びプログラム |
WO2021199730A1 (ja) * | 2020-03-31 | 2021-10-07 | パイオニア株式会社 | 情報処理装置、コンピュータプログラム、記録媒体、表示データ作成方法 |
JP7417465B2 (ja) * | 2020-05-07 | 2024-01-18 | 株式会社トヨタマップマスター | 情報処理装置、情報処理方法及び情報処理プログラム |
JP7417466B2 (ja) * | 2020-05-07 | 2024-01-18 | 株式会社トヨタマップマスター | 情報処理装置、情報処理方法及び情報処理プログラム |
CN111707235A (zh) * | 2020-05-09 | 2020-09-25 | 广东省国土资源测绘院 | 一种基于三维激光扫描技术的地物测量方法 |
KR102451657B1 (ko) * | 2020-05-22 | 2022-10-11 | (주)아이엔에스 | 거리 측정 장치 및 방법 |
JP6928217B1 (ja) * | 2020-07-31 | 2021-09-01 | 松尾建設株式会社 | 測定処理装置、方法及びプログラム |
DE102020005755A1 (de) * | 2020-09-21 | 2022-03-24 | Daimler Ag | Verfahren und Vorrichtung zur Bestimmung von falsch-positiven Erkennungen eines Lidarsensors |
WO2022076483A1 (en) | 2020-10-05 | 2022-04-14 | Trackonomy Systems, Inc. | System and method of utilizing 3d vision for asset management and tracking |
JP7461275B2 (ja) | 2020-10-28 | 2024-04-03 | 株式会社日立製作所 | 軌道輸送システム、軌道輸送システムの制御方法および沿線設備形状計測システム |
JPWO2022102236A1 (ja) * | 2020-11-16 | 2022-05-19 | ||
CN112731864B (zh) * | 2020-12-21 | 2022-01-21 | 北京理工大学 | 一种机床加工误差补偿方法、装置及零件加工机床 |
US11763569B2 (en) * | 2021-03-24 | 2023-09-19 | Denso International America, Inc. | System for controlling a camera supporting human review of sensor information |
DE102021205517A1 (de) | 2021-05-31 | 2022-12-01 | Robert Bosch Gesellschaft mit beschränkter Haftung | Verfahren zum Ermitteln eines Attributs auf einer digitalen Karte für ein Fahrzeug |
US11892832B2 (en) | 2021-06-16 | 2024-02-06 | Waymo Llc | Lane path modification framework |
CN113628177A (zh) * | 2021-07-29 | 2021-11-09 | 北京好运达智创科技有限公司 | 一种梁体双层存梁检测系统 |
KR102423781B1 (ko) * | 2021-08-25 | 2022-07-22 | (주)뷰런테크놀로지 | 라이다 센서를 이용하여 가드레일을 검출하는 방법 및 상기 방법을 수행하는 가드레일 검출 장치 |
US11608084B1 (en) * | 2021-08-27 | 2023-03-21 | Motional Ad Llc | Navigation with drivable area detection |
JP7113997B1 (ja) * | 2021-11-09 | 2022-08-05 | 三菱電機株式会社 | 情報処理装置、情報処理方法、および情報処理プログラム |
DE102021132334A1 (de) * | 2021-12-08 | 2023-06-15 | Bayerische Motoren Werke Aktiengesellschaft | Abtasten eines Umfelds eines Fahrzeugs |
CN114494607A (zh) * | 2022-02-17 | 2022-05-13 | 佛山市速康座椅电梯科技有限公司 | 一种拍照测量用于三维成型的方法 |
CN114750147B (zh) * | 2022-03-10 | 2023-11-24 | 深圳甲壳虫智能有限公司 | 机器人的空间位姿确定方法、装置和机器人 |
WO2024180688A1 (ja) * | 2023-02-28 | 2024-09-06 | 日本電気株式会社 | 位置姿勢推定システム、位置姿勢推定装置、及び、位置姿勢推定方法 |
CN117292085B (zh) * | 2023-11-27 | 2024-02-09 | 浙江大学 | 一种支持三维建模的实体交互控制方法及其装置 |
CN117826116B (zh) * | 2024-03-04 | 2024-05-14 | 广东电网有限责任公司中山供电局 | 双柱水平旋转式隔离开关分合闸状态的确定方法和装置 |
Family Cites Families (36)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07262375A (ja) | 1994-03-25 | 1995-10-13 | Toshiba Corp | 移動体検出装置 |
JP3288575B2 (ja) * | 1996-03-27 | 2002-06-04 | 三菱電機株式会社 | 撮像画像を用いた監視装置とそのモデル作成方法および撮像装置制御方法 |
JP3503385B2 (ja) | 1997-01-20 | 2004-03-02 | 日産自動車株式会社 | ナビゲーションシステム及びそれに用いるナビゲーションプログラムを記憶した媒体 |
JPH11276438A (ja) * | 1998-03-30 | 1999-10-12 | Isuzu Motors Ltd | 視線計測装置 |
JP2964402B1 (ja) * | 1998-08-28 | 1999-10-18 | 株式会社ゼンリン | 三次元地図データベースの作成方法及び装置 |
JP2000074667A (ja) * | 1998-09-03 | 2000-03-14 | Asahi Optical Co Ltd | 道路図化装置、道路図化方法、及び道路図化プログラムが記録された記録媒体 |
JP3850602B2 (ja) | 1999-10-18 | 2006-11-29 | 三菱電機株式会社 | 移動体検出装置および移動体検出方法 |
JP4469471B2 (ja) * | 2000-07-13 | 2010-05-26 | 亮介 柴崎 | 移動体用広視野角多方向画像取得装置及び移動体用広視野角多方向画像取得システム |
JP2002170102A (ja) | 2000-12-04 | 2002-06-14 | Nippon Telegr & Teleph Corp <Ntt> | 撮影対象物の自動獲得・復元方法及び装置 |
JP2002298293A (ja) * | 2001-03-30 | 2002-10-11 | Mitsubishi Electric Corp | 道路交通情報提供装置及び道路交通情報提供方法 |
JP2002303671A (ja) | 2001-04-03 | 2002-10-18 | Nissan Motor Co Ltd | 物体種別判別装置 |
JP3649163B2 (ja) | 2001-07-12 | 2005-05-18 | 日産自動車株式会社 | 物体種別判別装置及び物体種別判別方法 |
JP3649166B2 (ja) | 2001-07-26 | 2005-05-18 | 日産自動車株式会社 | 物体種別判別装置及び物体種別判別方法 |
JP2003084064A (ja) | 2001-09-12 | 2003-03-19 | Daihatsu Motor Co Ltd | 前方車両の認識装置及び認識方法 |
WO2003092291A1 (fr) * | 2002-04-25 | 2003-11-06 | Matsushita Electric Industrial Co., Ltd. | Dispositif de detection d'objet, serveur de detection d'objet et procede de detection d'objet |
JP3950376B2 (ja) | 2002-06-26 | 2007-08-01 | 日本電信電話株式会社 | 3次元点群からの形状モデル生成方法と装置、並びに、3次元点群からの形状モデル生成プログラムと該プログラムを記録した記録媒体 |
CA2489200C (en) * | 2002-07-10 | 2013-06-25 | Harman Becker Automotive Systems Gmbh | System for texturizing electronic representations of objects |
JP3625460B2 (ja) * | 2002-09-27 | 2005-03-02 | 三菱電機株式会社 | 車載用走行車線認識装置 |
US7400770B2 (en) * | 2002-11-06 | 2008-07-15 | Hrl Laboratories | Method and apparatus for automatically extracting geospatial features from multispectral imagery suitable for fast and robust extraction of landmarks |
JP4284644B2 (ja) * | 2003-05-23 | 2009-06-24 | 財団法人生産技術研究奨励会 | 3次元モデル構築システム及び3次元モデル構築プログラム |
JP4038726B2 (ja) * | 2003-09-03 | 2008-01-30 | 株式会社日立プラントテクノロジー | 画像対応付け方法 |
JP4370869B2 (ja) | 2003-09-25 | 2009-11-25 | トヨタ自動車株式会社 | 地図データ更新方法および地図データ更新装置 |
WO2005059867A1 (en) * | 2003-12-18 | 2005-06-30 | 1626628 Ontario Limited | System, apparatus and method for mapping |
JP3645253B1 (ja) * | 2004-02-27 | 2005-05-11 | 中電技術コンサルタント株式会社 | 体積算定システム |
FI117490B (fi) * | 2004-03-15 | 2006-10-31 | Geodeettinen Laitos | Menetelmä puustotunnusten määrittämiseksi laserkeilaimen, kuvainformaation ja yksittäisten puiden tulkinnan avulla |
JP4459717B2 (ja) | 2004-05-26 | 2010-04-28 | 富士フイルム株式会社 | 地図更新システム |
US7728833B2 (en) | 2004-08-18 | 2010-06-01 | Sarnoff Corporation | Method for generating a three-dimensional model of a roof structure |
JP2006113645A (ja) | 2004-10-12 | 2006-04-27 | Kajima Corp | 移動軌跡解析方法 |
JP3966419B2 (ja) | 2004-12-15 | 2007-08-29 | 三菱電機株式会社 | 変化領域認識装置および変化認識システム |
JP4132068B2 (ja) | 2005-02-28 | 2008-08-13 | 学校法人早稲田大学 | 画像処理装置及び三次元計測装置並びに画像処理装置用プログラム |
US7542624B1 (en) * | 2005-06-08 | 2009-06-02 | Sandia Corporation | Window-based method for approximating the Hausdorff in three-dimensional range imagery |
US7804980B2 (en) * | 2005-08-24 | 2010-09-28 | Denso Corporation | Environment recognition device |
US7602963B2 (en) * | 2006-01-10 | 2009-10-13 | General Electric Company | Method and apparatus for finding anomalies in finished parts and/or assemblies |
US7474964B1 (en) * | 2007-06-22 | 2009-01-06 | Weyerhaeuser Company | Identifying vegetation attributes from LiDAR data |
US8306941B2 (en) | 2009-03-24 | 2012-11-06 | Weyerhaeuser Nr Company | System and method for identifying trees using LiDAR tree models |
US8199977B2 (en) * | 2010-05-07 | 2012-06-12 | Honeywell International Inc. | System and method for extraction of features from a 3-D point cloud |
-
2008
- 2008-02-15 JP JP2008558146A patent/JP4344869B2/ja active Active
- 2008-02-15 EP EP16180473.7A patent/EP3112802B1/en active Active
- 2008-02-15 CA CA2678156A patent/CA2678156C/en not_active Expired - Fee Related
- 2008-02-15 US US12/527,478 patent/US8483442B2/en active Active
- 2008-02-15 CN CN2008800052649A patent/CN101617197B/zh active Active
- 2008-02-15 WO PCT/JP2008/052509 patent/WO2008099915A1/ja active Application Filing
- 2008-02-15 EP EP08711339.5A patent/EP2120009B1/en active Active
- 2008-10-16 JP JP2008267247A patent/JP5582691B2/ja active Active
-
2009
- 2009-04-10 JP JP2009095609A patent/JP5546151B2/ja active Active
-
2012
- 2012-07-12 US US13/547,788 patent/US8625851B2/en active Active
- 2012-07-12 US US13/547,727 patent/US8571265B2/en active Active
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7117408B1 (ja) | 2021-02-26 | 2022-08-12 | 株式会社パスコ | 位置算出装置、プログラム及び位置算出方法 |
JP2022131676A (ja) * | 2021-02-26 | 2022-09-07 | 株式会社パスコ | 位置算出装置、プログラム及び位置算出方法 |
Also Published As
Publication number | Publication date |
---|---|
JP5546151B2 (ja) | 2014-07-09 |
US8571265B2 (en) | 2013-10-29 |
EP2120009A1 (en) | 2009-11-18 |
CA2678156A1 (en) | 2008-08-21 |
US20100034426A1 (en) | 2010-02-11 |
WO2008099915A1 (ja) | 2008-08-21 |
EP3112802A1 (en) | 2017-01-04 |
US20130010074A1 (en) | 2013-01-10 |
US8483442B2 (en) | 2013-07-09 |
US20130011013A1 (en) | 2013-01-10 |
CA2678156C (en) | 2013-10-08 |
CN101617197B (zh) | 2011-06-22 |
JP2009204615A (ja) | 2009-09-10 |
JPWO2008099915A1 (ja) | 2010-05-27 |
JP4344869B2 (ja) | 2009-10-14 |
US8625851B2 (en) | 2014-01-07 |
CN101617197A (zh) | 2009-12-30 |
EP2120009B1 (en) | 2016-09-07 |
EP3112802B1 (en) | 2019-10-09 |
JP2009075117A (ja) | 2009-04-09 |
EP2120009A4 (en) | 2012-12-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5582691B2 (ja) | 計測装置、計測方法および計測プログラム | |
US10962366B2 (en) | Visual odometry and pairwise alignment for high definition map creation | |
CN105512646B (zh) | 一种数据处理方法、装置及终端 | |
EP2356584B1 (en) | Method of generating a geodetic reference database product | |
EP2458336B1 (en) | Method and system for reporting errors in a geographic database | |
JP4284644B2 (ja) | 3次元モデル構築システム及び3次元モデル構築プログラム | |
CN111542860A (zh) | 用于自主车辆的高清地图的标志和车道创建 | |
CN101681525A (zh) | 产生多视点全景图的方法及设备 | |
JP2012018170A (ja) | 俯瞰画像生成装置、地図データ生成システム、俯瞰画像生成装置の俯瞰画像生成方法および俯瞰画像生成プログラム | |
WO2020156923A2 (en) | Map and method for creating a map | |
WO2010068185A1 (en) | Method of generating a geodetic reference database product | |
JP2021117199A (ja) | 埋設物情報生成システム、及び埋設物情報生成方法 | |
WO2024062602A1 (ja) | 3次元化システム、3次元化方法及びプログラムを記録する記録媒体 | |
TW201024665A (en) | Method of generating a geodetic reference database product | |
Gunay et al. | Semi-automatic true orthophoto production by using LIDAR data | |
Zhou | Automated Extraction of 3D Building Windows from Mobile LiDAR Data |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110209 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110209 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130604 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130722 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140415 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140526 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140617 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140715 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5582691 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |