JPWO2010024212A1 - 俯瞰画像生成装置、俯瞰画像生成方法および俯瞰画像生成プログラム - Google Patents

俯瞰画像生成装置、俯瞰画像生成方法および俯瞰画像生成プログラム Download PDF

Info

Publication number
JPWO2010024212A1
JPWO2010024212A1 JP2010526690A JP2010526690A JPWO2010024212A1 JP WO2010024212 A1 JPWO2010024212 A1 JP WO2010024212A1 JP 2010526690 A JP2010526690 A JP 2010526690A JP 2010526690 A JP2010526690 A JP 2010526690A JP WO2010024212 A1 JPWO2010024212 A1 JP WO2010024212A1
Authority
JP
Japan
Prior art keywords
point
dimensional
point group
point cloud
height
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010526690A
Other languages
English (en)
Other versions
JP4832596B2 (ja
Inventor
吉田 光伸
光伸 吉田
雅一 宮
雅一 宮
嘉宏 島
嘉宏 島
純一 瀧口
純一 瀧口
隆二郎 黒崎
隆二郎 黒崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2010526690A priority Critical patent/JP4832596B2/ja
Application granted granted Critical
Publication of JP4832596B2 publication Critical patent/JP4832596B2/ja
Publication of JPWO2010024212A1 publication Critical patent/JPWO2010024212A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/08Volume rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/30Clipping
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05Geographic models
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G09B29/12Relief maps

Abstract

樹木やトンネルなどの遮蔽物による遮蔽を除去した道路画像を得ることを目的とする。移動体計測装置200が搭載された車両で対象地域を走行しながら、距離方位点群291、カメラ映像292、GPS観測情報293、ジャイロ計測値294およびオドメトリ計測値295を取得する。位置姿勢標定装置300はGPS観測情報293、ジャイロ計測値294およびオドメトリ計測値295に基づいて車両の位置姿勢を標定する。ポイントクラウド生成装置400はカメラ映像292、距離方位点群291および位置姿勢標定値391に基づいてポイントクラウド491を生成する。点群オルソ画像生成装置100はポイントクラウド491から道路面より高い点を除去して道路面に近い点のみを抽出し、抽出した各点のみを水平面に正射投影して点群オルソ画像191を生成する。点群オルソ画像191は遮蔽物による遮蔽が除去された道路面を表す。

Description

本発明は、例えば、色付きレーザー点群を用いて道路オルソ画像を生成する俯瞰画像生成装置、俯瞰画像生成方法および俯瞰画像生成プログラムに関するものである。
レーザースキャナにより計測された距離方位を示すレーザー点群から計測物の3次元立体形状が復元される。立体形状はレーザー点が多いほど正確になるため、膨大なレーザー点が取得される。
ところが、レーザー点群の中には復元対象以外の物を計測した点群も含まれるため、大量なレーザー点のうちから復元対象を計測したレーザー点群を抽出する必要がある。
従来、以下の方法でレーザー点群の抽出が行われていた。
(1)レーザー点群を3次元的に眺めて、目視で必要な点を抽出する。
(2)カメラ映像にレーザー点群を重畳表示して対象物の判別を補助し、目視で必要な点を抽出する。
方法(1)には、例えば、以下のような課題がある。
(A)抽出するレーザー点を一点ずつ指定する必要がある。
(B)抽出したレーザー点群を直接、CAD(Computer Aided Design)で利用することができない。
方法(2)には、例えば、以下のような課題がある。
(A)カメラの視界方向に並べられて表示されたレーザー点群からしか対象物を判別することができない。
(B)適切なカメラ映像を選択する作業に手間がかかる。
(C)どの場所にある対象物を判別しているか把握しにくい。
上記の方法は、必要な点を一点ずつ目視で抽出する必要があり、基本的に時間がかかる。自動認識技術の開発も行われているが、認識可能なものが限られている上、認識率は十分でなく、目視による訂正が必要であった。
特開2007−218705号公報
本発明は、例えば、取得された莫大なレーザー点から不要な点を排除し、必要とするレーザー点のみを効率的に抽出することを目的とする。
本発明の俯瞰画像生成装置は、地上の各地点の三次元座標を示す三次元点群を用いて地上の俯瞰画像を生成する俯瞰画像生成装置であり、前記三次元点群の各点が示す三次元座標に基づいて前記三次元点群の各点をCPU(Central Processing Unit)を用いて平面に投影して地上の俯瞰画像を生成する三次元点群投影部を備える。
前記俯瞰画像生成装置は、前記三次元点群の各点が示す三次元座標に基づいて前記三次元点群から所定範囲内の高さを示す各点を所定高点群としてCPUを用いて抽出する所定高点群抽出部を備え、前記三次元点群投影部は、前記所定高点群抽出部により前記三次元点群から抽出された所定高点群の各点が示す三次元座標に基づいて前記所定高点群の各点をCPUを用いて平面に投影して俯瞰画像を生成する。
前記俯瞰画像生成装置は、前記三次元点群投影部により前記平面に投影された前記三次元点群の各点の点密度を前記平面を所定の大きさで区分けした区域毎にCPUを用いて算出する点密度算出部と、前記点密度算出部により算出された点密度に基づいて前記俯瞰画像から立設物が表示されている画像部分をCPUを用いて特定する立設物特定部と、前記立設物特定部により特定された画像部分を他の画像部分と区別して表わした俯瞰画像をCPUを用いて生成する立設物区別部とを備える。
本発明によれば、例えば、目視を必要とせずに道路面を表すレーザー点群(所定高点群)を抽出し、トンネルや樹木による遮蔽が除去された道路の俯瞰画像を生成することができる。
また例えば、目視を必要とせずに電柱などの立設物を表すレーザー点群を抽出し、立設物を道路面と区別して表した俯瞰画像を生成することができる。
実施の形態1における点群オルソ画像生成システム800の構成図。 実施の形態1における移動体計測装置200の外観を示す図。 実施の形態1における点群オルソ画像生成装置100のハードウェア資源の一例を示す図。 実施の形態1における点群オルソ画像生成方法を示すフローチャート。 移動体計測装置200が走行した地域(対象地域)の道路図。 対象地域(図5)の点群オルソ画像191。 ポイントクラウド491で表わした俯瞰画像の一例。 ポイントクラウド491で表わした俯瞰画像の一例。 実施の形態2における点群オルソ画像生成装置100の構成図。 実施の形態2における点群オルソ画像生成処理(S140)のフローチャート。 地面高139aからの高さが50cm以下である所定高点群129aが正射投影された対象地域b(図6)の点群オルソ画像191。 地面高139aからの高さが50cm以下である所定高点群129aが正射投影された対象地域a(図6)の点群オルソ画像191。 実施の形態3における点群オルソ画像生成装置100の構成図。 実施の形態3における点群オルソ画像生成処理(S140)のフローチャート。 地面高139aからの高さが50cm以上である所定高点群129aが正射投影された対象地域b(図6)の点群オルソ画像191。 対象地域bの部分拡大図。 地面高139aからの高さが50cm以上である所定高点群129aが正射投影された対象地域a(図6)の点群オルソ画像191。 対象地域aの部分拡大図。 実施の形態4(実施例1)における地面高139aの特定方法を示す図。 実施の形態4(実施例2)における地面高139aの特定方法を示す図。 実施の形態4(実施例2)における縁石点群の特定方法を示す図。 道路と道路左右の縁石とを示すポイントクラウド491の画像が表示された画面を示す図。 実施の形態4(実施例2)における縁石点群特定方法を示すフローチャート。 実施の形態4(実施例2)における縁石点群特定方法により特定された縁石点群を示す図。 実施の形態4(実施例3(1))における地面高139aの特定方法を示す図。 実施の形態4(実施例3(2))における地面高139aの特定方法を示す図。 実施の形態5における地図データ生成システム801の構成図。
実施の形態1.
実施の形態1では、地上の各地点の三次元座標を示す三次元点群を用いて地上の俯瞰画像を生成する俯瞰画像生成装置について説明する。
図1は、実施の形態1における点群オルソ画像生成システム800の構成図である。
実施の形態1における点群オルソ画像生成システム800の構成について、図1に基づいて以下に説明する。
点群オルソ画像生成システム800は、移動体計測装置200、位置姿勢標定装置300、ポイントクラウド生成装置400および点群オルソ画像生成装置100を有する。
移動体計測装置200は、レーザースキャナ210、カメラ220、GPS受信機230、ジャイロ240およびオドメトリ250を備える移動体(例えば、車両、飛行機)である。
移動体計測装置200は、地上(または、上空)を移動しながら、三次元点群の元になる各種の計測データを取得する。
レーザースキャナ210は、各地点に向けてレーザーを照射し、各地点に位置する地物に反射して戻ってきたレーザーを観測する。そして、レーザースキャナ210は、レーザーの照射方向に基づいて地物が位置する方位を計測すると共に、レーザーの照射から反射レーザーの観測までの時間に基づいて地物までの距離を計測する。
レーザースキャナ210は、レーザーレーダ、レーザレンジファインダ(LRF)とも呼ばれる。
以下、レーザースキャナ210により計測された各地点の地物までの距離および方位とレーザー照射方向とを示す点群データを「距離方位点群291」という。
カメラ220は、レーザースキャナ210による距離方位点群291の計測と同時に、レーザースキャナ210の計測地点(レーザースキャナ210によるレーザー観測時に移動体計測装置200が位置している地点)から地物を撮影する。
以下、カメラ220の撮影により得られた画像データをカメラ映像292という。
GPS受信機230は、レーザースキャナ210による距離方位点群291の計測と同時に、複数のGPS衛星(GPS:Global Positioning System)から発信される測位信号を観測する。そして、GPS受信機230は、測位信号が示す航法メッセージ、測位信号を搬送する搬送波の位相、測位信号の搬送時間に基づいて算出されるGPS受信機230からGPS衛星までの距離を示す疑似距離、疑似距離に基づいて算出される測位結果などの情報を取得する。
以下、GPS受信機230により得られた情報を「GPS観測情報293」という。
ジャイロ240は、レーザースキャナ210による距離方位点群291の計測と同時に、移動体計測装置200の3軸方向(ロール、ピッチ、ヨー)の角速度を計測する。
以下、ジャイロ240により計測された3軸方向の角速度を「ジャイロ計測値294」という。
オドメトリ250は、レーザースキャナ210による距離方位点群291の計測と同時に、移動体計測装置200の速度変化量を計測する。
以下、オドメトリ250により計測された速度変化量を「オドメトリ計測値295」という。
計測装置記憶部290は、距離方位点群291、カメラ映像292、GPS観測情報293、ジャイロ計測値294およびオドメトリ計測値295を記憶する。
距離方位点群291、カメラ映像292、GPS観測情報293、ジャイロ計測値294およびオドメトリ計測値295はそれぞれに計測時刻を示し、計測時刻で対応付けられる。
図2は、実施の形態1における移動体計測装置200の外観を示す図である。
例えば、移動体計測装置200は図2に示すように車両202で構成される。
レーザースキャナ210、カメラ220、GPS受信機230およびジャイロ240は、車両202の天部に設けられた天板201に固定して設置される。オドメトリ250は車両202に設置される。レーザースキャナ210とカメラ220の位置は、例であり、車両202の前方に設置しても車両202の後方に設置しても構わない。
車両202は、計測対象地域の道路を走行する。
レーザースキャナ210は、車両202の後方に設置され、車両202の幅方向(x軸方向)に240°程度首振りしながら、車両202の後方および車両202の側方に向けてレーザーを照射する。そして、レーザースキャナ210は、車両202の後方および車両202の側方に位置する地物に反射して戻ってきたレーザーを観測し、計測対象地域にある地物を計測した距離方位点群291を取得する。
カメラ220は、車両202の前方に設置され、車両202の進行方向(z軸方向)の撮影を繰り返し、計測対象地域のカメラ映像292を取得する。
GPS受信機230は、天板201の3か所に設置され、それぞれでGPS衛星から受信した測位信号からGPS観測情報293を取得する。
ジャイロ240は、車両202のx、y、z軸の角速度を計測し、ジャイロ計測値294を取得する。
オドメトリ250は、タイヤの回転数を計数して移動体計測装置200の速度変化量を計測し、オドメトリ計測値295を取得する。
図2において、点Oは移動体計測装置200の座標中心(以下、航測基準点という)を示し、移動体計測装置200の座標とは点Oの座標を意味する。レーザースキャナ210、カメラ220、GPS受信機230およびジャイロ240から点Oまでの変位量(以下、オフセットという)は予め計測され、レーザースキャナ210、カメラ220、GPS受信機230およびジャイロ240の座標は点Oの座標にオフセットを加算して求めることができる。
以下、レーザースキャナ210、カメラ220、GPS受信機230およびジャイロ240の座標は点Oと一致し、移動体計測装置200の座標と等しいものとして説明する。
また、カメラ220の視線方向は移動体計測装置200の姿勢角と等しいものとする。
図1において、位置姿勢標定装置300は、位置姿勢標定部310および標定装置記憶部390を備え、移動体計測装置200の計測時の位置姿勢を算出する。
位置姿勢標定部310は、移動体計測装置200により取得されたGPS観測情報293、ジャイロ計測値294およびオドメトリ計測値295に基づいて、移動体計測装置200の計測時の位置(緯度、経度、高さ[高度])(East、North、Up)および姿勢角(ロール角、ピッチ角、ヨー角)をCPU(Central Processing Unit)を用いて算出する。
例えば、位置姿勢標定部310は、GPS観測情報293に含まれる測位結果を移動体計測装置200の位置とする。
また例えば、位置姿勢標定部310は、GPS観測情報293に含まれる搬送波の位相に基づいて疑似距離を算出し、算出した疑似距離に基づいて移動体計測装置200の位置を算出する。
また例えば、位置姿勢標定部310は、ジャイロ計測値294およびオドメトリ計測値295に基づいて、デッドレコニングにより移動体計測装置200の位置および姿勢角を算出する。デッドレコニングとは、姿勢角の角速度と移動速度とを積分して過去のある時点からの変化量を求め、過去の位置および姿勢角に変化量を加算して現在の位置および姿勢角を求める方法である。
以下、位置姿勢標定部310により算出された移動体計測装置200の位置および姿勢角を「位置姿勢標定値391」という。位置姿勢標定値391は、各時刻における移動体計測装置200の位置および姿勢角を示す。
標定装置記憶部390は、位置姿勢標定値391を記憶する。
ポイントクラウド生成装置400は、三次元点群生成部410、ポイントクラウド生成部420およびポイントクラウド生成装置記憶部490を備え、地上の各地点の三次元座標および色を示す三次元点群を生成する。
三次元点群生成部410は、移動体計測装置200により取得された距離方位点群291および位置姿勢標定装置300により算出された位置姿勢標定値391に基づいて、三次元点群419aをCPUを用いて生成する。このとき、三次元点群生成部410は、距離方位点群291の各点について、各点の計測時刻における移動体計測装置200の位置姿勢を位置姿勢標定値391から抽出し、抽出した位置姿勢から各点が示す距離方位だけ離れた地点の三次元座標を算出し、距離方位点群291の各点の三次元座標を示す三次元点群419aを生成する。
ポイントクラウド生成部420は、三次元点群生成部410により生成された三次元点群419aと移動体計測装置200により取得されたカメラ映像292とに基づいて、ポイントクラウド491をCPUを用いて生成する。ポイントクラウド491は、各点が三次元座標と共に色を示し、色付きレーザー点群とも呼ばれる。
このとき、ポイントクラウド生成部420は、撮影地点から撮像方向(カメラ220の視線方向)へ焦点距離だけ離れた地点で撮像方向と直交する平面をカメラ220の撮像平面として算出する。撮像平面はカメラ映像292の平面に等しい。そして、ポイントクラウド生成部420は、三次元点群419aの各点が示す三次元座標に基づいて三次元点群419aの各点をカメラ映像292(撮像平面)に投影し、カメラ映像292内の投影先の画素の色を当該点の色とする。
ポイントクラウド生成装置記憶部490はポイントクラウド491を記憶する。
点群オルソ画像生成装置100(俯瞰画像生成装置の一例)は、ポイントクラウド投影部110および画像生成装置記憶部190を備え、対象地域の俯瞰画像をポイントクラウド491を用いて生成する。
ポイントクラウド投影部110は、ポイントクラウド生成装置400により生成されたポイントクラウド491を用いて、対象地域の俯瞰画像をCPUを用いて生成する。このとき、ポイントクラウド投影部110は、対象地域の緯度・経度に対応する水平面を算出し、算出した水平面にポイントクラウド491の各点をそれぞれの三次元座標に基づいて正射投影する。ポイントクラウド投影部110は、正射投影として、ポイントクラウド491の各点の三次元座標(x、y、z)を「z(高さ)=0」として取り扱い、二次元座標(x、y)に対応する水平面内の部分に各点を配置する。
例えば、ポイントクラウド投影部110は、対象地域上空の所定の視点から真下方向へカメラ撮影したものと仮定して撮像平面を算出し、算出した撮像平面にポイントクラウド491の各点を正射投影する。所定の視点は計測地域の中心の緯度・経度と所定の高さとを三次元座標とし、ポイントクラウド491の各点は緯度・経度が一致する撮像平面内の部分へ投影される。
ポイントクラウド491の各点が正射投影された水平面は、計測地域を上空から垂直方向に見下ろした画像を示す。
以下、ポイントクラウド491の各点が正射投影された水平面に示されるBitmap画像を「点群オルソ画像191(俯瞰画像の一例)」という。
但し、ポイントクラウド491の各点が正射投影される平面は、水平面に限らず、水平面に対して傾いた平面であってもよい。この場合、ポイントクラウド491の各点が正射投影された平面は、計測地域を上空から斜め方向に見下ろした画像(俯瞰画像の一例)を示す。
また、ポイントクラウド投影部110によるポイントクラウド491の投影は正射投影に限らず、例えば、中心投影であっても構わない。
図3は、実施の形態1における点群オルソ画像生成装置100のハードウェア資源の一例を示す図である。
図3において、点群オルソ画像生成装置100は、プログラムを実行するCPU911(Central・Processing・Unit、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサともいう)を備えている。CPU911は、バス912を介してROM913、RAM914、通信ボード915、表示装置901、キーボード902、マウス903、FDD904(Flexible・Disk・Drive)、CDD905(コンパクトディスク装置)、プリンタ装置906、スキャナ装置907、磁気ディスク装置920と接続され、これらのハードウェアデバイスを制御する。磁気ディスク装置920の代わりに、光ディスク装置、メモリカード読み書き装置などの記憶装置でもよい。
RAM914は、揮発性メモリの一例である。ROM913、FDD904、CDD905、磁気ディスク装置920の記憶媒体は、不揮発性メモリの一例である。これらは、記憶機器、記憶装置あるいは記憶部の一例である。
通信ボード915、キーボード902、スキャナ装置907、FDD904などは、入力機器、入力装置あるいは入力部の一例である。
また、通信ボード915、表示装置901、プリンタ装置906などは、出力機器、出力装置あるいは出力部の一例である。
通信ボード915は、有線または無線で、LAN(Local Area Network)、インターネット、ISDN等のWAN(ワイドエリアネットワーク)、電話回線などの通信網に接続されている。
磁気ディスク装置920には、OS921(オペレーティングシステム)、ウィンドウシステム922、プログラム群923、ファイル群924が記憶されている。プログラム群923のプログラムは、CPU911、OS921、ウィンドウシステム922により実行される。
上記プログラム群923には、実施の形態の説明において「〜部」として説明する機能を実行するプログラムが記憶されている。プログラムは、CPU911により読み出され実行される。
ファイル群924には、実施の形態の説明において、「〜部」の機能を実行した際の「〜の判定結果」、「〜の計算結果」、「〜の処理結果」などの結果データ、「〜部」の機能を実行するプログラム間で受け渡しするデータ、その他の情報やデータや信号値や変数値やパラメータが、「〜ファイル」や「〜データベース」の各項目として記憶されている。
「〜ファイル」や「〜データベース」は、ディスクやメモリなどの記録媒体に記憶される。ディスクやメモリなどの記憶媒体に記憶された情報やデータや信号値や変数値やパラメータは、読み書き回路を介してCPU911によりメインメモリやキャッシュメモリに読み出され、抽出・検索・参照・比較・演算・計算・処理・出力・印刷・表示などのCPUの動作に用いられる。抽出・検索・参照・比較・演算・計算・処理・出力・印刷・表示・抽出のCPUの動作の間、情報やデータや信号値や変数値やパラメータは、メインメモリやキャッシュメモリやバッファメモリに一時的に記憶される。
また、実施の形態の説明において説明するフローチャートの矢印の部分は主としてデータや信号の入出力を示し、データや信号値は、RAM914のメモリ、FDD904のフレキシブルディスク、CDD905のコンパクトディスク、磁気ディスク装置920の磁気ディスク、その他光ディスク、ミニディスク、DVD(Digital・Versatile・Disc)等の記録媒体に記録される。また、データや信号値は、バス912や信号線やケーブルその他の伝送媒体によりオンライン伝送される。
また、実施の形態の説明において「〜部」として説明するものは、「〜回路」、「〜装置」、「〜機器」、「手段」であってもよく、また、「〜ステップ」、「〜手順」、「〜処理」であってもよい。すなわち、「〜部」として説明するものは、ROM913に記憶されたファームウェアで実現されていても構わない。或いは、ソフトウェアのみ、或いは、素子・デバイス・基板・配線などのハードウェアのみ、或いは、ソフトウェアとハードウェアとの組み合わせ、さらには、ファームウェアとの組み合わせで実施されても構わない。ファームウェアとソフトウェアは、プログラムとして、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、DVD等の記録媒体に記憶される。プログラムはCPU911により読み出され、CPU911により実行される。すなわち、プログラムは、「〜部」としてコンピュータを機能させるものである。あるいは、「〜部」の手順や方法をコンピュータに実行させるものである。
移動体計測装置200、位置姿勢標定装置300およびポイントクラウド生成装置400も点群オルソ画像生成装置100と同様に、CPUやメモリを備え、「〜部」として説明する機能を実行する。
図4は、実施の形態1における点群オルソ画像生成方法を示すフローチャートである。
実施の形態1における点群オルソ画像生成システム800の点群オルソ画像生成方法について、図4に基づいて以下に説明する。
移動体計測装置200、位置姿勢標定装置300、ポイントクラウド生成装置400、点群オルソ画像生成装置100およびそれぞれの「〜部」は、以下に説明する処理をCPUを用いて実行する。
<S110:距離方位点群計測処理>
まず、移動体計測装置200の車両202で対象地域を走行する。
対象地域の走行中、移動体計測装置200に備わるレーザースキャナ210、カメラ220、GPS受信機230、ジャイロ240およびオドメトリ250は、それぞれ計測を行い、距離方位点群291、カメラ映像292、GPS観測情報293、ジャイロ計測値294およびオドメトリ計測値295を取得する。
<S120:位置姿勢標定処理>
次に、位置姿勢標定装置300の位置姿勢標定部310は、S110で取得されたGPS観測情報293、ジャイロ計測値294およびオドメトリ計測値295に基づいて、位置姿勢標定値391を算出する。
位置姿勢標定値391は、対象地域を走行したときの移動体計測装置200の各時刻の三次元座標と三次元姿勢角とを示す。
<S130:ポイントクラウド生成処理>
次に、ポイントクラウド生成装置400の三次元点群生成部410は、S110で取得された距離方位点群291とS120で算出された位置姿勢標定値391とに基づいて三次元点群419aを生成する。そして、ポイントクラウド生成装置400のポイントクラウド生成部420は、三次元点群419aとS110で取得されたカメラ映像292とに基づいてポイントクラウド491を生成する。
三次元点群419aは、距離方位点群291の各点の三次元座標を示す。三次元点群419aの各点は距離方位点群291の各点に対応する。
三次元点群生成部410は、距離方位点群291の各点の計測時刻における移動体計測装置200の位置姿勢を位置姿勢標定値391から抽出し、抽出した位置姿勢から各点が示す距離方位だけ離れた地点の三次元座標を各点の三次元座標として算出する。
ポイントクラウド491は、三次元点群419aの各点の三次元座標および色を示す。ポイントクラウド491の各点は三次元点群419aおよび距離方位点群291の各点に対応する。
ポイントクラウド生成部420は、三次元点群419aの各点をそれぞれの三次元座標に基づいてカメラ映像292に投影し、投影先の画素の色を各点の色とする。
但し、ポイントクラウド491は、ポイントクラウド生成部420により色付けされなくても構わない。また、ポイントクラウド491は、観測されたレーザーの反射輝度に対応する白黒情報(グレースケール)を示してもよい。例えば、ポイントクラウド生成部420は、レーザーの反射輝度が高いほど白く、レーザーの反射輝度が低いほど黒い色をポイントクラウド491の各点に設定する。
<S140:点群オルソ画像生成処理>
そして、点群オルソ画像生成装置100のポイントクラウド投影部110は、S130で生成されたポイントクラウド491を用いて点群オルソ画像191を生成する。
点群オルソ画像191は、対象地域を上空から垂直方向に見下ろした画像を示す。
ポイントクラウド投影部110は、対象地域の緯度・経度に対応する水平面にポイントクラウド491の各点を正射投影した画像を対象地域の点群オルソ画像191とする。
但し、ポイントクラウド491の各点が正射投影される平面は、水平面に限らず、水平面に対して傾いた平面であってもよい。
また、ポイントクラウド投影部110によるポイントクラウド491の投影は正射投影に限らず、例えば、中心投影であっても構わない。
以下に、点群オルソ画像生成方法(S110〜S140)により生成される点群オルソ画像191の一例を示す。
図5は、移動体計測装置200が走行した地域(対象地域)の道路図を示す。
例えば、距離方位点群計測処理(S110)において、移動体計測装置200が図5に示す地域を走行しながら計測を行い、距離方位点群291、カメラ映像292、GPS観測情報293、ジャイロ計測値294およびオドメトリ計測値295を取得したものとする。
図6は、対象地域(図5)の点群オルソ画像191を示す。
点群オルソ画像生成処理(S140)において、ポイントクラウド投影部110がポイントクラウド491を正射投影することにより、図6に示すような点群オルソ画像191が得られる。
図6に示すように、点群オルソ画像191は、図5に示す道路図と合致している。点群オルソ画像191は、移動体計測装置200の計測精度や位置姿勢標定装置300の位置姿勢標定精度に対応して、対象地域の道路を高い精度で表わすことができる。
図7、図8は、ポイントクラウド491で表わした俯瞰画像の一例であり、それぞれ異なる交差点部分を拡大した画像である。
点群オルソ画像生成処理(S140)において、水平面に対して傾いた平面にポイントクラウド491が投影された場合(または、点群オルソ画像191が画像処理により水平軸に対して回転して表示された場合)、図7や図8に示すような俯瞰画像が得られる。
図7や図8に示すように、ポイントクラウド491の投影により得られる俯瞰画像は、交差点、住宅、駐車自動車、横断歩道などの各種地物を表すことができる。俯瞰画像に表わされる各地物は、位置、大きさなどが、移動体計測装置200の計測精度や位置姿勢標定装置300の位置姿勢標定精度に対応した高い精度で表わされる。
点群オルソ画像生成装置100は、ポイントクラウド491を平面に投影することにより、実際にはカメラ撮影されていない角度(垂直下方、斜め下方など)から見た対象地域を高い精度で表わす画像(点群オルソ画像191、俯瞰画像など)を得ることができる。
実施の形態1では、以下のような点群オルソ画像生成装置100について説明した。
点群オルソ画像生成装置100は、移動体計測装置200により取得されたレーザー点群(距離方位点群291)を利用して、標識、白線、路面マーク、マンホール、縁石、電柱、ポール、街路灯、電線、壁などの地物を精度良く検出する。
ポイントクラウド491は1点毎に三次元位置情報(三次元座標)を持っている。そのため、点群オルソ画像生成装置100は、ポイントクラウド491を並べて任意の方向から眺めた画像を作成することができる。したがって、点群オルソ画像生成装置100は、ポイントクラウド491を並べて真上から見ることにより、航空写真のオルソ画像と同等な点群オルソ画像191を作成できる。また、点群オルソ画像191は、車両から撮像されたカメラ映像を用いて作成されるオルソ画像に比べて歪みが少なく、精度が高く、視野角が広い。
点群オルソ画像191には、白線、縁石、壁面などの地物が明確に表わされる。このため、点群オルソ画像191は、道路図の作成に利用することができる。例えば、CAD(Computer Aided Design)の背景に点群オルソ画像191を貼り付け、点群オルソ画像191に表わされる各地物を線でなぞってトレースすることにより、現況の道路図を高速に作成することができる。さらに、画像処理により点群オルソ画像191から各地物を抽出し、道路図を自動作成することもできる。
特許文献1(特開2007−218705号公報)には、計測台車で取得された各種の計測データに基づいて、計測台車の位置姿勢を算出し(特許文献1のS101)、路面形状モデル(三次元点群)を生成(特許文献1のS106)する方法が開示されている。また、特許文献1には、路面形状モデル(三次元点群)をカメラ映像に投影する方法(特許文献1のS107)が開示されている。
移動体計測装置200は特許文献1の計測台車に相当し、位置姿勢標定装置300は特許文献1の車両位置姿勢(3軸)演算部に相当し、ポイントクラウド生成装置400は特許文献1の路面形状モデル生成部に相当する。
実施の形態2.
実施の形態2では、道路が樹木やトンネルなどにより遮蔽されずに映る点群オルソ画像191を生成する形態について説明する。
以下、実施の形態1と異なる事項について主に説明し、説明を省略する事項については実施の形態1と同様であるものとする。
図9は、実施の形態2における点群オルソ画像生成装置100の構成図である。
実施の形態2における点群オルソ画像生成装置100の構成について、図9に基づいて以下に説明する。
点群オルソ画像生成装置100(俯瞰画像生成装置の一例)は、ポイントクラウド投影部110、所定高点群抽出部120、地面高特定部130、点群オルソ画像表示部140、カメラ映像表示部150および画像生成装置記憶部190を備える。
地面高特定部130は、ポイントクラウド生成装置400により生成されたポイントクラウド491(三次元点群の一例)の各点が示す三次元座標の高さ(高度)に基づいて地面高139aをCPUを用いて特定する。
所定高点群抽出部120は、ポイントクラウド生成装置400により生成されたポイントクラウド491(三次元点群の一例)の各点が示す三次元座標に基づいてポイントクラウド491から所定範囲内の高さを示す各点を抽出する。
特に、所定高点群抽出部120は、地面高特定部130により特定された地面高139aに基づいて、地面からの高さが所定の高さ以下である各点をポイントクラウド491から抽出する。
以下、所定高点群抽出部120によりポイントクラウド491から抽出された各点を所定高点群129aという。
ポイントクラウド投影部110(三次元点群投影部の一例)は、所定高点群抽出部120によりポイントクラウド491から抽出された所定高点群129aの各点が示す三次元座標に基づいて、所定高点群129aの各点をCPUを用いて平面に投影して点群オルソ画像191(俯瞰画像の一例)を生成する。
点群オルソ画像表示部140(俯瞰画像表示部の一例)は、ポイントクラウド投影部110により生成された点群オルソ画像191を表示装置901に表示する。
カメラ映像表示部150は、点群オルソ画像表示部140により表示された点群オルソ画像191内で指定された画像部分に投影された点をCPUを用いて特定し、特定した点が計測された計測地点から撮影されたカメラ映像292を表示装置901に表示する。
画像生成装置記憶部190は、移動体計測装置200により取得されたカメラ映像292およびポイントクラウド投影部110により生成された点群オルソ画像191を記憶する。
図10は、実施の形態2における点群オルソ画像生成処理(S140)のフローチャートである。
実施の形態2における点群オルソ画像生成処理(S140)の流れについて、図10に基づいて以下に説明する。
点群オルソ画像生成装置100の各「〜部」は、以下に説明する処理をCPUを用いて実行する。
<S141A:地面高特定処理>
まず、地面高特定部130は、ポイントクラウド491の各点が示す三次元座標の高さに基づいて地面高139aを特定する。
例えば、地面高特定部130は、ある区域の地面高139aを特定する場合、その区域内の緯度・経度を示す各点から高さが最も低い点を抽出し、抽出した点が示す高さをその区域の地面高139aとする。
地面高139aの特定方法の詳細については、実施の形態4で説明する。
<S142A:所定高点群抽出処理>
次に、所定高点群抽出部120は、S141Aにおいて特定された地面高139aを基準の高さとして、地面高139aからの高さが所定の高さ以下である各点をポイントクラウド491から所定高点群129aとして抽出する。
つまり、所定高点群129aは、地面高139aからの高さが所定の高さより高い各点がポイントクラウド491から除去されたものである。
例えば、所定の高さが「50cm」である場合、所定高点群抽出部120は、三次元座標の高さが「(地面高139a)+50[cm]」以下である各点をポイントクラウド491から所定高点群129aとして抽出する。地面高139aが区域毎に特定されている場合、所定高点群抽出部120は、所定高点群129aを区域毎に抽出する。
<S143A:三次元点群投影処理>
次に、ポイントクラウド投影部110は、S142Aにおいて抽出された所定高点群129aの各点を水平面に正射投影して点群オルソ画像191を生成する。
但し、所定高点群129aの各点が正射投影される平面は水平面に限らず、ポイントクラウド投影部110による投影は正射投影に限らない。
<S144A:俯瞰画像表示処理>
次に、点群オルソ画像表示部140は、S143Aにおいて生成された点群オルソ画像191を表示装置901に表示させる。
ここで、利用者が、表示装置901に表示された点群オルソ画像191内でカメラ映像292を確認したい画像部分をマウス903やキーボード902などを用いて指定するものとする。
<S145A:カメラ映像表示処理>
そして、カメラ映像表示部150は、利用者に指定された画像部分に対応するカメラ映像292を表示装置901に表示する。
このとき、カメラ映像表示部150は、利用者に指定された画像部分に投影されているポイントクラウド491の点を特定し、特定した点(以下、特定点という)の計測地点から撮像されたカメラ映像292を特定し、特定したカメラ映像292を表示装置901に表示する。
特定されるカメラ映像292は、特定点が計測された時刻に撮像されたカメラ映像292である。また、特定点が計測された時刻とは、特定点の元データである距離方位点群291の点が計測された時刻のことである。
利用者は、点群オルソ画像191では確認しづらい地物を表示装置901に表示されたカメラ映像292により確認することができる。
以下に、点群オルソ画像生成処理(S141A〜S143A)により生成される点群オルソ画像191の一例を示す。
図11は、対象地域b(図6)の点群オルソ画像191であり、図12は、対象地域a(図6)の点群オルソ画像191である。図11、図12共に、地面高139aからの高さが50cm以下である所定高点群129aのみが正射投影されたものである。
所定高点群抽出処理(S142A)では、地面高139aからの高さが50cmより高い各点がポイントクラウド491から除去され、地面高139aからの高さが50cm以下の高さである各点のみが所定高点群129aとして抽出された。
このため、図11、図12共に、道路が樹木やトンネルなどの遮蔽物により遮蔽されておらず、白線や道路境界などがはっきりと認識できる。
実施の形態2において、以下のような点群オルソ画像生成装置100について説明した。
従来から道路画像として利用されている航空写真では、樹木の下やトンネルの内部といった垂直方向から見て遮蔽されている道路部分を表示することができなかった。
一方、点群オルソ画像生成装置100は、ポイントクラウド491のうち、道路面(地面高139a)から所定の高さ以下の点群(所定高点群129a)だけを使用するように制限をかけて点群オルソ画像191を生成することにより、樹木やトンネルなどの遮蔽物を除外し、道路をくまなく表現することができる。
さらに、移動体計測装置200の車両202が周りから所定の車間(例えば、5m程度)をあけて走行することにより、他の車両を計測した計測値が含まれない距離方位点群291が取得される。そして、点群オルソ画像生成装置100は、他の車両を計測した計測値が含まれない距離方位点群291から生成されたポイントクラウド491を用いて、走行中の車両が全くいない点群オルソ画像191を作り出せる。
つまり、点群オルソ画像生成装置100は、見えない部分が無い美しい道路画像を作り出すことができる。
また、利用者が点群オルソ画像191に映っている地物(例えば、電柱、街路灯、標識)の種類や内容を確認できない場合、点群オルソ画像生成装置100は点群オルソ画像191に連動させてカメラ映像292を表示する。例えば、点群オルソ画像生成装置100は、CAD画面に点群オルソ画像191とカメラ映像292とをリンクさせて表示する。このとき、点群オルソ画像生成装置100は、各点が計測された時刻に基づいて、その付近で撮影されたカメラ映像292を引き出す。これにより、利用者は点群オルソ画像191に映っている地物が電柱なのか、街路灯なのか、または、標識なのか判別することができる。点群オルソ画像生成装置100は、カメラ映像292を表示させる際、カメラ映像292を画像処理して標識や看板などの内容(記されている文字や図形など)を抽出し、抽出した情報をカメラ映像292と共に表示してもよい。これにより、利用者は、電柱や街路灯の区別の他に、標識や看板などの内容を確認することができる。
実施の形態3.
実施の形態3では、立設物が特定できる点群オルソ画像191を生成する形態について説明する。
以下、実施の形態1〜2と異なる事項について主に説明し、説明を省略する事項については実施の形態1〜2と同様であるものとする。
図13は、実施の形態3における点群オルソ画像生成装置100の構成図である。
実施の形態3における点群オルソ画像生成装置100の構成について、図13に基づいて以下に説明する。
点群オルソ画像生成装置100(俯瞰画像生成装置の一例)は、ポイントクラウド投影部110、点群オルソ画像表示部140、カメラ映像表示部150、点密度算出部160、立設物特定部170、立設物区別部180および画像生成装置記憶部190を備える。
点密度算出部160は、ポイントクラウド投影部110により生成された点群オルソ画像191の点密度169aを点群オルソ画像191を所定の大きさで区分けした区域毎にCPUを用いて算出する。
立設物特定部170は、点密度算出部160により算出された点密度169aに基づいて、点群オルソ画像191から立設物が表示されている画像部分をCPUを用いて特定する。
以下、立設物特定部170により特定された画像部分を立設物表示画像部分179aという。
立設物区別部180は、立設物特定部170により特定された立設物表示画像部分179aを他の画像部分と区別して表した点群オルソ画像191をCPUを用いて生成する。
図14は、実施の形態3における点群オルソ画像生成処理(S140)のフローチャートである。
実施の形態3における点群オルソ画像生成処理(S140)の流れについて、図14に基づいて以下に説明する。
点群オルソ画像生成装置100の各「〜部」は、以下に説明する処理をCPUを用いて実行する。
<S141B:三次元点群投影処理>
ポイントクラウド投影部110は、ポイントクラウド491を水平面に正射投影して点群オルソ画像191を生成する。
以下、ポイントクラウド491が正射投影された水平面を「投影面」という。
<S142B:点密度算出処理>
点密度算出部160は、投影面を所定の大きさで区分けし、区域毎にポイントクラウド491の各点の点密度169aを算出する。
各区域の大きさは微小であり、例えば、画像内での大きさではなく、実世界での大きさで「30cm×30cm」程度である。また例えば、点群オルソ画像191の1画素が1区域に対応しても構わない。
ここで、「点密度169a」とは、微小区域内に投影されたポイントクラウド491の点の数を意味するものとする。
<S143B:立設物特定処理>
立設物特定部170は、S142Bにおいて算出された点密度169aが所定数以上である各微小区域を立設物表示画像部分179aとして特定する。
レーザースキャナ210は車両202の側方の高さ方向にも計測を行うため、壁面、電柱、街路灯など、高さを持つ地物(以下、立設物という)は高さ方向に複数点が計測される。一方、道路面のように高さを持たない地物は高さ方向に1点しか計測されない。このため、立設物の点密度169aは道路面の点密度169aより大きい。そこで、立設物表示画像部分179aは、点密度169aが所定数以上である各微小区域を立設物表示画像部分179aとして特定する。
例えば、立設物特定部170は、10点以上の点が投影されている微小区域を立設物表示画像部分179aとして特定する。
<S144B:立設物区別処理>
立設物区別部180は、S143Bにおいて特定された立設物表示画像部分179aを他の画像部分と区別して表した点群オルソ画像191を生成する。
例えば、立設物区別部180は、立設物表示画像部分179aに所定の色を着色する。
また例えば、立設物区別部180は、立設物表示画像部分179aと他の画像部分とで異なる配色(立設物表示画像部分179aが「赤」、他の画像部分が「黒」など)にする。
また例えば、立設物区別部180は、立設物表示画像部分179aに特定のマークを付加する。
さらに、立設物区別部180は、立設物表示画像部分179aを点密度毎に分け、点密度毎に異なる配色やマークを付加してもよい。例えば、立設物区別部180は、点密度の大きい順に「白」→「緑」→「赤」を着色する。
<S145B:俯瞰画像表示処理>
点群オルソ画像表示部140は、S144Bで生成された点群オルソ画像191を表示装置901に表示させる。
<S146B:カメラ映像表示処理>
カメラ映像表示部150は、S145A(図10)と同様に、利用者に指定された画像部分に対応するカメラ映像292を表示装置901に表示する。
点群オルソ画像生成装置100は、微小区域の点密度を算出することにより、点群オルソ画像191内の立設物を特定することができる。これにより、利用者は、電柱などの立設物がどこに位置しているかを知ることができる。
点群オルソ画像生成装置100は、実施の形態2と同じく、地面高特定部130および所定高点群抽出部120を備えてもよい。
所定高点群抽出部120は、地面高特定部130により特定された地面高139aを基準の高さとして、地面高139aからの高さが所定の高さ以上である各点をポイントクラウド491から所定高点群129aとして抽出する。つまり、所定高点群129aは、地面高139aからの高さが所定の高さ未満である各点がポイントクラウド491から除去されたものである。
ポイントクラウド投影部110は、所定高点群抽出部120により抽出された所定高点群129aを用いて点群オルソ画像191を生成する。
例えば、所定高点群抽出部120が、実施の形態2とは逆に地面高139aからの高さが「50cm」未満の各点を除去することにより、ポイントクラウド投影部110は道路面が映っていない点群オルソ画像191を生成することができる。
これにより、点群オルソ画像生成装置100は立設物をより正確に特定し、利用者は立設物をより容易に判別することができる。
以下に、地面高139aからの高さが50cm以上である所定高点群129aが正射投影された点群オルソ画像191の一例を示す。
図15は、対象地域b(図6)の点群オルソ画像191であり、図16は、対象地域bの部分拡大図である。
図17は、対象地域a(図6)の点群オルソ画像191であり、図18は、対象地域aの部分拡大図である。
図15〜図18はいずれも、地面高139aからの高さが50cm以上である所定高点群129aのみが正射投影された点群オルソ画像191であり、道路面は映っていない。
図15の点線枠内を拡大した図16および図17の点線枠内を拡大した図18が示すように、点群オルソ画像191は街路灯、木、壁、電線、電柱などの地物をはっきりと表わす。
また、点群オルソ画像191は、点密度により色分けされる。例えば、点密度が濃くなるにつれ、「赤→緑→白」と変化する。電柱のように垂直に立っているものは点密度が濃くなるため、緑点または白点で表わされる。
このような点群オルソ画像191を用いることにより、立設物の位置の確定が容易になり、従来の手作業と比較し、立設物の位置の確定にかかる作業時間を大幅に軽減できる。
また、図18では、家の壁面や電柱から電線が出ている様子がわかる。電線の有無により電柱と街路灯とを区別することもできる。対象物が電柱、街路灯またはその他の立設物のいずれであるかを区別できない場合、利用者は、点群オルソ画像生成装置100にカメラ映像292を表示させ、カメラ映像292を確認することにより、正確に識別できる。
実施の形態3では、以下のような点群オルソ画像生成装置100について説明した。
点群オルソ画像191は真上から見た画像を示す。そのため、電柱のように地面と同系色の立体物(立設物)は消失する。また、電柱などの立体物は道路図において重要なターゲットである。
そこで、点群オルソ画像生成装置100は、点群オルソ画像191の微小区域毎に点密度を算出し、点密度毎に輝度、色、形状などを分けて表示する。
電柱や壁面は基本的に垂直に建設される。したがって、垂直方向にポイントクラウド491が投影された点群オルソ画像191の点密度は電柱や壁面部分で上がる。一方、地面などは、垂直方向には一点しかないため、点密度が低くなる。
このことより、点密度毎に輝度、色、形状などを分けて表す点群オルソ画像191から、電柱などの立体物がどこにあるかを容易に判別・検出することができる。
さらに、所定の高さ以上のポイントクラウド生成装置記憶部490だけを使用して点群オルソ画像191を生成するという制限をつけることにより、立体物をより容易に判別・検出することができる。
実施の形態4.
実施の形態4では、地面高特定部130による地面高139aの特定方法について説明する。
<実施例1>
地面高特定部130は、区域内の緯度・経度を示すポイントクラウド491の各点から高さが最も低い点を抽出し、抽出した点が示す高さをその区域の地面高139aとする。
図19は、実施の形態4(実施例1)における地面高139aの特定方法を示す図である。図19の上図は坂道の平面図を示し、図19の下図は坂道の側面図を示す。
地面高特定部130は、図19の上図に示すように坂道を含む対象地域を緯度・経度でメッシュ状に分割して所定の大きさ(例えば、100m×100m)に区分けし、図19の下図に示すように各区域内の点のうち高さが最も低い点Pを抽出する。そして、地面高特定部130は、点Pが示す三次元座標の高さを当該区域の地面高139aとする。
所定高点群抽出部120が点P(地面高139a)から所定の高さx(例えば、50cm)以下の各点をポイントクラウド491から抽出することにより、ポイントクラウド投影部110は坂道を表す点群オルソ画像191を生成することができる。
<実施例2>
地面高特定部130は、ポイントクラウド491から道路の縁石を表す各点を抽出し、抽出した各点が示す三次元座標に基づいて地面高139aを特定する。
図20は、実施の形態4(実施例2)における地面高139aの特定方法を示す図であり、対象地域を所定の大きさに区分けした一つの区域を示している。
まず、地面高特定部130は、ポイントクラウド491の各点が示す三次元座標に基づいて、坂道の左右の縁石(2本の縁石部分)を表す各点を特定する。
次に、地面高特定部130は、一方の縁石を表す各点から高度が最も高い点Aと高度が最も低い点Bとを抽出し、他方の縁石を表す各点から高度が最も高い点Cを抽出する。点Cは、最も低い点や縁石を表す任意の一点でも構わない。
そして、地面高特定部130は、抽出した3点A、B、Cの三次元座標に基づいて、点A、点Bおよび点Cを通る平面の3次元方程式を坂道の勾配を表す方程式(以下、路面方程式という)として算出する。
地面高特定部130により算出された路面方程式は、緯度・経度毎に坂道の地面高139aを示す。
所定高点群抽出部120は、ポイントクラウド491の各点が位置する区域を各点の緯度・経度に基づいて特定し、各点の緯度・経度を当該区域の路面方程式に代入して地面高139aを算出し、算出した地面高139aと各点の高さとを比較して所定高点群129aを抽出する。
次に、縁石を表す各点(以下、縁石点群という)を特定する方法として、(1)利用者に縁石の3点A、B、Cを選択させる方法と(2)各点の位置の不連続性に基づく縁石点群の特定方法とを説明する。
まず、(1)利用者に縁石の3点A、B、Cを選択させる方法について説明する。
地面高特定部130は、特許文献1(特開2007−218705号公報)のS107(図13)のようにポイントクラウド491をカメラ映像292に投影し、ポイントクラウド491を投影させたカメラ映像292(ポイントクラウド491とカメラ映像292とが重畳した画像)を表示装置901に表示し、表示したポイントクラウド491の各点から利用者に3点A、B、Cを選択させる。
次に、(2)各点の位置の不連続性に基づく縁石点群の特定方法について説明する。
図21は、実施の形態4(実施例2)における縁石点群の特定方法を示す図である。
図21の上図は、道路と道路左右の縁石とを示す垂直断面図であり、左右に水平方向(緯度・経度方向)、上下に高さ(高度)方向が取られている。図21の下図は、上図の点線枠内の拡大図である。図中の丸印はそれぞれポイントクラウド491の1点を示す。以下、各丸印を「3D点」という。各3D点は、移動体計測装置200の移動と共に、左から右へ、右から左へ順に計測される。以下、左から右へ又は右から左への計測により得られる横並びの複数の3D点を結んだ線を「走査ライン」という。図21は、左から右への1つの走査ライン上の複数の3D点を丸印で示している。
図22は、道路と道路左右の縁石とを示すポイントクラウド491の画像が表示された画面を示す図である。
図22には、ポイントクラウド491を用いて道路平面を表した画像(点群オルソ画像191の一例)を表示させたメイン画面(図全体)と、脇道部分のポイントクラウド491を抽出し、抽出したポイントクラウド491を用いて脇道の垂直断面を表した画像を表示させた副画面(図左上)とを示している。
図22の副画面に表示されている画像は、図21に対応する実データの画像である。
地面高特定部130は、計測順序が連続する複数の3D点に基づいて当該部分の傾きを示す直線を算出し、算出した直線が示す傾きの変化量に基づいて道路と縁石との分岐点を縁石を表す3D点として特定する。
例えば、図21において、地面高特定部130は、I番目の3D点を基点として、I番目、I−1番目およびI−2番目の3D点に基づいて直線1を算出すると共に、I番目、I+1番目およびI+2番目の3D点に基づいて直線2を算出する。以下、x番目の3D点を「x点」と記す。直線1はI点を通ると共にI−1点とI−2点との中間点を通る直線であり、直線2はI点を通ると共にI+1点とI+2点との中間点を通る直線である。但し、直線1、2は、連続する4つ以上の3D点(例えば、I−3点〜I点、I点〜I+3点)に基づいて算出されても良いし、2つの3D点(I−1点〜I点、I点〜I+1点)に基づいて算出されても良い。
そして、地面高特定部130は、直線1と直線2との傾きの差(変化量)と直線2(縁石左側では直線1)を構成する複数の3D点の高低差とに基づいて縁石の3D点を特定する。地面高特定部130は、変化量が所定量以上であり、且つ、I点の高さとI+2点の高さとの高低差が縁石の高さに相当する所定値(例えば、20cm)以下であれば、I−1点またはI+1点を縁石の3D点と判定する。I+2点は、直線2を構成するI点、I+1点およびI+2点の中でI点との高低差が最も大きい3D点である。通常、道路の縁石側は傾斜しているため地面高139aの算出に用いるには、I点ではなく、I点と前後するいずれかの3D点(・・・、I−2点、I−1点、I+1点、I+2点、・・・)を縁石の3D点に選ぶとよい。例えば、地面高特定部130は、I−1点またはI+1点を縁石の3D点とする。但し、I点を縁石の3D点に選んでもよい。
地面高特定部130は、ポイントクラウド491の各点それぞれを基点として上記の方法により縁石点群を特定する。
図23は、実施の形態4(実施例2)における縁石点群特定方法を示すフローチャートである。
縁石点群特定方法(図21)の処理の流れについて、図23に基づいて以下に説明する。
まず、地面高特定部130は、ポイントクラウド491を読み込む(S210)。
次に、地面高特定部130は、走査ラインを順に1つ選択し、選択した走査ライン上の複数の3D点をポイントクラウド491から抽出する。以下、抽出された走査ライン上の複数の3D点を「走査点群」という(S220)。
次に、地面高特定部130は、抽出した走査点群から1つの3D点を基点Iとして選択し、選択した基点Iから連続する複数点に基づいて基点を通る2つの直線1、2を算出する(S230)。
次に、地面高特定部130は、直線1と直線2との傾きの差と直線2(または、直線1)を構成する複数の3D点の高低差とに基づいて基点Iが縁石部分か判定する(S231)。
地面高特定部130は、基点Iが縁石部分であると判定すれば、縁石の3D点(例えば、I−1点、I+1点)を記憶する(S232)。
地面高特定部130は、S220で抽出した走査点群の各点についてS230〜S232を繰り返し、左右の縁石の3D点を特定して記憶する(S233)。
さらに、地面高特定部130は、S230〜S233において左右の縁石の3D点を特定できなかった場合(S240)、レーザー照射角度と各点の高さとに基づいて、縁石の3D点を特定して記憶する(S250)。
具体的に、地面高特定部130は以下のようにして縁石の3D点を特定する。
まず、地面高特定部130は、1つ前の走査ラインで特定された縁石の3D点にレーザー照射角度が近い複数の3D点を走査点群から抽出する。例えば、地面高特定部130は、1つ前の走査ラインで特定された縁石の3D点が走査ライン上のn番目の3D点であれば、走査点群から走査ライン上のn−3〜n+3点を抽出する。
そして、地面高特定部130は、抽出した複数の3D点(n−3点〜n+3点)のうち最も高さが低い3D点の一つ(または複数)前(または後)の3D点を縁石の3D点として記憶する。このとき、1つ前の走査ラインで特定された縁石の3D点とのレーザー照射角度の差が所定値(例えば、1度)以下であることを縁石の3D点とする条件に加えてもよい。
地面高特定部130は、全走査ラインについてS220〜S250を繰り返し(S260)、左側の縁石を表す複数の3D点と右側の縁石を表す複数の3D点とをそれぞれグルーピングする(S270)。
図24は、実施の形態4(実施例2)における縁石点群特定方法により特定された縁石点群を示す図である。
図24に示すように、実施の形態4(実施例2)における縁石点群特定方法により特定された縁石点群は、図5に示した対象地域の道路図を合致している。
<実施例3>
地面高特定部130は、移動体計測装置200の航測基準点Oの高さに基づいて地面高139aを特定する。
航測基準点とは、図2で説明したように、移動体計測装置200の座標中心である。
移動体計測装置200の航測基準点Oの高さに基づいて地面高139aを特定する方法として、(1)道路面の三次元方程式を算出して地面高139aを特定する方法と(2)計測時刻毎に地面高139aを特定する方法とを説明する。
図25は、実施の形態4(実施例3(1))における地面高139aの特定方法を示す図である。
(1)道路面の三次元方程式を算出して地面高139aを特定する方法について、図25に基づいて以下に説明する。
ここで、t0、t1、t2の各時刻について、航測基準点Oの三次元座標とポイントクラウド491の各点とが得られているものとする。
また、予め計測された航測基準点Oの地面からの高さを2000mmとする。
地面高特定部130は、時刻t0、t1、t2それぞれの航測基準点Oの高さに基づいて、各航測基準点Oを通る平面(または、各航測基準点Oが最も近くなる平面)から2000mm低い平面の三次元方程式を道路面を表す三次元方程式として算出する。そして、地面高特定部130は、道路面の三次元方程式にポイントクラウド491の各点の緯度・経度を代入し、地面高139aを算出する。
図26は、実施の形態4(実施例3(2))における地面高139aの特定方法を示す図である。
(2)計測時刻毎に地面高139aを特定する方法について、図26に基づいて以下に説明する。
ここで、各時刻について、航測基準点Oの三次元座標とポイントクラウド491の各点とが得られているものとする。
また、予め計測された航測基準点Oの地面からの高さを2000mmとする。
地面高特定部130は、ポイントクラウド491の各点が計測された時刻における航測基準点Oの高さより2000mm低い高さを地面高139aとして算出する。
但し、地面高特定部130は地面高139aを算出せず、所定高点群抽出部120は航測基準点Oの高さより1500mm低い高さ(地面から500mm[所定の高さ]の高さ)を修正分離基準高として算出し、ポイントクラウド491から修正分離基準高より低い各点(または、高い各点)を所定高点群129aとして抽出してもよい。
実施の形態4で説明した各特定方法により、地面高特定部130は、道路が斜面になっていても、地面高139aを精度良く算出することができる。
実施の形態5.
点群オルソ画像生成装置100により生成される点群オルソ画像191は、例えば、道路図の作成に有用である。
実施の形態5では、道路図を作成するシステムについて説明する。
図27は、実施の形態5における地図データ生成システム801の構成図である。
実施の形態5における地図データ生成システム801の構成について、図27に基づいて以下に説明する。
地図データ生成システム801は、各実施の形態で説明した点群オルソ画像生成システム800の構成に加えて、CAD装置500を有する。
従来から、建物や道路を示す都市計画図や、電柱、マンホール、広告塔等の道路占有物を示す街路台帳や、道路縁石、ガードレール、標識等が記載された道路管理台帳付図等が道路管理に用いられ、これら都市計画図、街路台帳および道路管理台帳付図の精度向上が望まれている。
点群オルソ画像191は、高い精度で、樹木やトンネルなどの遮蔽物による遮蔽を除去して道路を表わし(実施の形態2)、また、電柱や街路灯などの立設物を強調して表わす(実施の形態3)。このため、都市計画図、街路台帳および道路管理台帳付図の作成に有用である。
CAD装置500は、CAD部510およびCAD記憶部590を備え、点群オルソ画像生成装置100により生成された点群オルソ画像191を用いて地図データ591(例えば、都市計画図や道路管理台帳付図)を生成する。
CAD部510は、CPUを用い、利用者の操作に応じて点群オルソ画像191およびカメラ映像292を表示装置901に表示すると共に地図データ591を生成する。
CAD記憶部590は地図データ591を記憶する。
利用者は、CAD装置500をキーボード902やマウス903を用いて操作し、実施の形態2で作成された点群オルソ画像191を表示させ、表示させた点群オルソ画像191に表わされる道路をトレースすることにより道路図を作図し、作図した道路図を地図データ591として保存する。
さらに、利用者は、実施の形態3で作成された点群オルソ画像191を表示させ、表示させた点群オルソ画像191に表わされる立設物を順に選択して選択箇所のカメラ映像292を表示させる。そして、利用者は、表示させたカメラ映像292から立設物の種類を特定し、各立設物の位置および種類を設定した道路図を地図データ591として保存する。
CAD部510は、道路や各立設物を、利用者の選択によってではなく、画像処理により抽出してもよい。
このように、利用者は、点群オルソ画像191を利用することにより、従来より簡易に都市計画図や道路管理台帳付図を作成することができる。
各実施の形態において、点群オルソ画像生成装置100、移動体計測装置200、位置姿勢標定装置300、ポイントクラウド生成装置400、CAD装置500の各装置は、別々の装置であっても、互いの構成を含んだ一つの装置であってもよい。
また、各装置は、ネットワーク接続されていない独立した装置であっても、有線または無線でLANやインターネットに接続され、互いにデータ送受信を行う通信装置であってもよい。
100 点群オルソ画像生成装置、110 ポイントクラウド投影部、120 所定高点群抽出部、129a 所定高点群、130 地面高特定部、139a 地面高、140 点群オルソ画像表示部、150 カメラ映像表示部、160 点密度算出部、169a 点密度、170 立設物特定部、179a 立設物表示画像部分、180 立設物区別部、190 画像生成装置記憶部、191 点群オルソ画像、200 移動体計測装置、201 天板、202 車両、210 レーザースキャナ、220 カメラ、230 GPS受信機、240 ジャイロ、250 オドメトリ、290 計測装置記憶部、291 距離方位点群、292 カメラ映像、293 GPS観測情報、294 ジャイロ計測値、295 オドメトリ計測値、300 位置姿勢標定装置、310 位置姿勢標定部、390 標定装置記憶部、391 位置姿勢標定値、400 ポイントクラウド生成装置、410 三次元点群生成部、419a 三次元点群、420 ポイントクラウド生成部、490 ポイントクラウド生成装置記憶部、491 ポイントクラウド、500 CAD装置、510 CAD部、590 CAD記憶部、591 地図データ、800 点群オルソ画像生成システム、801 地図データ生成システム、901 表示装置、902 キーボード、903 マウス、904 FDD、905 CDD、906 プリンタ装置、907 スキャナ装置、908 マイク、909 スピーカー、911 CPU、912 バス、913 ROM、914 RAM、915 通信ボード、920 磁気ディスク装置、921 OS、922 ウィンドウシステム、923 プログラム群、924 ファイル群。

Claims (22)

  1. 地上の各地点の三次元座標を示す三次元点群を用いて地上の俯瞰画像を生成する俯瞰画像生成装置であり、
    前記三次元点群の各点が示す三次元座標に基づいて前記三次元点群の各点をCPU(Central Processing Unit)を用いて平面に投影して地上の俯瞰画像を生成する三次元点群投影部
    を備えることを特徴とする俯瞰画像生成装置。
  2. 前記俯瞰画像生成装置は、
    前記三次元点群の各点が示す三次元座標に基づいて前記三次元点群から所定範囲内の高さを示す各点を所定高点群としてCPUを用いて抽出する所定高点群抽出部を備え、
    前記三次元点群投影部は、
    前記所定高点群抽出部により前記三次元点群から抽出された所定高点群の各点が示す三次元座標に基づいて前記所定高点群の各点をCPUを用いて平面に投影して俯瞰画像を生成する
    ことを特徴とする請求項1記載の俯瞰画像生成装置。
  3. 前記所定高点群抽出部は、
    所定の高さ以下の各点を前記所定高点群として抽出する
    ことを特徴とする請求項2記載の俯瞰画像生成装置。
  4. 前記所定高点群抽出部は、
    地面からの高さが所定の高さ以下である各点を前記所定高点群として抽出する
    ことを特徴とする請求項3記載の俯瞰画像生成装置。
  5. 前記俯瞰画像生成装置は、
    前記三次元点群投影部により前記平面に投影された前記三次元点群の各点の点密度を前記平面を所定の大きさで区分けした区域毎にCPUを用いて算出する点密度算出部と、
    前記点密度算出部により算出された点密度に基づいて前記俯瞰画像から立設物が表示されている画像部分をCPUを用いて特定する立設物特定部と、
    前記立設物特定部により特定された画像部分を他の画像部分と区別して表わした俯瞰画像をCPUを用いて生成する立設物区別部と
    を備えることを特徴とする請求項1記載の俯瞰画像生成装置。
  6. 前記俯瞰画像生成装置は、
    前記三次元点群の各点が示す三次元座標に基づいて前記三次元点群から所定範囲の高さを示す各点を所定高点群としてCPUを用いて抽出する所定高点群抽出部を備え、
    前記三次元点群投影部は、
    前記所定高点群抽出部により前記三次元点群から抽出された所定高点群の各点が示す三次元座標に基づいて前記所定高点群の各点をCPUを用いて平面に投影して俯瞰画像を生成する
    ことを特徴とする請求項5記載の俯瞰画像生成装置。
  7. 前記所定高点群抽出部は、
    所定の高さ以上の各点を前記所定高点群として抽出する
    ことを特徴とする請求項6記載の俯瞰画像生成装置。
  8. 前記所定高点群抽出部は、
    地面からの高さが所定の高さ以上である各点を前記所定高点群として抽出する
    ことを特徴とする請求項7記載の俯瞰画像生成装置。
  9. 前記俯瞰画像生成装置は、
    前記三次元点群の各点が示す高さに基づいてCPUを用いて地面高を特定する地面高特定部を備え、
    前記所定高点群抽出部は、
    前記地面高特定部により特定された地面高に基づいて前記所定高点群を抽出する
    ことを特徴とする請求項4または請求項8記載の俯瞰画像生成装置。
  10. 前記地面高特定部は、
    前記三次元点群投影部により前記三次元点群の各点が投影された前記平面を所定の大きさで区分けした各区域の地面高を、当該区域に投影された前記三次元点群の各点が示す高さに基づいて特定し、
    前記所定高点群抽出部は、
    前記地面高特定部により特定された各区域の地面高に基づいて前記所定高点群を区域毎に抽出する
    ことを特徴とする請求項9記載の俯瞰画像生成装置。
  11. 前記地面高特定部は、
    第1の区域に投影された前記三次元点群の各点から高さの低い順に所定数の点を抽出し、抽出した所定数の点が示す高さに基づいて前記第1の区域の地面高を特定する
    ことを特徴とする請求項10記載の俯瞰画像生成装置。
  12. 前記地面高特定部は、
    前記第1の区域に投影された前記三次元点群の各点から高さが最も低い点を抽出し、抽出した点が示す高さを前記第1の区域の地面高とする
    ことを特徴とする請求項11記載の俯瞰画像生成装置。
  13. 前記地面高特定部は、
    前記三次元点群の各点が示す三次元座標に基づいて前記三次元点群から道路の縁石を表す各点を抽出し、抽出した各点が示す三次元座標に基づいて前記地面高を特定する
    ことを特徴とする請求項9記載の俯瞰画像生成装置。
  14. 前記地面高特定部は、
    前記抽出した各点が示す三次元座標に基づいて道路面を表す三次元方程式を算出し、算出した三次元方程式に基づいて道路面の高さを前記地面高として算出する
    ことを特徴とする請求項13記載の俯瞰画像生成装置。
  15. 前記地面高特定部は、
    前記三次元点群投影部により生成された俯瞰画像から道路両側で対になる2本の縁石部分を特定し、一方の縁石部分に投影された各点から少なくとも2点を抽出し、他方の縁石部分に投影された各点から少なくとも1点を抽出し、抽出した少なくとも3点を通る平面を表す三次元方程式を前記道路面を表す三次元方程式として算出し、算出した三次元方程式に基づいて道路面の高さを前記地面高として算出する
    ことを特徴とする請求項14記載の俯瞰画像生成装置。
  16. 前記俯瞰画像生成装置は、
    生成された俯瞰画像を表示装置に表示する俯瞰画像表示部と、
    前記俯瞰画像表示部により表示された俯瞰画像内で指定された画像部分に投影された点をCPUを用いて特定し、特定した点が計測された計測地点から撮影されたカメラ映像を
    表示装置に表示するカメラ映像表示部と
    を備えたことを特徴とする請求項1〜請求項15いずれかに記載の俯瞰画像生成装置。
  17. 前記三次元点群は、
    車両に設置されたレーザースキャナにより計測された各地点までの距離方位を示す距離方位点群に基づいて生成される
    ことを特徴とする請求項1〜請求項16いずれかに記載の俯瞰画像生成装置。
  18. 前記三次元点群の各点は、
    三次元座標と共に三次元座標が示す地点の地物の色を示す
    ことを特徴とする請求項1〜請求項17いずれかに記載の俯瞰画像生成装置。
  19. 地上の各地点の三次元座標を示す三次元点群を用いて地上の俯瞰画像を生成する俯瞰画像生成方法であり、
    三次元点群投影部が、前記三次元点群の各点が示す三次元座標に基づいて前記三次元点群の各点をCPU(Central Processing Unit)を用いて平面に投影して地上の俯瞰画像を生成する三次元点群投影処理
    を実行することを特徴とする俯瞰画像生成方法。
  20. 所定高点群抽出部が、前記三次元点群の各点が示す三次元座標に基づいて前記三次元点群から所定範囲内の高さを示す各点を所定高点群としてCPUを用いて抽出する所定高点群抽出処理を実行し、
    前記三次元点群投影部が、前記三次元点群投影処理として、前記所定高点群抽出部により前記三次元点群から抽出された所定高点群の各点が示す三次元座標に基づいて前記所定高点群の各点をCPUを用いて平面に投影して俯瞰画像を生成する
    ことを特徴とする請求項19記載の俯瞰画像生成方法。
  21. 点密度算出部が、前記三次元点群投影部により前記平面に投影された前記三次元点群の各点の点密度を前記平面を所定の大きさで区分けした区域毎にCPUを用いて算出する点密度算出処理を実行し、
    立設物特定部が、前記点密度算出部により算出された点密度に基づいて前記俯瞰画像から立設物が表示されている画像部分をCPUを用いて特定する立設物特定処理を実行し、
    立設物区別部が、前記立設物特定部により特定された画像部分を他の画像部分と区別して表わした俯瞰画像をCPUを用いて生成する立設物区別処理を実行する
    ことを特徴とする請求項19記載の俯瞰画像生成方法。
  22. 請求項19〜請求項21いずれかに記載の俯瞰画像生成方法をコンピュータに実行させる俯瞰画像生成プログラム。
JP2010526690A 2008-08-29 2009-08-24 俯瞰画像生成装置、俯瞰画像生成方法および俯瞰画像生成プログラム Active JP4832596B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010526690A JP4832596B2 (ja) 2008-08-29 2009-08-24 俯瞰画像生成装置、俯瞰画像生成方法および俯瞰画像生成プログラム

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2008221359 2008-08-29
JP2008221359 2008-08-29
PCT/JP2009/064700 WO2010024212A1 (ja) 2008-08-29 2009-08-24 俯瞰画像生成装置、俯瞰画像生成方法および俯瞰画像生成プログラム
JP2010526690A JP4832596B2 (ja) 2008-08-29 2009-08-24 俯瞰画像生成装置、俯瞰画像生成方法および俯瞰画像生成プログラム

Related Child Applications (2)

Application Number Title Priority Date Filing Date
JP2011159906A Division JP5058364B2 (ja) 2008-08-29 2011-07-21 俯瞰画像生成装置、俯瞰画像生成装置の俯瞰画像生成方法および俯瞰画像生成プログラム
JP2011159907A Division JP5319741B2 (ja) 2008-08-29 2011-07-21 俯瞰画像生成装置、地図データ生成システム、俯瞰画像生成装置の俯瞰画像生成方法および俯瞰画像生成プログラム

Publications (2)

Publication Number Publication Date
JP4832596B2 JP4832596B2 (ja) 2011-12-07
JPWO2010024212A1 true JPWO2010024212A1 (ja) 2012-01-26

Family

ID=41721380

Family Applications (4)

Application Number Title Priority Date Filing Date
JP2010526690A Active JP4832596B2 (ja) 2008-08-29 2009-08-24 俯瞰画像生成装置、俯瞰画像生成方法および俯瞰画像生成プログラム
JP2011159906A Expired - Fee Related JP5058364B2 (ja) 2008-08-29 2011-07-21 俯瞰画像生成装置、俯瞰画像生成装置の俯瞰画像生成方法および俯瞰画像生成プログラム
JP2011159907A Expired - Fee Related JP5319741B2 (ja) 2008-08-29 2011-07-21 俯瞰画像生成装置、地図データ生成システム、俯瞰画像生成装置の俯瞰画像生成方法および俯瞰画像生成プログラム
JP2013145240A Active JP5808369B2 (ja) 2008-08-29 2013-07-11 俯瞰画像生成装置、俯瞰画像生成方法および俯瞰画像生成プログラム

Family Applications After (3)

Application Number Title Priority Date Filing Date
JP2011159906A Expired - Fee Related JP5058364B2 (ja) 2008-08-29 2011-07-21 俯瞰画像生成装置、俯瞰画像生成装置の俯瞰画像生成方法および俯瞰画像生成プログラム
JP2011159907A Expired - Fee Related JP5319741B2 (ja) 2008-08-29 2011-07-21 俯瞰画像生成装置、地図データ生成システム、俯瞰画像生成装置の俯瞰画像生成方法および俯瞰画像生成プログラム
JP2013145240A Active JP5808369B2 (ja) 2008-08-29 2013-07-11 俯瞰画像生成装置、俯瞰画像生成方法および俯瞰画像生成プログラム

Country Status (6)

Country Link
US (1) US8665263B2 (ja)
EP (1) EP2320382A4 (ja)
JP (4) JP4832596B2 (ja)
KR (2) KR101269981B1 (ja)
CN (1) CN102138163B (ja)
WO (1) WO2010024212A1 (ja)

Families Citing this family (97)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2556339B8 (en) 2010-04-09 2018-12-26 TomTom Navigation B.V. Method and device for generating a cost function
CN101887596B (zh) * 2010-06-01 2013-02-13 中国科学院自动化研究所 树木点云数据基于分割和自动生长的三维模型重建方法
US8565958B1 (en) * 2011-06-02 2013-10-22 Google Inc. Removing extraneous objects from maps
GB201114591D0 (en) 2011-08-23 2011-10-05 Tomtom Int Bv Methods of and apparatus for displaying map information
CN102445186B (zh) * 2011-09-28 2013-06-05 中交第二公路勘察设计研究院有限公司 一种激光雷达扫描生成公路设计地表信息方法
GB201116960D0 (en) * 2011-09-30 2011-11-16 Bae Systems Plc Monocular camera localisation using prior point clouds
JP4948689B1 (ja) * 2011-10-06 2012-06-06 アジア航測株式会社 レーザオルソ画像生成装置及びそのプログラム
US9116011B2 (en) 2011-10-21 2015-08-25 Here Global B.V. Three dimensional routing
US8553942B2 (en) 2011-10-21 2013-10-08 Navteq B.V. Reimaging based on depthmap information
US9047688B2 (en) 2011-10-21 2015-06-02 Here Global B.V. Depth cursor and depth measurement in images
US9024970B2 (en) 2011-12-30 2015-05-05 Here Global B.V. Path side image on map overlay
US9404764B2 (en) * 2011-12-30 2016-08-02 Here Global B.V. Path side imagery
US8731247B2 (en) * 2012-01-20 2014-05-20 Geodigital International Inc. Densifying and colorizing point cloud representation of physical surface using image data
JP5823021B2 (ja) 2012-03-23 2015-11-25 三菱電機株式会社 配線ボックス
JP5947666B2 (ja) * 2012-08-21 2016-07-06 アジア航測株式会社 走行路上地物画像生成方法及び走行路上地物画像生成プログラム並びに走行路上地物画像生成装置
KR101394425B1 (ko) * 2012-11-23 2014-05-13 현대엠엔소프트 주식회사 지도 데이터 유지보수 장치 및 방법
US9398423B2 (en) * 2012-12-26 2016-07-19 Truemotion, Inc. Methods and systems for driver identification
CN103149569B (zh) * 2013-02-25 2014-12-10 昆山南邮智能科技有限公司 基于小波变换的激光雷达高压线识别方法
US11037319B2 (en) 2013-04-15 2021-06-15 X - Sight Systems Ltd. Contaminant detection and bird risk management at airports
US9858798B2 (en) 2013-05-28 2018-01-02 Aai Corporation Cloud based command and control system integrating services across multiple platforms
JP6006179B2 (ja) * 2013-06-20 2016-10-12 株式会社パスコ データ解析装置、データ解析方法、及びプログラム
US9449227B2 (en) * 2014-01-08 2016-09-20 Here Global B.V. Systems and methods for creating an aerial image
JP6389049B2 (ja) * 2014-03-17 2018-09-12 アジア航測株式会社 レーザ点群色付方法及びレーザ点群色付プログラム
JP6359868B2 (ja) * 2014-04-25 2018-07-18 東芝プラントシステム株式会社 3次元データ表示装置、3次元データ表示方法、及び3次元データ表示プログラム
WO2015198423A1 (ja) * 2014-06-25 2015-12-30 三菱電機株式会社 建築限界測定図の作成装置、建築限界測定図データの作成装置、建築限界測定図の作成方法、建築限界測定図および建築限界測定図データ
JP6432825B2 (ja) * 2014-08-22 2018-12-05 株式会社Ihi 3次元点群データの位置合わせ方法と装置及びその移動体システム
US9443312B2 (en) * 2014-08-29 2016-09-13 Leica Geosystems Ag Line parametric object estimation
US9693040B2 (en) 2014-09-10 2017-06-27 Faro Technologies, Inc. Method for optically measuring three-dimensional coordinates and calibration of a three-dimensional measuring device
US9602811B2 (en) 2014-09-10 2017-03-21 Faro Technologies, Inc. Method for optically measuring three-dimensional coordinates and controlling a three-dimensional measuring device
DE102014013678B3 (de) 2014-09-10 2015-12-03 Faro Technologies, Inc. Verfahren zum optischen Abtasten und Vermessen einer Umgebung mit einem Handscanner und Steuerung durch Gesten
US9671221B2 (en) 2014-09-10 2017-06-06 Faro Technologies, Inc. Portable device for optically measuring three-dimensional coordinates
DE102014013677B4 (de) * 2014-09-10 2017-06-22 Faro Technologies, Inc. Verfahren zum optischen Abtasten und Vermessen einer Umgebung mit einem Handscanner und unterteiltem Display
CN113643569B (zh) * 2014-10-30 2024-02-02 三菱电机株式会社 自动驾驶辅助系统
JP6435781B2 (ja) * 2014-10-31 2018-12-12 株式会社豊田中央研究所 自己位置推定装置及び自己位置推定装置を備えた移動体
US20160342861A1 (en) * 2015-05-21 2016-11-24 Mitsubishi Electric Research Laboratories, Inc. Method for Training Classifiers to Detect Objects Represented in Images of Target Environments
CN104864889B (zh) * 2015-05-29 2018-05-29 山东鲁能智能技术有限公司 一种基于视觉的机器人里程计校正系统及方法
JP6589410B2 (ja) * 2015-06-24 2019-10-16 株式会社豊田中央研究所 地図生成装置及びプログラム
US9830509B2 (en) 2015-06-29 2017-11-28 Nokia Technologies Oy Method and apparatus for constructing a digital elevation model utilizing ground points captured by ground-based LiDAR
CN105184852B (zh) * 2015-08-04 2018-01-30 百度在线网络技术(北京)有限公司 一种基于激光点云的城市道路识别方法及装置
JP6451544B2 (ja) * 2015-08-04 2019-01-16 日産自動車株式会社 道路境界検出装置、自己位置推定装置及び道路境界検出方法
JP6561670B2 (ja) * 2015-08-10 2019-08-21 日産自動車株式会社 段差検出装置及び段差検出方法
KR102360464B1 (ko) * 2015-08-31 2022-02-09 현대오토에버 주식회사 연결도로정보 획득 장치 및 방법
JP6062020B2 (ja) * 2015-11-18 2017-01-18 三菱電機株式会社 指定点投影方法、プログラムおよびコンピュータ
JP6906304B2 (ja) * 2015-12-30 2021-07-21 ダッソー システムズDassault Systemes 埋め込まれた周波数ベースの探索および3dグラフィカルデータ処理
CN105719284B (zh) * 2016-01-18 2018-11-06 腾讯科技(深圳)有限公司 一种数据处理方法、装置及终端
US20190056223A1 (en) * 2016-03-22 2019-02-21 Mitsubishi Electric Corporation Measuring apparatus
JPWO2017199333A1 (ja) * 2016-05-17 2019-03-14 パイオニア株式会社 情報出力装置、端末装置、制御方法、プログラム及び記憶媒体
CN106052697B (zh) * 2016-05-24 2017-11-14 百度在线网络技术(北京)有限公司 无人车、无人车定位方法、装置和系统
CN106097444B (zh) * 2016-05-30 2017-04-12 百度在线网络技术(北京)有限公司 高精地图生成方法和装置
CN107742091B (zh) * 2016-08-22 2019-01-29 腾讯科技(深圳)有限公司 一种路肩提取的方法及装置
CN107871129B (zh) * 2016-09-27 2019-05-10 北京百度网讯科技有限公司 用于处理点云数据的方法和装置
CN113008263B (zh) * 2016-11-01 2024-04-30 松下电器(美国)知识产权公司 数据生成方法及数据生成装置
CN108335337B (zh) * 2017-01-20 2019-12-17 高德软件有限公司 一种正射影像图的生成方法及装置
CN106791797A (zh) 2017-03-14 2017-05-31 京东方科技集团股份有限公司 一种双视显示的方法和装置
CN108732582B (zh) * 2017-04-20 2020-07-10 百度在线网络技术(北京)有限公司 车辆定位方法和装置
EP3460518B1 (en) * 2017-09-22 2024-03-13 Leica Geosystems AG Hybrid lidar-imaging device for aerial surveying
CN110073403A (zh) * 2017-11-21 2019-07-30 深圳市大疆创新科技有限公司 输出影像生成方法、设备及无人机
KR101910751B1 (ko) * 2017-11-22 2018-10-22 중앙대학교 산학협력단 건설 구조물의 구성요소 형상 특징을 고려한 3차원 데이터 획득 방법 및 시스템
CN109902542B (zh) * 2017-12-11 2023-11-21 财团法人车辆研究测试中心 三维感测器的动态地面侦测方法
KR101998396B1 (ko) * 2017-12-22 2019-07-09 한국기술교육대학교 산학협력단 3d 스캐너를 이용한 가상 벽면 기반의 작업 공간 모델링 방법 및 시스템
KR101998397B1 (ko) * 2017-12-22 2019-07-09 한국기술교육대학교 산학협력단 작업 공간 모델링에서 뎁스 이미지를 이용한 버텍스 최적화 방법 및 시스템
CN108319895B (zh) * 2017-12-29 2021-09-17 百度在线网络技术(北京)有限公司 用于识别电子地图中的路口的方法和装置
US20200014909A1 (en) 2018-07-03 2020-01-09 Faro Technologies, Inc. Handheld three dimensional scanner with autofocus or autoaperture
JP7204772B2 (ja) * 2018-10-23 2023-01-16 マクセル株式会社 ヘッドアップディスプレイシステム
KR20200046437A (ko) 2018-10-24 2020-05-07 삼성전자주식회사 영상 및 맵 데이터 기반 측위 방법 및 장치
CN111174777A (zh) * 2018-11-09 2020-05-19 阿里巴巴集团控股有限公司 定位方法、装置以及电子设备
JP2020204602A (ja) * 2018-11-20 2020-12-24 株式会社エムアールサポート オルソ画像作成システム、オルソ画像作成方法、それに使用される対空標識及び道路調査方法
CN111238494B (zh) * 2018-11-29 2022-07-19 财团法人工业技术研究院 载具、载具定位系统及载具定位方法
US11922659B2 (en) * 2018-11-29 2024-03-05 Nec Solution Innovators, Ltd. Coordinate calculation apparatus, coordinate calculation method, and computer-readable recording medium
JP7004636B2 (ja) * 2018-12-04 2022-01-21 三菱電機株式会社 表示データ生成装置、表示データ生成方法、および表示データ生成プログラム
US11665372B2 (en) * 2019-01-07 2023-05-30 Samsung Electronics Co., Ltd. Fast projection method in video-based point cloud compression codecs
JP7189029B2 (ja) * 2019-01-08 2022-12-13 朝日航洋株式会社 立面図作成方法
CN111771229B (zh) * 2019-01-30 2023-11-21 百度时代网络技术(北京)有限公司 用于自动驾驶车辆的点云重影效果检测系统
US10762690B1 (en) 2019-02-11 2020-09-01 Apple Inc. Simulated overhead perspective images with removal of obstructions
CN110111414B (zh) * 2019-04-10 2023-01-06 北京建筑大学 一种基于三维激光点云的正射影像生成方法
CN111829531A (zh) * 2019-04-15 2020-10-27 北京京东尚科信息技术有限公司 二维地图构建方法、装置、机器人定位系统和存储介质
CN110108259A (zh) * 2019-04-18 2019-08-09 中国科学院地理科学与资源研究所 一种野外地物的照片采集装置及信息测算方法
CN109991984B (zh) * 2019-04-22 2024-04-30 上海蔚来汽车有限公司 用于生成高精细地图的方法、装置和计算机存储介质
WO2020255548A1 (ja) * 2019-06-17 2020-12-24 株式会社エムアールサポート オルソ画像作成システム、オルソ画像作成方法、それに使用される対空標識及び道路調査方法
JP7441509B2 (ja) 2019-08-23 2024-03-01 株式会社エムアールサポート オルソ画像作成方法、オルソ画像作成システム、3次元モデル作成方法、3次元モデル作成システム及びそれに使用される標識
CN112634181A (zh) 2019-09-24 2021-04-09 北京百度网讯科技有限公司 用于检测地面点云点的方法和装置
CN110766798B (zh) * 2019-11-30 2023-02-14 中铁一局集团有限公司 一种基于激光扫描数据的隧道监控量测成果可视化方法
US11788859B2 (en) 2019-12-02 2023-10-17 Here Global B.V. Method, apparatus, and computer program product for road noise mapping
US11393489B2 (en) * 2019-12-02 2022-07-19 Here Global B.V. Method, apparatus, and computer program product for road noise mapping
KR102312892B1 (ko) * 2019-12-20 2021-10-15 재단법인대구경북과학기술원 도로 연석 검출 방법 및 장치
CN111210488B (zh) * 2019-12-31 2023-02-03 武汉中海庭数据技术有限公司 激光点云中道路立杆的高精度提取系统及方法
JP7122721B2 (ja) * 2020-06-02 2022-08-22 株式会社Zmp 物体検出システム、物体検出方法及び物体検出プログラム
CN111784834A (zh) * 2020-06-24 2020-10-16 北京百度网讯科技有限公司 一种点云地图生成方法、装置以及电子设备
JP2022016908A (ja) * 2020-07-13 2022-01-25 フォルシアクラリオン・エレクトロニクス株式会社 俯瞰画像生成装置、俯瞰画像生成システム及び自動駐車装置
CN111815772B (zh) * 2020-07-20 2023-06-23 云南财经大学 高原山地土地利用方法、系统、存储介质和计算机设备
KR102543871B1 (ko) * 2021-01-18 2023-06-20 네이버랩스 주식회사 도로정보 변화 영역 보완 방법 및 시스템
JP2022121049A (ja) * 2021-02-08 2022-08-19 トヨタ自動車株式会社 自己位置推定装置
CN113320518B (zh) * 2021-06-25 2022-06-03 东风汽车集团股份有限公司 一种坡道停车后防溜车方法及系统
WO2023067717A1 (ja) * 2021-10-20 2023-04-27 日本電気株式会社 施設点検表示装置、情報処理装置、施設点検表示方法及び非一時的なコンピュータ可読媒体
CN116109643B (zh) * 2023-04-13 2023-08-04 深圳市明源云科技有限公司 市场布局数据采集方法、设备及计算机可读存储介质
CN116342858B (zh) * 2023-05-29 2023-08-25 未来机器人(深圳)有限公司 物体检测方法、装置、电子设备及存储介质
CN117372273B (zh) * 2023-10-26 2024-04-19 航天科工(北京)空间信息应用股份有限公司 无人机影像的正射影像生成方法、装置、设备和存储介质

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10143659A (ja) * 1996-11-06 1998-05-29 Komatsu Ltd 物体検出装置
JP2003156330A (ja) * 2001-11-22 2003-05-30 Nec Corp 航空機搭載地形計測装置及び方法
US7242460B2 (en) * 2003-04-18 2007-07-10 Sarnoff Corporation Method and apparatus for automatic registration and visualization of occluded targets using ladar data
US8294712B2 (en) * 2003-09-19 2012-10-23 The Boeing Company Scalable method for rapidly detecting potential ground vehicle under cover using visualization of total occlusion footprint in point cloud population
CN1938738A (zh) * 2004-03-31 2007-03-28 日本先锋公司 地图生成装置及导航装置
CN100410622C (zh) * 2004-05-14 2008-08-13 佳能株式会社 用于获得目标物体的位置和方位的信息处理方法和设备
JP3966419B2 (ja) * 2004-12-15 2007-08-29 三菱電機株式会社 変化領域認識装置および変化認識システム
US20070065002A1 (en) * 2005-02-18 2007-03-22 Laurence Marzell Adaptive 3D image modelling system and apparatus and method therefor
JP2006323608A (ja) * 2005-05-18 2006-11-30 Kozo Keikaku Engineering Inc 立体構造物群モデル作成装置、立体構造物群モデル作成方法及び立体モデル作成システム
JP4619962B2 (ja) 2006-02-15 2011-01-26 三菱電機株式会社 路面標示計測システム、白線モデル計測システムおよび白線モデル計測装置
US7822266B2 (en) * 2006-06-02 2010-10-26 Carnegie Mellon University System and method for generating a terrain model for autonomous navigation in vegetation
CA2678156C (en) 2007-02-16 2013-10-08 Mitsubishi Electric Corporation Measurement apparatus, measurement method, and feature identification apparatus
CA2725800A1 (en) * 2008-07-31 2010-02-04 Tele Atlas B.V. Method of displaying navigation data in 3d

Also Published As

Publication number Publication date
US20110164037A1 (en) 2011-07-07
JP4832596B2 (ja) 2011-12-07
EP2320382A4 (en) 2014-07-09
KR101319471B1 (ko) 2013-10-17
CN102138163B (zh) 2014-04-30
EP2320382A1 (en) 2011-05-11
JP2011233165A (ja) 2011-11-17
US8665263B2 (en) 2014-03-04
JP5319741B2 (ja) 2013-10-16
JP2012018170A (ja) 2012-01-26
US20110310091A2 (en) 2011-12-22
KR20110033859A (ko) 2011-03-31
JP5058364B2 (ja) 2012-10-24
WO2010024212A1 (ja) 2010-03-04
JP2013225336A (ja) 2013-10-31
KR20120132704A (ko) 2012-12-07
KR101269981B1 (ko) 2013-05-31
CN102138163A (zh) 2011-07-27
JP5808369B2 (ja) 2015-11-10

Similar Documents

Publication Publication Date Title
JP5808369B2 (ja) 俯瞰画像生成装置、俯瞰画像生成方法および俯瞰画像生成プログラム
JP5435306B2 (ja) 画像処理システム及び位置測位システム
US8571265B2 (en) Measurement apparatus, measurement method, and feature identification apparatus
JP5062498B2 (ja) 風景マッチング用参照データ生成システム及び位置測位システム
US20090046093A1 (en) Map display device and map display method
CN101681525A (zh) 产生多视点全景图的方法及设备
JP5339953B2 (ja) 三次元地図補正装置及び三次元地図補正プログラム
JP2011227037A (ja) 画像処理システム及び位置測位システム
JP2008139295A (ja) カメラを用いた車両用ナビゲーションの交差点案内装置及びその方法
JP2011215974A (ja) 画像処理システム
JP2010249709A (ja) 断面計測装置、断面計測方法および断面計測プログラム
JP2010271162A (ja) 道路レーンデータ生成装置、道路レーンデータ生成方法および道路レーンデータ生成プログラム
EP3827222B1 (en) Method and device for navigating two or more users to a meeting location
JP5177579B2 (ja) 画像処理システム及び位置測位システム
JP5333861B2 (ja) 風景画像認識を用いた自車位置検出システム
EP2816531A1 (en) 3-dimensional map view with background images
JP2014232196A (ja) ナビゲーション装置、道路地図作成方法および道路地図作成プログラム

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110823

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110920

R150 Certificate of patent or registration of utility model

Ref document number: 4832596

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140930

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250