JP5324240B2 - 路面標示地図生成方法及び路面標示地図生成装置 - Google Patents
路面標示地図生成方法及び路面標示地図生成装置 Download PDFInfo
- Publication number
- JP5324240B2 JP5324240B2 JP2009017432A JP2009017432A JP5324240B2 JP 5324240 B2 JP5324240 B2 JP 5324240B2 JP 2009017432 A JP2009017432 A JP 2009017432A JP 2009017432 A JP2009017432 A JP 2009017432A JP 5324240 B2 JP5324240 B2 JP 5324240B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- road
- path
- road surface
- points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 341
- 238000012545 processing Methods 0.000 claims abstract description 204
- 238000003384 imaging method Methods 0.000 claims abstract description 7
- 230000008569 process Effects 0.000 claims description 238
- 238000005520 cutting process Methods 0.000 claims description 44
- 239000002131 composite material Substances 0.000 claims description 22
- 238000006243 chemical reaction Methods 0.000 claims description 19
- 238000003860 storage Methods 0.000 claims description 14
- 239000000284 extract Substances 0.000 claims description 12
- 238000002156 mixing Methods 0.000 claims description 2
- 230000008878 coupling Effects 0.000 abstract 3
- 238000010168 coupling process Methods 0.000 abstract 3
- 238000005859 coupling reaction Methods 0.000 abstract 3
- 239000013598 vector Substances 0.000 description 70
- 239000003973 paint Substances 0.000 description 62
- 238000000605 extraction Methods 0.000 description 26
- 238000005259 measurement Methods 0.000 description 25
- 239000000470 constituent Substances 0.000 description 24
- 238000012937 correction Methods 0.000 description 21
- 238000010586 diagram Methods 0.000 description 17
- 238000007781 pre-processing Methods 0.000 description 16
- 230000015572 biosynthetic process Effects 0.000 description 13
- 238000003786 synthesis reaction Methods 0.000 description 13
- 102220548976 Protein Bop_P40A_mutation Human genes 0.000 description 12
- 230000002194 synthesizing effect Effects 0.000 description 11
- 230000009466 transformation Effects 0.000 description 11
- 241000283070 Equus zebra Species 0.000 description 10
- 238000001914 filtration Methods 0.000 description 10
- 230000008901 benefit Effects 0.000 description 9
- 230000008859 change Effects 0.000 description 9
- 238000013500 data storage Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 8
- 238000010191 image analysis Methods 0.000 description 8
- 239000011159 matrix material Substances 0.000 description 8
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 7
- 241000763859 Dyckia brevifolia Species 0.000 description 7
- 238000011156 evaluation Methods 0.000 description 7
- 239000000203 mixture Substances 0.000 description 7
- 102200150062 rs121909262 Human genes 0.000 description 7
- 101000691163 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) 60S ribosomal protein L43-A Proteins 0.000 description 6
- 101000691165 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) 60S ribosomal protein L43-B Proteins 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000005452 bending Methods 0.000 description 5
- 230000033228 biological regulation Effects 0.000 description 5
- 230000007423 decrease Effects 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 5
- 239000003550 marker Substances 0.000 description 5
- 238000000926 separation method Methods 0.000 description 5
- 230000008719 thickening Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000013519 translation Methods 0.000 description 4
- 101100497196 Arabidopsis thaliana CPN60B1 gene Proteins 0.000 description 3
- 101000611618 Homo sapiens Photoreceptor disk component PRCD Proteins 0.000 description 3
- 102100040826 Photoreceptor disk component PRCD Human genes 0.000 description 3
- 101500019086 Ustilago maydis P6 virus KP6 killer toxin subunit alpha Proteins 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 238000013075 data extraction Methods 0.000 description 3
- 230000012447 hatching Effects 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 241000283086 Equidae Species 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 230000002411 adverse Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000000593 degrading effect Effects 0.000 description 2
- 238000010790 dilution Methods 0.000 description 2
- 239000012895 dilution Substances 0.000 description 2
- 238000010422 painting Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000010187 selection method Methods 0.000 description 2
- 241001290864 Schoenoplectus Species 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 229910003460 diamond Inorganic materials 0.000 description 1
- 239000010432 diamond Substances 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000011049 filling Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000009931 harmful effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000011158 quantitative evaluation Methods 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 238000003892 spreading Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000011282 treatment Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Landscapes
- Image Analysis (AREA)
- Instructional Devices (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
Description
特許文献1は、車両の前後又は側方に対してデジタルカメラ等により取得された画像から、路面の標示を含む静止画像を生成する技術を開示している。この技術では、目的の道路を車両で走行しながら、その車両に搭載されたデジタルカメラで路面の標示等を撮影する。そして、動画を構成する各フレーム画像を真上から見た状態の正射画像に変換し、撮影位置に応じて配列する。正射画像とは、道路の垂直上方の無限遠点に視点を置いた場合の道路画像をいう。複数のフレーム画像を配列することによって、1回の走行の軌跡に沿った道路面の合成画像を得ることができる。
例えば、道路内部の各地点の位置座標が詳細に得られている地図データが存在すれば、車両の現在位置に応じて、車両が道路のどの車線を走行しているかを判断して、車線変更の案内を行うことや、車両に横断歩道が接近していることを警告するなどの高機能な案内を実現することが可能となる。
しかし、従来の地図データは、これらの高精度、高機能な案内を実現するためには不十分な精度しか有していなかった。仮に車両の現在位置を精度良く把握したとしても、その位置情報を活かすだけの詳細な地図データが用意されていたとはいえなかった。
しかし、上述した従来技術は、いずれも道路面の合成画像を得ることを主目的としており、路面の標示の位置座標を得ることを目的としてはいなかった。
例えば、特許文献2の技術は、道路が直線か曲線かにかかわらず車両の進行方向をX軸とし、その移動距離をX座標として画像を表しているに過ぎず、このX軸に直交する方向にのみ画像をアフィン変換するに過ぎない。複数の走行レーンの画像について、このように定められたX座標が十分に一致しているという保証はないから、特許文献2の技術では路面の標示の位置座標を精度良く得ることはできない。
一方、特許文献1記載の技術は、一本の移動軌跡について得られている画像に対する処理を開示しているのみであり、1回の撮影幅は1車線分程度に限られているから、幅広の道路では、道路全体を十分にカバーすることができない。
本発明では、まず、コンピュータは、標示が施された道路面の連続画像の画像データ、およびこの画像データの撮影位置を表す位置座標データを取得する。複数のフレーム画像で構成される画像データおよび当該画像データにおける各フレーム画像の撮影位置を示す位置座標データは、路面標示地図の生成対象となる道路面と、生成対象外であるその他の道路面とを混在して撮影してあるものとする。
次に、コンピュータは、生成対象となる道路面に対応する領域を包含する切出用ポリゴンを入力又は生成して、記憶部に記憶する。この記憶部は、例えば、コンピュータに内蔵されているハードディスク等である。切出用ポリゴンは、オペレータによって指定されたものを入力してもよいし、コンピュータにより自動生成してもよい。また、切出用ポリゴンは、生成対象となる道路面に対応する道路ネットワークデータのリンクを対称軸とした矩形状の矩形ポリゴンを含む。
そして、コンピュータは、位置座標データが切出用ポリゴンの領域内に存在する画像データを抽出して、連続するフレーム画像として前記記憶部に記憶する。この記憶部は、上述の切出用ポリゴンを記憶した記憶部と物理的に異なるものであってもよい。
上述の方法によれば、生成対象外の画像データが排除されて、位置座標データが切出用ポリゴンの領域内に存在する画像データ等を自動的に抽出することができる。そのため、撮影者が道路を走行する際の自由度が増し、撮影時の負荷が軽減される。また、生成対象となる道路の画像データを抽出する際のオペレータの負荷も軽減される。
上述の画像データは、例えば、車両などの移動体に搭載した撮影装置によって撮影することができる。撮影装置としては、例えば、ディジタル・ビデオ・カメラなどを用いることができる。また、撮影装置には、撮影時の位置座標データを取得する位置計測装置を搭載しておくことが好ましい。位置計測装置は、例えば、GPS(Global Positioning System)や、ジャイロなどの慣性航法装置などを単独又は組み合わせて用いることができる。また、処理の便宜上、撮影した画像と位置座標データとを入力し、両者を同期させて記録する記録装置を用意しておくことが好ましい。
そして、こうして得られた正射画像を位置座標データに基づいて道路面を表す連結画像を生成する。この際、正射画像の一部が重なってもよい。正射画像は、例えば、その中心線が後述するパスの進行方向に沿う状態で配置することが好ましい。
次に、コンピュータは、連続するフレーム画像に対応する位置座標データの点列を接続したラインをパスとして定義する。「パス」は、路面標示地図を生成する対象となっている道路において、任意の始点から任意の終点までを連結した架空のラインと表現することもできる。なお、実施例においては、実際に走行した道路の走行軌跡についても便宜的に「パス」と表現している場合もある。
こうすることで連結画像がパスの本数分だけ得られる。なお、それぞれ位置座標に誤差が含まれるため、複数本の連結画像は、誤差に応じて、ずれた状態で表示される。撮影対象が複数車線の道路である場合、車線ごとに移動して撮影してもよいし、いずれかの車線上を複数回移動して撮影してもよい。
この補正は、例えば移動ベクトルに基づいて行う。具体的には、連結画像を構成する領域ごとに平行移動することによって行う。この領域は、一旦、生成された連結画像を元の正射画像に相当するサイズ又は別の任意に設定されたサイズに分割したものでもよい。また、連結画像を生成する際に、正射画像を合成せずに配置するだけに留めておく場合には、正射画像ごとに位置を修正するようにしてもよい。
本発明の路面標示地図生成方法によれば、撮影時の位置座標データに基づいて各パスの路面を表す連結画像を生成することができるため、位置精度が確保された状態で連結画像を得ることができる。そして、複数のパスに存在する対応点が一致するように修正することによって、パス間の位置の誤差を解消することができる。
更に、各パスの合成に使用する対応点は、コンピュータが画像処理によって抽出した特徴点に基づき設定することができる。このため、オペレータが逐一、対応点を指定する必要がなく、軽い処理負荷で合成を行うことができる。もっとも、対応点の特定は、完全に自動化する必要はなく、コンピュータが特定した対応点に対し、オペレータが一部を修正、削除したり、他の対応点を追加したりできるようにしてもよい。
以上の作用によって、本発明によれば、撮影時の位置精度を確保した状態で、路面の標示を含む合成画像を得ることができる。従って、この合成画像を用いることにより、路面の標示を含む路面標示地図を生成することが可能となる。ここで、路面標示地図は、この合成画像を用いた印刷物として生成してもよいし、合成画像に基づき路面標示の位置座標を取得して、電子化することにより、電子地図として生成してもよい。
このように自動生成することにより、次に示すように、切出用ポリゴンを入力するオペレータの負担をより軽減することができるとともに、切出処理を安定的に実行することができる利点がある。なぜなら、切出処理の精度は、切出用ポリゴンの形状に依存する。例えば、切出用ポリゴンが生成対象となる道路面の領域を包含できていない場合、この欠けている部分では、本来、抽出されるべきデータが抽出されずに欠落してしまう。また、切出用ポリゴンが生成対象となる道路面よりも過大な場合には、生成対象となる道路と無関係の道路面についてのデータが誤って抽出されてしまう。上述の方法で切出用ポリゴンを自動生成すれば、オペレータの負担を軽減するだけでなく、これらの誤りを回避できるため、切出処理の安定化を図ることができる。
かかる方法では、補助ポリゴンによって凹部を埋めるため、道路面に沿う形状で、道路面を包含する切出用ポリゴンを生成することができる。
まず、各パスに対応する連結画像の解析に基づいて撮影位置を求める。このように画像解析によって得られた撮影位置に基づき、撮影時に取得された位置座標データの位置精度の評価を行う。そして、所定の位置精度以下となる連結画像の位置座標データについては、解析によって得られた撮影位置に基づいて修正する。こうすることにより連結画像の位置精度を確保することができるから、対応点が誤って特定される可能性を抑制できる。
まず、1の道路を構成する複数の車線に対応するパスに共通して含まれる道路との位置関係が固定された所定の地物を撮影したフレーム画像を抽出する。そして、パスについて、抽出されたフレーム画像内での地物の2次元座標値と、撮影時の画角および撮影方向を含む撮影パラメータとに基づいて、地物と撮影位置との相対的な位置関係を求める。そして、パスについて得られた位置関係を用いればパス間の距離を算出することができる。
一方、道路の撮影時に得られた位置座標データに基づいて、パス間の距離を求めることもできる。
位置座標データが十分な位置精度であれば画像解析から得られたパス間の距離と、位置座標データから得られたパス間の距離は、概ね一致するはずである。従って、両者の比較によって位置座標データの位置精度を評価することができる。この結果、所定の位置精度に満たないと評価されたパスについては、画像解析から得られた位置関係に基づいて、位置座標を修正する。
ここでは、フレーム画像の解析から撮影位置を求める方法を採ったが、例えば、パスの連結画像を用いて固定の地物とパスの位置関係を求め、パス間の距離を算出するようにしてもよい。
なお、信号機を固定の地物として用いる場合には、位置関係の算出には、フレーム画像を用いることが好ましい。連結画像のように真上から見た状態の画像では、信号機を明瞭に認識することは困難だからである。
また、本発明では、道路面を撮影した画像を対象としているため、各パスの連結画像に含まれる路面に描かれた標示の種別および位置を認識し、複数のパス間で、認識された同一種別の標示の特徴点に基づいて対応点を特定してもよい。
こうすることにより、簡易かつ精度良く特徴点を抽出することが可能となる。
まず、二次元平面において予め設定された方向に、パス上の基準点からの距離を表す直線状の距離軸を定義する。この距離軸は、パターンマッチング用に用意されたパターンを配置するのに適した方向に定義する。そして、パスに沿った基準点からの距離に基づいて、フレーム画像を真上から見た状態に変換して得られた正射画像を距離軸上に配置することにより、各パスの路面を表す直線状の連結画像を生成する。こうして得られた連結画像に基づいて、路面に描かれた標示の種別および位置を認識する。こうすることにより、パターンマッチングの精度を向上させることができる。
まず、特定された対応点のうち、パスごとに、そのパスから予め設定されている距離内にある対応点の集合を求める。つまり、多数得られた対応点のうち、第1のパスに対して比較的近傍(上記距離内)にある対応点のみを選択し、これを第1のパスに対するグループとして関連づける。また、第2のパスに対しても同様に、第2のパスの比較的近傍にある対応点のみでグループを形成する。なお、この距離についても任意に設定可能である。
こうすることにより、第1のパス又は第2のパスに近い対応点のみを用いて合成画像が生成されることになる。こうすることによって、パスの平行移動の精度を、パスに沿ってほぼ均一に保つことができ、違和感のない合成画像を生成することが可能となる。
仮に、かかる取捨選択を行わずに合成画像を生成すると、第1のパスの近傍にある対応点と、そうでない対応点とが混在した状態で平行移動がなされるため、その精度がパスに沿ってまちまちとなり、平行移動後は、パスの形状がいびつに歪んでしまうなど、違和感のある合成画像となる場合がある。
フレーム画像の撮影位置はパスに沿って連続的に位置する訳ではなく間欠的に配置されている。このように配置される撮影位置のうち、CPUは、各パスに対して、抽出された各対応点の直前直後に位置する撮影位置を求め、これらの撮影位置を包含するポリゴンを求める。第1の対応点を第1および第2のパスに投影し、それぞれのパスについて、その直前直後の撮影位置(合計4点)を求め、第2の対応点についても同様にして撮影位置を求める。そして、これらの8点の撮影位置を包含するポリゴンを求める。
対応点ごとに、上述のポリゴンが得られると、次に、このポリゴン同士が重なる箇所では、いずれか一組の対応点を残し、他の対応点を削除する。いずれの対応点を残すかは、任意の方法を採ることができる。例えば、それぞれのパスに対する距離が最短となるものを残してもよいし、パスに沿う方向に前側に位置するもの、又は後ろ側に位置するものを残すようにしてもよい。
本発明は、必ずしも上述した特徴を全て備えている必要はなく、適宜、その一部を省略してもよいし、いくつかの特徴を適宜、組み合わせて備えるようにしてもよい。
本発明は、上述の路面標示地図生成方法に限らず、この生成方法によって道路面に施された標示を含む路面標示地図を生成する路面標示地図生成装置として構成してもよい。
また、上述の生成方法をコンピュータに実現させるためのコンピュータプログラムとして構成してもよいし、かかるコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体として構成してもよい。記録媒体としては、例えば、フレキシブルディスクやCD−ROM、光磁気ディスク、ICカード、ROMカートリッジ、パンチカード、バーコードなどの符号が印刷された印刷物、コンピュータの内部記憶装置(RAMやROMなどのメモリ)および外部記憶装置等、コンピュータが読み取り可能な種々の媒体を利用できる。
A.システム構成:
A1.道路面撮影システム:
A2.路面標示地図生成装置:
B.処理概要:
B1.中間データ構成:
B2.処理例:
B3.位置合わせ加工概要:
C.路面標示地図生成方法:
C1.連結画像生成処理:
C2.位置合わせ加工:
C3.基準パス設定処理:
C4.連結画像移動処理:
C5.透明化ポリゴン設定処理:
D.自動位置合わせ処理:
D1.画像前処理:
D2.処理領域設定:
D3.対応点フィルタリング処理:
E.他の実施例:
E1.フレームデータ読み込み処理:
E2.特徴点抽出処理:
E3.対応点探索処理:
本実施例では、車両に搭載したビデオカメラで撮影した道路面の画像を用いて、路面の標示を含む地図(以下、「路面標示地図」と呼ぶ)を生成する方法を示す。
本実施例のシステムは、道路面撮影システムと路面標示地図生成装置とを備える。道路面撮影システムは、道路を走行しながら道路面の画像をビデオカメラで撮影するシステムである。本実施例では、対象となる道路を、異なる走行軌跡で複数回走行し、それぞれ画像を撮影する。
路面標示地図生成装置は、道路面撮影システムで撮影された道路面の画像に基づいて路面標示地図を生成する装置である。まず、上述の各走行軌跡上に、撮影された画像を正射画像に変換した上で配置することで、道路面の一部の車線についての画像を生成する。そして、複数の走行軌跡の画像を、位置座標が整合するように配置することで道路全体の画像を生成する。
以下、道路面撮影システムと路面標示地図生成装置のシステム構成について説明する。
図1に示すように、道路面撮影システム100は、車両に搭載されたシステムである。ビデオカメラ120は、走行中の道路面の画像を撮影する。位置計測部110は、撮影中の位置座標を計測する装置である。位置計測部110は、GPS(Global Positioning System)114、IMU(InertialMeasurement Unit)116、DMI(Distance Measuring Instrument)118およびコントローラ112を備える。GPS114は、全地球測位システムである。IMU116は、内部に3軸のジャイロおよび加速度センサを備えた慣性計測装置である。DMI118は、車輪の回転を検出して移動距離を計測する装置である。
また、これらの信号の取得後、位置座標の計測精度の評価値である自己推定位置精度σを併せて出力する。一般にGPS114は、位置座標の検出に使用される人工衛星の配置、電波の受信状況、建造物などに反射した電波を受信することによるマルチパスの有無などによって検出精度が変動することが知られている。またディファレンシャル測位では、基準局の稼働状況によっても検出精度は影響を受ける。
自己推定位置精度σは、任意に定義可能である。例えば、GPS114の人工衛星の配置によって定まる精度低下率(DOP(Dilution of Precision))を用いて自己推定位置精度σを算出するようにしてもよい。また、自己推定位置精度σは、取得されたデータを後述する路面標示地図生成装置で処理する際に、解析するようにしてもよい。
ビデオカメラ120は、前方画像を撮影できるよう、車両の前方に設置する。画角を広げるために広角レンズを装着してもよい。
GPS114のアンテナ114Aは、車両のルーフ上部に設置する。本実施例では、GPS用の人工衛星からの電波を確実に受信し、十分な位置精度を確保することができるよう、アンテナ114Aを車両の前後に主副の2台設置した。いずれか一台のみを用いるものとしてもよい。
IMU116、DMI118、コントローラ112は、それぞれ車両の後部に設置した。DMI118は、後輪の回転を検出可能に装着されている。
記録装置130およびハードディスク140は車室内の任意の場所に設置可能であるため、図示を省略した。
図2に示す路面標示地図生成装置は、道路面撮影システムで撮影された道路面の画像に基づいて路面標示地図を生成するための装置である。本実施例では、完全に自動で路面標示地図を生成するのではなく、適宜、オペレータからのコマンドによる指示を受けながら対話型又は半自動で処理を進める方法を採用した。
図2には、路面標示地図生成装置200の機能ブロックを示した。本実施例では、路面標示地図生成装置200は、図示する各機能を実現するためのコンピュータプログラムを、汎用のパーソナルコンピュータにインストールすることによってソフトウェア的に構築した。これらの機能ブロックの一部は、OS(Operating System)によって提供してもよい。また、これらの機能ブロックは、それぞれハードウェア的に構成することも可能である。また、ここでは説明の便宜上、スタンドアロンで稼働する装置として説明するが、各機能ブロックをネットワークで接続された複数のコンピュータに分散して用意してもよい。
表示制御部203は、コンピュータのディスプレイに、路面標示地図生成装置200での処理結果を表示したり、オペレータが種々のコマンドを指示するための画面を表示したりする。コマンド入力部202、表示制御部203の機能は、コンピュータのOS(Operating System)によって提供してもよい。
もっとも、基準局からのデータを用いることは必須ではない。計測データ146で得られた位置座標をそのまま用いるものとしてもよい。かかる場合には、軌跡データ算出部205は省略することも可能である。
連結画像生成部としての1パス合成部207は、画像変換部206によって得られた各フレーム画像の正射画像を、その正射画像内の代表点が、撮影時の位置座標に基づいて定まる位置座標に来るように配置することによって、撮影時の走行軌跡に沿った道路面の画像を合成する。こうして合成された画像を、連結画像と呼ぶものとする。合成された連結画像は、記憶部としての処理データ記憶部210に保存される。
本実施例では、それぞれの道路に対して、異なる走行軌跡で、複数回走行して、撮影を行う。1パス画像合成部207は、それぞれのパスごとに合成画像を生成する。この結果、連結画像は、パスの本数に応じて、複数生成される。
なお、撮影対象が複数車線の道路である場合、車線ごとに1回ずつ移動して撮影してもよいし、いずれかの車線上を複数回移動して撮影してもよい。前者の場合は、車線とパスとが1対1に対応することになる。後者の場合は、パスと車線とが複数対1に対応することになる。本実施例では、特に断らない場合には、各車線について1回ずつ走行した場合、つまり車線とパスとが1対1に対応している場合を例にとって説明する。
位置合わせで得られた道路画像は、処理データ記憶部210に保存される。
対応点特定部および豪勢画像生成部として機能する自動位置合わせ処理部222は、上述の位置合わせ処理部220の機能を自動で行う。自動位置合わせ処理部222と位置合わせ処理部220とを併用しているのは、連結画像が自動処理に適さない場合には、オペレータが手動で位置合わせ処理を行うことができるようにしておくのが好ましいからである。
路面標示地図生成装置は、以上で生成された道路画像に基づいて路面標示地図を出力することができる。例えば、道路画像を印刷可能なファイルとして出力してもよい。また、路面標示地図を電子地図として生成するように、道路画像を電子データとして出力してもよい。また、これらの出力に先立って、道路画像に基づいて路面標示の位置座標や形状データを取得する処理を行うようにしてもよい。
B1.中間データ構成:
図3に示す路面標示地図の生成過程における中間データは、順次、処理データ記憶部210(図2参照)に記憶される。本実施例では、道路を走行しながらビデオカメラ120および位置計測部110で取得したデータが記録装置130としてのパーソナルコンピュータによってハードディスク140内に格納されている。格納されるデータとしては、画像データ142、計測データ146、および両者の同期をとるための同期データ144がある。
本実施例では、各道路を複数回走行して、道路面の画像を撮影する。従って、路面軌跡データ210bおよび路線軌跡データ210bは、各道路に対して複数パス分、生成されることになる。
連結画像210dは、路面テクスチャ210cを結合した一つの画像ファイルとして生成することもできる。本実施例では、後に続く処理の便宜上、合成画像として生成するのではなく、路面テクスチャ210cを配置して連結画像210dを生成するための情報(以下、「登録データ」と呼ぶこともある)を、路面テクスチャ210cの各画像と対応づけて格納するものとした。かかる情報には、路面テクスチャ210cを配置する位置座標、配置する際の姿勢(角度)、および隣接する路面テクスチャ210cを特定する情報、隣接する路面テクスチャ210cとの上下関係などを含めることができる。
道路画像210eについても、合成画像として生成してもよいし、路面テクスチャ210cを配置して道路画像210eを生成するための情報を、路面テクスチャ210cの各画像と対応づけて格納するようにしてもよい。本実施例では、後者の方法を採用した。それぞれの路面テクスチャ210cを配置する位置座標、配置する際の姿勢(角度)などの情報は、道路画像用登録データ210fとして保存されている。また、位置合わせの過程で、路線軌跡データ210bに対して、位置誤差を修正する処理が施されるため、この原データに対する修正過程を表す情報を、軌跡用登録データ210gとして保存する。
次に、本実施例における処理の概要理解を容易にするため、処理例を示す。
図4(a)中の直線L41〜L44は、それぞれ道路面撮影システム100で走行しながら道路画像を撮影した際の走行軌跡を表している。図4(a)のPIC41は、パスL43を走行して得られた画像データに基づいて生成された連結画像である。本実施例では、広角レンズを用いて撮影しているため、1回のパスでも複数車線を覆うだけの連結画像を得ることができている。連結画像の両端が、のこぎり刃状にギザギザになっているのは、画像データの各フレームを正射投影した際に生じる形状歪みの影響である。この連結画像PIC41は、ギザギザの山数に応じたフレーム数の正射画像(路面テクスチャ)を配置して生成されている。
このような連結画像は、図中のパスL41〜L44のそれぞれに対して得られる。
図5は位置合わせ加工の概要を示す説明図である。本実施例では、複数の連結画像に共通して撮影されている対応点の位置を合わせるように、連結画像を平行移動することによって位置合わせを行う。本実施例では、対応点を自動認識して位置合わせする方法と、オペレータが対応点を標示に基づいて指定して位置合わせを行う方法の双方を採ることができる。以下では、まずオペレータが対応点を指示した場合を例にとって処理内容を説明する。
図5(a)には対応点が1つだけ指定された場合の処理方法を示した。図中には、2本の連結画像PIC51、PIC52が描かれている。これらには、それぞれ菱形の標示、つまり横断歩道の予告標示が含まれている。ただし、図5(a)左側の状態では、連結画像PIC51、PIC52には相対的に位置誤差があるため、標示の位置がずれている。
この際、連結画像PIC51、PIC52の一方を基準とし、他方を平行移動する方法を採った。図の例では、連結画像PIC51を基準とし、連結画像PIC52を移動させた例を示している。このように移動することにより、予告標示のずれが解消した状態の道路画像PIC53を得ることができる。
この状態で、オペレータが、2組の対応点を指定したとする。対応点P54、P53の組と、対応点P56、P55の組である。連結画像PIC54では、連結画像PIC55に含まれる予告標示M52は全体が描かれており、連結画像PIC54に含まれる予告標示M51は一部が消えている。このような状態であっても、対応点P55、P56が対応することは明らかであるため、対応点として指定することは可能である。
このように複数組の対応点が指定されると、連結画像PIC54を基準として、それぞれの対応点が一致するように、連結画像PIC55を移動させる。ただし、対応点P53をP54に一致させるための第1の移動量と、対応点P55をP56に一致させるための第2の移動量とが同じであるとは限らない。そこで、対応点P53とP55との間の領域では、第1の移動量、第2の移動量を直線補間して、各点の移動量を設定する。こうすることにより、予告標示のずれが解消した状態の道路画像PIC56を得ることができる。
この例では、連結画像PIC54中の予告標示M51は半分が欠けている。この状態で位置合わせを行うと、この例では、連結画像PIC54をPIC55の上側に重ねるように表示しているから、連結画像PIC55の予告標示M52は、連結画像PIC54によって覆い隠されてしまう。この結果、連結画像PIC55では完全な状態で描かれている標示M52を道路画像PIC56で活かすことができない。
そこで、このような場合に、オペレータの指示によって予告標示M52を取り囲むように透明化ポリゴンTP50を設定する。透明化ポリゴンTP50が設定された箇所では、上側の連結画像が透明化され、切り取られたように表示される。この結果、透明化ポリゴンTP50の部分では、連結画像PIC54の下側に配置された連結画像PIC55に描かれている予告標示M52が表示される。
本実施例では、このように透明化ポリゴンを設定可能とすることによって、それぞれの連結画像で描かれている標示を、道路画像においても有効活用することができる。
本実施例では、複数のパス間の位置合わせを行う際には、いずれか一つのパスを基準パスに設定し、他のパスを平行移動して基準パスに合わせる。基準パス以外のパスを、以下、標準パスと呼ぶものとする。基準パスおよび標準パスは、任意の方法で設定可能であるが、本実施例では、後述する通り、位置精度が高いものを基準パスとして設定している。
横の道路については、区間D61ではパスBP63bとNP61bのうち位置精度が高い側を基準パスとし、区間D62についてはBP64bとNP61bのうち位置精度が高い側を基準パスとする。ここでは、それぞれパスBP63b、BP64bが基準パスとして設定されているものとする。更に、パスBP63b、BP64b間の位置精度を比較して、優劣を決める。パスBP63b、BP64bはそれぞれ区間D61、D62の基準パスではあるが、一本の道路に配置された連続するパスなので、これらのパス間でも位置合わせを行う必要があるからである。図6の例では、パスBP63bの方が、パスBP64bよりも位置精度が高いものとする。
この結果、横のパスについては、基準パスBP63b>基準パスBP64b>標準パスNP61bの順に位置合わせの優先度が定まる。
まず、基準パスBP63bの位置合わせを行う。オペレータの指示によって、基準パスBP63b上の対応点P63bが指定され、その本来の位置として、点P63aが指定されたとする。この結果、基準パスBP63bは、対応点P63bが、点P63aに一致するように移動され、実線で示した基準パスBP63aが得られる。
図示を省略したが、基準パスBP63bに対応した連結画像も基準パスBP63aに合わせて移動する。本実施例では、基準パスBP63bに沿って路面テクスチャを配置することによって連結画像を表示しており、これらの路面テクスチャを合成してはいない。従って、基準パスBP63aへの移動が行われた場合には、基準パスBP63aに沿うように、各路面テクスチャの位置を平行移動することによって、基準パスBP63aの連結画像を得ることができる。
対応点が指定されると、基準パスBP64bは、対応点P65b、P64bが、点P65a、P64aに一致するように移動され、実線で示した基準パスBP64aが得られる。これに合わせて、基準パスBP64bの連結画像を構成していた路面テクスチャも、それぞれ基準パスBP64a上に平行移動される。
対応点が指定されると、標準パスNP61bは、対応点P68b、P67bが、点P68a、P67aに一致するように移動されるとともに、対応点P67b、P66bが、点P67a、P66aに一致するように移動される。これらの3点は一直線上にはないから、結果として、標準パスNP61bは、折れ線状の標準パスN61aに移動される。これに合わせて、標準パスNP61bの連結画像を構成していた路面テクスチャも、それぞれ標準パスNP61a上に平行移動される。
例えば、図6の処理において、位置精度が低い順、つまり標準パスNP61b、基準パスBP64b、基準パスBP63bの順に位置合わせをしたとする。この場合には、基準パスBP64bの位置合わせは、標準パスNP61bの位置合わせの影響を受け、位置精度が低下する。基準パスBP63bの位置合わせは、標準パスNP61b、基準パスBP64bの位置合わせの影響を受け、位置精度が低下する。従って、位置精度が低い順に位置合わせを行うと、パス間の相互作用によって全体の位置精度が低下してしまう。
本実施例では、これとは逆に、位置精度が高い順に位置合わせを行う。従って、最も位置精度が高いパスの位置精度を劣化させることなく、全体の位置合わせを行うことが可能となる。
以下、図1〜6で説明した路面標示地図の生成方法について、詳細に説明する。
まず、連結画像生成処理、つまり図3中の路面テクスチャ210c、路面軌跡データ210bに基づいて各パスの連結画像210dを得る処理について説明する。
次に、位置合わせ加工、つまり複数パスに対する連結画像210dの位置合わせを行う処理、および位置合わせ加工の中で行われる基準パス設定処理、連結画像移動処理について説明する。ここでは、まずオペレータが対応点を指示する場合を例にとって説明する。そして、透明化ポリゴンの設定処理について説明する。最後に、位置合わせ加工を自動的に行うための処理、即ち自動位置合わせ処理について説明する。
図7は連結画像生成処理のフローチャートである。ハードウェア的には路面標示地図生成装置200のCPUが実行する処理である。これは、図2に示した画像変換部206、1パス合成部207の処理に相当する。
処理を開始すると、CPUは、まずフレームデータを読み込む(ステップS10)。フレームデータとは、道路面撮影システム100(図1)のビデオカメラ120で撮影された画像データ142を構成する各フレームの画像である。
領域A71は、上述の例に限らず、任意に設定可能である。ビデオカメラ120が一定のフレームレートで画像を撮影するため、フレームデータは、道路面を間欠的に撮影した画像群となる。従って、領域A71は、間欠的に撮影された画像群を並べたときに、道路が連続画像として再現できるように範囲を決定することが好ましい。例えば、領域A71の縦幅を狭くすれば、車両の速度が速い場合には、あるフレームデータから切り出された領域と、次のフレームデータから切り出された領域との間に隙間が生じやすくなる。一方、領域A71の縦幅を広くすれば、前方車両や空、建物など、道路画像とは異なる雑多な映像が含まれやすくなる。領域A71は、これらの影響を考慮した上で、設定すればよい。
先に説明した通り、このフレームデータの一部の領域A71を切り出して使用する。
下段には、領域A71の画像を正射投影変換した状態を例示した。道路を真上から見た画像に変換するため、左右の車線境界線L71、L72は図示する通り、平行な線分に変換される。標示M7も同様に真上から見た状態の形状に変換される。
まず、道路面撮影システム100を搭載した車両は水平面上を走行しており、被写体である道路も同一水平面上にあるものとする。
このとき、道路画像、即ちフレームデータの画面上の2次元座標をm=[u,v]Tとする。また、地面に固定された世界座標系の3次元座標をM=[X,Y,Z]Tとする。これらの各座標に1の要素を直積で加えたベクトルを、次式(1)の通り定義する。
[Rt]は、外部パラメータ行列;
Rは回転行列;
tは平行移動行列;
Aは内部パラメータ行列である。
α、βはそれぞれu軸、v軸方向のスケール因子、γは2つの画像軸のスキューにより表されるパラメータ;
[u0,v0]Tは、画像の主点の座標(主点座標)である。
画像のピクセルサイズを(ku、kv)、u軸とv軸とのなす角をθ、焦点距離をfとすると、α、β、γは次式(4)で表される。
平行移動ベクトルtは、世界座標系において原点に対する実画像の画像主点の移動ベクトルである。
ビデオカメラ120の高さ(実画像の画像主点の高さ)をhとすると、平行移動ベクトルtは次式(5)で表される。
ヨー角φ、ピッチ角ω、ロール角κおよび画像主点の高さhは、次の手順で得られる。まず、初期状態、即ち車両が水平な地面に設置されている状態において、ヨー角φ0、ピッチ角ω0、ロール角κ0、および高さh0の基準値を計測しておく。次に、走行中には逐次、車両の姿勢角の変化および車高の変化をジャイロ、加速度センサ等で記録しておき、上述の基準値にこの変化を反映することで、各地点でのヨー角φ、ピッチ角ω、ロール角κおよび高さを得ることができる。
まず、被写体である道路面を水平面(Y=0)の画像であると仮定する。このとき、式(2)より、次式(7)の関係が成立する。
まず、フレームデータを取得した各地点の位置座標データ(X0,Y0,Z0)と、被写体である道路面付近の複数点の位置座標(Xi,Yi,Zi)とから、被写体である道路面の勾配を計算する。本実施例では、勾配は一様であるものと仮定した。
具体的には、撮影地点の世界座標点(X,Y,Z)付近の位置座標データから、高さの変化Δhを求める。つまり、Δh=Y−Y0である。このとき、一様な勾配を仮定すると、道路面上の世界座標系(X’,Y’,Z’)の点の奥行きZ’は次式(9)で求めることができる。
本実施例では、後に続く処理の便宜のため、正射画像(路面テクスチャ)を低解像度/高解像度の2通りで生成するものとした。高解像度の正射画像(路面テクスチャ)(以下、「高解像度画像」と呼ぶ)は、もとのフレームデータの切り出し領域A71をそのまま利用して生成された画像、即ち原画像と同じ解像度で生成された画像である。低解像度の正射画像(路面テクスチャ)(以下、「低解像度画像」と呼ぶ)は、解像度を原データよりも下げた画像である。低解像度画像の解像度は、路面標示地図生成装置200が軽い負荷で画像を表示することができる程度の値とすることが好ましく、原画像の解像度の半分など、任意に設定可能である。
各正射画像(路面テクスチャ)A72は、フレーム座標系(uv座標系)の原点に対応する点を、各フレームデータの撮影時の位置座標に基づいて配置すればよい。フレームデータは車両の位置よりも前方を写したものであるため、正射画像(路面テクスチャ)は、フレームデータ毎に車両位置とフレーム座標系の位置関係を計算して配置する。また、正射画像(路面テクスチャ)は、時系列的に古い画像から新しい画像に順次、配置するものとした。
本実施例では、連結画像生成処理の段階では、正射画像(路面テクスチャ)を1枚の画像に結合することなく、配置して表示する状態に留めている。従って、1パス画像合成処理(ステップS14)で生成されるのは、合成画像ではなく、各正射画像(路面テクスチャ)の配置を決定する情報となる。もっとも、この処理において、正射画像(路面テクスチャ)を1枚の画像に結合する方法を採ることもできる。
図8は位置合わせ加工のフローチャートである。ハードウェア的には路面標示地図生成装置200のCPUが実行する処理である。これは、図2に示した位置合わせ処理部220の処理に相当する。
処理を開始すると、CPUは、まず処理の対象となる道路(以下、「対象道路」ともいう)についてのオペレータからの指定を入力する(ステップS20)。そして、対象道路に対応する連結画像を入力する(ステップS22)。本実施例では、それぞれの道路について、走行位置を変えながら複数回走行して、路面画像を撮影している。従って、各走行に対応するパスに基づいて、それぞれ連結画像が生成されている。ステップS22では、これらの複数の連結画像を読み込む。
基準パスが設定されると、CPUはオペレータの操作に従い、各パスについて対応点を設定する処理を行う(ステップS40)。
本実施例では、図中に示すように、基準パスおよび標準パスの連結画像をディスプレイに表示し、オペレータが、マウスなどのポインティングデバイスを操作して、この画面内で対応点を設定するという方法を採った。図の例では、標準パスの画像内で菱形をした横断歩道予告標示の頂点を対応点として指定し、次に、これに対応する頂点を基準パスの画像内で指定する例を示した。対応点は、1点に限らず、複数の点を指定可能である。
対応点が指定されると、CPUは、対応点同士が一致するように、標準パスの連結画像を基準パスの連結画像に合わせるよう移動する処理を行って、位置合わせ加工を終了する(ステップS50)。
先に説明した通り、本実施例では、連結画像は一枚の合成画像として生成されている訳ではなく、正射画像(路面テクスチャ)を配置して表示している。従って、ステップS50の処理では、それぞれの正射画像(路面テクスチャ)を移動することで、連結画像の移動処理が行われる。移動処理と併せて、それぞれの正射画像を低解像度画像から高解像度画像に置換する処理が行われる。高解像度画像を用いて、正射画像を再配置する処理を行うものとしてもよい。
連結画像移動処理の内容は、後で詳述する。
図9は基準パス設定処理のフローチャートである。位置合わせ加工(図8)のステップS30に相当する処理であり、複数のパスの位置合わせをする際に、自己推定位置精度が最も高いものを基準パスとして設定するための処理である。
CPUは、処理を開始すると、対象道路の各パスについて、フレーム画像が取得されている各地点での位置精度を入力する(ステップS31)。撮影時には、図中に示すように、パスにそって点P91,P92、P93等でフレーム画像を撮影するとともに、各点ごとに東西方向の位置精度AC1、南北方向の位置精度AC2が記録されている。
自己位置推定精度は、GPSと、IMU、DMI等とのずれに基づいて定まる値としてもよい。この場合は、例えば、ずれ量の標準偏差を用いてもよい。また、東西方向の標準偏差の自乗と、南北方向の標準偏差の自乗の和を求め、この平方根を自己位置推定精度として用いてもよい。このように、GPSと、IMU、DMI等のずれ量に応じた値とする場合には、自己位置推定精度は、ずれが大きい程、大きい値となる。つまり、自己推定位置精度は値が小さい方が、精度が高いことを示す評価値となる。
各パスの自己推定位置精度σが得られると、CPUはこの値が最小となるパスを基準パスとして設定する(ステップS33)。対象道路に対して単一のパスしか存在しない場合には、無条件にそのパスが基準パスとして設定されることになる。この基準パスの自己推定位置精度をσBとする。
これに対し、自己推定位置精度σBが、所定の閾値σTH以上の場合には、エラー表示を行って(ステップS35)、処理を終了する。この場合には、基準パスの位置精度が十分確保されていないことを意味するため、位置合わせ処理を行っても、位置精度が十分に保証されないからである。
所定の閾値σTHは、上述の通り、路面標示地図として確保すべき位置精度に基づいて任意に設定可能である。
もっとも、位置合わせ処理における修正は、いずれのパスに対してもできるだけ小さい方が、より好ましいといえる。従って、ステップS34において、全てのパスの自己推定位置精度を閾値σTHと比較し、いずれか一本でも、この閾値を下回る精度のパスが存在する場合にはエラー表示を行うようにしてもよい。
ただし、標準パスにも基準パスと同等の位置精度を要求すると、エラー表示が頻繁になされるおそれがある。かかる弊害を回避するため、標準パスでは基準パスよりも高い閾値σTHを用いるようにしてもよい。つまり、標準パスについては位置精度の要求を基準パスよりも緩める。こうすることによって、標準パスについても最低限の位置精度を保証しつつ、エラー表示が頻繁になされるのを回避することができる。
(1)フローチャート:
図10は連結画像移動処理のフローチャートである。位置合わせ処理(図8)のステップS50の処理に相当する。
処理を開始すると、CPUは移動対象となる標準パスのデータおよび対応点のデータを入力する(ステップS51)。標準パスのデータとは、フレーム画像が撮影されたときの位置座標を順次、記録した点列からなる軌跡データである。対応点のデータは、図8のステップS20において、基準パスおよび標準パスが表示された画面内でオペレータが指定した対応点の座標値である。
図中に移動ベクトルの算出例を示した。この例では、標準パスNP10について、対応点P101、P103が指定されているものとする。標準パス上には、図中に台形で示すように正射画像(路面テクスチャ)が配置されている。
対応点P101、P103に対応する点としては、基準パス上では、対応点P102、P104が指定されているものとする。CPUは、これらの指定結果に基づき、対応点について移動ベクトルを求める。図の例では、標準パスの対応点P101からP102に向かう移動ベクトルV10と、対応点P103からP104に向かう移動ベクトルV11が得られる。
また、対応点が一つしか指定されておらず、移動ベクトルが一つしか与えられない場合は、この移動ベクトルを用いる。
この処理と併せて、標準パスNP10上の点PP10の位置も移動ベクトルVP10によって修正される。従って、ステップS53の処理では、路面テクスチャの移動とともに、標準パスNP10の軌跡も修正されることになる。
図11は位置合わせ加工の処理例(1)を示す説明図である。図11(a)〜図11(c)のそれぞれには、標準パスNP11および基準パスBP11に対する連結画像を重ねて表示した表示した状態を示している。図11(a)は標準パスNP11の連結画像を、基準パスBP11の連結画像よりも上に配置した状態である。先に説明した通り、連結画像は多数の路面テクスチャを配置することで構成されているが、図中には、説明の便宜上、一つの路面テクスチャTX11に輪郭を付して示した。
オペレータは、この画面中で、標準パスNP11における対応点P111を指定する。対応点P111は、任意に設定可能である。本実施例では、分離帯標示M11の白線の斜め縞模様の端点の一つを対応点P111として選択している。
図11(c)は、基準パスBP11の連結画像を上側にした状態で、対応点P112を指定した状態を示している。つまり、基準パスBP11を上側にした画像内で、分離帯標示M11の白線の斜め縞模様の端点を対応点P112として選択すればよい。
対応点P112が指定されると、標準パスNP11の対応点P111から基準パスBP11の対応点P112に向かうように移動ベクトルV11が求められる。この移動ベクトルV11に従って、路面テクスチャTX11を移動すれば、対応点P111は対応点P112に一致し、分離帯標示M11、M12の位置も一致させることができる。
図12は位置合わせ加工の処理例(2)を示す説明図である。標準パスNP12、基準パスBP12の連結画像を重ねた状態を示した。説明の便宜上、双方の路面標示を視認可能な状態で示している。位置合わせ前は、標準パスNP12、基準パスBP12の位置がずれているため、車線境界線などの標示の位置はずれている。
オペレータは、ここでは破線での車線境界線の端点の一つを対応点として選択している。標準パスNP12については車線境界線L122の端点を対応点P122として選択し、基準パスBP12については車線境界線L121の端点を対応点P121として選択する。この結果、標準パスNP12の対応点P122から基準パスBP12の対応点P121に向かう移動ベクトルV12が定まる。
上述の通り、標準パスNP12の連結画像を、移動ベクトルV12に従って移動することによって、車線境界線の位置を合わせることができる。位置合わせの結果が車線境界線L13である。
また、この位置合わせ加工によって、標準パスも基準パスの位置に合わせられる。本実施例は、本来、異なる位置を走行した複数のパスを位置合わせすることによって、道路面の画像を生成する。この際、図12、図13の比較から分かる通り、対応点に基づいて設定される移動ベクトルに従って、標準パスを平行移動することにより、複数のパス間で、路面標示の位置関係およびパスの位置関係を、非常によく一致させることができる。
図14は路面標示の絶対位置座標の取得方法を示す説明図である。図の例では、標準パスNP14上の路面テクスチャTX142、基準パスBP14上の路面テクスチャTX141を例示した。路面テクスチャTX141、TX142内には、それぞれ標示M141、M142が含まれている。路面テクスチャTX141、TX142は、それぞれの代表点が、基準パスBP14上の点P141、および標準パスNP14上の点P143に一致するように配置される。
路面テクスチャTX142内も同様に、標示M142の頂点P145の位置は、代表点を原点とする相対的な座標(x145,Y145)で特定することができる。従って、代表点の絶対座標、即ち路面テクスチャTX142が配置されている位置座標(X143,Y143)が分かれば、これに、上述の相対的な座標を加えることによって、標示M142の頂点P145の絶対位置座標を取得することができる。
ここでは、路面テクスチャ内の標示M141,M142の頂点について絶対位置座標を取得する方法を示したが、路面テクスチャ内の任意の点は、それぞれ路面テクスチャの代表点を基準とする相対的な座標で特定可能であるから、同様の方法によって任意の点の絶対位置座標を取得することが可能である。
(1)処理概要:
図15は透明化ポリゴン設定処理の概要を示す説明図である。透明化ポリゴン設定処理は、重ねられた道路画像上に、オペレータの指示によって、透明化ポリゴンを設定することによって、隣接するパスに対応する正射画像同士が重なり合っている部分で、上側の正射画像の一部を透明化して、下側の正射画像を透視可能とする処理である。
図の中央に、正射画像P152の上に正射画像P151が重ねられている様子を斜視図的に示した。下側の正射画像P152には、横断歩道A154が分断された状態で含まれており、停止線A153が完全な状態で含まれている。上側の正射画像P151には、横断歩道A152が完全な形で含まれており、停止線A151が分断された状態で含まれている。それぞれ分断された部分を、破線で囲んで示した。
この状態で正射画像P151、P152を重ねると、左側に示したように表示される。つまり、両者が重なった部分では、上側の正射画像P151の画像のみが表示されるため、横断歩道A152は完全な状態で表示されるが、停止線A151は分断された状態で示されてしまう。
そこで、本実施例では、透明化ポリゴンPOL15を設定する。この例では、上側の正射画像P151において、分断されている停止線A151を覆うように設定した例を示した。透明化ポリゴンPOL15内では、上側の正射画像P151は透過した状態で表示される。従って、図の右側に示すように、正射画像P151、P152を重ねた状態では、透明化ポリゴンPOL15の内部では、下側の正射画像P152が表示され、その他の部分では、上側の正射画像P151が表示される。この結果、下側の正射画像P152に含まれる停止線A153と、上側の正射画像P151に含まれる横断歩道A152が表示され、停止線および横断歩道の双方を完全な形で表示することができる。
図16は透明化ポリゴン設定処理のフローチャートである。ハードウェア的には路面標示地図生成装置200のCPUが実行する処理である。これは、図2に示した透明化ポリゴン設定部221の処理に相当する。
処理を開始すると、CPUは、オペレータからの対象道路の指定を入力し(ステップS100)、対象道路に対応する連結画像を入力する(ステップS102)。対象道路に対して複数のパスが対応している場合には、これらのパスに対応する複数の連結画像が入力される。
本実施例では、優先パスは、オペレータが各パスの連結画像を比較しながら、任意に設定することができる。仮に、路面画像が最も粗いパスを優先パスに指定しても構わない。このような場合には、後述する透明化ポリゴンの設定数が増えるだけのことである。
図中に透明化ポリゴンの設定例を示した。この例では、優先パスに沿った路面テクスチャTX161と、その他のパスに沿った路面テクスチャTX162を示した。
撮影時には矩形の画像が、正射画像変換により、台形になるため、路面テクスチャTX161、TX162を配置すると、図示するようにのこぎり刃状になる。のこぎり刃状の部分からは、路面画像の見栄えを落とすとともに、分断された路面画像しか得られないため、完全な路面画像を得るという目的からは不要な部分となる。そこで、図の例では、路面テクスチャTX161、TX162が重なり合った部分では、のこぎり刃状になった路面テクスチャTX161の左端の部分に透明化ポリゴンPOL161を設定し、のこぎり刃状の部分が表示されないようにしている。
かかる設定は、単に路面テクスチャが重なっていない部分を避けて、オペレータが透明化ポリゴンを設定するという運用によって実現してもよいが、透明化ポリゴンの設定処理(ステップS106)において、透明化ポリゴンの設定位置を制限するようにしてもよい。つまり、路面テクスチャが重なり合っている部分についてのみ、オペレータによる透明化ポリゴンの設定操作を受け付けるようにしてもよい。
このように標示を覆う透明化ポリゴンPOL162を設定するためには、一旦、路面テクスチャTX161を他の路面テクスチャよりも下側に位置するように上下関係を変更したり、路面テクスチャTX161を非表示としたりすればよい。これらの操作によって、路面テクスチャTX161に隠された標示を視認可能な状態にした上で、その標示を覆うように透明化ポリゴンPOL162を設定し、路面テクスチャTX161の表示を元に戻せばよい。
以上の処理によって、透明化ポリゴンの設定が終わると、CPUは、設定結果を出力して、透明化ポリゴン設定処理を終了する。
図17は透明化ポリゴンを設定する前の道路画像例を示す説明図である。この例では、パスP171、P172の2本に沿って得られた連結画像の位置合わせを行って生成された道路画像を示した。パスP172の連結画像と、パスP171の連結画像とで、のこぎり刃状の両端の形状が逆向きになっているのは、これらのパスP171,P172を道路面撮影システム100の車両が走行する方向が逆だからである。
また、パスP172の路面画像が端の方で不鮮明なため、例えば、領域A171では横断歩道の縞模様が歪んでいる。領域A172では、停止線が分断された状態となっている。領域A173では、路線バス等優先通行帯(いわゆるバスレーン)であることを示す「バス専用」の文字が読めない程に崩れている。領域A174では、破線状の車線境界線が途中で分断された状態となっている。
このように透明化ポリゴンPOL17を設定すると、パスP172側の路面テクスチャは、透明化ポリゴンPOL17の内部では透視状態となり、下側に配置されたパスP171側の路面テクスチャが視認されるようになる。
領域A183では、バス専用の文字が、はっきりと判読可能な状態となる。領域A184では、車線境界線が完全な状態で表示される。
このように、本実施例では、透明化ポリゴンを設定することにより、道路画像の画質を向上させることができるとともに、道路面の標示の画質も向上させることができる。
以上の処理では、オペレータが対応点を指示することによって位置合わせ加工を行う例を示した(図8のステップS40参照)。
連結画像の画像処理によって、対応点を自動で指定することができれば、位置合わせ加工を自動で行うことが可能である。以下では、位置合わせを自動で行うための処理について説明する。位置合わせを自動で行うか、手動で行うかは、実行時のメニュー等でオペレータが選択するようにしてもよいし、自動での位置合わせを行った後、この処理がうまくいかなかった連結画像を対象として、手動での位置合わせを行うようにしてもよい。
また、本実施例における自動位置合わせ処理は、オペレータが一切介入しない全自動の処理として構成してもよいし、必要に応じてオペレータが介入する半自動の処理として構成してもよい。
本実施例では、路面標示地図生成装置200の画像処理の負荷を抑制するため、自動位置合わせ処理は、地図を所定サイズのメッシュに分割し、メッシュごとに行うものとした。こうすることによって、1回の処理で扱う連結画像を一定サイズに抑え、画像処理の負荷が過大となることを回避できる。また、各連結画像を共通のメッシュで分割するため、分割された画像データを管理しやすくなる利点があるからである。
CPUは、読み込んだ連結画像に対して、画像前処理を行う(ステップS210)。画像前処理とは、対応点を自動的に認識する際に、誤認識の可能性を抑制するための処理である。画像前処理の内容は後述するが、本実施例では、連結画像の両端に生じる、のこぎり刃状のギザギザ部分を削除する処理、横断歩道、分離帯その他を示す縞模様の標示を削除する処理などを行う。
こうして処理領域を設定すると、CPUはその中で特徴点抽出処理を行う(ステップS230)。特徴点とは、2つの連結画像間で対応する点を安定的に特定できる点を任意に定義して用いることができる。本実施例では、連結画像から種々のエッジを抽出し、エッジが折れ曲がる点(屈折点)、端点、交点などを特徴点として用いるものとした。
抽出は、RGBなど種々の色系で行うことが可能である。本実施例では、連結画像を、H(色相)、S(彩度)、V(明度)の色空間に変換した上で、V(明度)画像を用いて標示領域を抽出した。V画像は、無彩色で明度だけを成分として有する画像となるため、いわゆるグレースケールの画像である。種々の色空間で抽出を試みた結果、V画像を用いた場合に標示を最も精度良く抽出できることが見いだされた。
こうして特徴点の抽出が完了すると、CPUは、対応点探索処理を行う(ステップS250)。これは、連結画像間で、特徴点同士を比較し、対応するもの同士を対応点として関連づける処理である。例えば、抽出された特徴点の座標、連結画像内での複数の特徴点の配置などに基づいて、連結画像間の対応をとることができる。特徴点同士を関連づける処理自体は、周知の画像処理技術であるため、詳細な説明は省略する。
対応点のフィルタリング処理の詳細は後述する。本実施例では、上述の観点から、対応点のうち、誤認識の可能性が高いと思われるもの、および対応点の位置精度が低いと考えられるものを削除するものとした。フィルタリング処理は、完全に自動で行う態様の他、オペレータの介入を許す半自動の形で行う方法を採ってもよい。
このように、対応点を減らすことは、抽出された対応点を表示した場合に、オペレータが比較的容易に、誤認識の有無を判断できる利点もある。仮に、多数の対応点が表示されていると、オペレータが、これらの中から、対応点の誤認識を見いだすことは非常に困難となるが、対応点の数が少ない場合には、対応点の位置をそれぞれの連結画像内で比較的容易に認識することができ、背景の画像との関係も考慮しながら、対応関係の正誤を比較的容易に判断することができるようになるからである。
以下、上述の自動位置合わせ処理で行う各処理のうち、画像前処理(ステップS210)、処理領域設定(ステップS220)、および対応点フィルタリング処理(ステップS260)について、それぞれ詳細な内容を説明する。
図20は画像前処理のフローチャートである。自動位置合わせ処理(図19)のステップS210に相当する処理であり、対応点を自動的に認識する際に、誤認識の可能性を抑制するための処理である。
処理を開始すると、CPUは、まずギザギザ除去処理を行う(ステップS211)。図中に処理概要を模式的に示した。本実施例では、路面テクスチャTX20をパスにそって配置して連結画像を生成する。路面テクスチャTX20は、ビデオカメラで撮影した画像を正射変換して得られる画像であり、この変換の過程で、もともとは矩形の画像が台形状に変形される。この結果、路面テクスチャTX20を配置した連結画像には両端に、ギザギザののこぎり刃状の領域A20が生じる。ギザギザ除去処理では、領域A20を削除する処理を行う。
領域A20内の、のこぎり刃状の頂点は、それぞれエッジが折れ曲がっている屈折点となるから、特徴点として抽出され易い点である。従って、ギザギザ除去を行わずに、特徴点の抽出を行うと、非常に高い密度で特徴点が多数抽出されることになる。このように高密度で多数の特徴点が抽出されると、特徴点同士の対応関係に誤認識を生じやすい。また、誤認識が生じたときに、オペレータが目視で誤認識を発見しづらくなる。ギザギザ除去処理を行うことにより、こうした弊害を回避することが可能となる。
また、領域A20は、路面テクスチャの両端の部分である。正射変換して路面テクスチャを生成する際には、画像の左右中央付近に比して、両端では変換時の歪みが大きくなる。路面テクスチャの両端付近の各画素は、これらの歪みの影響で、中央付近よりも、位置精度が低くなる。それぞれの連結画像の位置精度を十分に確保した状態で位置合わせを行うためには、位置精度の高い対応点を用いることが好ましい。ギザギザ除去処理では、領域A20を削除することにより、予め位置精度が低い特徴点を排除しておくことができるから、位置合わせ時の位置精度の低下を回避することができる。
図21(b)は、ギザギザ除去処理後の連結画像の様子を示した。特徴点の抽出は行っていない。連結画像の両端のギザギザ領域を除去することにより、両端がほぼ直線状となっているため、特徴点の抽出を行ったとしても、両端の領域から、図21(a)ほどの多くの特徴点が高密度で抽出されることを回避することが可能となる。
ギザギザ除去処理が完了すると、CPUは、次に、横断歩道やゼブラを除去する処理を行う。ゼブラとは、説明の便宜上付した名称であり、道路標示のうち横断歩道を除く縞模様をいう。例えば、中央分離帯や、交差点付近に設けられた右左折用の車線への移行領域などに付されている縞模様が挙げられる。
この除去処理を行うため、CPUは、まずV(明度)画像を用いてエッジを抽出する(ステップS212)。エッジの抽出は、RGB色系などで行うこともできるが、H(色相)、S(彩度)、V(明度)の色空間で行った方が、道路標示に使われる白色および黄色の線を精度良く抽出できることが分かったからである。エッジ抽出は、周知の画像処理技術であるため、詳細な説明を省略する。エッジ抽出に当たっては、Sobelフィルタその他のフィルタによって、エッジを強調する処理を施してもよい。
図22はエッジ太らせ処理の処理例を示す説明図である。図22(a)は、道路面の標示例を示している。道路には、複数の車線境界線で区画された複数の車線が中央付近に縦方向に横断歩道がある。中央分離帯部分はゼブラとなっている。
図22(a)の上方に、横断歩道の一部を拡大して示した。横断歩道のような縞模様では、拡大図中の×印に示すように、縞模様の角が特徴点として抽出され易い。拡大図中では、1個だけが抽出されている例を示したが、縞模様のそれぞれの角が抽出されるため、多数の特徴点が高密度で抽出されることになる。ゼブラも同様である。このように高密度で抽出された特徴点は、連結画像の両端のギザギザ領域と同じく対応点の誤認識につながる。横断歩道やゼブラの除去処理には、特徴点が高密度で多数抽出される領域を予め排除しておくことにより、対応点の誤認識を低減させるという目的がある。
図22(c)は、抽出されたエッジに太らせ処理(「膨脹処理」ともいう)を施した例である。太らせ処理とは、処理対象となる画素に対して、その周囲8画素のいずれかに黒画素がある場合には、処理対象となる画素も黒に置換する処理である。こうすることによって、図示するように、黒画素によって構成される境界線の幅を太くすることができる。
太らせ処理においては、横断歩道やゼブラが面領域として抽出されるよう、連結画像の解像度に応じて、エッジの太らせ量を予め設定しておけばよい。横断歩道およびゼブラの縞模様の間隔および線の幅は、同等であるため、双方を面領域として抽出するのに適した太らせ量は、比較的容易に設定可能である。
CPUは、エッジの太らせ処理を行った後(ステップS213)、面積が閾値Sth以下となる領域を、解除する(ステップS214)。解除とは、抽出した領域から外すことを意味する。その後、CPUは解除されずに残った領域を連結画像から除去する(ステップS215)。例えば、横断歩道に対応する面領域の面積が、閾値Sthを超える場合には、この面領域は抽出された状態のまま解除されずに残っているから、ステップS215の処理で除去されることになる。
道路標示のサイズは一定ではなく道路幅等によっても変動する。閾値Sthは、道路標示のサイズの変化も考慮して設定することが好ましい。閾値Sthは固定値である必要はなく、道路幅などに応じて、変化させてもよい。
また、閾値Sthを半自動で設定するようにしてもよい。例えば、太らせ処理を終えた連結画像内で、オペレータが指定した領域の面積を基準として、その面積に所定の係数を乗じて閾値Sthを設定するようにしてもよい。こうすることによって、道路標示の状態に応じて柔軟に閾値Sthを設定可能となる利点がある。
図23(b)は、図22のステップS214の処理を施した状態、つまり閾値Sth以下の領域を解除した状態を示している。この例では、横断歩道に対応する領域A23は解除されずに残っている。矢印に対応する領域M23は面積が小さいため、解除されている。領域M23以外の矢印や車線境界線の一部も、同様に解除されている。停止線や車線境界線の中には、抽出されたままのものも存在するが、先に説明した通り、この状態で処理を継続しても構わない。
図23(c)は、図22のステップS215の処理を施した状態、つまり抽出されている画像を除去した状態を示している。この処理によって、横断歩道の領域A23が除去されることが分かる。同様に、車線境界線や停止線の一部に対応する部分も除去されている。しかし、車線境界線の一部や矢印などの道路標示は除去されずに残っているため、これらのエッジに基づいて特徴点の抽出が可能な状態となっている。
図24は処理領域設定の様子を模式的に示す説明図である。
本実施例では、先に説明した通り、メッシュに分けて特徴点の自動抽出を行う。図24の太線で示した外枠ME24が、メッシュを表している。メッシュ内に、処理対象となる連結画像R24を模式的に示した。
特徴点の自動抽出は、メッシュ内に設定された処理領域PA24(図中のハッチングを付した領域)を単位として行う。この例では、図示する通り、メッシュME24を、7×7のマスに分割し、3×3の配列で処理領域PA24を設定した。
本実施例では、処理領域PA24の位置を順次、移動させながら処理を行う。図24(a)〜図24(f)には処理領域PA24の移動例を示した。図24(a)〜図24(c)に示すように、メッシュME24内の最下段から3段のマスを用いつつ、1マスずつ右側に処理領域PA24を移動させる。図24(c)の後も、メッシュME24の右端に処理領域PA24が到達するまで、同様に移動させる。
このように処理領域PA24を徐々に移動させると、連結画像R24と処理領域PA24との位置関係を相対的に変化させることができる。図24(a)では、処理領域PA24内に連結画像R24は、わずかしか存在していない。この状態では、位置合わせを精度良く行うのに十分な対応点を抽出することはできない。一方、図24(c)では、処理領域PA24内に、連結画像R24が十分に含まれている。従って、位置合わせを精度良く行うに足りるだけの対応点を抽出することが可能である。
連結画像R24は、道路の形状およびメッシュME24との相対的な位置関係に応じて、処理領域PA24との位置関係が変化する。従って、処理領域PA24を予め固定したサイズ、位置で用いると、処理対象となる道路に応じて、対応点の抽出に適した位置関係となったり、不適切な位置関係となったりする。これに対し、処理領域PA24を移動させる場合には、いずれかの位置関係では特徴点の抽出を適切に行うことが可能となる。従って、道路とメッシュME24との位置関係に依らず、安定的に特徴点を抽出することができる利点がある。
図25(a)では、処理領域T251、T252には、連結画像がごくわずかしか含まれておらず、対応点を精度良く設定することができない状態となっている。これに対し、処理領域が図25(b)よりも右側にずれた図25(b)の状態では、図25(a)で処理領域T251、T252に分属していた画像が、一つの処理領域T253に含まれる。従って、処理領域T253からは対応点を良好に設定することが可能となる。
このように、処理領域を連結画像に対して相対的に移動させることによって、道路とメッシュとの位置関係に依らず、安定的に特徴点の抽出、対応点の設定を行うことが可能となる。
図26(a)には、基準パスBP26および標準パスNP26にそれぞれ沿った連結画像を示した。図中の□印は、それぞれのパスの連結画像に対して設定された対応点を表している。矢印は、それぞれの対応点に基づいて定まる移動ベクトルである。つまり、対応点について、標準パスNP261の連結画像の位置を基準パスBP26に合わせるための移動量を表している。
移動ベクトルは、標準パスNP261の対応点を始点とし、基準パスBP26の対応点を終点とするベクトルである。図の例では、このようにして移動ベクトルを設定した結果、矢印A26のみが左向きとなり、他の移動ベクトルは右向きとなっていることが分かる。図中には他の対応点も存在するが、図の煩雑化を回避するため、4つの対応点についてのみ移動ベクトルを示した。
このような現象は、矢印A26で示した移動ベクトルを用いて位置合わせを行ったことが原因である。従って、かかる現象を回避するためには、予め矢印A26に対応する対応点を排除しておくことが好ましい。このように、適切な位置合わせを実現するために、用いるべき対応点を取捨選択する処理を、対応点フィルタリング処理と呼ぶ。
処理を開始するとCPUは、対応点探索結果を入力する(ステップS261)。対応点は、各連結画像から抽出された特徴点同士を比較し、対応づけた点をいう。
CPUは次に、路面テクスチャの両端領域の対応点を除去する(ステップS262)。図中にこの処理の内容を模式的に示した。
路面テクスチャTX27が配置された連結画像から、P271〜P274の対応点が設定されたとする。この処理では、パスを含む幅W27の領域A27を規定し、この領域から外れる対応点を両端領域の対応点として除去するものとした。領域A27を規定する幅W27は任意に設定可能である。幅W27を大きくとれば、両端領域の対応点を十分に排除することができないし、幅W27を小さくとれば、ほとんどの対応点が除去されてしまい、位置合わせに使用する対応点を十分に残すことができなくなる。幅W27は、これらの両面を考慮して、任意の値を設定すればよい。
また、幅W27は固定値とする必要はなく、例えば、道路幅に応じて変化させてもよい。また、道路幅の○%というように、道路幅を基準とする値としてもよい。
図中に処理例を示した。パスNP27に沿って、対応点ごとに移動ベクトルQ271〜Q275が得られているとする。下側に、各移動ベクトルの大きさおよび向きをグラフにして示した。パスNP27の上向きを正、下向きを負として向きを表すとともに、大きさをグラフの高さで表した。
図示する通り、移動ベクトルQ272は負の向きとなり、他の移動ベクトルQ271、Q273〜Q275は正の向きとなる。また、移動ベクトルQ271,Q273,Q274はほぼ同じ大きさであり、移動ベクトルQ275は他の移動ベクトルよりも大きい。CPUは、これらの結果に基づき、向きが異なる移動ベクトルQ272および大きさが異なる移動ベクトルQ275を除去する。
向きについては、図中の例のように正負で評価する他、パスNP27の進行方向を基準とする角度で評価してもよい。
統計的な除去を終えると、CPUはオペレータの操作に従って、標示(ペイント)近傍の対応点を選択する処理を行う(ステップS264)。ステップS262、S263の処理で対応点のフィルタリングが十分に行われている場合には、この処理は省略しても差し支えない。
オペレータは、設定された対応点PR271〜R274が表示された画面内で、マウス等のポインティングデバイスによって使用する対応点を選択する。例えば、対応点R271、R272は、標示と無関係の点であるため、オペレータは連結画像間で、適切に対応関係が設定されているか否かを判断しづらい。そこで、オペレータは、このような点については位置合わせに使用する対応点の候補から排除する。一方、対応点R273、R274は、道路標示の角であるため、連結画像間で適切に対応関係が設定されていることを比較的容易に確認することができる。そこで、オペレータは、対応点R273、R274について、対応関係の適否を判断し、適切に対応関係が設定されていると判断した場合には、位置合わせで使用する候補として選択する。
本実施例では、CPUによって自動的に設定された対応点の中から、位置合わせに使用するものを選択する例を示した。この画面内で、オペレータがポインティングデバイスを操作することで、新たな対応点を指定可能としてもよい。
本実施例では、各パスの連結画像は、路面テクスチャを配置するまでに留め、これらを一枚の画像として合成していない。従って、路面テクスチャ単位で配置を平行移動することによって、複数パスの連結画像を容易に合成可能である。
E1.フレームデータ読み込み処理:
上記実施例では、画像データは、パスごとに処理対象となる道路面を撮影した部分のみが記録されているものとして、道路画像の生成方法を説明した。しかし、実際に道路面の撮影を行う場合には、次に示すように処理対象となる道路のみを撮影できるとは限らない。図28に示すように、リンクL281に沿う道路R281の道路画像を生成する場合を考える。この場合、処理対象となる道路R281に沿って、直線状に車線を変えながら必要な回数だけ走行するのが無駄のない理想的な走行経路となる。
この例では、道路R281以外の場所で撮影準備を行い、矢印P281に沿って道路R281に進入している。その後、矢印P282の部分で道路R281の撮影を行う。しかし、工事などの事情によって矢印P283のように迂回する必要が生じている。そして、矢印284に沿って、道路R281を横断した後、更に、矢印P285に沿って再度迂回をし、矢印P286に沿って、道路R281の残り部分の撮影を行っている。
このように実際の処理対象となる道路R281を撮影した画像(矢印P282、P284、およびP286の部分)と、その他の道路を撮影した画像(矢印P281、P283、P285の部分)とが混在した状態で撮影データが取得されるのが通常である。
そこで、本実施例では、上記実施例の前処理として、このように処理対象となる道路と、そうでない処理対象外となる道路とが混在して撮影された画像データから、処理対象となる道路を撮影した部分を切り出す方法について説明する。
図の例では、矢印P282、P284、P286の部分が切り出されることになる。画像データおよび位置座標データは、時系列的に連続して記録されているから、矢印P282、P284、P286の部分は、それぞれ連続したデータとなっている。本実施例では、これらの連続した一連のデータを、それぞれパスP282、P284、P286として記録する。こうして記録することにより、各パスのデータは、上記実施例で示した道路画像の生成処理に供することが可能となる。
(1)フレームデータ切出処理:
この処理は、上記実施例で説明した連続画像生成処理(図7)の前処理である。ハードウェア的には路面標示地図生成装置200のCPUが実行する処理であり、図2に示したデータ入力部204の機能とすることができる。
CPUは、指定された対象リンク列に基づき、基本ポリゴンおよび補助ポリゴンを生成する(ステップS292)。図29におけるL291等の線分がリンク列を表しており、N29s等の点がノードを表している。
リンク列の途中に位置するリンクL291等では、それぞれのリンクを、リンクに直交する方向両側に所定幅Wだけ平行移動することで矩形のポリゴンP291を生成する。幅Wは、対象となる道路をカバーできる範囲で任意に設定可能である。例えば、対象となる道路における半幅分の1.1倍程度の値とすることができる。幅Wは、リンクの属性として付与されている道路幅データから自動で抽出することもできる。
リンク列のスタートのリンクL29sおよび終端のリンクL29eでは、リンクに直交する方向にリンクを平行移動させる他、リンク列の端点方向にも延伸して基本ポリゴンを形成する。例えば、スタートのリンクL29sでは、リンク列の端点ノードN29s側に延伸して基本ポリゴンP29sを生成する。終端のリンクL29eでは、リンク列の終点ノードN29e側に延伸して基本ポリゴンP29eを生成する。延伸させる量は、やはり対象となる道路を基本ポリゴンがカバーできる範囲で任意に設定可能である。例えば、交差点部分をカバーできるようにするため、対象となる道路における半幅分の1.1倍程度の値とすることができる。
図30に示すように、x、yの2次元平面上に配置したときに第1のリンクL1、第2のリンクL2がx軸となす角度をθ1、θ2とし、両者のなす角度をθ(0≦θ<180°)とする。補助ポリゴンは、θ1、θ2および2つのリンクの曲がり(θ)の大きさに応じてケースA〜Dの4通りに分類して求める。
ケースA:θ1>θ2、曲り大(0°≦θ<150°)
このケースは、リンクL1から見てリンクL2が右側に折れるとともに、その曲りが比較的大きく、基本ポリゴンの間には大きな隙間が生じるケースに当たる。このケースでは、大きな隙間を埋めるよう、図示するように、リンクL1、L2の接続部分に点q0、q1,q2の3点を発生させる。
点q1は、リンクL1の基本ポリゴンにおいて点q0に最も近い頂点と、点q0との間に設けられる点である。基本ポリゴンの頂点および点q0と、ノードN0とをそれぞれ結ぶ線のなす角の2等分線上で、接続ノードN0から距離Wだけ離れた点とした。
点q2は、点q1と同様、リンクL2の基本ポリゴンにおいて点q0に最も近い頂点と、点q0との間に設けられる点である。
点q0の場合…α=(θ1+θ2+π)/2;
点q1の場合…α=(3θ1+θ2+2π)/4;
点q2の場合…α=(θ1+3θ2+2π)/4;
なお、図中では混乱を避けるため、点q1の場合をα1、点q2の場合をα2として示した。
このケースは、リンクL1から見てリンクL2が右側に折れるとともに、その曲りが比較的小さく、基本ポリゴンの間には小さな隙間が生じるケースに当たる。このケースでは、図示するように、リンクL1、L2の接続部分に点q0のみを発生させる。点q0の座標は、ケースAの点q0と同じである。
このケースは、リンクL1から見てリンクL2が左側に折れるとともに、その曲りが比較的大きく、基本ポリゴンの間には大きな隙間が生じるケースに当たる。このケースでは、大きな隙間を埋めるよう、図示するように、リンクL1、L2の接続部分に点q0、q1,q2の3点を発生させる。点q0〜q2は、ケースAと同様に定義される。ただし、これらの点は鈍角側に生成するため、ケースAではリンクL1からみて左側に生成したのに対し、ケースCではリンクL1からみて右側に生成する点で相違する。ノードN0の座標を(x0、y0)とすると、点q0〜q2のいずれの座標も(x0+Wcosα,y0+Wsinα)の形で表せる。但し、αの値は、それぞれ次の通りである。
点q0の場合…α=(θ1+θ2−π)/2;
点q1の場合…α=(3θ1+θ2−2π)/4;
点q2の場合…α=(θ1+3θ2−2π)/4;
このケースは、リンクL1から見てリンクL2が左側に折れるとともに、その曲りが比較的小さく、基本ポリゴンの間には小さな隙間が生じるケースに当たる。このケースでは、図示するように、リンクL1、L2の接続部分に点q0のみを発生させる。点q0の座標は、ケースCの点q0と同じである。
図29に戻り、フレームデータ切出処理について説明する。
基本ポリゴンおよび補助ポリゴンの生成が完了すると、CPUは、これらのポリゴンを合成して、切出用ポリゴンCP29を生成する(ステップS293)。
ポリゴンの一部拡大図(図31)に示すように、合成処理は、基本ポリゴンおよび補助ポリゴンの構成点が、右回りに格納されていることが前提となっている。左回りに格納されている場合には、以下で説明する手順を逆方向に進めればよい。
合成処理は、スタート側のリンク列について形成された基本ポリゴンP31aの最初の構成点を見いだすことから開始する。図31の例では、左上の点A31aが最初の構成点に当たるものとする。CPUは、この点から基本ポリゴンの構成点を順次、切出用ポリゴンCP29の構成点として格納して行く。構成点は右回りに格納されているから、点A31aの次は、矢印Ar1のように進み点A31bを格納する。
構成点C31aは、次の基本ポリゴンP31cの構成点と兼用されているため、CPUは、基本ポリゴンP31cに移行し、その構成点C31bを拾う(矢印Ar3)。ここで、構成点C31aとC31bとを結ぶ境界線は、次の基本ポリゴンP31eの境界線と交差している。このように他のポリゴンの境界線と交差する場合、CPUは交差する点に新たに構成点CP31aを生成し、先に格納していた構成点C31bに上書きする。そして、次のポリゴンP31eに移行し、矢印Ar4のように構成点を拾っていく。
そして、基本ポリゴンP31aに移行し、構成点A31dを拾い(矢印Ar8),構成点A31aに戻る(矢印A31d)。
このように、CPUは、順次、ポリゴンを移行しながら、構成点を右回りに拾っていくことによって、切出用ポリゴンを生成することができる。
図29に戻り、フレームデータ切出処理について説明する。
CPUは切出用ポリゴンCP29の生成が完了すると、切出用ポリゴンCP29内のフレームデータを切り出す(ステップS294)。矢印で示す走行経路がある場合、CPUは、位置座標が切出用ポリゴンCP29内にある部分(図中の実線部分)を切り出す。この場合、図示する2カ所の実線部分は、それぞれパスとして、関連づけて切り出される。
以上で示したフレームデータ切出処理によれば、道路画像の生成対象となる道路と、その他の道路とが混在して撮影されている連続画像から、生成対象の道路面に関するものだけを自動的に抽出することができるため、オペレータの負荷を軽減することができる。また、切出用ポリゴンも自動生成できるため、オペレータの負荷を軽減できるとともに、フレームデータの切出処理の精度を安定化させることができる。
切出用ポリゴンは、必ずしも図29、図30で示したように、基本ポリゴンと補助ポリゴンとから構成する必要はなく、全てを基本ポリゴンで構成してもよい。
基本ポリゴンのみで切出用ポリゴンを構成する例を図32に示した。この例では、終端のリンクL32dだけでなく、中間のリンク列L32a、L32b、L32cについても各リンク列の両端のノードを包含するように、各リンクを直交する方向に平行移動するとともに、リンクに沿う方向に延長して基本ポリゴンP32a、P32b、P32cを生成する。終端のリンクL32dについても、同様にして基本ポリゴンP32dを生成する。
このようにリンクに沿う方向に十分に長い基本ポリゴンを生成すれば、図31に示した例と異なり、比較的曲りが小さいリンクの接続点(例えば、リンクL32aとL32bとの間や、リンクL32bとL32cの間)では、鈍角側においても、基本ポリゴン同士を隙間なく重ねることができるため、補助ポリゴンの生成を省略することができる。
従って、基本ポリゴンのみで切出用ポリゴンを生成する場合には、このような隙間が生じない範囲で、リンクに沿う方向に十分に延長した状態で基本ポリゴンを生成したり、曲りが大きい部分にのみ補助ポリゴンを生成するなどの対策を施しておくことが好ましい。
フレームデータ切出処理においては、図29で示したように、切出用ポリゴン内にあるフレームデータを無条件に切り出すものとしてもよいが、所定の条件に従って取捨選択するようにしてもよい。
図33に、図29の処理で切り出されたフレームデータのうち、道路画像の合成処理に有用なものを選択する例を示した。こうすることにより、処理対象となるフレームデータ量を抑制することができるため、連結画像の生成、道路画像の合成処理の処理負荷を軽減することができる。
CPUは、次に、パス長の長い順にソートする(ステップS332)。そして、最長のパスを、対象リンクに投影し、カバー範囲を算出する(ステップS333)。図33の右側に、この処理の概要を示した。対象リンクL281に対して、図29のフレームデータ切出処理によって、パスP282、P286、P284が切り出されたとする。この中で最長のパスは、パスP286である。従って、CPUはステップS333では、対象リンクL281上に、このパスP286を投影し、図中にハッチングで示したカバー範囲R286を得る。
パスP286のカバー範囲R286を求めた時点では、他のカバー範囲は得られていないから、重複率は0%である。重複率が70%以下の場合には(ステップS334)、そのパスを、処理対象パスとして選択する(ステップS336)。
CPUは、こうして得られたカバー範囲が対象リンクを100%カバーするまで(ステップS337)、ステップS333〜S336の処理を繰り返し実行する。
カバー範囲R282は、部分的にカバー範囲R286と重なっているが、重複率は70%には至らない(ステップS334)。従って、パスP282も処理対象パスとして選択されることになる(ステップS336)。
更に、次の処理では、CPUはパスP284に基づいてカバー範囲R284を算出する(ステップS333)。しかし、カバー範囲R284は、カバー範囲R286に完全に包含されているため、重複率は70%を超えている(ステップS334)。従って、CPUは、パスP284は無用なデータと判断して、削除する(ステップS335)。
そして、選択対象となるパスが無くなるため、フレームデータ選択処理を終了する。
図33では、カバー率に基づいて選択する例を示したが、選択方法は、これに限られるものではない。例えば、各パスと対象リンクL281とのなす角度を基準に選択してもよい。対象リンクL281となす角度が大きいパスは、対象リンクL281を横断するパスに過ぎず、連結画像等の生成にあまり有用でないと判断されるからである。また、なす角度と図33のカバー率を併用して選択を行ってもよい。
上記実施例では、連結画像から種々のエッジを抽出し、エッジが折れ曲がる点(屈折点)、端点、交点などを特徴点として用いる例を示した(図19のステップS230)。本実施例では、道路面を撮影した画像を対象としているため、各パスの連結画像に含まれる路面に描かれたペイントの種別および位置を認識し、複数のパス間で、認識された同一種別のペイントの特徴点を求める方法をとってもよい。
以下では、この方法による特徴点抽出について説明する。この処理は、図19のステップS220、S230に代わる処理となる。
本実施例の方法では、まず連結画像に含まれるペイントを認識する必要がある。ハードウェア的には路面標示地図生成装置200のCPUが実行する処理である。
図34に示すように、ペイント認識処理を開始すると、CPUは処理データ記憶部210から、処理対象となっている道路の画像、即ち路面テクスチャ、パスのデータを読み込む(ステップS341)。次に、CPUは縦配置処理を行って(ステップS342)、縦配置画像を生成し、処理データ記憶部210に格納する。
縦配置処理が完了すると、CPUは横断関連ペイント抽出処理を行う(ステップS343)。これは、横断歩道、自転車横断帯、停止線など交差点近辺の標示を抽出する処理である。本実施例では、処理データ記憶部210に格納された縦配置画像を用い、そこに描かれた標示を画像処理で抽出するとともに、標示に含まれる線分の位置関係や長さなどに基づく条件判断によって標示の種別を判断するようにした。
「境界線」とは、実線および破線などで描かれた車線境界線である。
「矢印」とは、交差点内の進行方向の規制を示すために、交差点付近で各車線に示されている矢印である。
「ゼブラ」とは、横断歩道とは異なり、中央分離帯や右左折用の車線が増える箇所などに標示されている縞模様である。
「Uターン」とは、Uターン禁止道路に描かれているU字形状の矢印である。
「転回禁止」とは、Uターンの矢印とともに描かれている×印である。
「規制」とは、通行規制の時刻標示等である。例えば、バスレーンなどの標示と併せて描かれる「17−19」の標示(17時〜19時であることを意味)のような通行態様の規制等である。
「横断歩道予告」とは、横断歩道手前に描かれている菱形の記号である。
「減速帯」とは、車速の減速を促すために、路面上にパスに直交する方向の線分をパスの進行方向に沿って平行に複数本配置することで描かれている縞模様である。
「路面塗装」は、急カーブその他の運転者の注意を喚起すべき箇所に対し、通行の安全のために施されている赤色等の舗装領域である。
「バスレーン文字」とは、バスレーンとして使用される車線に付される「バス専用」「バス優先」という文字である。本実施例では、バスレーンを例示しているが、バスレーンに限らず、路面に標示される文字一般を対象としてもよい。
「終わり記号」とは、バスレーンなどの終了地点を示す「0」形状の記号である。
本実施例では、これらの標示を対象としているが、これらは例示に過ぎず、更に多くの標示を対象としてもよいし、この中の一部を抽出処理の対象外としても構わない。
OCRモデル画像とは、撮影された画像から、オペレータが手作業で切り出した画像に基づいて生成されたモデルである。例えば、数字、バスレーンなどの複雑な形状をした標示のマッチング用のモデルとして適している。これらのモデルをコンピュータグラフィックスによって生成することも不可能ではないが、文字の形状を現実の道路標示に併せてモデルを生成するためには、結局、撮影した画像をトレース等する必要が生じるため、結果としてOCRモデルを利用しているのと大差ない。
CPUは、以上の処理を連結画像単位で、実行し、ペイント認識結果を処理データ記憶部210に格納し、相対座標変換処理を行って(ステップS345)、ペイント認識処理を終了する。
図36は相対座標変換処理の内容を示す説明図である。本実施例では、以上で説明した各種標示の認識結果は、全て距離軸に沿って路面テクスチャを配置した直線状の画像を用いて得られている。従って、認識結果は、この直線状の画像を表示する座標系における相対的な位置が取得されているに過ぎない。相対座標変換処理は、この相対的な位置を、撮影時の位置座標に対応する絶対座標系の位置に変換する処理である。
図の左側には、直線状の連結画像で標示を認識した状態を示している。ここでは、矩形の存在領域M361、M362を示した。これらの存在領域M361、M362の位置は、代表点としての重心G361、G362の位置座標で表される。この座標は、直線状の連結画像を表示するための座標系xn、ynで与えられる。この座標系xn、ynは、例えば、距離軸NP36をyn軸として定義することが好ましい。
図の右側には、絶対座標系XYに変換した状態を示した。道路は直線とは限らないから、絶対座標系では、撮影時に取得された位置座標に従い、パスRP36は曲線状に描かれることもある。
まず、この曲線状のパスRP36の基準点からの距離に応じて、存在領域の垂線の足R361、R362のパスRP36上での位置を求め、点R361、R362から、それぞれ法線ベクトルV361、V362を描き、その終点を重心G361、G362とする。法線ベクトルV361、V362の大きさは、直線状の連結画像における点R361、G361間の距離、および点R362、G362間の距離にそれぞれ等しい。存在領域M361、M362の方向は、長手方向が法線ベクトルV361、V362と直交するように配置する。つまり、存在領域M361、M362と、重心G361、G362、および垂線の足R361、R362の相対的な位置関係が、直線状の連結画像(図の左側)と絶対座標系(図の右側)とで同一となるように、存在領域M361、M362を配置する。
この変換処理により、抽出された各標示の位置を絶対座標系の位置座標で表すことが可能となる。
まず、各存在領域の構成点、つまり存在領域の頂点の位置を、それぞれの頂点が属する路面テクスチャの代表点を基準とする相対座標で求める。そして、それぞれの路面テクスチャを絶対座標系XYでの配置に変換する際に、同様の変換をそれぞれの構成点に施す。こうすることにより、比較的容易に絶対座標系での構成点の位置座標を得ることができる。ただし、この方法では、構成点ごとに座標変換するため、変換時に存在領域の形状が崩れる場合がある。従って、変換後の構成点の配置を、存在領域の形状に適合させる修正処理を施してもよい。
各パスのペイントを認識したら、次は、この認識結果に基づいて、パス間の対応点を探索する。
図37は対応点探索処理のフローチャート(1)である。自動位置合わせ処理(図19)のステップS250、S260に代わる処理である。
この処理では、CPUは、まず各パスのペイント認識結果を読み込む(ステップS370)。そして、対応点の候補となるペイントを抽出する(ステップS371)。
図の右側には、パスAと位置合わせをする対象となるパスBについてのペイントP37bの認識結果を示している。パスBの認識結果も、パスAと同じ位置座標で定義されたメッシュ単位で管理されている。
ただし、領域M37b内に存在するペイントでも、ペイントP37aと同一種別でないものは、除外する。例えば、ペイントP37aが車線境界線のとき、領域M37b内に存在するからといって、横断歩道のペイントを候補ペイントとして抽出することはない。種別の異なるペイントを抽出しても、対応点とはなり得ないからである。この判断は、ペイント認識時の種別の認識結果に基づいて行う。
仮に、パスAとパスBの位置座標が正確に一致していれば、ペイントP37aに対応するペイントは、メッシュM37a内に見つかるはずである。しかし、実際には、パスAとパスBには誤差があるため、対応するペイントがメッシュM37aで見つかるとは限らない。そこで、誤差を考慮して、探索する範囲を広げて領域M37b内で探索するものとした。
探索する領域M37bは、任意に設定可能である。図の例よりも拡大しても構わない。もっとも、探索する範囲を拡大すれば、ペイントP37aと無関係のペイントが候補として抽出される可能性も高くなり、ペイントの増加に伴い処理時間が増大する。一方、領域M37bを狭めれば、本来、候補とされるべきペイントが漏れる可能性もある。このように、探索する領域は、メッシュのサイズ、パスA、パスB間で想定される誤差範囲などを考慮して設定することが好ましい。
本実施例では、候補ペイントの形状および相対位置に基づいて同一性を判断した。図中には、破線の車線境界線に基づいて対応点を得る場合の例を示した。
ペイント形状として示した折れ線P37aは、破線の車線境界線の境界線を模式的に表している。車線境界線は本来、直線だが、ペイント自体の色ムラや撮影条件や種々のノイズなどによって、画像処理時には必ずしも直線状に認識されるとは限らず、このように折れ線状に認識される。CPUは、最小二乗法などによって、この折れ線の近似直線L37aを求める。こうして得られた近似直線L37aの長さをLとし、近似直線L37aと折れ線P37aの最大誤差をEとする。
一方、相対位置の評価値としては、候補ペイントの近似直線L37a、L27bの中点を結ぶベクトルRpの、x成分(Rpx)、y成分(Rpy)を用いる。また、近似直線L37a、L37bのなす角度θも評価値として用いる。
条件1:2つの候補ペイントの近似直線の長さLの差分が所定値以下(例えば30cm程度)であること。
条件2:2つの候補ペイント双方について、最大誤差Eが所定値以下(例えば10cm程度)となっていること。
条件3:ベクトルRpのx成分Rpx、y成分Rpyが、それぞれ所定値以下(例えばx方向に150cm程度、y方向に300cm程度)であること。x成分Rpxの方が、y成分Rpyよりも小さい閾値を用いることが好ましい。
条件4:近似直線L37a、L37bのなす角θが所定値(例えば2.5°)以下であること。
CPUは、これらの条件を全て満たす場合には、候補ペイントに同一性があるものと判断する。
図38は対応点探索処理のフローチャート(2)である。
上述の処理によって各パスについて、複数のペイントに基づき、多数の対応点が抽出される。次に、CPUは、この対応点を評価し、位置合わせ処理に有用な対応点に絞り込む処理を行う。
まず、CPUはパスに沿って近接位置にある対応点を抽出する(ステップS374)。図中にこの処理概要を示した。
CPUは、対応点PAをパスA、B上に垂直に投影し、その直前直後の撮影位置A371、A372、B371、B372を抽出する。また、対応点PBを、パスA、Bに垂直に投影し、その直前直後の撮影位置A372、A373、B372、B373を抽出する。そして、これらの撮影位置を包含する撮影位置包含ポリゴンとしての矩形枠REを求める。処理過程で、対応点PA,PBに挟まれる撮影位置A372、B372は抽出対象から除外することで処理の簡素化を図ってもよい。
CPUは、次に、近接位置の対応点ごとに各パスにグループ分けを行う(ステップS375)。これは、パスA、Bのそれぞれにとって、位置合わせのときに都合のよい対応点を選択する処理である。つまり、パスAにとっては、パスAに近い位置にある対応点を使用した方が好ましい。一方、パスBにとっては、パスBに近い位置にある対応点を使用した方が好ましい。かかる観点から、ステップS375では、複数の対応点のうち、パスAにとって好ましい対応点を選択してグループAとし、パスBにとって好ましい対応点を選択してグループBとする。
対応点からパスまでの距離が、上述の閾値3.5mを超える対応点は、処理対象から除外され、いずれのグループにも属さない点となる。パスから所定以上の距離を隔てた対応点は、位置合わせ精度が低いと考えられるからである。このようにグループに属するために許容される距離に上限を設けておくことにより、位置合わせ処理の精度を確保することが可能となる。
ここでは、これら3組の対応点の中から、パスA、Bにそれぞれ最も近い点を選択するものとした。パスAについては、対応点PA2、PA3、PA4の中では、対応点PA3からパスAまでの距離LEN3が最も短いため、対応点PA3がグループAに属する点として選択される。パスBについては、対応点PB2、PB3、PB4の中では、対応点PB4からパスBまでの距離LEN4が最も短いため、対応点PB4がグループBに属する点として選択される。矩形枠REが重なる対応点から一つを選択する場合には、この例のように、各グループで異なる対応点が選択される場合もある。
選択されなかったグループの対応点は、処理対象から除外される。従って、グループAが選択された場合には、対応点(PA1、PB1)、(PA3、PB3)等が位置合わせ処理に使用されることになり、グループBが選択された場合には、対応点(PA4、PB4)等が位置合わせ処理に使用されることになる。このようにグループを選択することにより、位置合わせ処理に使用される対応点を、パスA又はパスBのいずれかにとって好ましい点のみに統一することができる。このように統一した場合の効果については後述する。
図示するように、パスに沿って対応点の間隔を求める。図の例では、対応点PA1、PA3の間隔はD1であり、対応点PA3、PA5の間隔はD2であるとする。ステップS377では、この間隔が所定の閾値(例えば、40m)未満となる対応点については、いずれか一方を削除する。いずれの対応点を削除してもよいが、ここでは後から撮影された側の対応点を削除するものとした。図の例で、左から右に走行しながら撮影が行われた場合、対応点PA1、PA3、PA5の順に取得されることになるから、例えば、距離D2が閾値未満であれば、後から取得された対応点PA5を削除するものとした。
なお、対応点の間隔は、対応点を削除した結果を反映して求める。例えば、距離D1が閾値未満であり対応点PA3が削除された場合には、対応点PA5を削除するか否かについては、削除済みの対応点PA3との間隔D2ではなく、対応点PA1との間隔に基づいて評価する。
この例では、パスP39Aの対応点A391、A382、A393をパスBの対応点B391、B392、B393に合わせるように、パスP39Aのテクスチャ画像Tx39を平行移動することで位置合わせを行う。図示する通り、対応点A391、A393はパスP39Aに比較的近接しているが、対応点A392からパスP39Aまでの距離L39は、図38のステップS375で説明した閾値(3.5m)を超えているとする。図38のS375で示したグループ分けによれば、対応点A392はパスP39A側のグループから除外されるべき点である。
図39(b)は、対応点A392も含め、図39(a)中の全ての対応点を用いて位置合わせした結果を表している。この結果、対応点A392の近傍の領域C39内でパスP38Cが湾曲していることが分かる。これは、パスP39Aから遠い位置にある対応点A392を用いたため、領域C39の部分の位置合わせの精度が、他の対応点P391、P393近傍の領域に比較して低いからである。対応点A392をグループAから除外することにより、このような湾曲は回避することができる。
また、各パスからの距離に応じて、それぞれの対応点を各パスのグループに分類した後(図38のステップS375)、グループ単位で対応点を選択する(ステップS376)。こうすることによって、いずれか一方のパスにとって都合のよい対応点を統一的に利用することになるため、パスに沿う方向に位置合わせの精度を均一化させることができる。
対応点探索処理の更なる実施例について説明する。上記施例では、各パスの連結画像から特徴点を抽出し、近い位置にある特徴点を対応点とする例を示した(図19のステップS230およびステップS250)。また、本実施例では、各パスの連結画像に基づいて路面のペイントを認識し、認識されたペイント間の同一性を評価して(図37のステップS372)、対応点を探索する例を示した。
これらの処理は、連結画像の位置座標の誤差範囲がある程度の許容範囲内におさまっていることが前提とされている。位置座標の誤差が大きい場合には、事前に誤差を評価し、パスの位置を修正する処理を施しておくことが好ましい。以下では、対応点探索処理の前処理として、パスの位置修正を行う方法について説明する。
図40はパスの位置修正の概要を示す説明図である。
図40(a)は、パスの位置修正を行わない場合の影響を示す説明図である。パスP40A、P40Bの位置合わせを行う前の連結画像を表している。パスP40Aの特徴点としては、車線境界線の端点A40が存在し、パスP40Bに対応する特徴点として、車線境界線の端点B40が存在する。本来ならば、この端点A40、B40が対応点となり、位置合わせ処理が行われるものとする。
しかし、図40(a)には、これらの特徴点の他に、車線境界線の端点C40が存在する。この端点C40は、端点A40、B40が含まれる車線境界線とは異なる車線境界線の端点である。端点C40を含む連結画像のパスの位置精度が低いため、端点A40、B40の近傍に配置されてしまったものである。
上記実施例等では、近い位置にある特徴点同士を対応点として特定するため、このように位置精度が比較的低い端点C40が存在すると、CPUは、端点A40とC40とを対応点と認識してしまうおそれがある。誤って特定された端点A40と端点C40とを一致させるように位置合わせが行われると、異常な道路画像が生成されることになる。
まず、パスP40A上のフレームデータから信号機SIGが写っているものを選択し、信号機SIGを基準として撮影位置DSCaの相対座標xa、yaを求める。撮影した画像に信号機SIGが写る位置および大きさは、撮影位置DSCa、カメラの画角又は焦点距離、カメラの設置位置および撮影方向などに依存する。逆に、カメラの画角、撮影方向などの撮影パラメータが既知であれば、撮影した画像内での信号機SIGの位置に基づいて、信号機SIGに対する相対座標xa、yaを算出することができる。画像内の位置から相対座標を算出する方法は、周知であるため、説明を省略する。
同様にして、パスP40Ct上の撮影位置DSCcについても、信号機SIGを基準とする相対座標xc、ycを求めることができる。
こうして各パスについて信号機SIGを基準とする相対座標が得られると、パスP40A、P40Ct間の間隔XOFF2を求めることができる。
位置座標データに基づいて得られるパスP40A、P40Cの間隔はXOFF1である。位置座標データの誤差が小さければ、間隔XOFF1と、画像解析から得られた間隔XOFF2との誤差Errは十分小さな値となるはずである。従って、この誤差Errに基づいて、パスP40Ctの位置座標の精度を評価することができる。
上述の処理では、パスP40Aを基準としてパスP40C側を移動させる形で位置修正を行う例を示した。パスP40Aを基準としたのは、この例では、パスP40Aを基準パスとして位置合わせをするものとしたからである。もっとも、画像解析から得られた間隔XOFF2となるように、パスP40cを基準としてパスP40Aを移動させて位置修正してもよい。ここで行っている位置修正は、複数のパス間の相対的な位置関係の修正であるから、パスP40cを基準とする場合でも、上述の処理と同じ結果が得られる。
図41はパスの位置修正処理のフローチャートである。図40で示した処理を実現するためのものであり、自動位置合わせ処理(図19)において、対応点探索処理(ステップS250)の前処理として行うことができる。
この処理では、CPUは、まず各パスのフレームデータを読み込む(ステップS411)。そして、このフレームデータのうち、信号機が写ったフレームデータを抽出する(ステップS412)。この抽出には、信号機を表すパターンマッチングモデルを用いた。
図42は信号機が写ったフレームデータの抽出例を示す説明図である。図42(a)は信号機を、左側の車線から写した状態を表しており、図42(b)は同じ信号機を、右側の車線から写した状態を表している。信号機の周囲を囲んでいる枠がパターンM412である。
パターンマッチングでは、まず、画像データ内に信号機の青色に相当する画素があるか否かによって、信号機の有無を判定する。信号機は発光体であるから、撮影時の周囲の明るさの影響をあまり受けず、安定した色で撮影されるため、色に着目することで容易に信号の有無を判断することができる。黄色や赤色に基づいて判断することも可能ではあるが、走行しながら撮影した一連の画像データには、信号機が青色に点灯している状態が含まれているから、青色に着目して判断することが好ましい。
次に、信号機があると判断されたフレームデータに対して、パターンマッチングモデルのパターンを順次、あてはめる。こうして、画像内の信号機の形状に最も適合するパターンがものに基づいて信号機の画像内での位置を特定することができる。
パターンマッチングでは、同じ信号機を写したフレームデータが複数抽出される。CPUは、この中から、信号機が最大面積で写ったフレームを抽出する(ステップS413)。この処理の概要を図中に示した。車両が信号機SIGに近づいていくと、信号機の面積は図中にグラフで示すように、ある地点までは徐々に大きくなり、最大値となった後、小さくなるという変化を示す。信号機までの距離が遠い場合には、フレームデータF411に示すように信号機は小さく写っているため、面積は小さい。信号機までの距離が近づくにつれて、信号機の面積は徐々に大きくなり、信号機に十分に近づいた状態では、フレームデータF412に示すように最大面積となる。更に、信号機に近づくと、フレームデータF413に示すように、信号機が画像内におさまりきらなくなるため、信号機の面積は徐々に小さくなっていく。
CPUは、各フレームデータ内の信号機の面積を求めることによって、最大面積のフレームデータF412を抽出することができる。
そして、オフセット誤差Err(=|XOFF2−XOFF1|)を算出し、オフセット誤差Errが閾値1m以上となる場合には、標準パスの位置を、画像解析から得られたオフセットXOFF2に基づいて修正する(ステップS417)。つまり、基準パスから標準パスまでのオフセットがXOFF2となるよう、標準パスの位置座標を平行移動によって修正する。
修正するか否かの判断に用いられる閾値は1mに限らず任意に設定可能である。また、かかる判断を省略し、全てのパスについて画像解析から得られたオフセット値に基づく位置修正を行ってもよい。
以上、本発明の種々の実施例について説明したが、本発明はこれらの実施例に限定されず、その趣旨を逸脱しない範囲で種々の構成を採ることができることはいうまでもない。
例えば、連結画像は、路面テクスチャを合成した一枚の画像として生成してもよい。この場合、複数パスの合成を行う際には、連結画像を路面テクスチャに相当する複数の領域に分割した上で、領域ごとに平行移動すればよい。
本実施例では、車両に搭載したビデオカメラで撮影した画像を利用する例を示したが、車両に限らず自転車その他の種々の移動体を利用可能であり、歩行しながら撮影する方法を採ってもよい。
110…位置計測部
110…計測データ
112…コントローラ
114…GPS
114A…アンテナ
116…IMU
118…DMI
120…ビデオカメラ
130…記録装置
140…ハードディスク
142…画像データ
144…同期データ
146…計測データ
150…基準局データ
200…路面標示地図生成装置
201…主制御部
202…コマンド入力部
203…表示制御部
204…データ入力部
205…軌跡データ算出部
206…画像変換部
207…1パス画像合成部
210a…軌跡データ
210b…路面軌跡データ
210c…路面テクスチャ
210d…連結画像
210e…道路画像
210f…道路画像用登録データ
210g…軌跡用登録データ
210c…データ(路面テクスチャ
210…処理データ記憶部
220…位置合わせ処理部
221…透明化ポリゴン設定部
222…自動位置合わせ処理部
Claims (8)
- 道路面に施された標示が含まれる路面標示地図をコンピュータによって生成する路面標示地図生成方法であって、
(a) 前記コンピュータが、前記路面標示地図の生成対象となる道路面と、生成対象外であるその他の道路面とが混在して撮影されている複数のフレーム画像で構成される画像データ、および該画像データにおける各フレーム画像の撮影位置を示す位置座標データを取得する工程と、
(b) 前記コンピュータが、前記生成対象となる道路面に対応する領域を包含する切出用ポリゴンを入力又は生成して、記憶部に記憶する工程と、
(c) 前記コンピュータが、前記位置座標データが前記切出用ポリゴンの領域内に存在する画像データを抽出して、連続するフレーム画像として前記記憶部に記憶する工程と、
(d) 前記コンピュータが、前記連続するフレーム画像から、前記道路面を真上から見た状態の正射画像を生成する工程と、
(e) 前記コンピュータが、前記正射画像から、前記位置座標データに基づいて道路面を表す連結画像を生成する工程と
を実行し、
前記切出用ポリゴンは、前記生成対象となる道路面に対応する道路ネットワークデータのリンクを対称軸とした矩形状の矩形ポリゴンを含む路面標示地図生成方法。 - 請求項1記載の路面標示地図生成方法であって、
更に、
(f) 前記コンピュータが、前記連続するフレーム画像に対応する位置座標データの点列を接続したラインをパスとして定義する工程と、
(g) 前記コンピュータが、1の道路を構成する複数の車線に対応する前記パスのうち、2本以上のパス上に配置された正射画像に共通して撮影されている領域内で対応する対応点を、各連結画像の所定の特徴点を抽出する画像処理に基づいて特定する工程と、
(h) 前記コンピュータが、前記対応点の位置が一致するように前記連結画像を平行移動して、前記道路面の合成画像を生成する工程と
を実行する路面標示地図生成方法。 - 請求項1又は2記載の路面標示地図生成方法であって、
前記切出用ポリゴンは、前記リンクの接続点において、それぞれのリンクに対応した前記矩形ポリゴン同士を重ねたときに、前記接続点に接続される2つのリンクがなす角における鈍角側にできる凹部を埋めて凸形状化する補助ポリゴンを更に含むことを特徴とする路面標示地図生成方法。 - 請求項2記載の路面標示地図生成方法であって、
前記工程(g)に先だって、
(i1) 前記コンピュータが、1の道路を構成する複数の車線に対応する前記パスに共通して含まれる前記道路との位置関係が固定された所定の地物を撮影したフレーム画像を抽出する工程と、
(i2) 前記コンピュータが、前記パスについて該抽出されたフレーム画像内での前記地物の2次元座標値と、前記撮影時の画角および撮影方向を含む撮影パラメータとに基づいて、前記地物と撮影位置との相対的な位置関係を求め、該位置関係に基づいてパス間の距離を算出する工程と、
(i3) 前記コンピュータが、前記道路面を撮影する際に得られた位置座標データに基づいて、各パス間の距離を算出する工程と、
(i4) 前記コンピュータが、前記工程(i2)および工程(i3)で得られたパス間の距離に基づいて、前記位置精度の評価を行う工程と、
(i5) 前記コンピュータが、工程(i4)において所定の位置精度に満たないと評価されたパスについて、前記工程(i2)で得られた位置関係を用いてパスの位置座標を修正する工程と
を実行する路面標示地図生成方法。 - 請求項2記載の路面標示地図生成方法であって、
前記工程(g)では、前記コンピュータが、前記パスの連結画像に含まれる前記道路面に施された標示の種別および位置を認識するとともに、複数のパス間で、前記認識された同一種別の標示の特徴点に基づいて前記対応点を特定する路面標示地図生成方法。 - 請求項5記載の路面標示地図生成方法であって、
前記コンピュータが、前記複数のパスから予め設定されている距離を越える点を除いて前記対応点を特定する路面標示地図生成方法。 - 請求項5又は6記載の路面標示地図生成方法であって、
前記工程(g)は、更に、
(g1) 前記コンピュータが、前記特定された対応点のうち、前記パスごとに、該パスから予め設定されている距離内にある対応点の集合を求める工程と、
(g2) 前記コンピュータが、前記各パスの集合に含まれる対応点の数が最多の集合を選択する工程と
を実行し、
前記工程(h)では、前記コンピュータが、前記工程(g2)で選択された集合に含まれる対応点を用いて前記合成画像を生成する路面標示地図生成方法。 - 道路面に施された標示が含まれる路面標示地図を生成する路面標示地図生成装置であって、
前記路面標示地図の生成対象となる道路面と、生成対象外であるその他の道路面とが混在して撮影されている複数のフレーム画像で構成される画像データ、および該画像データにおける各フレーム画像の撮影位置を示す位置座標データを取得する取得部と、
前記生成対象となる道路面に対応する領域を包含する切出用ポリゴンを入力又は生成して、記憶部に記憶する切出用ポリゴン記憶制御部と、
前記位置座標データが前記切出用ポリゴンの領域内に存在する画像データを抽出して連続するフレーム画像として前記記憶部に記憶するフレーム画像記憶制御部と、
前記連続するフレーム画像から、前記道路面を真上から見た状態の正射画像を生成する画像変換部と、
前記正射画像から、前記位置座標データに基づいて道路面を表す連結画像を生成する連結画像生成部と
を備え、
前記切出用ポリゴンは、前記生成対象となる道路面に対応する道路ネットワークデータのリンクを対称軸とした矩形状の矩形ポリゴンを含む路面標示地図生成装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009017432A JP5324240B2 (ja) | 2009-01-29 | 2009-01-29 | 路面標示地図生成方法及び路面標示地図生成装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009017432A JP5324240B2 (ja) | 2009-01-29 | 2009-01-29 | 路面標示地図生成方法及び路面標示地図生成装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010175756A JP2010175756A (ja) | 2010-08-12 |
JP5324240B2 true JP5324240B2 (ja) | 2013-10-23 |
Family
ID=42706810
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009017432A Expired - Fee Related JP5324240B2 (ja) | 2009-01-29 | 2009-01-29 | 路面標示地図生成方法及び路面標示地図生成装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5324240B2 (ja) |
Families Citing this family (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101009169B1 (ko) * | 2010-08-30 | 2011-01-18 | 주식회사 로드코리아 | 도로 포장관리를 위한 이정관리 방법 |
JP5589900B2 (ja) * | 2011-03-03 | 2014-09-17 | 株式会社豊田中央研究所 | 局所地図生成装置、グローバル地図生成装置、及びプログラム |
JP2012243051A (ja) * | 2011-05-19 | 2012-12-10 | Fuji Heavy Ind Ltd | 環境認識装置および環境認識方法 |
US9298991B2 (en) | 2012-01-17 | 2016-03-29 | LimnTech LLC | GPS-based machine vision roadway mark locator, inspection apparatus, and marker |
US10301783B2 (en) | 2012-01-17 | 2019-05-28 | LimnTech LLC | Roadway maintenance striping control system |
US8935057B2 (en) * | 2012-01-17 | 2015-01-13 | LimnTech LLC | Roadway mark data acquisition and analysis apparatus, systems, and methods |
US9784843B2 (en) | 2012-01-17 | 2017-10-10 | Limn Tech LLC | Enhanced roadway mark locator, inspection apparatus, and marker |
JP5974782B2 (ja) * | 2012-09-28 | 2016-08-23 | 株式会社Jvcケンウッド | 映像生成装置、経路映像生成方法 |
CN104680171B (zh) * | 2013-11-27 | 2018-10-02 | 富士通株式会社 | 图像中斑马线的检测装置、方法 |
JP6477876B2 (ja) * | 2015-06-18 | 2019-03-06 | 日産自動車株式会社 | 信号機検出装置及び信号機検出方法 |
US9940542B2 (en) * | 2015-08-11 | 2018-04-10 | Google Llc | Managing feature data for environment mapping on an electronic device |
JP6745112B2 (ja) | 2016-02-04 | 2020-08-26 | 株式会社トプコン | 路面性状の評価方法、及び路面性状の評価装置 |
JP6811534B2 (ja) * | 2016-02-04 | 2021-01-13 | 株式会社トプコン | 道路性状の表示方法、及び道路性状の表示装置 |
JP6745113B2 (ja) | 2016-02-04 | 2020-08-26 | 株式会社トプコン | 路面性状取得方法、及び路面性状取得装置 |
JP2018072637A (ja) * | 2016-10-31 | 2018-05-10 | 株式会社トヨタマップマスター | オルソ画像作成装置、オルソ画像作成方法およびプログラム |
JP2021071882A (ja) * | 2019-10-30 | 2021-05-06 | Kddi株式会社 | 地図生成装置、地図生成システム、コンピュータプログラム及び地図生成方法 |
JP7272334B2 (ja) * | 2020-08-26 | 2023-05-12 | トヨタ自動車株式会社 | 地図生成装置および地図生成方法 |
JP6877706B1 (ja) * | 2021-01-12 | 2021-05-26 | 国立大学法人東北大学 | 地形表示方法、地形表示システム、および地形表示プログラム |
CN113470008B (zh) * | 2021-07-26 | 2023-08-18 | 南通市江海公路工程有限公司 | 一种智能监控沥青路面施工质量的方法及系统 |
CN114943805B (zh) * | 2022-06-01 | 2023-08-01 | 北京精英路通科技有限公司 | 停车遮挡确定方法、装置、设备、存储介质及程序产品 |
CN116822106B (zh) * | 2023-08-29 | 2023-12-05 | 北京城建集团有限责任公司 | 基于Dynamo辅助出图方法、装置和设备 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2870670B2 (ja) * | 1991-07-05 | 1999-03-17 | 日本電信電話株式会社 | 地図合成方法 |
JPH10105689A (ja) * | 1996-09-27 | 1998-04-24 | Oki Electric Ind Co Ltd | 移動体挙動検知装置 |
AU2003248269A1 (en) * | 2002-07-12 | 2004-02-02 | Iwane Laboratories, Ltd. | Road and other flat object video plan-view developing image processing method, reverse developing image conversion processing method, plan-view developing image processing device, and reverse developing image conversion processing device |
JP3820428B2 (ja) * | 2003-02-25 | 2006-09-13 | 名古屋市 | 道路画像の合成方法と合成装置 |
JP4272966B2 (ja) * | 2003-10-14 | 2009-06-03 | 和郎 岩根 | 3dcg合成装置 |
WO2006114955A1 (ja) * | 2005-04-25 | 2006-11-02 | Geo Technical Laboratory Co., Ltd. | 撮影位置解析方法 |
JP5047515B2 (ja) * | 2006-03-20 | 2012-10-10 | 株式会社ゼンリン | 道路画像作成システム及び道路画像作成方法,及び道路画像合成装置 |
WO2008130219A1 (en) * | 2007-04-19 | 2008-10-30 | Tele Atlas B.V. | Method of and apparatus for producing road information |
EP2210233A1 (en) * | 2007-11-16 | 2010-07-28 | Tele Atlas B.V. | Method of and apparatus for producing lane information |
-
2009
- 2009-01-29 JP JP2009017432A patent/JP5324240B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2010175756A (ja) | 2010-08-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5324240B2 (ja) | 路面標示地図生成方法及び路面標示地図生成装置 | |
JP5363752B2 (ja) | 路面標示地図生成方法 | |
JP2009237901A (ja) | 路面標示地図生成方法 | |
CN108460815B (zh) | 地图道路要素编辑方法和装置 | |
US8571265B2 (en) | Measurement apparatus, measurement method, and feature identification apparatus | |
US8280105B2 (en) | Imaging position analyzing method | |
JP6779698B2 (ja) | 舗装ひび割れ解析装置、舗装ひび割れ解析方法及び舗装ひび割れ解析プログラム | |
US6768813B1 (en) | Photogrammetric image processing apparatus and method | |
KR100967448B1 (ko) | 수치지도데이터와 도화이미지합성을 통한 지형정보의 영상처리시스템 | |
JP5389964B2 (ja) | 地図情報生成装置 | |
JP2009259215A (ja) | 路面標示地図生成方法 | |
CN104123730A (zh) | 基于道路特征的遥感影像与激光点云配准方法及系统 | |
CN111540048A (zh) | 一种基于空地融合的精细化实景三维建模方法 | |
JP5281424B2 (ja) | 路面標示地図生成方法 | |
CN113834492A (zh) | 地图匹配方法、系统、设备及可读存储介质 | |
JP5544595B2 (ja) | 地図画像処理装置、地図画像処理方法、および、コンピュータプログラム | |
US6618497B1 (en) | Photogrammetric image processing apparatus and method | |
KR100732915B1 (ko) | 디지털사진 측량기술 및 인공위성영상을 이용한 기본설계용도로노선의 3차원적 결정 방법 | |
JP5285311B2 (ja) | 路面標示地図生成方法 | |
JP5339753B2 (ja) | 路面標示地図生成方法 | |
JP2005251035A (ja) | 3次元モデル作成装置、3次元モデル作成方法および3次元モデル作成プログラム | |
JP5435294B2 (ja) | 画像処理装置及び画像処理プログラム | |
JP3437671B2 (ja) | ランドマーク認識装置およびランドマーク認識方法 | |
Zhou et al. | True orthoimage generation in urban areas with very tall buildings | |
WO2022021209A9 (zh) | 电子地图生成方法、装置、计算机设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110909 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130205 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130329 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130521 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130531 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130709 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130718 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |