JP5285311B2 - 路面標示地図生成方法 - Google Patents
路面標示地図生成方法 Download PDFInfo
- Publication number
- JP5285311B2 JP5285311B2 JP2008070218A JP2008070218A JP5285311B2 JP 5285311 B2 JP5285311 B2 JP 5285311B2 JP 2008070218 A JP2008070218 A JP 2008070218A JP 2008070218 A JP2008070218 A JP 2008070218A JP 5285311 B2 JP5285311 B2 JP 5285311B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- road
- road surface
- computer
- path
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Description
特許文献1は、車輌の前後または側方に対してデジタルカメラ等により取得された画像から、路面の標示を含む静止画像を生成する技術を開示している。この技術では、目的の道路を車両で走行しながら、その車両に搭載されたデジタルカメラ等で路面の標示等を撮影する。そして、動画を構成する各フレーム画像を真上から見た状態の正射画像に変換し、撮影位置に応じて配列する。正射画像とは、道路の垂直上方の無限遠点に視点を置いた場合の道路画像を言う。複数のフレーム画像を配列することによって、1回の走行の軌跡(以下、パスと呼ぶこともある)に沿った道路面の合成画像を得ることができる。
例えば、道路内部の各地点の位置座標が詳細に得られている地図データが存在すれば、車両の現在位置に応じて、車両が道路のどの車線を走行しているかを判断して、車線変更の案内を行うことや、車両に横断歩道が接近していることを警告するなどの高機能な案内を実現することが可能となる。
しかし、従来の地図データは、これらの高精度、高機能な案内を実現するためには不十分な精度しか有していなかった。仮に車両の現在位置を精度良く把握したとしても、その位置情報を活かすだけの詳細な地図データが用意されていたとは言えなかったのである。
しかし、従来技術は、いずれも道路面の合成画像を得ることを主目的としており、路面の標示の位置座標を得ることを目的としてはいなかった。
例えば、特許文献2の技術は、道路が直線か曲線かに関わらず車両の進行方向をX軸とし、その移動距離をX座標として画像を表しているに過ぎず、このX軸に直交する方向にのみ画像をアフィン変換するに過ぎない。複数のパスで得られた画像について、このように定められたX座標が十分に一致しているという保証はないから、特許文献2の技術では路面の標示の位置座標を精度良く得ることはできない。
また、アフィン変換は、原画像の長方形領域を平行四辺形に歪ませる作用を持つ変換とも言えるから、特許文献2の技術では、アフィン変換によって画像の合成を行うことにより画質の劣化を招き、路面の標示の位置座標を一層低下させるという課題もある。
一方、特許文献1記載の技術は、1回のパスで得られる画像に対する処理を開示しているのみであり、道路全体を十分にカバーすることができない。
標示を自動で抽出する場合には、認識された標示同士が重なり合っていたり、単一の標示が分断された個別の標示として認識されていたり、本来、標示が存在するはずの場所であるにも関わらず認識漏れが生じていたり、という種々のタイプの誤認識が発生する。また、複数のパスで得られる画像にまたがって存在する路面標示は、各パスで正確に認識されたとしても、結果として、単一の標示が分断されて認識されたのと同じ状態となり、本来の単一の標示から見れば、不適切な状態で認識されていることになる。
これらの誤認識または不適切な状態での認識が存在すると、当然、路面標示の認識精度が低下し、それを用いた地図の信用性を損ねてしまう。
本発明では、まず、コンピュータは、道路面を撮影する際の移動軌跡である所定のパスに沿って移動しながら標示を含む路面を撮影した連続画像の画像データと、この画像データの撮影位置を表す位置座標データとを入力する。所定のパスは、一つでも良いし、複数でもよい。
上述の画像データは、例えば、車両などの移動体に搭載した撮影装置によって撮影することができる。撮影装置としては、例えば、ディジタル・ビデオ・カメラなどを用いることができる。また、撮影装置には、撮影時の位置座標データを取得する位置計測装置を搭載しておくことが好ましい。位置計測装置は、例えば、GPS(Global Positioning System)や、ジャイロなどの慣性航法装置などを単独または組み合わせて用いることができる。また、処理の便宜上、撮影した画像と位置座標データを入力し、両者を同期させて記録する記録装置を用意しておくことが好ましい。
そして、こうして得られた正射画像を位置座標データに基づいて、パス上に配置することにより、各パスの路面を表す連結画像を生成する。この際、正射画像の一部が重なっても良い。正射画像は、例えば、その中心線がパスの進行方向に沿う状態で配置することが好ましい。
複数のパスで撮影されている場合には、各パスについて正射画像を配置する。こうすることで連結画像がパスの本数分だけ得られる。複数パスの連結画像は、部分的に重なった状態で配置されることになる。
路面標示の認識には、例えば、パターンマッチングを用いてもよい。連結画像から、白および黄色など標示に用いられる所定色の部分を抽出し、標示の種別ごとに予め用意された標示パターンと抽出された部分とのマッチングによって標示の認識を行うのである。
標示を認識する第2の方法として、標示に該当する部分の幾何学的な条件に基づいて標示を特定する方法をとってもよい。連結画像から標示に用いられる所定色の部分を抽出し、パスに沿う方向との位置関係および大きさに基づいて、標示の種別を認識するのである。標示を認識するための条件を以下に例示する。
横断歩道…パスに平行な方向に、均等な平行線が複数認識される領域;
自転車横断帯…パスに直交する線分のうち、一定の間隔で描かれている2本線を表しているもの(横断歩道の付近という条件を加味してもよい);
停止線…パスに直交する線分のうち、1本線を表しているもの;
車線境界線…パスに平行な線分のうち、所定長さ以上のもの;
減速帯…パスに直交する所定長さ線分が、パス方向に平行に配置されているもの;
ゼブラ…所定間隔で平行線が描かれている領域のうち、横断歩道および減速帯に該当しないもの;
ここで言う修正には、例えば、他のパスの連結画像が上に重なって非表示となるはずの標示を表示される状態に変更するなどの非表示/表示の切り替え、複数の標示の合成、標示の整形などの処理が含まれる。
本発明は、このように認識された標示単体で修正を施すのとは異なり、複数の位置関係に基づいて標示の修正を施す。従って、複数の路面標示が誤認識または不適切な状態で認識された場合に、標示単体ではなし得ない修正を施すことができ、全体として標示の認識精度を向上させることができる。
複数のパスで生成された連結画像間には、撮影時の位置誤差が含まれていることがあり、連結画像間の標示の位置に不整合が生じることがある。かかる不整合を抑制するため、パスの位置誤差を修正する処理を施しても良い。この方法としては、例えば、各パスの位置精度、またはオペレータの指示などに基づいて、複数のパスのいずれかを基準パスとし、この基準パスに他のパスを合わせる方法を採ることができる。
位置合わせを行うためには、2本以上のパスの連結画像に共通して撮影されている領域内で、対応する対応点を特定する。例えば、2本のパスに横断歩道が共通に撮影されている場合には、それぞれの連結画像において横断歩道の縞模様のいずれかの角を対応する対応点とすることができる。対応点は、各連結画像からの標示の認識結果に基づいて自動的に設定してもよいし、オペレータの指示によるものとしてもよい。
こうして特定された対応点同士のずれは、位置座標の誤差を表すことになる。従って、対応する対応点の位置が一致するように設定された移動ベクトルに基づいて、基準パス以外のパスの連結画像に対して補正をかけることで、複数のパスの位置の不整合を解消することが出来る。
このように透明化ポリゴンが設定されている場合には、認識された標示の一部が、透明化ポリゴンによって透過状態とされることがある。このような場合には、透明化ポリゴンによって透過状態とされる部分を除いた状態の標示に基づいて、標示間の位置関係を判定してもよい。こうすることによって、表示時の標示に基づいて修正処理を施すことができる。
例えば、認識された複数の標示が同一の種別である場合には、位置関係に応じて、標示を合成して単一の標示としてもよい。連結画像が重なり合っている部分などでは、一つの標示が重複して認識されることがある。これらの標示は、同一種別であるとともに、相互に重なり合う位置関係、近接している位置関係、一定方向に配列されている位置関係など、相互に関連した位置関係にある。本態様によれば、同一種別の標示を、相互の位置関係に応じて、同一の標示であると認識し、合成することができる。こうすることで、一つの標示が重複して認識されるという一種の誤認識を解消することができる。
横断歩道、自転車横断帯、停止線など、路面標示には、道路の幅方向に伸びるものがある。幅広の道路の場合、一つのパスで生成される連結画像では、道路幅全体を包含することができず、横断歩道等の路面標示も全体を包含することができないことがある。この結果、横断歩道等の路面標示は、複数の連結画像で分断して認識されることになる。
本態様によれば、同一種別の標示が、幅方向に並んでいる位置関係にあることで、同一の標示が分断して認識されているものと判断して、合成することができる。従って、一つの標示が、複数の標示かのように分断されて認識されている不適切な状態を解消することが出来る。
各標示の重心位置や、重なり合いの有無などを判断する際、それぞれの標示の形状を画像処理で認識して処理を行うことも可能ではあるが、幾何学形状を用いることによって、標示の形状を単純化して扱うことができるため、位置関係を容易に判断することができる利点がある。
連結画像同士が重なっている場合、重なり合っている部分では、下側の連結画像内に存在する標示に対応する標示が、上側の連結画像から認識されているのが本来である。下側の連結画像においてしか標示が認識されておらず、上側の連結画像に対応する標示が認識されていない場合は、誤認識の一つに当たる。本態様によれば、下側の連結画像においてのみ認識されている標示を抽出し、表示可能な状態とすることができる。従って、こうした誤認識を解消し、下側の連結画像での認識結果を有効活用することが可能となる。
本発明は、上述の生成方法に限らず、この生成方法によって道路面に施された標示を含む路面標示地図を生成する生成装置として構成してもよい。
また、上述の生成方法をコンピュータに実現させるためのコンピュータプログラムとして構成してもよいし、かかるコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体として構成してもよい。記録媒体としては、例えば、フレキシブルディスクやCD−ROM、光磁気ディスク、ICカード、ROMカートリッジ、パンチカード、バーコードなどの符号が印刷された印刷物、コンピュータの内部記憶装置(RAMやROMなどのメモリ)および外部記憶装置等、コンピュータが読取り可能な種々の媒体を利用できる。
A.システム構成:
A1.道路面撮影システム:
A2.路面標示地図生成装置:
B.処理概要:
B1.中間データ構成:
B2.処理例:
B3.位置合わせ加工概要:
C.路面標示地図生成方法:
C1.連結画像生成処理:
C2.位置合わせ加工:
C3.基準パス設定処理:
C4.連結画像移動処理:
C5.透明化ポリゴン設定処理:
C6.ペイント認識処理:
D.効果:
本実施例では、車両に搭載したビデオカメラで撮影した道路面の画像を用いて、路面の標示を含む地図(以下、「路面標示地図」と呼ぶ)を生成する方法を示す。
本実施例のシステムは、道路面撮影システムと路面標示地図生成装置から構成される。道路面撮影システムは、道路を走行しながら道路面の画像をビデオカメラで撮影するシステムである。本実施例では、対象となる道路を、異なる走行軌跡で複数回走行し、それぞれ画像を撮影する。
路面標示地図生成装置は、道路面撮影システムで撮影された道路面の画像に基づいて路面標示地図を生成する装置である。まず、上述の各走行軌跡上に、撮影された画像を正射画像に変換した上で配置することで、道路面の一部の車線についての連結画像を生成する。そして、複数の走行軌跡の画像を、位置座標が整合するように配置することで道路全体の画像を生成する。また、こうして生成された連結画像から道路面の標示を抽出する。
以下、道路面撮影システムと路面標示地図生成装置のシステム構成について説明する。
図1は実施例としての道路面撮影システムの構成を示す説明図である。
道路面撮影システム100は、車両に搭載されたシステムである。図の下方のブロック図に基づき、システム構成を説明する。
ビデオカメラ120は、走行中の道路面の画像を撮影する。
位置計測部110は、撮影中の位置座標を計測する装置である。位置計測部110は、GPS(Global Positioning System)114、IMU(Inertial
Measurement Unit)116、DMI(Distance Measuring Instrument)118およびコントローラ112から構成されている。GPS114は、全地球測位システムである。IMU116は、内部に3軸のジャイロおよび加速度センサを備えた慣性計測装置である。DMI118は、車輪の回転を検出して移動距離を計測する装置である。
また、これらの信号の取得後、位置座標の計測精度の評価値である自己推定位置精度σを併せて出力する。一般にGPS114は、位置座標の検出に使用される人工衛星の配置、電波の受信状況、建造物などに反射した電波を受信することによるマルチパスの有無などによって検出精度が変動することが知られている。またディファレンシャル測位では、基準局の稼働状況によっても検出精度は影響を受ける。
自己推定位置精度σは、任意に定義可能である。例えば、GPS114の人工衛星の配置によって定まる精度低下率(DOP(Dilution of Precision))を用いて自己推定位置精度σを算出するようにしてもよい。
自己推定位置精度σは、取得されたデータを後述する路面標示地図生成装置で処理する際に、解析するようにしてもよい。
ビデオカメラ120は、前方画像を撮影できるよう、車両の前方に設置する。画角を広げるために広角レンズを装着してもよい。
GPS114のアンテナ114Aは、車両のルーフ上部に設置する。本実施例では、GPS用の人工衛星からの電波を確実に受信し、十分な位置精度を確保することができるよう、アンテナ114Aを車両の前後に主副の2台設置した。いずれか一台のみを用いるものとしてもよい。
IMU116、DMI118、コントローラ112は、それぞれ車両の後部に設置した。DMI118は、後輪の回転を検出可能に装着されている。
記録装置130およびハードディスク140は車室内の任意の場所に設置可能であるため、図示を省略した。
図2は実施例としての路面標示地図生成装置の構成を示す説明図である。道路面撮影システムで撮影された道路面の画像に基づいて路面標示地図を生成するための装置である。本実施例では、完全に自動で路面標示地図を生成するのではなく、適宜、オペレータからのコマンドによる指示を受けながら対話型または半自動で処理を進める方法を採用した。
表示制御部203は、コンピュータのディスプレイに、路面標示地図生成装置200での処理結果を表示したり、オペレータが種々のコマンドを指示するための画面を表示したりする。コマンド入力部202、表示制御部203の機能は、コンピュータのOS(Operating System)によって提供してもよい。
もっとも、基準局からのデータを用いることは必須ではない。計測データ146で得られた位置座標をそのまま用いるものとしてもよい。かかる場合には、軌跡データ算出部205は省略することも可能である。
1パス合成部207は、画像変換部206によって得られた各フレーム画像の正射画像を、その正射画像内の代表点が、撮影時の位置座標に基づいて定まる位置座標に来るように配置することによって、撮影時の走行軌跡(パス)に沿った道路面の画像を合成する。こうして合成された画像を、連結画像と呼ぶものとする。合成された連結画像は、処理データ記憶部210に保存される。
本実施例では、それぞれの道路に対して、異なる走行軌跡で、複数回走行して、撮影を行う。1パス画像合成部207は、それぞれのパスごとに合成画像を生成する。この結果、連結画像は、パスの本数に応じて、複数生成される。
位置合わせで得られた道路画像は、処理データ記憶部210に保存される。
相関関係とは、例えば、路面標示が所定の組み合わせで描かれているか否か、異種の標示が重なり合っていないかなどの関係を言う。例えば、横断歩道と自転車横断帯とは隣接して描かれているのが通常であるため、自転車横断帯が単独で描かれている場合には、自転車横断帯が誤認識されていると判断することができる。
標示の相関関係は、標示の種別に応じて定められた幾何学形状からなる存在領域に基づいて行われる。本実施例では、この存在領域をオブジェクトファイルと呼ぶものとする。オブジェクトファイルは、相関関係の判定に先立って、ペイント解析部で設定され、処理データ記憶部210に記憶される。
B1.中間データ構成:
図3は路面標示地図の生成過程における中間データを示す説明図である。これらのデータは、順次、処理データ記憶部210(図2参照)に記憶される。
本実施例では、道路を走行しながらビデオカメラ120および位置計測部110で取得したデータが記録装置130としてのパーソナルコンピュータによってハードディスク140内に格納されている。格納されるデータとしては、画像データ142、計測データ146、および両者の同期をとるための同期データ144がある。
本実施例では、各道路を複数回走行して、道路面の画像を撮影する。従って、路面テクスチャ210cおよび路線軌跡データ210bは、各道路に対して複数パス分、生成されることになる。
連結画像210dは、路面テクスチャ210cを結合した一つの画像ファイルとして生成することもできる。本実施例では、後に続く処理の便宜上、合成画像として生成するのではなく、路面テクスチャ210cを配置して連結画像210dを生成するための情報(以下、「登録データ」と呼ぶこともある)を、路面テクスチャ210cの各画像と対応づけて格納するものとした。かかる情報には、路面テクスチャ210cを配置する位置座標、配置する際の姿勢(角度)、および隣接する路面テクスチャ210cを特定する情報、隣接する路面テクスチャ210cとの上下関係などを含めることができる。
道路画像210eについても、合成画像として生成してもよいし、路面テクスチャ210cを配置して道路画像210eを生成するための情報を、路面テクスチャ210cの各画像と対応づけて格納するようにしてもよい。本実施例では、後者の方法を採用した。それぞれの路面テクスチャ210cを配置する位置座標、配置する際の姿勢(角度)などの情報は、道路画像用登録データ210fとして保存されている。また、位置合わせの過程で、路線軌跡データ210bに対して、位置誤差を修正する処理が施されるため、この原データに対する修正過程を表す情報を、軌跡用登録データ210gとして保存する。
この他、連結画像210dのデータ(路面テクスチャ210c、路線軌跡データ210bを含む)も併せて保存する。原データである画像データ142、軌跡データ210aも保存しておくことが好ましい。仮に、合成画像化された形で連結画像210dを保存している場合には、道路画像210eは、連結画像210dを合成することになるため、合成の繰り返しで原データに比較して画質が劣化するおそれがある。これに対し、本実施例のように、路面テクスチャ210cも含めて、原データに近いデータを残しておくことにより、これらのデータを利用して道路画像210eを生成することが可能となる。従って、合成の繰り返しなど、画像データに重畳的に画像処理が施されることを抑制でき、道路画像210eの画質を向上させることが可能となる。
次に、本実施例における処理の概要理解を容易にするため、処理例を示す。
図4は実施例における道路画像の生成例を示す説明図である。図4(a)には、1本のパスに沿って得られた連結画像の生成例を示し、図4(b)には、複数パスの連結画像を配置して得られた道路画像の例を示している。
図4(a)中の直線L41〜L44は、それぞれ道路面撮影システム100で走行しながら道路画像を撮影した際の走行軌跡(パス)を表している。図4(a)のPIC41は、パスL43を走行して得られた画像データに基づいて生成された連結画像である。本実施例では、広角レンズを用いて撮影しているため、1回のパスでも複数車線を覆うだけの連結画像を得ることができている。連結画像の両端が、のこぎり刃状にギザギザになっているのは、画像データの各フレームを正射投影した際に生じる形状歪みの影響である。この連結画像PIC41は、ギザギザの山数に応じたフレーム数の正射画像(路面テクスチャ)を配置して生成されているのである。
このような連結画像は、図中のパスL41〜L44のそれぞれに対して得られる。
図5は位置合わせ加工の概要を示す説明図である。本実施例では、複数の連結画像に共通して撮影されている標示に基づいてオペレータが指定した対応点の位置を合わせるように、連結画像を平行移動することによって位置合わせを行う。
図5(a)には対応点が1つだけ指定された場合の処理方法を示した。図中には、2本の連結画像PIC51、PIC52が描かれている。これらには、それぞれ菱形の標示、つまり横断歩道の予告標示が含まれている。ただし、図5(a)左側の状態では、連結画像PIC51、PIC52には相対的に位置誤差があるため、標示の位置がずれている。
オペレータは、この表示画面を見ながら、マウス等のポインティングデバイスを用いて対応点を指定する。図の例では、横断歩道の予告表示の頂点に当たるP51、P52を指定した状態を示した。これらの対応点P51、P52は、連結画像PIC51、PIC52に位置誤差がなければ、本来、同じ位置に重なるはずの点である。そこで、本実施例では、対応点P51、P52が一致するよう、図中に矢印で示すように連結画像PIC51、PIC52を平行移動させる。
この際、連結画像PIC51、PIC52の一方を基準とし、他方を平行移動する方法を採った。図の例では、連結画像PIC51を基準とし、連結画像PIC52を移動させた例を示している。このように移動することにより、予告標示のずれが解消した状態の道路画像PIC53を得ることができる。
この状態で、オペレータが、2組の対応点を指定したとする。対応点P54、P53の組と、対応点P56、P55の組である。連結画像PIC54では、連結画像PIC55に含まれる予告標示M52は全体が描かれており、連結画像PIC54に含まれる予告標示M51は一部が消えている。このような状態であっても、対応点P55、P56が対応することは明らかであるため、対応点として指定することは可能である。
このように複数組の対応点が指定されると、連結画像PIC54を基準として、それぞれの対応点が一致するように、連結画像PIC55を移動させる。ただし、対応点P53をP54に一致させるための第1の移動量と、対応点P55をP56に一致させるための第2の移動量とが同じであるとは限らない。そこで、対応点P53とP55との間の領域では、第1の移動量、第2の移動量を直線補間して、各点の移動量を設定する。こうすることにより、予告標示のずれが解消した状態の道路画像PIC56を得ることができる。
この例では、連結画像PIC54中の予告標示M51は半分が欠けている。この状態で位置合わせを行うと、この例では、連結画像PIC54をPIC55の上側に重ねるように表示しているから、連結画像PIC55の予告標示M52は、連結画像PIC54によって覆い隠されてしまう。この結果、連結画像PIC55では完全な状態で描かれている標示M52を道路画像PIC56で活かすことができない。
そこで、このような場合に、オペレータの指示によって予告標示M52を取り囲むように透明化ポリゴンTP50を設定する。透明化ポリゴンTP50が設定された箇所では、上側の連結画像が透明化され、切り取られたように表示される。この結果、透明化ポリゴンTP50の部分では、連結画像PIC54の下側に配置された連結画像PIC55に描かれている予告標示M52が表示される。
本実施例では、このように透明化ポリゴンを設定可能とすることによって、それぞれの連結画像で描かれている標示を、道路画像においても有効活用することができる。
図6の例では、縦の道路については、それぞれ単一のパスしか存在しないため、パスBP61、BP62が基準パスとなる。
横の道路については、区間D61ではパスBP63bとNP61bのうち位置精度が高い側を基準パスとし、区間D62についてはBP64bとNP61bのうち位置精度が高い側を基準パスとする。ここでは、それぞれパスBP63b、BP64bが基準パスとして設定されているものとする。更に、パスBP63b、BP64b間の位置精度を比較して、優劣を決める。パスBP63b、BP64bはそれぞれ区間D61、D62の基準パスではあるが、一本の道路に配置された連続するパスなので、これらのパス間でも位置合わせを行う必要があるからである。図6の例では、パスBP63bの方が、パスBP64bよりも位置精度が高いものとする。
この結果、横のパスについては、基準パスBP63b>基準パスBP64b>標準パスNP61bの順に位置合わせの優先度が定まる。
まず、基準パスBP63bの位置合わせを行う。オペレータの指示によって、基準パスBP63b上の対応点P63bが指定され、その本来の位置として、点P63aが指定されたとする。この結果、基準パスBP63bは、対応点P63bが、点P63aに一致するように移動され、実線で示した基準パスBP63aが得られる。
図示を省略したが、基準パスBP63bに対応した連結画像も基準パスBP63aに合わせて移動する。本実施例では、基準パスBP63bに沿って路面テクスチャを配置することによって連結画像を表示しており、これらの路面テクスチャを合成してはいない。従って、基準パスBP63aへの移動が行われた場合には、基準パスBP63aに沿うように、各路面テクスチャの位置を平行移動することによって、基準パスBP63aの連結画像を得ることができる。
対応点が指定されると、基準パスBP64bは、対応点P65b、P64bが、点P65a、P64aに一致するように移動され、実線で示した基準パスBP64aが得られる。これに合わせて、基準パスBP64bの連結画像を構成していた路面テクスチャも、それぞれ基準パスBP64a上に平行移動される。
対応点が指定されると、標準パスNP61bは、対応点P68b、P67bが、点P68a、P67aに一致するように移動されるとともに、対応点P67b、P66bが、点P67a、P66aに一致するように移動される。これらの3点は一直線上にはないから、結果として、標準パスNP61bは、折れ線状の標準パスN61aに移動される。これに合わせて、標準パスNP61bの連結画像を構成していた路面テクスチャも、それぞれ標準パスNP61a上に平行移動される。
例えば、図6の処理において、位置精度が低い順、つまり標準パスNP61b、基準パスBP64b、基準パスBP63bの順に位置合わせをしたとする。この場合には、基準パスBP64bの位置合わせは、標準パスNP61bの位置合わせの影響を受け、位置精度が低下する。基準パスBP63bの位置合わせは、標準パスNP61b、基準パスBP64bの位置合わせの影響を受け、位置精度が低下する。従って、位置精度が低い順に位置合わせを行うと、パス間の相互作用によって全体の位置精度が低下してしまう。
本実施例では、これとは逆に、位置精度が高い順に位置合わせを行う。従って、最も位置精度が高いパスの位置精度を劣化させることなく、全体の位置合わせを行うことが可能となるのである。
以下、図1〜6で説明した路面標示地図の生成方法について、オペレータが必要に応じて指示を行う場合を例にとって、詳細に説明する。
まず、連結画像生成処理、つまり図2中の路面テクスチャ210c、路面軌跡データ210bに基づいて各パスの連結画像210dを得る処理について説明する。
次に、位置合わせ加工、つまり複数パスに対する連結画像210dの位置合わせを行う処理、および位置合わせ加工の中で行われる基準パス設定処理、連結画像移動処理について説明する。
また、透明化ポリゴンの設定処理について説明する。
ペイント認識処理が終わると、路面標示地図生成装置は、ペイント間の相関関係に基づいて誤認識の検出・対処を行うペイント解析処理を行う。この際には、相関関係を判定するため、路面標示地図生成装置は、各ペイントを包含する幾何学形状で規定された存在領域を生成し、これをオブジェクトファイルとして記憶する。
次に、路面標示地図生成装置は、オブジェクトファイルに基づいて、複数の路面標示の位置関係を適正にするための処理、ペイント修正処理を行う。
図7は連結画像生成処理のフローチャートである。ハードウェア的には路面標示地図生成装置200のCPUが実行する処理である。これは、図2に示した画像変換部206、1パス合成部207の処理に相当する。
処理を開始すると、CPUは、まずフレームデータを読み込む(ステップS10)。フレームデータとは、道路面撮影システム100(図1)のビデオカメラ120で撮影された画像データ142を構成する各フレームの画像である。
領域A71は、上述の例に限らず、任意に設定可能である。ビデオカメラ120が一定のフレームレートで画像を撮影するため、フレームデータは、道路面を間欠的に撮影した画像群となる。従って、領域A71は、間欠的に撮影された画像群を並べた時に、道路が連続画像として再現できるように範囲を決定することが好ましい。例えば、領域A71の縦幅を狭くすれば、車両の速度が速い場合には、あるフレームデータから切り出された領域と、次のフレームデータから切り出された領域との間に隙間が生じやすくなる。一方、領域A71の縦幅を広くすれば、前方車両や空、建物など、道路画像とは異なる雑多な映像が含まれやすくなる。領域A71は、これらの影響を考慮した上で、設定すればよい。
先に説明した通り、このフレームデータの一部の領域A71を切り出して使用する。
下段には、領域A71の画像を正射投影変換した状態を例示した。道路を真上から見た画像に変換するため、左右の車線規制線L71、L72は図示する通り、平行な線分に変換される。標示M7も同様に真上から見た状態の形状に変換される。
まず、道路面撮影システム100を搭載した車両は水平面上を走行しており、被写体である道路も同一水平面上にあるものとする。
この時、道路画像、即ちフレームデータの画面上の2次元座標をm=[u,v]Tとする。また、地面に固定された世界座標系の3次元座標をM=[X,Y,Z]Tとする。これらの各座標に1の要素を直積で加えたベクトルを、次式(1)の通り定義する。
[Rt]は、外部パラメータ行列;
Rは回転行列;
tは平行移動行列;
Aは内部パラメータ行列である。
α、βはそれぞれu軸、v軸方向のスケール因子、γは2つの画像軸のスキューにより表されるパラメータ;
[u0,v0]Tは、画像の主点の座標(主点座標)である。
画像のピクセルサイズを(ku、kv)、u軸とv軸とのなす角をθ、焦点距離をfとすると、α、β、γは次式(4)で表される。
平行移動ベクトルtは、世界座標系において原点に対する実画像の画像主点の移動ベクトルである。
ビデオカメラ120の高さ(実画像の画像主点の高さ)をhとすると、平行移動ベクトルtは次式(5)で表される。
ヨー角φ、ピッチ角ω、ロール角κおよび画像主点の高さhは、次の手順で得られる。まず、初期状態、即ち車両が水平な地面に設置されている状態において、ヨー角φ0、ピッチ角ω0、ロール角κ0、および高さh0の基準値を計測しておく。次に、走行中には逐次、車両の姿勢角の変化および車高の変化をジャイロ、加速度センサ等で記録しておき、上述の基準値にこの変化を反映することで、各地点でのヨー角φ、ピッチ角ω、ロール角κおよび高さを得ることができる。
まず、被写体である道路面を水平面(Y=0)の画像であると仮定する。この時、式(2)より、次式(7)の関係が成立する。
まず、フレームデータを取得した各地点の位置座標データ(X0,Y0,Z0)と、被写体である道路面付近の複数点の位置座標(Xi,Yi,Zi)とから、被写体である道路面の勾配を計算する。本実施例では、勾配は一様であるものと仮定した。
具体的には、撮影地点の世界座標点(X,Y,Z)付近の位置座標データから、高さの変化Δhを求める。つまり、Δh=Y−Y0である。この時、一様な勾配を仮定すると、道路面上の世界座標系(X’,Y’,Z’)の点の奥行きZ’は次式(9)で求めることができる。
本実施例では、後に続く処理の便宜のため、正射画像(路面テクスチャ)を低解像度/高解像度の2通りで生成するものとした。高解像度の正射画像(路面テクスチャ)(以下、「高解像度画像」と呼ぶ)は、もとのフレームデータの切り出し領域A71をそのまま利用して生成された画像、即ち原画像と同じ解像度で生成された画像である。低解像度の正射画像(路面テクスチャ)(以下、「低解像度画像」と呼ぶ)は、解像度を原データよりも下げた画像である。低解像度画像の解像度は、路面標示地図生成装置200が軽い負荷で画像を表示することができる程度の値とすることが好ましく、原画像の解像度の半分など、任意に設定可能である。
各正射画像(路面テクスチャ)A72は、フレーム座標系(uv座標系)の原点に対応する点を、各フレームデータの撮影時の位置座標に基づいて配置すればよい。フレームデータは車両の位置よりも前方を写したものであるため、正射画像(路面テクスチャ)は、車両位置から一定距離だけ前方に移動させた地点に配置する必要がある。本実施例では、フレームデータ毎に車輌位置とフレーム座標系の位置関係を計算して配置する。また、正射画像(路面テクスチャ)は、時系列的に古い画像から新しい画像に順次、配置するものとした。
このように正射画像(路面テクスチャ)を配置することによって、道路面の車線境界線L71、L72および標示M7が再現される。
本実施例では、連結画像生成処理の段階では、正射画像(路面テクスチャ)を1枚の画像に結合することなく、配置して表示する状態に留めている。従って、1パス画像合成処理(ステップS14)で生成されるのは、合成画像ではなく、各正射画像(路面テクスチャ)の配置を決定する情報となる。もっとも、この処理において、正射画像(路面テクスチャ)を1枚の画像に結合する方法を採ることもできる。
図8は位置合わせ加工のフローチャートである。ハードウェア的には路面標示地図生成装置200のCPUが実行する処理である。これは、図2に示した位置合わせ処理部220の処理に相当する。
処理を開始すると、CPUは、まず処理の対象となる道路(以下、「対象道路」と言う)についてのオペレータからの指定を入力する(ステップS20)。そして、対象道路に対応する連結画像を入力する(ステップS22)。本実施例では、それぞれの道路について、走行位置を変えながら複数回走行して、路面画像を撮影している。従って、各走行に対応するパスに基づいて、それぞれ連結画像が生成されている。ステップS22では、これらの複数の連結画像を読み込む。
本実施例では、図中に示すように、基準パスおよび標準パスの連結画像をディスプレイに表示し、オペレータが、マウスなどのポインティングデバイスを操作して、この画面内で対応点を設定するという方法を採った。図の例では、標準パスの画像内で菱形をした横断歩道予告標示の頂点を対応点として指定し、次に、これに対応する頂点を基準パスの画像内で指定する例を示した。対応点は、1点に限らず、複数の点を指定可能である。
後述するペイント認識処理が行われており、各連結画像内の標示が抽出されている場合には、CPUは、抽出した標示をディスプレイに表示し、オペレータがこの中から対応点として用いるべき標示を選択するようにしてもよい。また、連結画像間で抽出した標示の位置関係に基づいて、対応する標示を特定し、対応点や透明化ポリゴンを自動的に設定可能としてもよい。
先に説明した通り、本実施例では、連結画像は一枚の合成画像として生成されている訳ではなく、正射画像(路面テクスチャ)を配置して表示している。従って、ステップS50の処理では、それぞれの正射画像(路面テクスチャ)を移動することで、連結画像の移動処理が行われる。移動処理と併せて、それぞれの正射画像を低解像度画像から高解像度画像に置換する処理が行われる。高解像度画像を用いて、正射画像を再配置する処理を行うものとしてもよい。
連結画像移動処理の内容は、後で詳述する。
図9は基準パス設定処理のフローチャートである。位置合わせ加工(図8)のステップS30に相当する処理であり、複数のパスの位置合わせをする際に、自己推定位置精度が最も高いものを基準パスとして設定するための処理である。
各パスの自己推定位置精度σが得られると、CPUはこの値が最小となるパスを基準パスとして設定する(ステップS33)。対象道路に対して単一のパスしか存在しない場合には、無条件にそのパスが基準パスとして設定されることになる。この基準パスの自己推定位置精度をσBとする。
これに対し、自己推定位置精度σBが、所定の閾値σTH以上の場合には、エラー表示を行って(ステップS35)、処理を終了する。この場合には、基準パスの位置精度が十分確保されていないことを意味するため、位置合わせ処理を行っても、位置精度が十分に保証されないからである。
所定の閾値σTHは、上述の通り、路面標示地図として確保すべき位置精度に基づいて任意に設定可能である。
もっとも、位置合わせ処理における修正は、いずれのパスに対してもできるだけ小さい方が、より好ましいと言える。従って、ステップS34において、全てのパスの自己推定位置精度を閾値σTHと比較し、いずれか一本でも、この閾値を下回る精度のパスが存在する場合にはエラー表示を行うようにしてもよい。
ただし、標準パスにも基準パスと同等の位置精度を要求すると、エラー表示が頻繁になされるおそれがある。かかる弊害を回避するため、標準パスでは基準パスよりも高い閾値σTHを用いるようにしてもよい。つまり、標準パスについては位置精度の要求を基準パスよりも緩めるのである。こうすることによって、標準パスについても最低限の位置精度を保証しつつ、エラー表示が頻繁になされるのを回避することができる。
(1)フローチャート:
図10は連結画像移動処理のフローチャートである。位置合わせ処理(図8)のステップS50の処理に相当する。
処理を開始すると、CPUは移動対象となる標準パスのデータおよび対応点のデータを入力する(ステップS51)。標準パスのデータとは、フレーム画像が撮影された時の位置座標を順次、記録した点列からなる軌跡データである。対応点のデータは、図8のステップS20において、基準パスおよび標準パスが表示された画面内でオペレータが指定した対応点の座標値である。
図中に移動ベクトルの算出例を示した。この例では、標準パスNP10について、対応点P101、P103が指定されているものとする。標準パス上には、図中に台形で示すように正射画像(路面テクスチャ)が配置されている。
また、対応点が一つしか指定されておらず、移動ベクトルが一つしか与えられない場合は、この移動ベクトルを用いる。
この処理と併せて、標準パスNP10上の点PP10の位置も移動ベクトルVP10によって修正される。従って、ステップS53の処理では、路面テクスチャの移動と共に、標準パスNP10の軌跡も修正されることになる。
図11は位置合わせ加工の処理例(1)を示す説明図である。図11(a)〜図11(c)のそれぞれには、標準パスNP11および基準パスBP11に対する連結画像を重ねて表示した状態を示している。図11(a)は標準パスNP11の連結画像を、基準パスBP11の連結画像よりも上に配置した状態である。先に説明した通り、連結画像は多数の路面テクスチャを配置することで構成されているが、図中には、説明の便宜上、一つの路面テクスチャTX11に輪郭を付して示した。
オペレータは、この画面中で、標準パスNP11における対応点P111を指定する。対応点P111は、任意に設定可能である。本実施例では、分離帯標示M11の白線の斜め縞模様の端点の一つを対応点P111として選択している。
対応点P112が指定されると、標準パスNP11の対応点P111から基準パスBP11の対応点P112に向かうように移動ベクトルV11が求められる。この移動ベクトルV11に従って、路面テクスチャTX11を移動すれば、対応点P111は対応点P112に一致し、分離帯標示M11、M12の位置も一致させることができる。
図12は位置合わせ加工の処理例(2)を示す説明図である。標準パスNP12、基準パスBP12の連結画像を重ねた状態を示した。説明の便宜上、双方の路面標示を視認可能な状態で示している。位置合わせ前は、標準パスNP12、基準パスBP12の位置がずれているため、車線境界線などの標示の位置はずれている。
オペレータは、ここでは破線での車線境界線の端点の一つを対応点として選択している。標準パスNP12については車線境界線L122の端点を対応点P122として選択し、基準パスBP12については車線境界線L121の端点を対応点P121として選択する。この結果、標準パスNP12の対応点P122から基準パスBP12の対応点P121に向かう移動ベクトルV12が定まる。
上述の通り、標準パスNP12の連結画像を、移動ベクトルV12に従って移動することによって、車線境界線の位置を合わせることができる。位置合わせの結果が車線境界線L13である。
また、この位置合わせ加工によって、標準パスも基準パスの位置に合わせられる。本実施例は、本来、異なる位置を走行した複数のパスを位置合わせすることによって、道路面の画像を生成する。この際、図12、図13の比較から分かる通り、対応点に基づいて設定される移動ベクトルに従って、標準パスを平行移動することにより、複数のパス間で、路面標示の位置関係およびパスの位置関係を、非常によく一致させることができる。
図14は路面標示の絶対位置座標の取得方法を示す説明図である。図の例では、標準パスNP14上の路面テクスチャTX142、基準パスBP14上の路面テクスチャTX141を例示した。路面テクスチャTX141、TX142内には、それぞれ標示M141、M142が含まれている。
路面テクスチャTX141、TX142は、それぞれの代表点が、基準パスBP14上の点P141、および標準パスNP14上の点P143に一致するように配置される。
(1)処理概要:
図15は透明化ポリゴン設定処理の概要を示す説明図である。透明化ポリゴン設定処理は、重ねられた道路画像上に、オペレータの指示によって、透明化ポリゴンを設定することによって、隣接するパスに対応する正射画像同士が重なり合っている部分で、上側の正射画像の一部を透明化して、下側の正射画像を透視可能とする処理である。
図の中央に、正射画像P152の上に正射画像P151が重ねられている様子を斜視図的に示した。下側の正射画像P152には、横断歩道A154が分断された状態で含まれており、停止線A153が完全な状態で含まれている。上側の正射画像P151には、横断歩道A152が完全な形で含まれており、停止線A151が分断された状態で含まれている。それぞれ分断された部分を、破線で囲んで示した。
この状態で正射画像P151、P152を重ねると、左側に示したように表示される。つまり、両者が重なった部分では、上側の正射画像P151の画像のみが表示されるため、横断歩道A152は完全な状態で表示されるが、停止線A151は分断された状態で示されてしまうのである。
仮に、正射画像P151、P152の上下関係を変えたとすれば、今度は、停止線A153は完全な状態で表示することができるが、横断歩道A154が分断された状態で表示されることになる。このように、正射画像P151、P152の上下関係だけでは、横断歩道、停止線の双方を完全な状態で表示させることはできない。
図16は透明化ポリゴン設定処理のフローチャートである。ハードウェア的には路面標示地図生成装置200のCPUが実行する処理である。これは、図2に示した透明化ポリゴン設定部221の処理に相当する。
処理を開始すると、CPUは、オペレータからの対象道路の指定を入力し(ステップS100)、対象道路に対応する連結画像を入力する(ステップS102)。対象道路に対して複数のパスが対応している場合には、これらのパスに対応する複数の連結画像が入力される。
本実施例では、優先パスは、オペレータが各パスの連結画像を比較しながら、任意に設定することができる。仮に、路面画像が最も粗いパスを優先パスに指定しても構わない。このような場合には、後述する透明化ポリゴンの設定数が増えるだけのことである。
図中に透明化ポリゴンの設定例を示した。この例では、優先パスに沿った路面テクスチャTX161と、その他のパスに沿った路面テクスチャTX162を示した。
撮影時には矩形の画像が、正射画像変換により、台形になるため、路面テクスチャTX161、TX162を配置すると、図示するようにのこぎり刃状になる。のこぎり刃状の部分からは、路面画像の見栄えを落とすと共に、分断された路面画像しか得られないため、完全な路面画像を得るという目的からは不要な部分となる。そこで、図の例では、路面テクスチャTX161、TX162が重なり合った部分では、のこぎり刃状になった路面テクスチャTX161の左端の部分に透明化ポリゴンPOL161を設定し、のこぎり刃状の部分が表示されないようにしている。
かかる設定は、単に路面テクスチャが重なっていない部分を避けて、オペレータが透明化ポリゴンを設定するという運用によって実現してもよいが、透明化ポリゴンの設定処理(ステップS106)において、透明化ポリゴンの設定位置を制限するようにしてもよい。つまり、路面テクスチャが重なり合っている部分についてのみ、オペレータによる透明化ポリゴンの設定操作を受け付けるようにしても良い。
図17は透明化ポリゴンを設定する前の道路画像例を示す説明図である。この例では、パスP171、P172の2本に沿って得られた連結画像の位置合わせを行って生成された道路画像を示した。パスP172の連結画像と、パスP171の連結画像とで、のこぎり刃状の両端の形状が逆向きになっているのは、これらのパスP171,P172を道路面撮影システム100の車両が走行する方向が逆だからである。
また、パスP172の路面画像が端の方で不鮮明なため、例えば、領域A171では横断歩道の縞模様が歪んでいる。領域A172では、停止線が分断された状態となっている。領域A173では、路線バス等優先通行帯(いわゆるバスレーン)であることを示す「バス専用」の文字が読めない程に崩れている。領域A174では、破線状の車線境界線が途中で分断された状態となっている。
このように透明化ポリゴンPOL17を設定すると、パスP172側の路面テクスチャは、透明化ポリゴンPOL17の内部では透視状態となり、下側に配置されたパスP171側の路面テクスチャが視認されるようになる。
領域A183では、バス専用の文字が、はっきりと判読可能な状態となる。領域A184では、車線境界線が完全な状態で表示される。
このように、本実施例では、透明化ポリゴンを設定することにより、道路画像の画質を向上させることができるとともに、道路面の標示の画質も向上させることができる。
(1)全体処理:
図19はペイント認識処理のフローチャートである。ハードウェア的には路面標示地図生成装置200のCPUが実行する処理である。これは、図2に示したペイント認識部223の処理に相当する。
処理を開始すると、CPUは処理データ記憶部210から、処理対象となっている道路の画像、即ち路面テクスチャ、パスのデータを読み込む(ステップS300)。
次に、CPUは縦配置処理を行って(ステップS302)、縦配置画像を生成し、処理データ記憶部210に格納する。
縦配置の画像は、次の手順で生成することができる。まず、2次元座標xyの縦(y)方向に距離軸を設定する。距離軸とは、パスPA20に沿って画像を撮影する際の開始点からの移動距離を表す軸である。パスPA20が直線状の時は、パスPA20の進行方向を上向きに表示した状態となる。パスが曲線状のときには、パスを直線状に伸ばした状態となる。
それぞれの路面テクスチャTx20については、撮影時の位置座標データおよび撮影開始からの移動距離が得られているから(図1の位置計測部110参照)、これらのデータに基づき、距離軸上に路面テクスチャTx20を配置する。路面テクスチャTx20は、画像内の代表点を距離軸上に置き、左右対称軸が距離軸に平行になるよう配置する。こうすることによって、パスが曲線状か否かに関わらず、進行方向が縦方向に直線状に伸ばされた状態の連結画像を表示することができる。この連結画像によれば、図示する通り、横断歩道および停止線は距離軸に直交する方向(図中の左右方向)に描かれ、車線境界線は距離軸に沿う方向(図中の上下方向)に描かれる。縦配置画像には、このように道路の標示が一定の位置関係で描画されるため、これらの認識がしやすくなるという利点がある。
ここでは、距離軸を縦に配置する例を示したが、横または斜めなど任意の方向に配置可能である。
縦配置処理が完了すると、CPUは横断関連ペイント抽出処理を行う(ステップS310)。これは、横断歩道、自転車横断帯、停止線など交差点近辺の標示を抽出する処理である。本実施例では、処理データ記憶部210に格納された縦配置画像を用い、そこに描かれた標示を画像処理で抽出するとともに、標示に含まれる線分の位置関係や長さなどに基づく条件判断によって標示の種別を判断するようにした。
「境界線」とは、実線および破線などで描かれた車線境界線である。
「矢印」とは、交差点内の進行方向の規制を示すために、交差点付近で各車線に示されている矢印である。
「ゼブラ」とは、横断歩道とは異なり、中央分離帯や右左折用の車線が増える箇所などに標示されている縞模様である。
「Uターン」とは、Uターン禁止道路に描かれているU字形状の矢印である。
「転回禁止」とは、Uターンの矢印とともに描かれている×印である。
「規制」とは、通行規制の時刻標示等である。例えば、バスレーンなどの標示と併せて描かれる「17−19」の標示(17時〜19時であることを意味)のような通行態様の規制等である。
「数字」とは、速度規制などの数字である。
「横断歩道予告」とは、横断歩道手前に描かれている菱形の記号である。
「減速帯」とは、車速の減速を促すために、路面上にパスに直交する方向の線分をパスの進行方向に沿って平行に複数本配置することで描かれている縞模様である。
「路面塗装」は、急カーブその他の運転者の注意を喚起すべき箇所に対し、通行の安全のために施されている赤色等の舗装領域である。
「バスレーン文字」とは、バスレーンとして使用される車線に付される「バス専用」「バス優先」という文字である。本実施例では、バスレーンを例示しているが、バスレーンに限らず、路面に標示される文字一般を対象としてもよい。
「終わり記号」とは、バスレーンなどの終了地点を示す「0」形状の記号である。
本実施例では、これらの標示を対象としているが、これらは例示に過ぎず、更に多くの標示を対象としてもよいし、この中の一部を抽出処理の対象外としても構わない。
人工モデル画像とは、コンピュータグラフィックスによって生成されたモデルである。矢印、Uターン、転回禁止など、比較的単純な標示のマッチング用のモデルとして適している。
OCRモデル画像とは、撮影された画像から、オペレータが手作業で切り出した画像に基づいて生成されたモデルである。例えば、数字、バスレーンなどの複雑な形状をした標示のマッチング用のモデルとして適している。これらのモデルをコンピュータグラフィックスによって生成することも不可能ではないが、文字の形状を現実の道路標示に併せてモデルを生成するためには、結局、撮影した画像をトレース等する必要が生じるため、結果としてOCRモデルを利用しているのと大差ない。
以下では、相対座標変換処理(ステップS370)について詳細に説明する。
図21は相対座標変換処理の内容を示す説明図である。本実施例では、以上で説明した各種標示の認識結果は、全て距離軸に沿って路面テクスチャを配置した直線状の画像を用いて得られている。従って、認識結果は、この直線状の画像を表示する座標系における相対的な位置が取得されているに過ぎない。相対座標変換処理は、この相対的な位置を、撮影時の位置座標に対応する絶対座標系の位置に変換する処理である。
各存在領域M391、M392の位置および向きは次の方法で求める。
まず、この曲線状のパスRP39の基準点からの距離に応じて、存在領域の垂線の足R391、R392のパスRP39上での位置を求め、点R391、R392から、それぞれ法線ベクトルV391、V392を描き、その終点を重心G391、G392とする。法線ベクトルV391、V392の大きさは、直線状の連結画像における点R391、G391間の距離、および点R392、G392間の距離にそれぞれ等しい。存在領域M391、M392の方向は、長手方向が法線ベクトルV391、V392と直交するように配置する。つまり、存在領域M391、M392と、重心G391、G392、および垂線の足R391、R392の相対的な位置関係が、直線状の連結画像(図の左側)と絶対座標系(図の右側)とで同一となるように、存在領域M391、M392を配置するのである。
この変換処理により、抽出された各標示の位置を絶対座標系の位置座標で表すことが可能となる。
まず、各存在領域の構成点、つまり存在領域の頂点の位置を、それぞれの頂点が属する路面テクスチャの代表点を基準とする相対座標で求める。そして、それぞれの路面テクスチャを絶対座標系XYでの配置に変換する際に、同様の変換をそれぞれの構成点に施すのである。こうすることにより、比較的容易に絶対座標系での構成点の位置座標を得ることができる。
ただし、この方法では、構成点ごとに座標変換するため、変換時に存在領域の形状が崩れる場合がある。従って、変換後の構成点の配置を、存在領域の形状に適合させる修正処理を施しても良い。
次にCPUは、ペイント解析処理を行う。ペイント解析処理とは、ペイント認識処理の結果に対して、誤認識の有無を判定し、誤認識が検出された時には、ペイントの削除などの対処を行う処理である。本実施例では、各ペイントを単独で解析するのに加えて、ペイント相互の相関関係の適否を判定することで、誤認識を検出する。相関関係の適否は、ペイントの種別および位置関係に基づいて判断される。本実施例では、ペイント相互の位置関係は、ペイントの存在領域に基づいて判断するものとした。
例えば、矢印の場合には、矢印の中心軸に平行な辺を有する矩形を用いることができる。そのサイズは、矢印の先端(終点)および開始点を含む形状とすることができる。
このように存在領域が設定されると、存在領域の位置、形状および「矢印」という標示の種別が与えられると、予め用意された矢印モデルを、存在領域内に内接するように拡大・縮小することによって、矢印の標示を再現することが可能となる。
他のペイントについても同様である。ペイントごとに存在領域として用いるべき幾何学形状を予め設定しておくとともに、モデルを用意しておけば、それぞれのペイントを比較的容易に再現することが可能である。こうすることにより、ペイントのデータ容量を抑制することができる利点がある。また、存在領域は幾何学形状であるため、これを用いることにより、ペイント同士の間隔や、重なりの有無などの位置関係を比較的容易に判断することが可能である。
本実施例では、こうして設定された存在領域データをオブジェクトファイルと称する。
(1)全体処理:
図22はペイント修正処理のフローチャートである。ハードウェア的には路面標示地図生成装置200のCPUが実行する処理である。これは、図2に示したペイント修正部227の処理に相当する。
処理を開始すると、CPUは処理データ記憶部210から、処理対象となっている道路のオブジェクトファイルおよびパスのデータ、透明化ポリゴンを読み込む(ステップS600)。
図の右側にこの処理の概要を例示した。図の例は、連結画像UP22の上に、連結画像OP22が部分的に重なっている状態を示している。連結画像UP22内には、標示を表すオブジェクトPu221、Pu222が含まれており、連結画像UP22内には、オブジェクトPo221、Po222が含まれている。
また、オブジェクトPo222を包含するように、透明化ポリゴンTP222が設定されている。透明化ポリゴンTP222が透過状態となるため、連結画像UP22の領域TP221が表示される。オブジェクトPo222は非表示となる。
一方、上側の連結画像OP22については、オブジェクトPo221は全体が表示に使用されるため、そのまま抽出される。オブジェクトPo222は、透明化ポリゴンTP222によって透過状態とされるため、抽出されない。仮に、透明化ポリゴンTP222が、領域TP221に対応する部分に設定されている場合には、オブジェクトPo222については、図中のハッチングを付した部分が表示に使用されるようになるため、この部分が抽出されることになる。
オブジェクト結合処理とは、複数の同種のオブジェクトの位置関係に基づいて、単一のオブジェクトか否かを判定するとともに、単一のオブジェクトと判断される場合には、複数のオブジェクトを結合して一つのオブジェクトを生成する処理である。
それぞれのオブジェクトに対する結合処理の内容は後述する。
図23は車線境界線結合処理のフローチャートである。ペイント修正処理(図22)のステップS650に相当する処理である。
この処理では、CPUはまず車線境界線のオブジェクトを入力し(ステップS651)、処理対象となる境界線を任意に選択する(以下、選択されたものを「対象境界線」と称する)。そして、対象境界線の端点から距離R内に端点が存在する車線境界線を抽出する(ステップS652)。
ステップS652の処理では、対象境界線の端点P230から、距離R(図中の円)内に端点が存在するものとして、表示領域A231内の車線境界線L231、隣接する表示領域A232内の車線境界線L232、L233が抽出される。このように、距離R内の車線境界線は、対象境界線が存在する連結画像内から抽出するものに限定されず、他の連結画像から抽出されたものであってもよい。
抽出の基準となる距離Rは、対象境界線と連続した車線境界線とみなすことができる範囲内で任意に設定可能である。距離Rを小さい値に設定すれば、連続していない車線境界線を抽出する可能性を低減することができるが、連続した車線境界線に抽出漏れが生じるおそれがある。距離Rの値は、こうした両面を考慮して設定することができる。
CPUは以上の処理を、対象境界線を変えながら、全ての車線境界線について実行する。
図24は横断歩道・自転車横断帯合成処理のフローチャートである。ペイント修正処理(図22)のステップS650に相当する処理である。
処理を開始すると、CPUは横断歩道、自転車横断帯オブジェクトを入力する(ステップS661)。
そして、各オブジェクトについて近似四辺形を生成する(ステップS662)。横断歩道、自転車横断帯のオブジェクトとして、矩形または四角形の存在領域が設定されている時は、この処理は省略することができる。
こうして選択された構成点P245、P243および上述の対角線の両端の点P241、P244によって四辺形を得ることができる。
まず処理対象となる四辺形CR242のうち、パスPS242にほぼ平行な2つの辺の中点Pb241、Pb242を求める。そして、中点Pb241、Pb242を延長し、他のパスPS241,PS243との交点Pb243、Pb244を求める。こうして得られた点のうち、最も離れて存在する2点を選択する。図中の例では、点Pb243、Pb244となる。
そして、この2点Pb243、Pb244を結ぶ線分を規定の倍率で延長して線分L241を得る。
また、この線分L241を、図中の矢印に示すように、パスPS242の前後方向にそれぞれ所定量だけオフセットすることによって、線分L242、L243を得る。この線分L242、L243を2つの辺とする四辺形(図中の太線で示した四辺形)を定義し、この四辺形と重なるオブジェクトCR241〜CR246を一つのグループと認識する。
以下、太線の四辺形をグループ化領域と呼ぶこともある。
例えば、倍率は、パスPS241、PS243の連結画像内のオブジェクトCR241、CR243を捕捉できる程度の値を設定すればよい。またオフセット量は、横断歩道および自転車横断帯の標準的な幅(パスの進行方向に沿った長さ)を考慮して設定すればよい。
まずグループ内にあるオブジェクトを種別に応じて、横断歩道のオブジェクトCR241〜CR243と、自転車横断帯のオブジェクトCR244〜CR246に分ける。
横断歩道のオブジェクトCR241〜CR243については、これらのオブジェクトを構成する各辺のうち、最も離れた2辺S241,S242を抽出する。そして、2辺S241、S242を対向する2辺とする四辺形R241を生成し、これを合成形状とする。
自転車横断帯についても同様に、オブジェクトCR244〜CR246を構成する各辺のうち、最も離れた2辺S243、S244を抽出する。そして、2辺S243、S244を対向する2辺とする四辺形R242を生成し、これを合成形状とする。
こうして得られた合成形状R241、R242について、次に示す整形処理を施す。
横断歩道の合成形状CR251は、整形前はハッチングの状態であったとする。自転車横断帯の長さが十分にある場合には、自転車横断を基準として横断歩道の合成形状CR251を整形する。従って、自転車横断帯の辺S253の延長線と、横断報道の合成形状CR251の左右の辺S251、S252の延長線との交点P251、P252を求め、これらの点を含む台形を横断歩道の合成形状とする。
従って、図25(b)に示すように、自転車横断帯の合成形状CR254の両側の辺S254、S255を延長し、横断歩道の合成形状CR253との交点P253、P254を求める。
次に、図25(c)に示すように、点P253、P254から幅D25だけ移動した点に辺S256を設定し、これらで囲まれる部分を自転車横断帯の合成形状CR255とする。
こうすることによって、自転車横断帯の合成形状CR255と、横断歩道の合成形状CR253の長さを一致させることができる。
図の例では、自転車横断帯の合成形状CR255を左右方向に延長する処理例を示したが、横断歩道の長さが自転車横断帯よりも短い場合には、同様の処理によって、横断歩道を延長してもよい。
図26は停止線合成処理のフローチャートである。ペイント修正処理(図22)のステップS650に相当する処理である。
処理を開始すると、CPUは停止線オブジェクトを入力する(ステップS671)。そして、停止線をグループ化および合成を行う(ステップS672、S673)。グループ化および合成は、横断歩道、自転車横断帯と同じ方法(図24のステップS663、S664)で行うことができる。
図中に処理例を示した。左側に示すように、停止線について台形状の合成形状SL261が得られているとする。車線境界線L261、L262内にはハッチングの部分が描かれており、その両端は車線境界線L261、L262からはみ出している。
CPUは、停止線の合成形状SL261と、車線境界線L261、L262との交点P261〜P264を求め、停止線の両端を削除する。こうすることによって、図の右側に示すように、車線境界線L261、L262内に収まるように整形した停止線の合成形状SL262を得ることができる。
図27はオブジェクト補正処理のフローチャートである。ペイント修正処理(図22)のステップS680に相当する処理である。
処理を開始すると、CPUは各オブジェクトを入力し(ステップS681)、車線境界線を整形する(ステップS682)。
本実施例の整形処理では、横断歩道、自転車横断帯および停止線を基準として車線境界線を整形するようにした。車線境界線に比較して横断歩道等の方が、誤認識が少ないからである。
停止線SL272の両側には車線境界線L271が存在する。車線境界線L271と自転車横断帯CR272との間には隙間がある。そこで、整形処理では、車線境界線L271を線分L272に示すように延長し、自転車横断帯CR272に接続させる。横断歩道CR271との間に隙間がある車線境界線L273も同様に、線分L274に示すように延長し、横断歩道CR271に接続させる。
また、車線境界線L276は、横断歩道CR271、自転車横断帯CR272を貫通している。従って、整形処理では、貫通している部分L276cを削除する。この結果、車線境界線L276は、横断歩道CR271、自転車横断帯CR272の左右の部分に分断されることになる。
図中に処理例を示した。下側に配置されている連結画像およびペイントを破線で示し、上側に重ねられる連結画像およびペイントを実線で示した。
下側の矢印M272には、対応する位置に上側の矢印M271が存在する。従って、ここでは、矢印M271、M272を比較した上で矢印M271が採用されていると判断されるため、矢印M272はそのまま非表示の状態とされる。なお、比較の結果、矢印M272側を表示に使用すると判断された場合には、矢印M271を包含するように透明化ポリゴンを設定すればよい。
これに対し、矢印M273には、重なり合う上側の矢印が存在しない。従って、矢印M273は、従前の処理において誤認識と判断され、非表示の状態に設定されていると判断される。そこで、本実施例では、オブジェクト補正処理として、このように下側にのみ位置する矢印M273を、表示可能な状態に変更する。例えば、矢印M273を切り抜いて上側の連結画像内に結合させるようにしてもよいし、上側の連結画像内の矢印M273に対応する位置に透明化ポリゴンを設定してもよい。
以上で説明した実施例の道路面撮影システム100および路面標示地図生成装置200によれば、道路を走行しながら取得したフレーム画像を正射変換して得られた路面テクスチャを配置することにより、走行軌跡(パス)に沿って位置精度のよい連結画像を得ることができる。更に、複数のパスに沿って得られた連結画像同士を、位置合わせして合成することにより、道路全体の路面画像を得ることができる。この際、画像を撮影した際の各パスの位置精度が最も高いものを基準パスとして、他のパスをこの基準パスに合わせる方法を採ることにより、全体の位置精度を確保しつつ路面画像を生成することができる。
本実施例では、各パスの連結画像は、路面テクスチャを配置するまでに留め、これらを一枚の画像として合成していない。従って、路面テクスチャ単位で配置を平行移動することによって、複数パスの連結画像を容易に合成可能である。
複数の標示間の位置関係に基づいて、これらの修正を施すことにより、本実施例では、標示の誤認識等の一部を除去することができ、標示の認識精度を向上させることができる。
例えば、連結画像は、路面テクスチャを合成した一枚の画像として生成してもよい。この場合、複数パスの合成を行う際には、連結画像を路面テクスチャに相当する複数の領域に分割した上で、領域ごとに平行移動すればよい。
本実施例では、車両に搭載したビデオカメラで撮影した画像を利用する例を示したが、車両に限らず自転車その他の種々の移動体を利用可能であり、歩行しながら撮影する方法を採っても良い。
110…位置計測部
110…計測データ
112…コントローラ
114…GPS
114A…アンテナ
116…IMU
118…DMI
120…ビデオカメラ
130…記録装置
140…ハードディスク
142…画像データ
144…同期データ
146…計測データ
150…基準局データ
200…路面標示地図生成装置
201…主制御部
202…コマンド入力部
203…表示制御部
204…データ入力部
205…軌跡データ算出部
206…画像変換部
207…1パス画像合成部
210a…軌跡データ
210b…路面軌跡データ
210c…路面テクスチャ
210d…連結画像
210e…道路画像
210f…道路画像用登録データ
210g…軌跡用登録データ
210…処理データ記憶部
220…位置合わせ処理部
221…透明化ポリゴン設定部
Claims (7)
- コンピュータによって道路面に施された標示を含む路面標示地図を生成する生成方法であって、
(a) 前記コンピュータが、前記道路面を撮影する際の移動軌跡である所定のパスに沿って移動しながら前記標示を含む路面を撮影した連続した複数のフレーム画像と、各フレーム画像ごとの撮影位置を表す位置座標データとを取得する工程と、
(b) 前記コンピュータが、前記取得された各フレーム画像を変換して、前記路面を真上から見た状態の正射画像を得る工程と、
(c) 前記コンピュータが、前記正射画像を配置して前記パスの路面を表す連結画像を生成する工程と、
(e) 前記コンピュータが、前記連結画像に基づいて、前記路面に描かれた標示の種別および位置を認識する工程と、
(f) 前記工程(e)に基づき、前記連結画像から認識された標示の状態が予め決められている標示の状態と異なる場合に、前記コンピュータが前記認識された標示の状態を前記予め決められている標示の状態となるように修正する工程とを有する生成方法。 - コンピュータによって道路面に施された標示を含む路面標示地図を生成する生成方法であって、
(a) 前記コンピュータが、前記道路面を撮影する際の移動軌跡である所定のパスに沿って移動しながら前記標示を含む路面を撮影した連続した複数のフレーム画像と、各フレーム画像ごとの撮影位置を表す位置座標データとを取得する工程と、
(b) 前記コンピュータが、前記取得された各フレーム画像を変換して、前記路面を真上から見た状態の正射画像を得る工程と、
(c) 前記コンピュータが、前記正射画像を配置して前記パスの路面を表す連結画像を生成する工程と、
(e) 前記コンピュータが、前記連結画像に基づいて、前記路面に描かれた標示の種別および位置を認識する工程と、
(f) 前記工程(e)に基づき、一つの標示が複数の標示として認識された場合に、前記コンピュータが、前記複数の標示を合成して単一の標示とする工程とを有する生成方法。 - コンピュータによって道路面に施された標示を含む路面標示地図を生成する生成方法であって、
(a) 前記コンピュータが、前記道路面を撮影する際の移動軌跡である所定のパスに沿って移動しながら前記標示を含む路面を撮影した連続した複数のフレーム画像と、各フレーム画像ごとの撮影位置を表す位置座標データとを取得する工程と、
(b) 前記コンピュータが、前記取得された各フレーム画像を変換して、前記路面を真上から見た状態の正射画像を得る工程と、
(c) 前記コンピュータが、前記正射画像を配置して前記パスの路面を表す連結画像を生成する工程と、
(e) 前記コンピュータが、前記連結画像に基づいて、前記路面に描かれた標示の種別および位置を認識する工程とを有し、更に、
前記工程(a)〜(c)は、前記連結画像の一部が重なり合う範囲で道路の幅方向
の位置が異なる複数のパスに対して処理されており、
(f) 前記工程(e)に基づき、道路の幅方向に並ぶ同一種別の標示が連結画像間で分断して認識された場合に、前記コンピュータが、前記道路の幅方向に並ぶ同一種別の標示を合成して、前記道路の幅方向に延伸する単一の標示とする工程を有する生成方法。 - コンピュータによって道路面に施された標示を含む路面標示地図を生成する生成方法であって、
(a) 前記コンピュータが、前記道路面を撮影する際の移動軌跡である所定のパスに沿って移動しながら前記標示を含む路面を撮影した連続した複数のフレーム画像と、各フレーム画像ごとの撮影位置を表す位置座標データとを取得する工程と、
(b) 前記コンピュータが、前記取得された各フレーム画像を変換して、前記路面を真上から見た状態の正射画像を得る工程と、
(c) 前記コンピュータが、前記正射画像を配置して前記パスの路面を表す連結画像を生成する工程と、
(e) 前記コンピュータが、前記連結画像に基づいて、前記路面に描かれた標示の種別および位置を認識する工程とを有し、
前記標示には、前記道路の幅方向に延伸する標示、および車線境界線が含まれ、更に、
(f) 前記工程(e)に基づき、前記幅方向に延伸する標示と前記車線境界線とが交差する位置関係にないことが認識された場合に、前記コンピュータが、前記幅方向に延伸する標示の輪郭線上に前記車線境界線の端点が来るように、前記車線境界線の形状を修正する工程を有する生成方法。 - コンピュータによって道路面に施された標示を含む路面標示地図を生成する生成方法であって、
(a) 前記コンピュータが、前記道路面を撮影する際の移動軌跡である所定のパスに沿って移動しながら前記標示を含む路面を撮影した連続した複数フレーム画像と、各フレーム画像ごとの撮影位置を表す位置座標データとを取得する工程と、
(b) 前記コンピュータが、前記入力された各フレーム画像を変換して、前記路面を真上から見た状態の正射画像を得る工程と、
(c) 前記コンピュータが、前記正射画像を配置して前記パスの路面を表す連結画像を生成する工程と、
(e) 前記コンピュータが、前記連結画像に基づいて、前記路面に描かれた標示の種別および位置を認識する工程とを有し、更に、
前記工程(a)〜(c)は、前記連結画像の一部が重なり合う範囲で道路の幅方向の位置が異なる複数のパスに対して処理されており、
(f) 前記工程(e)に基づき、前記連結画像の一部が重なり合う範囲において、下側の連結画像内に存在する標示に対応する標示が、上側の連結画像から認識されない場合に、前記コンピュータが、下側の連結画像においてのみ認識されている標示を、上側に配置される連結画像で隠されない状態とする工程を有する生成方法。 - 請求項1〜4いずれか記載の生成方法であって、更に、
前記工程(a)〜(c)は、前記連結画像の一部が重なり合う範囲で道路の幅方向の位置が異なる複数のパスに対して処理されており、
(g) 前記コンピュータが、前記工程(f)に先だって、前記連結画像の一部を透過状態とするための透明化ポリゴンを前記連結画像の一部が重なり合う範囲に設定する工程を有する生成方法。 - 請求項1〜5いずれか記載の生成方法において、
前記(f)工程は、前記標示の形状を予め規定された幾何学形状で近似し、該幾何学形状を用いる生成方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008070218A JP5285311B2 (ja) | 2008-03-18 | 2008-03-18 | 路面標示地図生成方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008070218A JP5285311B2 (ja) | 2008-03-18 | 2008-03-18 | 路面標示地図生成方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009223221A JP2009223221A (ja) | 2009-10-01 |
JP5285311B2 true JP5285311B2 (ja) | 2013-09-11 |
Family
ID=41240025
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008070218A Expired - Fee Related JP5285311B2 (ja) | 2008-03-18 | 2008-03-18 | 路面標示地図生成方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5285311B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6760251B2 (ja) | 2017-12-15 | 2020-09-23 | 株式会社デンソー | 道路地図生成システム及び道路地図生成方法 |
US11521337B2 (en) | 2018-10-29 | 2022-12-06 | Mitsubishi Electric Corporation | Map generation system, map generation method, and computer readable medium which generates linearization information calculates a reliability degree |
JP7272334B2 (ja) * | 2020-08-26 | 2023-05-12 | トヨタ自動車株式会社 | 地図生成装置および地図生成方法 |
CN112861238B (zh) * | 2021-03-02 | 2024-03-22 | 广联达科技股份有限公司 | 生成道路轮廓线的方法、装置、设备及可读存储介质 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4136044B2 (ja) * | 1997-12-24 | 2008-08-20 | オリンパス株式会社 | 画像処理装置及びその画像処理方法 |
WO2004008744A1 (ja) * | 2002-07-12 | 2004-01-22 | Iwane Laboratories, Ltd. | 道路面等の平面対象物映像の平面展開画像処理方法、同逆展開画像変換処理方法及びその平面展開画像処理装置、逆展開画像変換処理装置 |
JP3820428B2 (ja) * | 2003-02-25 | 2006-09-13 | 名古屋市 | 道路画像の合成方法と合成装置 |
JP4272966B2 (ja) * | 2003-10-14 | 2009-06-03 | 和郎 岩根 | 3dcg合成装置 |
WO2006114955A1 (ja) * | 2005-04-25 | 2006-11-02 | Geo Technical Laboratory Co., Ltd. | 撮影位置解析方法 |
JP5047515B2 (ja) * | 2006-03-20 | 2012-10-10 | 株式会社ゼンリン | 道路画像作成システム及び道路画像作成方法,及び道路画像合成装置 |
JP2008032557A (ja) * | 2006-07-28 | 2008-02-14 | Toshiba Corp | 車載用ナビゲーション装置及び道路種判別方法 |
WO2008130219A1 (en) * | 2007-04-19 | 2008-10-30 | Tele Atlas B.V. | Method of and apparatus for producing road information |
AU2007361004A1 (en) * | 2007-11-16 | 2009-05-22 | Tele Atlas B.V. | Method of and apparatus for producing lane information |
-
2008
- 2008-03-18 JP JP2008070218A patent/JP5285311B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2009223221A (ja) | 2009-10-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2009237901A (ja) | 路面標示地図生成方法 | |
JP5324240B2 (ja) | 路面標示地図生成方法及び路面標示地図生成装置 | |
JP5363752B2 (ja) | 路面標示地図生成方法 | |
US8625851B2 (en) | Measurement apparatus, measurement method, and feature identification apparatus | |
JP2009223817A (ja) | 路面標示地図生成方法 | |
JP2009259215A (ja) | 路面標示地図生成方法 | |
US8239131B2 (en) | Navigation device, navigation method, and navigation program | |
US8280105B2 (en) | Imaging position analyzing method | |
JP5808369B2 (ja) | 俯瞰画像生成装置、俯瞰画像生成方法および俯瞰画像生成プログラム | |
JP4767578B2 (ja) | 高精度cv演算装置と、この高精度cv演算装置を備えたcv方式三次元地図生成装置及びcv方式航法装置 | |
CN111373223B (zh) | 用于显示增强现实导航信息的方法、装置和系统 | |
JP5281424B2 (ja) | 路面標示地図生成方法 | |
WO2009084126A1 (ja) | ナビゲーション装置 | |
JP4899746B2 (ja) | 経路案内表示装置 | |
JP2007147458A (ja) | 位置検出装置、位置検出方法、位置検出プログラムおよび記録媒体 | |
JP5285311B2 (ja) | 路面標示地図生成方法 | |
JP5544595B2 (ja) | 地図画像処理装置、地図画像処理方法、および、コンピュータプログラム | |
JP5339753B2 (ja) | 路面標示地図生成方法 | |
JP7010535B2 (ja) | 情報処理装置 | |
JP5435294B2 (ja) | 画像処理装置及び画像処理プログラム | |
JP7293931B2 (ja) | 位置計測用データ生成装置、位置計測用データ生成方法、及び位置計測用データ生成プログラム | |
JP2011079338A (ja) | ナビゲーション装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110311 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121207 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130205 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130329 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130521 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130531 |
|
LAPS | Cancellation because of no payment of annual fees |