JP4619962B2 - 路面標示計測システム、白線モデル計測システムおよび白線モデル計測装置 - Google Patents

路面標示計測システム、白線モデル計測システムおよび白線モデル計測装置 Download PDF

Info

Publication number
JP4619962B2
JP4619962B2 JP2006038689A JP2006038689A JP4619962B2 JP 4619962 B2 JP4619962 B2 JP 4619962B2 JP 2006038689 A JP2006038689 A JP 2006038689A JP 2006038689 A JP2006038689 A JP 2006038689A JP 4619962 B2 JP4619962 B2 JP 4619962B2
Authority
JP
Japan
Prior art keywords
white line
road surface
unit
image
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2006038689A
Other languages
English (en)
Other versions
JP2007218705A (ja
JP2007218705A5 (ja
Inventor
嘉宏 島
純一 瀧口
尚幸 梶原
隆二郎 黒崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2006038689A priority Critical patent/JP4619962B2/ja
Publication of JP2007218705A publication Critical patent/JP2007218705A/ja
Publication of JP2007218705A5 publication Critical patent/JP2007218705A5/ja
Application granted granted Critical
Publication of JP4619962B2 publication Critical patent/JP4619962B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、例えば、道路の白線位置検知を行う路面標示計測システム、白線モデル計測システムおよび白線モデル計測装置に関するものである。
高精度GIS(Geographical Information System)作成においては、路面シンボルや白線について認識した存在情報だけでなく、その高精度な位置情報(絶対座標)をGISに登録する必要がある。従来、白線の位置情報の取得には複数カメラを用いたステレオ視や、カメラパラメータと車両との関係に基づくカメラの設置位置から白線の位置情報を推定する手法が用いられていた。
DorotaA.Grejner−Brzezinska and Charles Toth、「High Accuracy Dynamic Highway Mapping Using a GPS/INS/CCD System with On−The−Fly GPS Ambiguity Resolution」、Center for Mapping Department of Civil and Environmental Engineering and Geodetic Science The Ohio State University、Ohio Department of Transportation,District1、September 2004 H.Gontran,J,Skaloud,P.−Y.Gilliron、「A MOBILE MAPPING SYSTEM FOR ROAD DATA CAPTURE VIA A SINGLE CAMERA」、[online]、[平成18年2月14日検索]、インターネット<URL:http://topo.epfl.ch/personnes/jsk/Papers/3dopt_hg.pdf G.Manzoni,R.G.Rizzo,C.Robiglio、「MOBLE MAPPING SYSTEMS IN CULTURAL HERITAGES SURVEY」、CIPA 2005 XX International Symposium、26 September−01 October,2005、Torino,Italy
これらの手法には以下のような特徴がある。
a)ステレオ視による白線位置検知
(1)2台のカメラで白線位置の取得が可能。
(2)切れ目のない白線の場合、対応点探索の自動化が困難なため、手動による対応点探索が必要。
(3)有効視野角が狭い。
(4)絶対精度が低い。
b)カメラパラメータによる白線位置推定
(1)カメラから道路までの設定距離を一定として計算するため精度が悪い。
(2)精度が車両動揺に左右される。
(3)平坦でない道路では著しく精度が悪化する。
(4)1台のカメラで白線位置の取得が可能。
本発明は、例えば、平坦でない道路でもより高精度な白線位置の取得を行うことを目的とする。
本発明の白線モデル計測システムは、路面の画像データを撮影する撮像部と、レーザスキャナにより路面に対する距離方位データを取得する光走査部と、前記撮像部と前記光走査部とを固定する基台と、前記基台の位置を計測する測位部と、前記基台の動揺姿勢角を計測する姿勢検出部とを有した計測台車と、路面の画像データから白線画像を検出する画像処理部と、前記画像処理部で取得された白線画像と前記姿勢検出部で計測された動揺姿勢と前記測位部で得られた基台位置と前記光走査部で取得された路面に対する距離データとに基づいて白線の輪郭を表す白線モデルを演算する計算機とを備え、前記計算機は、前記姿勢検出部で計測された動揺姿勢に基づいて前記撮像部が撮影する視線中心方向を求め、前記撮像部で撮影された白線の輪郭データを抽出し、抽出した輪郭データに基づいて画像上における白線位置を求め、求めた視線中心方向と画像上における白線位置とに基づいて前記撮像部に対する白線方向を求め、前記姿勢検出部で計測された動揺姿勢と前記光走査部で取得された路面に対する距離方位データとに基づいて路面の形状データを生成し、生成された路面の形状データと白線方向と前記測位部で得られた基台位置とに基づいて路面の形状データにおける白線方向の対応点を求め、求めた対応点から白線の輪郭を表す白線モデルを演算し、前記画像処理部は前記計測台車と前記計算機との少なくともいずれかに備えられることを特徴とする。
本発明によれば、例えば、道路形状を考慮して白線位置の検知を行うことにより、平坦でない道路でもより高精度な白線位置の取得を行うことができる。
実施の形態1.
図1は、実施の形態1における白線モデル計測システム101のシステム構成および白線モデル計測装置100の機能構成を示す図である。
実施の形態1における白線モデル計測システム101はオドメトリ装置200、3台のジャイロ210(測位部、姿勢検出部、GPSジャイロの一部)、3台のGPS220(Global Positioning System)(測位部、姿勢検出部、GPSジャイロの一部)、カメラ230(撮像部)、レーザレーダ240(光走査部、レーザスキャナ)および白線モデル計測装置100(計算機)を備える。
オドメトリ装置200、3台のジャイロ210、3台のGPS220、カメラ230、レーザレーダ240は計測台車102(以下、車両とする)の天板103(基台)(図4、図5参照)に搭載される。
オドメトリ装置200はオドメトリ手法を実行し車両の走行距離を示す距離データを算出する。
3台のジャイロ210は車両の3軸方向の傾き(ピッチ角、ロール角、ヨー角)を示す角速度データを算出する。
3台のGPS220は車両の走行位置(座標)を示す測位データを算出する。
ジャイロ210とGPS220とはデッドレコニングにより車両の位置、姿勢を測定する。
カメラ230は撮影を行い画像データを出力する。
レーザレーダ240はカメラ230位置から路面までの距離を各方位について示す方位・距離データを算出する。
白線モデル計測装置100は距離データ、角速度データ、測位データ、画像データ、方位・距離データに基づいて白線位置(絶対座標)を算出する。
白線モデル演算処理100は車両位置姿勢(3軸)演算部110、白線認識処理部120(画像処理部)、カメラ位置姿勢演算部130、カメラLOS演算部140、路面形状モデル生成部150、レーザレーダ位置姿勢演算部160、路面モデル対応点探索部170を備える。
車両位置姿勢(3軸)演算部110は距離データ、角速度データ、測位データに基づいて車両の位置と姿勢(車両位置姿勢)を算出する。
白線認識処理部120は画像データに基づいて白線を認識し認識結果を出力する。
カメラ位置姿勢演算部130は車両位置姿勢とカメラ取付オフセットとに基づいてカメラ230の位置と姿勢(カメラ位置姿勢)を算出する。カメラ取付オフセットは車両軸(極座標)に対するカメラ230の取り付け軸のズレの量を示す。カメラ取付オフセットは図4、図5および図7のカメラ230と天板103との関係に対応する値である。
カメラLOS演算部140は認識結果とカメラ位置姿勢とに基づいてカメラから白線に向けた視線方向(LOS:Line Of Sight)の角度(白線見込み角)を算出する。
レーザレーダ位置姿勢演算部160は車両位置姿勢とレーザレーダ取付オフセットとに基づいてレーザレーダ240の位置と姿勢(レーザレーダ位置姿勢)を算出する。レーザレーダ取付オフセットは車両軸(極座標)に対するレーザレーダ240の取り付け軸のズレの量を示す。レーザレーダ取付オフセットは図4、図5および図6のレーザレーダ240と天板103との関係に対応する値である。
路面形状モデル生成部150は方位・距離データとレーザレーダ位置姿勢とに基づいて車両が走行した平坦でない路面の形状(曲面、傾斜、凹凸など)を示す路面形状モデル(三次元点群モデル)を生成する。
路面モデル対応点探索部170は白線見込み角と路面形状モデルとに基づいて白線位置の絶対座標を算出する。路面モデル対応点探索部170は路面の曲面、傾斜、凹凸などを考慮して白線位置を計測することにより高い精度で白線位置の絶対座標を算出することができる。
距離データ、角速度データ、測位データ、画像データ、方位・距離データを観測データとする。
図2は、実施の形態1における白線モデル計測装置100のハードウェア資源の一例を示す図である。
図2において、白線モデル計測装置100は、プログラムを実行するCPU911(Central・Processing・Unit、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサともいう)を備えている。CPU911は、バス912を介してROM913、RAM914、通信ボード915、表示装置901、キーボード902、マウス903、FDD904(Flexible・Disk・Drive)、CDD905(コンパクトディスク装置)、プリンタ装置906、スキャナ装置907、マイク908、スピーカー909、磁気ディスク装置920と接続され、これらのハードウェアデバイスを制御する。磁気ディスク装置920の代わりに、光ディスク装置、メモリカード読み書き装置などの記憶装置でもよい。
RAM914は、揮発性メモリの一例である。ROM913、FDD904、CDD905、磁気ディスク装置920の記憶媒体は、不揮発性メモリの一例である。これらは、記憶機器、記憶装置あるいは記憶部の一例である。
通信ボード915、キーボード902、スキャナ装置907、FDD904などは、入力機器、入力装置あるいは入力部の一例である。
また、通信ボード915、表示装置901、プリンタ装置906などは、出力機器、出力装置あるいは出力部の一例である。
通信ボード915は、有線または無線で、LAN(Local Area Network)、インターネット、ISDN等のWAN(ワイドエリアネットワーク)、電話回線などの通信網に接続されている。
磁気ディスク装置920には、OS921(オペレーティングシステム)、ウィンドウシステム922、プログラム群923、ファイル群924が記憶されている。プログラム群923のプログラムは、CPU911、OS921、ウィンドウシステム922により実行される。
上記プログラム群923には、実施の形態の説明において「〜部」、「〜手段」として説明する機能を実行するプログラムが記憶されている。プログラムは、CPU911により読み出され実行される。
ファイル群924には、実施の形態の説明において、「〜部」や「〜手段」の機能を実行した際の「〜の判定結果」、「〜の計算結果」、「〜の処理結果」などの結果データ、「〜部」や「〜手段」の機能を実行するプログラム間で受け渡しするデータ、その他の情報やデータや信号値や変数値やパラメータが、「〜ファイル」や「〜データベース」の各項目として記憶されている。「〜ファイル」や「〜データベース」は、ディスクやメモリなどの記録媒体に記憶される。ディスクやメモリなどの記憶媒体に記憶された情報やデータや信号値や変数値やパラメータは、読み書き回路を介してCPU911によりメインメモリやキャッシュメモリに読み出され、抽出・検索・参照・比較・演算・計算・処理・出力・印刷・表示などのCPUの動作に用いられる。抽出・検索・参照・比較・演算・計算・処理・出力・印刷・表示・抽出のCPUの動作の間、情報やデータや信号値や変数値やパラメータは、メインメモリやキャッシュメモリやバッファメモリに一時的に記憶される。
また、実施の形態の説明において説明するフローチャートの矢印の部分は主としてデータや信号の入出力を示し、データや信号値は、RAM914のメモリ、FDD904のフレキシブルディスク、CDD905のコンパクトディスク、磁気ディスク装置920の磁気ディスク、その他光ディスク、ミニディスク、DVD(Digital・Versatile・Disc)等の記録媒体に記録される。また、データや信号値は、バス912や信号線やケーブルその他の伝送媒体によりオンライン伝送される。
また、実施の形態の説明において「〜部」、「〜手段」として説明するものは、「〜回路」、「〜装置」、「〜機器」、「手段」であってもよく、また、「〜ステップ」、「〜手順」、「〜処理」であってもよい。すなわち、「〜部」、「〜手段」として説明するものは、ROM913に記憶されたファームウェアで実現されていても構わない。或いは、ソフトウェアのみ、或いは、素子・デバイス・基板・配線などのハードウェアのみ、或いは、ソフトウェアとハードウェアとの組み合わせ、さらには、ファームウェアとの組み合わせで実施されても構わない。ファームウェアとソフトウェアは、プログラムとして、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、DVD等の記録媒体に記憶される。プログラムはCPU911により読み出され、CPU911により実行される。すなわち、プログラムは、「〜部」、「〜手段」としてコンピュータを機能させるものである。あるいは、「〜部」、「〜手段」の手順や方法をコンピュータに実行させるものである。
図3は、実施の形態1における白線モデル計測装置100の白線位置検知のアルゴリズムフローを示す。
白線モデル計測装置100は図3に示す方法により白線位置を測定する。
<S101:車両位置姿勢(3軸)演算処理>
まず、車両位置姿勢(3軸)演算部110が距離データと角速度データと測位データとを入力して車両位置姿勢を算出する。
<S102:カメラ位置姿勢演算処理>
次に、カメラ位置姿勢演算部130が車両位置姿勢とカメラ取付オフセットとを入力しカメラ位置姿勢を算出する。
<S103、S104:白線抽出処理、白線認識処理>
また、白線認識処理部120が画像データを入力し画像データから白線を抽出し(S103)、抽出した白線の画像位置を認識結果として算出する(S104)。
<S105:カメラLOS演算処理>
次に、カメラLOS演算部140がカメラ位置姿勢と認識結果とを入力し白線見込み角を算出する。
<S106:路面形状モデル生成処理>
また、路面形状モデル生成部150が方位・距離データとレーザレーダ位置姿勢を入力し路面形状モデル(三次元点群モデル)を算出する。
このとき、レーザレーダ位置姿勢演算部160は車両位置姿勢とレーザレーダ取付オフセットとに基づいてレーザレーダ240の位置と姿勢(レーザレーダ位置姿勢)を算出する。
<S107、S108、S109:投影変換処理、路面モデル対応点探索処理、路面モデル対応面算出処理>
次に、路面モデル対応点探索部170が路面形状モデルを入力し路面形状モデルをカメラ230の画像平面に投影変換し(S107)、路面モデルから白線位置における路面の形状を示す3点を抽出し(S108)、抽出した3点が示す路面の形状を算出する(S109)。
<S110:白線位置計測処理>
そして、路面モデル対応点探索部170が白線見込み角を入力し路面の形状に対応した高精度な白線位置の絶対座標を算出する。
次に、路面形状モデル生成部150が実行する路面形状モデル生成処理(S106)について説明する。
路面形状モデル生成部150は以下のように三次元点群モデルを復元する。
白線認識においては、準備段階として、道路形状の三次元点群モデルを復元しておく。LRF(レーザーレンジファインダ)から得られるデータ(方位・距離データ)は二次元であり、これらをレーザレーダ240の設置位置角度(レーザレーダ取付オフセット)と車両位置姿勢とから三次元に復元する必要がある。
LRFから得られた二次元データの座標を(x,y)とおくと二次元データは以下の式1、式2によって車両位置に対する三次元位置(x,y,z)へ変換される。また、車両位置とLRF、白線認識用カメラ230の位置関係を図4、図5、図6、図7および図8に示す。
は、レーザレーダ240のレーザスキャン面の高さであり、ここでは図のようにレーザレーダ240の基準をスキャン面にとっているために0である。
つぎに車両位置姿勢を考慮し、式3、式4により変換を行い道路形状の三次元モデル化を行う。ここで、三次元モデル上の点を(Nlrf,Ulrf,Elrf)とする。
これらに基づいて作成した道路点群モデルについて図9、図10および図11に示す。
例えば、図10では三次元点群データ(路肩)において左側に位置する歩道(段差の有る路肩)と右側の道路との境目が見て取れる。
また、図12に示す光学画像を三次元点群データで表わした図11では道路に沿った斜面の形状(道路断面形状)が見て取れる。
次に、路面モデル対応点探索部170が実行する投影変換処理(S107)について説明する。
路面モデル対応点探索部170は三次元点群データをカメラの画像平面に対し投影変換する。
カメラ座標系に対する点群データの位置(xcam,ycam,zcam)は以下の式5、式6で表わされる。
次に、これらの点とカメラ中心(xcam0,ycam0,zcam0)のなす直線は以下の式7、式8、式9および式10で表わされる。
またこのとき、画像仮想平面はカメラ230を理想的なピンホールカメラと仮定すると焦点距離fであるから以下の式11となる。
z=f ・・・(式11)
この画像平面と直線の交点が三次元点データをカメラ画像へ投影した点である。
投影変換を行った画像を図13に示す。図からもわかるように投影変換された点と画像のマッチングがしっかりと取れていることがわかる。つまり、投影変換した点が示す段差と画像が示す路面の段差とが一致していることが分かる。
次に、路面モデル対応点探索部170が実行する路面モデル対応点探索処理(S108)、路面モデル対応面算出処理(S109)、白線位置計測処理(S110)について説明する。
路面モデル対応点探索部170は、図14に示すように認識した白線の画像上の位置とカメラの視線中心がなす直線LOSとその直線を内部に含むような3点(路面モデル対応点)がなす面(路面モデル対応面)との交点を白線の位置とする。
3点(路面モデル対応点)、P1(xp1、yp1、zp1)、P(xp2、yp2、zp2)、P3(xp3、yp3、zp3)がなす3次元空間の面(路面モデル対応面)の方程式は以下の式12で表される。
従って、式7と式12とにより、路面モデルの各点データのカメラ画像面上での対応点(xcam,ycam,zcam)が求められる。
ここで、この点(xcam,ycam,zcam)と白線位置( )を式13、式14および式15を用いてENU座標に変換した(N,U,E)との距離を計算し、( )に最も近い3点を選ぶことでP1、P2、P3が求められる。
ここで、U_SIZEはカメラの水平CCD(Charge Coupled Devices)画素サイズで、例えば、NTSC(National Television
Standards Committee)カメラでは640[pixel]、V_SIZEは垂直CCD画素サイズで同様に480[pixel]、( )は画像面上の白線の位置、Pixel_SIZEは画素の大きさで正方形のCCD素子を例にとると数十[μm]である。
以上により、路面モデルの対応点P1、P2、P3が求められたため、この3点のなす面と白線のLOSとの交点を求めればよい。
まず、LOSを求める。画像上の白線位置( )はENU座標系(N、U、E)では式13、式14および式15で求められる。
従って、この(N,U,E)とカメラ中心を通るLOSは以下の式16、式17、式18および式19で表される。
よって式16〜式19で表されるLOS、式12で表される路面モデルの対応点P1、P2、P3を含んだ面との交点を白線の位置(x,y,z)として求めればよい。
以下に、上記で説明した白線モデル計測システム101および白線モデル計測装置100を用いた白線位置の計測例を示す。
上記で説明した本手法による計測結果の精度検証のため、トータルステーション(測量機器)を用いて実際の白線の位置を計測し、それを真値とし、本手法による計測結果との比較を行った。
図15に実験環境を示す。実験では図15に示す車両走行箇所を上記で説明した計測台車102で走行し、車両走行箇所の全域でデータ(距離データ、角速度データ、測位データ、画像データ、方位・距離データ)を取得した。また、白線計測箇所においてトータルステーションを用いて数箇所の白線の位置情報を取得した。図16にトータルステーションで計測した真値と本手法による計測結果との比較に使用した路面の白線を示す。図16において白線の4隅を示すa〜dの4点について計測結果を比較した。実験場所は橋になっており道が図16に示すように山形になっているのが特徴である。このような場所においては、従来の手法は路面を平面として扱っているためカメラパラメータから高精度な白線位置を推定することは非常に困難である。
実験では図17、図18および図19に示すように車両の走行中に連続して(例えば、1秒間に30回)データを取得した。
図20にトータルステーションによる白線の計測結果を示す。図20においてトータルステーションで計測した白線位置と計測台車102(車両)の走行位置とを示している。また、図20中のa〜dはトータルステーションで計測した白線の4隅を示す。
図21に本手法による白線位置計測結果を示す。図21においてa〜dは白線4隅の複数の計測結果を示し、a(average)〜d(average)は白線4隅の計測結果の平均値を示し、vehicle positionは車両の走行位置を示し、abcd(traditional)は従来手法による白線4隅の計測結果を示す。
また、図21のa、bの部分を拡大した結果を図22に示し、図21のc、dの部分を拡大した結果を図23に示す。図22、図23においてTrue point(total station)はトータルステーションで計測した白線位置の真値を示す。
本試験では、図21〜図23に示すように、複数枚の画像から白線位置を計測し(a〜d)、その平均値(a(average)〜d(average))を計測値とした。トータルステーションの計測結果との比較結果としては、車両の進行方向に対しオフセットが現れたが、白線の形状(幅、長さ、傾き)がしっかりと出ていることがわかる。
また、計測された白線の幅および長さを図24に示す。図24において「image1」〜「image6」は各画像に基づいて測定した値を示し「平均値」は「image1」〜「image6」の測定値を平均した値を示す。また、「真値」はトータルステーションで計測した比較対象となる値を示す。図24に示す表からもわかるように、「平均値」は白線の幅(a−b間距離、c−d間距離)、長さ(a−d間距離、b−c間距離)ともに「真値」に近い値であり高精度に計測できていることがわかる。
また、本手法による計測結果は図21、図22および図23に示すように白線の検出位置が白線の幅方向よりも車両の進行方向に分散する傾向にあることがわかる。
白線の検出位置が車両の進行方向に分散する傾向にある理由は車両のピッチ角方向の変位に対して補正しきれていない結果であると考えられる。この傾向は、例えば、精度が高いジャイロ210を用いることで改善すると考えられる。
また、白線の端点が画像の端にあるときに計算した結果よりも、白線の端点が画像中心に近い画像を用いて白線位置を検出したほうが精度は高い。これらはカメラ230のレンズによる収差の影響が補正しきれていない結果であると考えられる。
この傾向に対しては、例えば、カメラ230の中心付近で白線を撮影するようにしたり、収差の小さいレンズを用いれば改善すると考えられる。
また、計測台車102の走行速度を上げると進行方向の路面モデルの点の間隔が広がり、路面モデル対応点探索処理(S108)でのカメラ画像での白線位置に最も近いカメラ画像上での路面モデル投影点を3点選ぶ方式では精度劣化することもあるが、幾何学や統計学での既知の方式にて容易に対処可能である。もちろん、レーザレーダ240のスキャン速度を上げることでも解消できる。
また実験環境によっては道路混雑のため路面形状が取れないことがあるが、この課題は路面形状を取得する時間帯を考慮することで解決できる。
上記の計測結果では、相対精度(白線の形状)では数cmクラス、また絶対精度(絶対座標)においても20[cm]以下の精度であった。以上より本手法の有効性を確認した。
実施の形態1では以下の特徴を持つ白線モデル計測システム101および白線モデル計測装置100について説明した。
(1)計測台車102で走行した経路のLRFの点群を位置姿勢に基づき復元する。
(2)復元結果をカメラ座標系に投影する。
(3)カメラ230の視線上での白線の位置から近い三点(路面モデル対応点)を探索し、その三点から構成される面(路面モデル対応面)と、LOSの交点を白線の位置として計測する。
(4)白線位置計測に際しては複数枚の画像で位置計測を行いその平均値をとった。
図1に基づいて説明した実施の形態1における白線モデル計測システム101と白線モデル計測装置100が道路形状を考慮せずに白線位置を測定する場合、例えば、図25や図26に示す構成になる。
図25はカメラ230を真下向き(路面方向)に向けた場合の構成を示し、図26はカメラ230を前向き(車両の進行方向)に向けた場合の構成を示す。
図25、図26において白線位置演算部180は路面形状モデルを使用せずに、つまり、道路形状を考慮せずに白線位置を測定する。
図1に示す白線モデル計測システム101および白線モデル計測装置100は図25または図26に示す白線モデル計測システム101および白線モデル計測装置100に対して以下のような特徴を持つ。
ハードウェアの差異として図1の構成ではGPS220とジャイロ210とレーザレーダ240とを備える。図1の構成ではジャイロ210を備えることによりロール角、ピッチ角、ヨー角を測定できる。これにより、図25の構成と比較して車体動揺に対する補正が行え高精度に白線位置を測定できるという長所を持つ。また、図1の構成ではレーザレーダ240を備えることにより路面形状を取得することができる。これにより、図26の構成と比較して路面形状が平坦でなく車両姿勢計測により路面の傾斜を正しく計測できていなくても高精度に白線位置を測定できるという長所を持つ。
上記実施の形態1において、例えば、以下の白線モデル計測システム、計測台車および白線モデル計測装置について説明した。
路面の画像データを撮影する撮像部(カメラ230)と、レーザスキャナ(レーザレーダ240)により路面に対する距離方位データ(方位・距離データ)を取得する光走査部と、前記撮像部と前記光走査部とを固定する基台(天板103)と、前記基台の位置を計測する測位部(ジャイロ210、GPS220)と、前記基台の動揺姿勢角を計測する姿勢検出部(ジャイロ210、GPS220)とを有した計測台車102と、路面の画像データから白線画像を検出する画像処理部(白線認識処理部120)と、前記画像処理部で取得された白線画像(認識結果)と前記姿勢検出部で計測された動揺姿勢(車両位置姿勢)と前記測位部で得られた基台位置と前記光走査部で取得された路面に対する距離データとに基づいて白線の輪郭(白線の4隅)を表す白線モデル(路面形状モデル)を演算する計算機(白線モデル計測装置100)とを備え、前記計算機は、前記姿勢検出部で計測された動揺姿勢に基づいて前記撮像部が撮影する視線中心方向(LOS)を求め、前記撮像部で撮影された白線の輪郭データを抽出し、抽出した輪郭データに基づいて画像上における白線位置を求め、求めた視線中心方向と画像上における白線位置とに基づいて前記撮像部に対する白線方向を求め、前記姿勢検出部で計測された動揺姿勢と前記光走査部で取得された路面に対する距離方位データとに基づいて路面の形状データ(三次元点群データ)を生成し、生成された路面の形状データと白線方向と前記測位部で得られた基台位置とに基づいて路面の形状データにおける白線方向の対応点(路面モデル対応点)を求め、求めた対応点から白線の輪郭を表す白線モデルを演算し、前記画像処理部は前記計測台車と前記計算機との少なくともいずれかに備えられることを特徴とする白線モデル計測システム101。
路面の画像データを撮影する撮像部と、レーザスキャナにより路面に対する距離方位データを取得する光走査部と、前記撮像部と前記光走査部とを固定する基台と、前記基台の位置を計測する測位部と、前記基台の動揺姿勢角を計測する姿勢検出部とを備えたことを特徴とする計測台車102。
路面の画像データを撮影する撮像部と、レーザスキャナにより路面に対する距離方位データを取得する光走査部と、前記撮像部と前記光走査部とを固定する基台と、前記基台の位置を計測する測位部と、前記基台の動揺姿勢角を計測する姿勢検出部とを有した計測台車で取得されたデータを用いて白線の輪郭を表す白線モデルを演算する白線モデル計測装置であって、路面の画像データから白線画像を検出する画像処理部と、前記画像処理部で取得された白線画像と前記姿勢検出部で計測された動揺姿勢と前記測位部で得られた基台位置と前記光走査部で取得された路面に対する距離データとに基づいて白線の輪郭を表す白線モデルを演算する計算機とを備え、前記計算機は、前記姿勢検出部で計測された動揺姿勢角と前記光走査部で取得された路面に対する距離方位データとに基づいて前記撮像部が撮影する視線中心方向を求め、前記撮像部で撮影された白線の輪郭データを抽出し、抽出した輪郭データに基づいて画像上における白線位置を求め、求めた視線中心方向と画像上における白線位置とに基づいて前記撮像部に対する白線方向を求め、前記姿勢検出部で計測された動揺姿勢に基づいて路面の形状データを生成し、生成された路面の形状データと白線方向と前記測位部で得られた基台位置とに基づいて路面の形状データにおける白線方向の対応点を求め、求めた対応点から白線の輪郭を表す白線モデルを演算し、前記画像処理部は前記計測台車と前記計算機との少なくともいずれかに備えられることを特徴とする白線モデル測定装置。
前記姿勢検出部で計測された動揺姿勢に基づいて得られる座標変換行列を用いた演算処理により路面の形状データを生成し、前記姿勢検出部で計測された動揺姿勢に基づいて得られる座標変換行列を用いた演算処理により前記撮像部が撮影する視線中心方向を求めることを特徴とする白線モデル計測システム。
前記姿勢検出部は少なくとも2つのGPSアンテナの出力信号を用いて姿勢を検出することを特徴とする白線モデル計測システム。
路面の画像データを撮影する撮像部と、レーザスキャナにより路面に対する距離方位データを取得する光走査部と、前記撮像部と前記光走査部とを固定する基台と、前記基台の位置を計測する測位部と、前記基台の動揺姿勢角を計測する姿勢検出部とを有した計測台車と、路面の画像データから白線画像を検出する画像処理部と、前記画像処理部で取得された白線画像と前記姿勢検出部で計測された動揺姿勢と前記測位部で得られた基台位置と前記光走査部で取得された路面に対する距離データとに基づいて白線の輪郭を表す白線モデルを演算する計算機とを備え、前記計算機は、前記撮像部で撮影された白線の輪郭データを抽出し、抽出した輪郭データに基づいて画像上における白線位置を求め、前記姿勢検出部で計測された動揺姿勢と前記光走査部で取得された路面に対する距離方位データとに基づいて路面の形状データを生成し、画面上における白線位置と路面の形状データとに基づいて白線の輪郭を表す白線モデルを演算し、前記画像処理部は前記計測台車と前記計算機との少なくともいずれかに備えられることを特徴とする白線モデル計測システム。
上記実施の形態1における計測台車102の天板103は計測台車102のボディなどを流用しても構わない。
また、上記実施の形態1における白線モデル計測システム101および白線モデル計測装置100は白線以外を計測対象としても構わない。例えば、路面に記された交通標示でも構わないし黄線でも構わない。
また、白線モデル計測装置100は計測台車102に搭載されてもよいし、搭載されなくてもよい。そして、白線モデル計測装置100は計測台車102の走行中に即時処理により白線位置を計測してもよい。また、後処理にて計測してもよい。即時処理では白線位置を計測後に測位データなどの観測データが不要になるためデータ量を減らすことができる。
実施の形態1における白線モデル計測システム101のシステム構成および白線モデル計測装置100の機能構成を示す図。 実施の形態1における白線モデル計測装置100のハードウェア資源の一例を示す図。 実施の形態1における白線モデル計測装置100の白線位置検知のアルゴリズムフロー。 実施の形態1における車両位置とLRF、白線認識用カメラ230の位置関係図。 実施の形態1における車両位置とLRF、白線認識用カメラ230の位置関係図。 実施の形態1における車両位置とLRF、白線認識用カメラ230の位置関係図。 実施の形態1における車両位置とLRF、白線認識用カメラ230の位置関係図。 実施の形態1における車両位置とLRF、白線認識用カメラ230の位置関係図。 実施の形態1における道路点群モデルを示す図。 実施の形態1における道路点群モデルを示す図。 実施の形態1における道路点群モデルを示す図。 図11に対応する光学画像。 実施の形態1における投影変換を行った画像。 実施の形態1における白線の画像上の位置とLOSと3点(路面モデル対応点)がなす面(路面モデル対応面)との関係を示す図。 実施の形態1における実験環境を示す。 実施の形態1における計測結果を比較した白線の4隅を示す図。 実施の形態1における走行する車両と路面との位置関係を示す図。 実施の形態1における走行する車両と路面との位置関係を示す図。 実施の形態1における走行する車両と路面との位置関係を示す図。 トータルステーションによる白線の計測結果を示す図。 実施の形態1における白線位置計測結果を示す図。 図21のa、b部分拡大図。 図21のc、d部分拡大図。 実施の形態1における計測した白線の幅および長さを示す表。 白線モデル計測システム101および白線モデル計測装置100の別構成を示す図。 白線モデル計測システム101および白線モデル計測装置100の別構成を示す図。
符号の説明
100 白線モデル計測装置、101 白線モデル計測システム、102 計測台車、103 天板、110 車両位置姿勢(3軸)演算部、120 白線認識処理部、130 カメラ位置姿勢演算部、140 カメラLOS演算部、150 路面形状モデル生成部、160 レーザレーダ位置姿勢演算部、170 路面モデル対応点探索部、180 白線位置演算部、200 オドメトリ装置、210 ジャイロ、220 GPS、230 カメラ、240 レーザレーダ、901 表示装置、902 キーボード、903 マウス、904 FDD、905 CDD、906 プリンタ装置、907 スキャナ装置、908 マイク、909 スピーカー、911 CPU、912 バス、913 ROM、914 RAM、915 通信ボード、920 磁気ディスク装置、921 OS、922 ウィンドウシステム、923 プログラム群、924 ファイル群。

Claims (6)

  1. 路面を撮影して路面画像を取得する撮像部と、
    路面の複数点に対して距離方位を計測して路面の距離方位データを取得する光走査部とを有した計測台車と、
    前記撮像部の撮影方向と前記撮像部により取得された路面画像に映っている路面に記された路面標示の路面画像内での二次元座標とに基づいて前記撮像部から前記路面標示への方向を標示方向として求め、前記光走査部の計測地点の三次元座標と前記光走査部により取得された路面の距離方位データとに基づいて路面の複数点それぞれの三次元座標を示す路面モデルを生成し、生成した路面モデルの複数点から前記標示方向の近くに位置する点を前記路面標示の対応点として抽出し、抽出した前記路面標示の対応点に基づいて前記路面標示の三次元座標を算出する
    ことを特徴とする路面標示計測システム。
  2. 白線が記された路面を撮影して路面画像を取得する撮像部と、
    路面の複数点に対して距離方位を計測して路面の距離方位データを取得する光走査部と、
    前記撮像部と前記光走査部とを固定する基台と、
    前記基台の位置を計測する測位部と、
    前記基台の姿勢角を計測する姿勢検出部と
    を有した計測台車と、
    前記撮像部で取得された路面画像から白線が映っている部分を白線画像として検出する画像処理部と、
    前記画像処理部で検出された白線画像と前記姿勢検出部で計測された前記基台の姿勢角と前記測位部で計測された前記基台の位置と前記光走査部で取得された路面の距離方位データとに基づいて白線の輪郭を表す白線モデルを算出する計算機と
    を備え、
    前記計算機は、
    前記姿勢検出部で計測された前記基台の姿勢角に基づいて前記撮像部の撮影方向を求め、前記画像処理部で検出された白線画像に基づいて路面画像上における白線の位置を白線画像位置として求め、求めた撮影方向と白線画像位置とに基づいて前記撮像部から白線への方向を白線方向として求め、前記姿勢検出部で計測された前記基台の姿勢角と前記光走査部で取得された路面の距離方位データとに基づいて路面の形状を点群で表わした路面の形状データを生成し、生成した路面の形状データと求めた白線方向と前記測位部で計測された前記基台の位置とに基づいて路面の形状データの点群から白線方向に位置する点を白線の対応点として抽出し、抽出した白線の対応点から前記白線モデルを算出し、
    前記画像処理部は、
    前記計測台車と前記計算機との少なくともいずれかに備えられる
    ことを特徴とする白線モデル計測システム。
  3. 白線が記された路面を撮影して路面画像を取得する撮像部と、
    路面上の複数点に対して距離方位を計測して路面の距離方位データを取得する光走査部と、
    前記撮像部と前記光走査部とを固定する基台と、
    前記基台の位置を計測する測位部と、
    前記基台の姿勢角を計測する姿勢検出部と
    を有した計測台車で取得されたデータを用いて白線の輪郭を表す白線モデルを算出する白線モデル計測装置であって、
    前記撮像部で取得された路面画像から白線が映っている部分を白線画像として検出する画像処理部と、
    前記画像処理部で検出された白線画像と前記姿勢検出部で計測された前記基台の姿勢角と前記測位部で計測された前記基台の位置と前記光走査部で取得された路面の距離方位データとに基づいて白線の輪郭を表す白線モデルを算出する計算機と
    を備え、
    前記計算機は、
    前記姿勢検出部で計測された前記基台の姿勢角に基づいて前記撮像部の撮影方向を求め、前記画像処理部で検出された白線画像に基づいて路面画像上における白線の位置を白線画像位置として求め、求めた撮影方向と白線画像位置とに基づいて前記撮像部から白線への方向を白線方向として求め、前記姿勢検出部で計測された前記基台の姿勢角と前記光走査部で取得された路面の距離方位データとに基づいて路面の形状を点群で表わした路面の形状データを生成し、生成した路面の形状データと求めた白線方向と前記測位部で計測された前記基台の位置とに基づいて路面の形状データの点群から白線方向に位置する点を白線の対応点として抽出し、抽出した白線の対応点から前記白線モデルを算出し、
    前記画像処理部は、
    前記計測台車と前記計算機との少なくともいずれかに備えられる
    ことを特徴とする白線モデル計測装置。
  4. 前記計算機は、
    前記姿勢検出部で計測された前記基台の姿勢角に基づいて得られる座標変換行列を用いた演算処理により路面の形状データを生成し、前記姿勢検出部で計測された前記基台の姿勢角に基づいて得られる座標変換行列を用いた演算処理により前記撮像部の撮影方向を求めることを特徴とする請求項2記載の白線モデル計測システム。
  5. 前記姿勢検出部は少なくとも2つのGPS(Global Positioning System)アンテナの出力信号を用いて前記基台の姿勢角を計測する
    ことを特徴とする請求項1記載の白線モデル計測システム。
  6. 白線が記された路面を撮影して路面画像を取得する撮像部と、
    路面上の複数点に対して距離方位を計測して路面の距離方位データを取得する光走査部と、
    前記撮像部と前記光走査部とを固定する基台と、
    前記基台の位置を計測する測位部と、
    前記基台の姿勢角を計測する姿勢検出部と
    を有した計測台車と、
    前記撮像部で取得された路面画像から白線が映っている部分を白線画像として検出する画像処理部と、
    前記画像処理部で検出された白線画像と前記姿勢検出部で計測された前記基台の姿勢角と前記測位部で計測された前記基台の位置と前記光走査部で取得された路面の距離方位データとに基づいて白線の輪郭を表す白線モデルを算出する計算機と
    を備え、
    前記計算機は、
    前記画像処理部で検出された白線画像に基づいて路面画像上における白線の位置を白線画像位置として求め、前記姿勢検出部で計測された前記基台の姿勢角と前記光走査部で取得された路面の距離方位データとに基づいて路面の形状を点群で表わした路面の形状データを生成し、路面画面上における白線の位置と路面の形状データとに基づいて前記白線モデルを算出し、
    前記画像処理部は、
    前記計測台車と前記計算機との少なくともいずれかに備えられる
    ことを特徴とする白線モデル計測システム。
JP2006038689A 2006-02-15 2006-02-15 路面標示計測システム、白線モデル計測システムおよび白線モデル計測装置 Active JP4619962B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006038689A JP4619962B2 (ja) 2006-02-15 2006-02-15 路面標示計測システム、白線モデル計測システムおよび白線モデル計測装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006038689A JP4619962B2 (ja) 2006-02-15 2006-02-15 路面標示計測システム、白線モデル計測システムおよび白線モデル計測装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2010223474A Division JP2011059121A (ja) 2010-10-01 2010-10-01 計測台車および基台

Publications (3)

Publication Number Publication Date
JP2007218705A JP2007218705A (ja) 2007-08-30
JP2007218705A5 JP2007218705A5 (ja) 2008-10-30
JP4619962B2 true JP4619962B2 (ja) 2011-01-26

Family

ID=38496177

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006038689A Active JP4619962B2 (ja) 2006-02-15 2006-02-15 路面標示計測システム、白線モデル計測システムおよび白線モデル計測装置

Country Status (1)

Country Link
JP (1) JP4619962B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104197851B (zh) * 2014-08-18 2017-11-07 重庆交通大学 车载桥面形态‑结构安全检测系统及方法

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8558744B2 (en) 2008-05-15 2013-10-15 Mitsubishi Electric Corporation Antenna device
CN102138163B (zh) 2008-08-29 2014-04-30 三菱电机株式会社 俯瞰图像生成装置及俯瞰图像生成方法
DE102009007842A1 (de) * 2009-02-06 2010-08-12 Adc Automotive Distance Control Systems Gmbh Verfahren und Vorrichtung zum Betrieb eines videobasierten Fahrerassistenzsystems in einem Fahrzeug
JP6213156B2 (ja) * 2013-10-31 2017-10-18 三菱電機株式会社 路面標示用塗装装置
CN105741635A (zh) * 2016-03-01 2016-07-06 武汉理工大学 一种多功能道路实验车平台
JP6575431B2 (ja) * 2016-05-16 2019-09-18 株式会社デンソー 検証装置、及び、検証方法
WO2018225446A1 (ja) 2017-06-09 2018-12-13 株式会社デンソー 地図変化点検出装置
CN107764183B (zh) * 2017-11-07 2023-07-21 浙江大学 用于水下目标物尺寸测量的原位激光-图像融合测量系统及其测量方法
JP6614229B2 (ja) * 2017-12-06 2019-12-04 株式会社Jvcケンウッド 車線認識装置、車線認識方法
CN108846328B (zh) * 2018-05-29 2020-10-16 上海交通大学 基于几何正则化约束的车道检测方法
CN116379953B (zh) * 2023-05-30 2023-09-05 武汉中岩科技股份有限公司 一种远距离双目三维变形测量系统的拍摄控制方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000030198A (ja) * 1998-07-14 2000-01-28 Mitsubishi Motors Corp 車両用道路形状認識装置
JP2000161919A (ja) * 1998-11-25 2000-06-16 Hakusado:Kk 俯瞰写真から現地座標の2次元位置情報を復元する方法及びその2次元位置情報復元システム、並びにその方法のプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2001331787A (ja) * 2000-05-19 2001-11-30 Toyota Central Res & Dev Lab Inc 道路形状推定装置
JP2002081941A (ja) * 2000-09-11 2002-03-22 Zenrin Co Ltd 道路の3次元形状を測定するためのシステム及び方法
JP2002328022A (ja) * 2001-05-02 2002-11-15 Komatsu Ltd 地形形状計測装置およびガイダンス装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1021411A (ja) * 1996-07-05 1998-01-23 Nissan Motor Co Ltd 走行路認識装置
JP3619628B2 (ja) * 1996-12-19 2005-02-09 株式会社日立製作所 走行環境認識装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000030198A (ja) * 1998-07-14 2000-01-28 Mitsubishi Motors Corp 車両用道路形状認識装置
JP2000161919A (ja) * 1998-11-25 2000-06-16 Hakusado:Kk 俯瞰写真から現地座標の2次元位置情報を復元する方法及びその2次元位置情報復元システム、並びにその方法のプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2001331787A (ja) * 2000-05-19 2001-11-30 Toyota Central Res & Dev Lab Inc 道路形状推定装置
JP2002081941A (ja) * 2000-09-11 2002-03-22 Zenrin Co Ltd 道路の3次元形状を測定するためのシステム及び方法
JP2002328022A (ja) * 2001-05-02 2002-11-15 Komatsu Ltd 地形形状計測装置およびガイダンス装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104197851B (zh) * 2014-08-18 2017-11-07 重庆交通大学 车载桥面形态‑结构安全检测系统及方法

Also Published As

Publication number Publication date
JP2007218705A (ja) 2007-08-30

Similar Documents

Publication Publication Date Title
JP4619962B2 (ja) 路面標示計測システム、白線モデル計測システムおよび白線モデル計測装置
US8571265B2 (en) Measurement apparatus, measurement method, and feature identification apparatus
JP5047515B2 (ja) 道路画像作成システム及び道路画像作成方法,及び道路画像合成装置
JP5844454B2 (ja) カメラキャリブレーション方法、カメラキャリブレーションプログラムおよびカメラキャリブレーション装置
JP5762131B2 (ja) キャリブレーション装置、キャリブレーション装置のキャリブレーション方法およびキャリブレーションプログラム
WO2018133727A1 (zh) 一种正射影像图的生成方法及装置
JP4978615B2 (ja) 対象特定装置
JP2009053059A (ja) 対象特定装置、対象特定方法および対象特定プログラム
JP5214355B2 (ja) 車両走行軌跡観測システム、車両走行軌跡観測方法、およびそのプログラム
JP4986883B2 (ja) 標定装置、標定方法および標定プログラム
JP6135972B2 (ja) 標定方法、標定プログラム、及び標定装置
JP5396585B2 (ja) 地物特定方法
JP5814620B2 (ja) 位置補正データ生成装置、位置標定装置、位置補正データ生成装置の位置補正データ生成方法、位置標定装置の位置標定方法、位置補正データ生成プログラムおよび位置標定プログラム
JP3842988B2 (ja) 両眼立体視によって物体の3次元情報を計測する画像処理装置およびその方法又は計測のプログラムを記録した記録媒体
JP2013015429A (ja) 移動基準点写真測量装置および方法
JP2009229182A (ja) 画像上地物計測方法および表示法並びに計測装置
JP4752319B2 (ja) 画像認識装置及び画像認識方法
CN109631841B (zh) 一种基于激光投影的快速道路横断面测量方法及装置
JP6305501B2 (ja) キャリブレーション方法、プログラムおよびコンピュータ
JP5251460B2 (ja) 接近物体検出装置、接近物体検出プログラム、接近物体検出方法
JP2004020398A (ja) 空間情報獲得方法、空間情報獲得装置、空間情報獲得プログラム、及びそれを記録した記録媒体
JP2011059121A (ja) 計測台車および基台
JP7293931B2 (ja) 位置計測用データ生成装置、位置計測用データ生成方法、及び位置計測用データ生成プログラム
JP2010107224A (ja) 位置特定装置及び異動建物検出装置
JP2011191186A (ja) 3次元変化検出装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080912

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080912

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100727

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100803

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101001

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101026

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101027

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131105

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4619962

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250