JP5047515B2 - 道路画像作成システム及び道路画像作成方法，及び道路画像合成装置 - Google Patents

Description

本発明は、地図作成時の参照等のために用いる道路画像の作成技術に関し、特に道路標示等の詳細な地物を含む道路画像の作成技術に関する。

近年、カーナビゲーション装置等で使用する電子地図や住宅地図などにおいては、道路の中央線，外側線などの道路標示や中央分離帯，歩道などの道路上の地物のような道路に関する詳細な情報の記載が求められている。このような詳細道路情報の記載された地図を作成するには、道路標示や道路上の地物を真上から撮影した道路画像が必要とされる。

従来から、一般に、地図作成に使用する道路画像を取得するためには、空中写真が使用されている。この場合、撮影された空中写真は中心投影画像であるため、これを真上から見たようにオルソ（正射投影）処理して正射投影空中写真を作成し、この正射投影空中写真を参照して地図の作製が行われる。一般に地面は平面ではないため、上記オルソ処理においては地面の凹凸を考慮して正射投影を行う必要がある。そこで、レーザー・プロファイラを用いて航空機から地面までの距離を計測して地面の凹凸を測定し、その凹凸面上に画像を投影する方法が考案されている（特許文献１参照）。

しかしながら、空中写真から得られる正射投影空中写真を用いて道路画像を作成する方法では、道路上に車両が存在する場合、その車両の下に隠された道路画像を得ることはできない。また、橋梁により隠された道路やトンネル内の道路の画像は空中写真からは得られない。また、高い地物（建築物等）が存在する場合、中心投影画像では一部の道路は地物の陰に隠されて撮影することができない。従って、正射投影した場合に隠された部分の道路画像を得ることはできない。

そこで、道路を走行する車両にラインカメラを搭載し、当該ラインカメラによって路面を真上から撮影して道路幅方向に細長い直線状の路面画像を連続的に撮影し、これらの直線状の画像を車両の進行方向に沿って合成することにより道路画像を取得する技術が考案されている（特許文献２〜４参照）。図９に、特許文献２〜４記載の道路画像撮影装置の構成を示す。車両１０１の前方に、路面を真上から撮影するラインカメラ１０２が備えられている。また、車両１０１の前面下部には、ライト１０３，１０４が設けられている。道路画像を撮影する場合、車両１０１で路上を走行しながら、ライト１０３，１０４により撮影する路面を照光し、ラインカメラ１０２により１車線幅分の路面の線画像を連続的に撮影する。このように、スキャナと同様の原理によって路面の詳細画像を撮影し合成する。

一方、道路標示等の認識技術の分野においては、車両に搭載したカメラにより得られる二次元画像を合成することによって道路画像を取得する技術が考案されている（特許文献５参照）。特許文献５に記載の道路表示等認識装置では、車両に搭載したＣＣＤカメラにより、車両前方の風景画像を毎秒４０フレーム程度の間隔で撮影する。取り込んだ各フレーム画像に対して、先行車両の画像を除外して道路部分の画像領域を切り出す。この場合、先行車両と自車との間隔が狭い場合には、図１０のように切り出される画像領域も全体画像下部の狭い帯状の領域となる。連続する各フレームにおいて、道路部分の画像領域を切り出して合成することにより、図１１のように道路画像全体が合成される。そして、合成された全体の道路画像から道路標示を抽出し、データベースに格納された道路標示画像と比較することによって、道路標示の認識を行う。
特開２００２−７４３２３号公報 特開２００２−５４９１１号公報 特開２００４−２５８９２４号公報 特開２００５−５５３１８号公報 特開２００３−１２３１９７号公報 Zhengyou Zhang, "A Flexible New Technique for Camera Calibration", Microsoft Research Technical Report MSR-TR-98-71, December 2, 1998, http://research.microsoft.com/~zhang/Papers/TR98-71.pdf

空中写真を用いて道路画像を得る場合、上に述べたように、各種遮蔽物の影響が大きいため、カーナビゲーション装置等で使用する電子地図や住宅地図などを作成する基礎とする画像情報としては十分ではない。また、細かい道路表示等の必要な情報を得るためには大縮尺の撮影が必要となるためコストもかかるという問題がある。

一方、走行車両から撮影された画像を用いて道路画像を合成する方法によれば、橋梁、トンネル、道路脇又は道路上の地物や車両等の影響を受けることなく、道路表示等の詳細な画像情報を得ることができる。

しかしながら、上記特許文献２〜４の道路画像撮影装置は、路面上の傷などを検査する目的に使用されるものであり、１回の路上走行で撮影される道路画像は１車線分のみである。従って、すべての車線の道路標示等に関する画像情報を得るためには、すべての車線を１回ずつ走行する必要があり、手間とコストが膨大になる。従って、地図作成のための道路画像の取得を目的として使用するには適していない。

一方、上記特許文献５の道路表示等認識装置において使用される道路画像の合成方法を適用すれば、比較的広範に道路全体の画像を走行しながら撮影し合成することで、道路全体の合成画像を簡易に得ることが可能である。

しかしながら、特許文献５の道路画像の合成方法は、道路表示等の認識を目的とするものであり、合成画像は地理的座標を保持していない。従って、道路標示認識に使用するための車両の前方数メートル範囲程度の局所的な道路の合成画像をつくることはできるが、地図作成や地図作成の参照用の広域道路画像を作成することはできない。

また、上記特許文献５の道路画像の合成方法では、図１１に示したように、切り出した部分画像を単純につなぎ合わせることにより合成画像を作成している。しかし、元となる道路画像は斜め上方から撮影されたものであるため、正射投影されたものとは異なり奥行き方向に向かうにつれて画像の縮尺が小さくなる。従って、部分画像を単純につなぎ合わせた場合には接続部分において被写体画像が連続的に接続せずギザギザの画像となる（図１１（ｅ）参照）。また、真上から見た画像ではなく斜めから見た画像が得られるため、得られた合成画像自体も歪んだ画像となる。従って、地図作成のための道路標示等の参照用に使用するには見づらく、そのままでは使用できない。

そこで、本発明の目的は、走行車両から撮影した画像を用いて、地図作成等に使用することが可能な正確な道路画像を合成するための道路画像合成技術を提供することにある。

本発明に係る道路画像作成システムの第１の構成は、車両から道路を当該車両の前方又は後方若しくは側方を撮像し二次元フレーム画像（以下「道路画像」という。）として出力する撮像手段と、
前記車両の位置座標を計測し位置座標データとして出力する車両位置計測手段と、
前記撮像手段が撮像する道路画像に正射投影変換をして水平投影面上の正射画像（以下「正射道路画像」という。）を生成する画像変換手段と、
各正射道路画像に対して前記車両位置計測手段により計測された位置座標データに基づき、前記正射道路画像の世界座標及び向きを決定し、前記各正射道路画像をそれぞれ決定された世界座標系の水平投射面上に配置することにより連結道路画像を合成する画像合成手段と、を備えたことを特徴とする。

この構成によれば、道路画像は、画像変換手段によって正射投影され、真上から見た正射道路画像に変換される。そして、得られた各正射道路画像は、位置座標データに従って、世界座標系における位置（経緯座標）及び画像の向きが決定され、世界座標系の投影平面上に配置される。これにより、各正射道路画像を連続的に貼り合わせて連結道路画像を合成することができる。

このように、車両位置計測手段により計測される位置座標データを用いて各正射道路画像を合成することで、道路画像の撮影中に車両の方向や速度が変化した場合においても正確な連結道路画像を合成することが可能となる。

また、撮影される各道路画像は、画像変換手段によって正射道路画像に変換されるため、これらの各正射道路画像を合成したときに、画像同士のつなぎ目で被写体画像のずれが少ない。従って、被写体画像がなめらかにつながった合成画像が得られる。さらに、正射変換によって被写体画像は真上無限遠方から見た画像に変換されるため、被写体画像の歪みがなく、地図作成等に使用することが可能な正確な道路画像を合成することができる。

また、車両の前方又は後方若しくは側方の道路を撮像した二次元フレーム画像を使用することで、複数の車線の画像を同時に撮影することができる。従って、道路画像の撮影に要する手間とコストが削減される。

ここで、「撮像手段」としては、デジタル・カメラやビデオ・カメラ等を使用することができる。「車両位置計測手段」としては、全地球的測位システム（Global Positioning System：ＧＰＳ）などの電波航行ユニットとジャイロや加速度計などの慣性航行ユニットとを組み合わせたハイブリッド測位装置などを使用することができる。

「車両の位置座標」としては、二次元座標（経緯座標）又は三次元座標（経緯座標に高さを加えたもの）を使用することができる。

「正射投影変換」の方法としては、通常のオルソ変換の方法を使用することができる。例えば、代表的な例としては、後述するZhangのキャリブレーション法などを使用することができる（非特許文献１参照）。

画像合成手段が「正射道路画像の向き」を決定する方法としては、対象の正射道路画像の位置座標とその１つ手前の正射道路画像の位置座標とから車両の走行方向を求め、その走行方向を正射道路画像の向きとする方法や、ジャイロ等により車両のピッチ(pitch)方向，ロール(roll)方向，及び／又はヘディング(heading)方向の回転角を測定し、測定されたこれらの回転角から正射道路画像の向きを決定する方法などを採ることができる。

また、本発明において、前記撮像手段が前記道路画像を撮像するタイミングと、前記車両位置計測手段が前記位置座標を計測するタイミングとを同期させる同期信号を出力する同期手段を設け、前記撮像手段及び前記車両位置計測手段は、同期して道路画像の撮像及び前記車両の位置座標の計測を行うようにすることができる。

これにより、各道路画像に対して一対一に位置座標データが得られるため、道路画像に撮像された道路の位置座標の特定が容易となる。

「同期手段」としては、所定の時間間隔又は走行距離間隔で同期信号としてのトリガー・パルスを出力するタイマなどを使用することができる。

また、本発明において、前記撮像手段が各道路画像を撮像する時刻と、前記車両位置計測手段が前記位置座標を計測する時刻とを計測する計時手段と、
前記車両位置計測手段が計測する各位置座標データを時間的に補間することによって、各道路画像が撮像されたときの前記車両の位置座標データを算出する位置座標算出手段と、
を備え、
前記画像合成手段は、各正射道路画像に対して前記位置座標算出手段により算出された位置座標データに基づき、前記正射道路画像の世界座標及び向きを決定し、前記各正射道路画像をそれぞれ決定された世界座標系の水平投射面上に配置することにより連結道路画像を合成することとしてもよい。

このような構成によっても、各道路画像に対して一対一に位置座標データが得られるため、道路画像に撮像された道路の位置座標の特定が容易となる。

本発明に係る道路画像作成システムの第２の構成は、前記第１の構成において、前記車両の姿勢角度を計測し姿勢角度データとして出力する姿勢角度計測手段を備え、
前記画像変換手段は、前記姿勢角度データによる補正を加えて、前記撮像手段が撮像する道路画像を正射投影変換し、前記正射道路画像を生成することを特徴とする。

この構成により、車両の姿勢角度の変化により正射道路画像に生じる変形を防止し、精度の高い正射道路画像を得ることができる。

すなわち、実際に車両を走行させながら道路画像を撮影した場合、車両の揺れやサスペンションの沈み込みによって撮像手段の路面に対する姿勢角度が変化する。そのため、撮影された道路画像を一律に正射投影すると、正射投影された道路画像に歪みが生じる。

例えば、図１２に示したように、走行時の車両２０１の振動により撮像手段２０２の姿勢角度が変化した場合、車両に固定された撮像手段２０２の視野ｆ_２は、姿勢角度の変化がない場合の視野ｆ_１からピッチ方向に回転してずれる。これにより、撮影される道路画像には、図１２（ａ）のように、歪みやずれが生じる。姿勢角度の変化を考慮せずにこれを正射影変換すると、図１２（ｂ）のように画像が車両進行方向にずれるとともに車両進行方向に拡縮される。従って、画像位置及び各軸方向の縮尺についてずれが生じ、正確な画像合成を行うことができなくなる。

そこで、画像変換手段において、姿勢角度計測手段により計測された車両の姿勢角度による補正を加えて、撮像手段が撮像する各道路画像を正射投影変換することで、図１２（ｃ）のように正確な正射投影道路画像の生成を行うことが可能となる。

ここで、「車両の姿勢角度」とは、車両のオイラー角、例えば、ヘディング(heading)方向，ピッチ(pitch)方向，及びロール(roll)方向の回転角をいう。「姿勢角度計測手段」としては、ジャイロ・センサや加速度計センサ，レーザー車高計等を使用することができる。また、「姿勢角度データによる補正」の方法としては、例えば、後述するZhangのキャリブレーション法などを使用することができる（非特許文献１参照）。

本発明に係る道路画像作成システムの第３の構成は、前記第１又は２の構成において、前記車両の車高を計測し車高データを出力する車高計測手段を備え、
前記画像変換手段は、前記車高データによる補正を加えて、前記撮像手段が撮像する道路画像を正射投影変換し、前記正射道路画像を生成することを特徴とする。

この構成により、車両の車高変化により正射道路画像に生じる変形を防止し、精度の高い正射道路画像を得ることができる。

すなわち、実際に車両を走行させながら道路画像を撮影した場合、車両の揺れやサスペンションの沈み込みによって撮像手段の路面からの高さが変化する。そのため、撮影された道路画像を一律に正射投影すると、正射投影された道路画像に歪みが生じる。

例えば、図１３のように、車両２０１の上下振動により車両２０１が定常位置よりも沈み込んだ場合、車両２０１に固定された撮像手段２０２の視野ｆ_２は、車両２０１の沈み込みがない場合の視野ｆ_１から上下方向に平行にずれる。従って、撮像手段２０２により撮影される道路面は、通常の高さから撮影した道路画像よりも手前の道路面となる（図１３（ａ）参照）。そのため、車両２０１の高さは一定としてこれを正射影変換すると、図１３（ｂ）のように画像が車両進行方向にずれるとともに車両進行方向に若干拡縮される。従って、正確な画像合成を行うことができなくなる。

そこで、画像変換手段において、車高計測手段により計測された車両の車高による補正を加えて、撮像手段が撮像する各道路画像を正射投影変換することで、図１３（ｃ）のように正確な正射投影道路画像の生成を行うことが可能となる。なお、車両２０１が定常位置よりも浮き上がった場合も同様に正確な正射影道路画像の生成を行うことが可能となる。

ここで、「車高計測手段」としては、レーザー車高計などを使用することができる。「車高データによる補正」の方法としては、例えば、後述するZhangのキャリブレーション法などを使用することができる（非特許文献１参照）。

本発明に係る道路画像作成システムの第４の構成は、前記第１乃至３の何れか一の構成において、前記車両位置計測手段は、前記車両の経緯座標及び標高からなる三次元の位置座標を計測し位置座標データとして出力するものであり、
前記撮像手段が出力する道路画像を記憶する画像記憶手段と、
前記車両位置計測手段が出力する位置座標データを記憶する位置履歴記憶手段と、
を備え、
前記画像変換手段は、画像記憶手段に記憶された各道路画像について、当該道路画像の被写体である道路面又はその周囲の複数の点の位置座標データを前記位置履歴記憶手段から読み出すとともに、それら位置座標データから車両及び被写体である道路面の傾斜を求め、当該傾斜による補正を加えた正射投影変換を前記撮像手段が撮像する道路画像に施すことにより、前記正射道路画像を生成することを特徴とする。

この構成によれば、画像変換手段は、道路画像の撮像位置とその被写体である道路の位置との標高差から被写体である道路の傾斜を求める。そして、傾斜による補正を加えて、道路画像を正射投影変換する。これにより、車両前方の道路の傾斜が変化している場合に、その傾斜変化により正射道路画像に生じる変形を防止し、精度の高い正射道路画像を得ることができる。

すなわち、一般の道路は勾配や勾配変化があるため、得られる合成画像は誤差が大きくなる。特に、撮影を行う車両自体が路面の起伏，凸凹によって傾斜した場合には、合成画像に大きな誤差が生じるという問題がある。

例えば、図１４に示したように、車両２０１前方の路面が隆起している場合、撮像手段２０２によって撮像される道路画像は図１４（ａ）のように進行方向に縮小されたものとなる。これを単純な正射投影（道路面が水平面であると仮定した正射投影）によって水平面上の画像に変換すると、図１４（ｂ）のように実際の道路（図１４（ｃ））よりも進行方向に引き延ばされた画像となる。従って、正確な正射投影面上の道路画像を得ることができない。

そこで、画像変換手段において、車両の位置座標データから算出される被写体道路面の傾斜による補正を加えて、撮像手段が撮像する各道路画像を正射投影変換することで、図１４（ｃ）のように正確な正射投影道路画像の生成を行うことが可能となる。なお、路面が隆起している場合に限らず起伏がある場合に同様に正確な正射投影道路画像の生成を行うことが可能となる。

ここで、「被写体である道路面又はその周囲の複数の点の位置座標データから車両及び被写体である道路面の傾斜を求める」方法としては、例えば、図１５（ａ）のように、被写体道路面Ｓ_ｏを撮像したときの車両の位置Ｐ_１と、被写体道路面Ｓ_ｏ内における車両の位置Ｐ_３との位置座標から直線近似により被写体道路面Ｓ_ｏにおける勾配線Ｌ_ａを近似的に求める方法、図１５（ｂ）のように、被写体道路面Ｓ_ｏ内における車両の位置Ｐ_２，Ｐ_３，Ｐ_４，Ｐ_５との位置座標から直線近似により被写体道路面Ｓ_ｏにおける勾配線Ｌ_ｂを近似的に求める方法などを用いることができる。

本発明に係る道路画像合成装置の第１の構成は、走行する車両から当該車両の前方又は後方若しくは側方の道路を所定の時間間隔で撮像して得られる二次元フレーム画像からなる複数の道路画像、及び前記各道路画像の撮影タイミングに同期して計測された前記車両の位置座標を示す位置座標データから、前記道路画像を世界座標系の平面上に正射投影し張り合わせた連結道路画像を合成する道路画像合成装置であって、
前記各道路画像を記憶する画像記憶手段と、
前記各位置座標データを記憶する位置履歴記憶手段と、
前記各道路画像に正射投影変換をして道路面上の正射画像（以下「正射道路画像」という。）を生成する画像変換手段と、
各正射道路画像に対して前記車両位置計測手段により計測された位置座標データに基づき、正射道路画像の世界座標及び向きを決定し、各正射道路画像をそれぞれ決定された世界座標系の水平投射面上に配置することにより連結道路画像を合成する画像合成手段と、を備えたことを特徴とする。

本発明に係る道路画像合成装置の第２の構成は、前記第１の構成において、前記位置履歴記憶手段には、各道路画像の撮影タイミングに同期して計測された、前記車両の姿勢角度を示す姿勢角度データが記憶されており、
前記画像変換手段は、前記姿勢角度データによる補正を加えて、前記撮像手段が撮像する道路画像を正射投影変換し、前記正射道路画像を生成することを特徴とする。

本発明に係る道路画像合成装置の第３の構成は、前記第１又は２の構成において、前記位置履歴記憶手段には、各道路画像の撮影タイミングに同期して計測された、前記車両の車高を示す車高データが記憶されており、
前記画像変換手段は、前記車高データによる補正を加えて、前記撮像手段が撮像する道路画像を正射投影変換し、前記正射道路画像を生成することを特徴とする。

本発明に係る道路画像合成装置の第４の構成は、前記第１乃至３の何れか一の構成において、前記位置履歴記憶手段には、前記車両の経緯座標及び標高からなる三次元の位置座標が前記位置座標データとして記憶されており、
前記画像変換手段は、前記画像記憶手段に記憶された各道路画像について、当該道路画像の被写体である道路面又はその周囲の複数の点の位置座標データを前記位置履歴記憶手段から読み出すとともに、それら位置座標データから車両と被写体である道路面との傾斜を求め、当該傾斜による補正を加えた正射投影変換を前記撮像手段が撮像する道路画像に施すことにより、前記正射道路画像を生成することを特徴とする。

本発明に係る道路画像合成プログラムは、コンピュータに読み込ませて実行させることにより、コンピュータを上記第１乃至４の何れかの構成の道路画像合成装置として機能させることを特徴とする。

本発明に係る道路画像作成方法の第１の構成は、撮像手段によって、車両から当該車両の前方又は後方若しくは側方の道路を所定の時間間隔で撮像し二次元フレーム画像（以下「道路画像」という。）を生成する撮像ステップと、
前記撮像手段が撮像するタイミングと同期して、前記車両の位置座標を計測し位置座標データを生成する車両位置計測手段と、
前記撮像手段により撮像された道路画像に正射投影変換をして道路面上の正射画像（以下「正射道路画像」という。）を生成する画像変換ステップと、
各正射道路画像に対して前記車両位置計測ステップにおいて計測された位置座標データに基づき、前記正射道路画像の世界座標及び向きを決定し、前記各正射道路画像をそれぞれ決定された世界座標系の水平投射面上に配置することにより連結道路画像を合成する画像合成ステップと、を有することを特徴とする。

本発明に係る道路画像作成方法の第２の構成は、前記第１の構成において、前記撮像手段が撮像するタイミングと同期して、前記車両の姿勢角度を計測し姿勢角度データを生成する姿勢角度計測ステップを有し、
前記画像変換ステップにおいては、前記姿勢角度データによる補正を加えて、前記撮像手段が撮像する道路画像を正射投影変換し、前記正射道路画像を生成することを特徴とする。

本発明に係る道路画像作成方法の第３の構成は、前記第１又は２の構成において、前記撮像手段が撮像するタイミングと同期して、前記車両の車高を計測し車高データを生成する車高計測ステップを有し、
前記画像変換ステップにおいては、前記車高データによる補正を加えて、前記撮像手段が撮像する道路画像を正射投影変換し、前記正射道路画像を生成することを特徴とする。

本発明に係る道路画像作成方法の第４の構成は、前記第１乃至３の何れか一の構成において、前記撮像ステップにおいては、車両から道路を撮像して得られた道路画像を画像記憶手段に一旦記憶し、
前記車両位置計測ステップにおいては、前記車両の経緯座標及び標高からなる三次元の位置座標を計測して得られた位置座標データを位置履歴記憶手段に一旦記憶し、
前記画像変換ステップにおいては、前記画像記憶手段に記憶された各道路画像について、当該道路画像の被写体である道路面又はその周囲の複数の点の位置座標データを前記位置履歴記憶手段から読み出すとともに、それら位置座標データから車両と被写体である道路面との傾斜を求め、当該傾斜による補正を加えた正射投影変換を前記撮像手段が撮像する道路画像に施すことにより、前記正射道路画像を生成することを特徴とする。

以上のように、本発明によれば、道路画像と同期して計測される位置座標データを用いて各正射道路画像を合成することで、道路画像の撮影中に車両の方向や速度が変化した場合においても正確な連結道路画像を合成することが可能となる。

また、車両の姿勢角度の変化，車高変化，又は車両前方の道路の傾斜の変化により正射道路画像に生じる変形を防止し、精度の高い正射道路画像を得ることができる。

以下、本発明を実施するための最良の形態について、図面を参照しながら説明する。

図１は、本発明の実施例１に係る道路画像作成システムの構成を表す図である。道路画像作成システム１は、車両２に搭載された道路画像収集装置３、及び道路画像合成装置４の２つの部分から構成されている。道路画像合成装置４は、具体的にはコンピュータによって構成され、道路画像合成プログラムをコンピュータに読み込んで実行することにより、機能的に実現される。道路画像合成装置４は、車両２に搭載してもよいし、これとは切り離して別の場所に設置してもよい。

道路画像収集装置３は、撮像手段５，画像記憶手段６，車両位置計測手段７，姿勢角度計測手段８，車高計測手段９，位置履歴記憶手段１０，及び同期手段１１を備えている。

撮像手段５は、ＣＣＤカメラにより構成されており、車両２の前方の道路を撮像する。画像記憶手段６は、撮像手段５により撮像された道路画像を記憶する。車両位置計測手段７は、全地球的測位システム（Global Positioning System：ＧＰＳ），ジャイロ・センサ，加速度センサ等を備えたハイブリッド測位装置によって構成されており、車両２の経緯座標及び標高（位置座標）を計測する。

姿勢角度計測手段８は、車両２の姿勢角度を測定する装置である。姿勢角度は、ヘディング(heading)方向，ピッチ(pitch)方向，及びロール(roll)方向の回転角により表現される。姿勢角度計測手段８は、ジャイロ・センサや加速度計センサ，レーザー車高計等を使用することができる。車高計測手段９は、車両２の車高を計測する。車高計測手段９には、レーザー車高計が使用されている。位置履歴記憶手段１０は、車両位置計測手段７が出力する位置座標データ及び姿勢角度計測手段８が出力する姿勢角度データを記憶する。

同期手段１１は、撮像手段５の撮像タイミング、並びに車両位置計測手段７，姿勢角度計測手段８，及び車高計測手段９の計測タイミングを決める同期信号を所定の時間間隔（例えば１／３０ｓｅｃ間隔）で出力する。撮像手段５，車両位置計測手段７，姿勢角度計測手段８，及び車高計測手段９は、この同期信号に同期して撮像又は計測を行う。

一方、道路画像合成装置４は、画像変換手段１２，画像合成手段１３，合成画像記憶手段１４，及び出力装置１５を備えている。

画像変換手段１２は、画像記憶手段６に記憶された道路画像を読み出し、カメラ・キャリブレーション及び正射投影変換を行い、正射道路画像を作成する。正射道路画像は、視点を被写体である道路の垂直上方の無限遠点においた場合の道路画像である。カメラ・キャリブレーション及び正射投影変換においては、当該道路画像の撮像時における車両２の姿勢角度データ及び標高データから得られる被写体道路の傾斜角度が参照され、これらのパラメータによる補正が行われる。

画像合成手段１３は、各道路画像を正射投影した正射道路画像を、それらの位置座標に基づいて世界座標系の水平投射面上に配置することによって連結道路画像を合成する。合成された連結道路画像は、合成画像記憶手段１４に記憶される。出力装置１５はディスプレイ等により構成され、連結道路画像を表示出力する。

以上のように構成された本実施例に係る道路画像作成システム１について、以下それによる道路画像作成方法について説明する。

まず、車両２により道路を走行しながら撮像手段５により道路画像を撮像する。撮像された道路画像は画像記憶手段６に記憶される。

図２は車両２から撮像された道路画像の例である。図２のように、道路画像としては、車両２の斜め前方の道路の画像が取り込まれる。尚、撮影する方向はこれに限られるものではなく、車両２の後方や側方の道路であってもよい。図２の道路画像のうち、連結道路画像の作成に使用される画像領域は、矩形枠で囲まれた領域Ｓの部分である。この例では、撮像手段５の前方５〜７ｍの領域の画像を使用している。

撮像手段５は、同期手段１１が出力する同期信号に同期して道路画像の撮像を行う。一方、それと同時に、車両位置計測手段７，姿勢角度計測手段８，及び車高計測手段９は、同期信号に同期して車両２の位置座標，姿勢角度，及び車高を計測し出力する。計測された各データは、位置履歴記憶手段１０に記憶される。

以上のようにして、道路画像とその撮像位置等の情報を収集した後、道路画像合成装置４による連結道路画像の合成が行われる。

最初に、画像変換手段１２が各道路画像を正射投影して正射道路画像を作成し、次に、画像合成手段１３がそれらの正射道路画像を世界座標系の水平投射面上に配置することによって連結道路画像を合成する。

画像変換手段１２による道路画像の正射投影は以下のZhangのキャリブレーションに基づいて行われる。まず、車両２は水平上を走行しており、被写体である道路も同一水平面上にあると仮定する。

道路画像の画面上の２次元座標をｍ＝［ｕ ｖ］^Ｔとする。世界座標系の３次元座標をＭ＝［Ｘ Ｙ Ｚ］^Ｔとする。また、各座標に１の要素を直積で加えたベクトルを、以下のように定義する。

３次元座標Ｍとその投影画像の２次元座標ｍとの関係を以下の関係式によりモデル化する。

ここで、ｓはスケール・ファクター，[R t]は外部パラメータ行列（extrinsic parameter matrix），Ｒは回転行列，ｔは平行移動行列，Ａは内部パラメータ行列（intrinsic parameter matrix）である。

内部パラメータ行列Ａは、撮像手段５の内部的なパラメータであり、実画像座標系（ｘｙ座標系）からフレーム座標系（ｕｖ座標系）への写像パラメータを表す。α，βはそれぞれｕ軸，ｖ軸方向のスケール因子、γは２つの画像軸のスキューにより表されるパラメータ、［ｕ_０，ｖ_０］^Ｔは、画像の主点（principal point）の座標（主点座標）である。ピクセルサイズを（ｋ_ｕ，ｋ_ｖ），ｕ軸とｖ軸とのなす角をθ，焦点距離をｆとすると、α，β，γは次式で表される。

外部パラメータ行列[R t]は、撮像手段５の外部的なパラメータであり、世界座標系（ＸＹＺ座標系）から実画像座標系（ｘｙ座標系）への写像パラメータを表す。世界座標系は、撮像手段５の直下の路面を原点とし、車両２の進行方向に対し垂直な水平軸をＸ軸，鉛直軸をＹ軸，車両２の進行方向の水平軸をＺ軸とする。平行移動ベクトルｔは、世界座標系において原点に対する実画像の画像主点の移動ベクトルである。撮像手段５の高さ（実画像の画像主点の高さ）をｈとすると、平行移動ベクトルｔは次式で表される。

また、世界座標系において、実画像のヘディング方向の回転角（ヨー角）をφ，ピッチ角をω，ロール角をκとすると、回転行列Ｒは次式で表される。

内部パラメータ行列Ａは、事前の測定により既知である。また、ヨー角φ，ピッチ角ω，ロール角κは、初期状態（車両２が水平地面にある状態）におけるヨー角φ_０，ピッチ角ω_０，ロール角κ_０が既知であれば、姿勢角度計測手段８により計測された姿勢角度データにより計算することができる。また、画像主点の高さｈは、事前の測定により得られる水平面上の静止状態の画像主点の高さｈ_０と車高計測手段９により測定される車高から容易に計算することができる。

そこで、画像変換手段１２は、これらのパラメータを用いて、式（２）を用いてフレーム座標系（ｕｖ座標系）の道路画像ｐを世界座標系（ＸＹＺ座標系）の投射道路画像Ｐに変換する。具体的な変換方法は次のようにして行うことができる。

まず、被写体である道路面を水平面（Ｙ＝０）であると仮定する。式（２）より、

であるので、ピクセル（ｕ，ｖ）に対する世界座標（Ｘ，Ｚ）及びスケールパラメータｓは次式により求めることができる。

次に、画像変換手段１２は、被写体である道路面の傾斜を考慮した補正を次のようにして行う。まず、車両位置計測手段７により計測された位置座標データを参照し、道路画像ｐの撮影時の撮像手段５の直下の路面上の点の位置座標（Ｘ_０，Ｙ_０，Ｚ_０）と、被写体である道路面付近の複数点の位置座標（Ｘ_ｉ，Ｙ_ｉ，Ｚ_ｉ）とから、被写体である道路面の勾配を計算する。本実施例では、モデルを簡単化するため、図３に示したように、勾配は一様であるとする。具体的には、式（８）により求めた水平面上の世界座標点（Ｘ，Ｙ，Ｚ）付近の位置座標データから、Ｙを求め、Δｈ＝Ｙ−Ｙ _０ により標高差Δｈを求め、これを勾配を表す指標とする。

図３より、一様な道路勾配で補正した道路面上の世界座標点（Ｘ’，Ｙ’，Ｚ’）の奥行きＺ’は次式により求めることができる。

補正した道路面上の奥行きＺ’が決まると、式（２）より、フレーム座標点（ｕ，ｖ）と世界座標点（Ｘ’，Ｙ’，Ｚ’）との関係は次式のようになる。

これより、世界座標点のＸ’，Ｙ’を次式によって計算することができる。

このようにして、車両２前方の路面の傾斜角度が変化している場合であっても、上記補正によって正射道路画像に生じる歪みを最小限に抑えることができる。また、車両２の沈み込みや姿勢角度の変化による画像の歪みも最小限に抑えることができる。

例えば、撮像手段５により撮像された道路画像が図４（ａ）のような画像であるとする。連結道路画像の合成に使用する画像領域を領域Ｓとする。画像変換手段１２は、領域Ｓの画像を上述のような正射投影変換を用いて世界座標系の水平投影面に射影することによって図４（ｂ）のような正射道路画像を生成する。道路画像は車両２の進行方向に沿って所定間隔で断続的に撮影されているため、それぞれの道路画像に同様の正射投影変換を行うことによって図５のように複数の正射道路画像が生成される。それぞれの正射道路画像に対して、車両位置計測手段７により計測された位置座標データ及び姿勢角度計測手段８により計測された姿勢角度データが対応している。

画像合成手段１３は、各正射道路画像を対応する位置座標データ及び姿勢角度データに従って合成する。正射道路画像の水平投影面上の配置位置は位置座標データを参照することによって特定することができ、また正射道路画像の配置向きは、姿勢角度データを参照することによって特定することができる。

その結果、図６に示したような連結道路画像が合成される。生成された連結道路画像は合成画像記憶手段１４に格納されるとともに、出力装置１５に表示される。

図７に、実際に本実施例に係る道路画像作成システム１によって合成した連結道路画像の例を示す。このように、走行する車両２から撮影する道路画像を合成することによって、あたかも航空機で撮影した空中写真のような道路の画像が得られる。

また、撮像手段５から被写体までの撮像距離も短いため、精細な画像を低コストで得ることができる。

さらに、走行する車両２から撮影するため、高層の地物や橋梁，トンネル等の遮蔽物の影響を排除することもできる。

例えば、インターチェンジのループ部分の道路画像は、図８のように合成される。図８（ａ）は合成道路画像を垂直上方の無限遠方からみた図である。図８（ｂ）は、図８（ａ）の合成道路画像を斜め上方から見た図である。それぞれの台形は、撮像手段５により撮像された道路画像を正射投影変換して得られた正射道路画像を表している。

空中写真を正射投影して得られる画像では、ループの交差部分の下側の道路の画像は得ることができない。しかし、本実施例の道路画像作成システム１では、図８（ｂ）に示したような三次元画像として合成道路画像を作成数ことができるため、ループの交差部分の下側の道路の画像も再現することができる。

本発明の実施例１に係る道路画像作成システムの構成を表す図である。 車両２から撮像された道路画像の例である。 勾配補正モデルを示す説明図である。 正射投影変換の例を説明する図である。 正射投影により得られる正射道路画像の例を示す図である。 連結道路画像の例を示す図である。 実際に本実施例に係る道路画像作成システムによって合成した連結道路画像の例を示す図である。 インターチェンジのループ部分の道路画像を合成した例を示す図である。 特許文献２〜４に記載の道路画像撮影装置の構成図である。 特許文献５に記載の道路表示等認識装置による道路画像の合成方法を説明する図である。 特許文献５に記載の道路表示等認識装置による道路画像の合成方法を説明する図である。 車両前方の路面が隆起している場合に生じる正射投影画像の歪みを説明する図である。 車両の沈み込みにより生じる正射投影画像の歪みを説明する図である。 車両の姿勢角度の変化により生じる正射投影画像の歪みを説明する図である。 被写体である道路面又はその周囲の複数の点の位置座標データから車両及び被写体である道路面の傾斜を求める方法の説明図である。

符号の説明

１ 道路画像作成システム
２ 車両
３ 道路画像収集装置
４ 道路画像合成装置
５ 撮像手段
６ 画像記憶手段
７ 車両位置計測手段
８ 姿勢角度計測手段
９ 車高計測手段
１０ 位置履歴記憶手段
１１ 同期手段
１２ 画像変換手段
１３ 画像合成手段
１４ 合成画像記憶手段
１５ 出力装置

Claims (10)

1. 車両の前方又は後方若しくは側方の道路を撮像し二次元フレーム画像（以下「道路画像」という。）として出力する撮像手段と、
   前記撮像手段が出力する道路画像を記憶する画像記憶手段と、
   前記車両の経緯座標及び標高からなる三次元の位置座標を計測し位置座標データとして出力する車両位置計測手段と、
   前記車両位置計測手段が出力する位置座標データを記憶する位置履歴記憶手段と、
   前記撮像手段が撮像する道路画像を正射投影変換して水平投影面上の正射画像（以下「正射道路画像」という。）を生成する画像変換手段と、
   各正射道路画像に対して前記車両位置計測手段により計測された位置座標データに基づき、前記正射道路画像の世界座標及び向きを決定し、前記各正射道路画像をそれぞれ決定された世界座標系の水平投射面上に配置することにより連結道路画像を合成する画像合成手段と、を備え、
   前記画像変換手段は、前記撮像手段の内部的なパラメータであって前記撮像手段のフレーム座標（ｕ，ｖ）から実画像座標（ｘ，ｙ）への写像を表す所定の内部パラメータ行列Ａ、世界座標（Ｘ，Ｙ，Ｚ）（Ｘは幅方向、Ｙは高さ方向、Ｚは奥行き方向）から実画像座標（ｘ，ｙ）への回転写像及び平行移動写像を表す所定の回転行列Ｒ及び平行移動ベクトルｔを用いて、前記撮像手段が出力する前記各道路画像について、当該道路画像の各座標（ｕ，ｖ）のピクセルを、
   

   

   を演算することにより正射投影変換し前記正射道路画像の平面世界座標（Ｘ，Ｚ）及びスケールパラメータｓを算出するとともに、
   前記位置履歴記憶手段に記憶された位置座標データを参照し、前記画像記憶手段に記憶された前記各道路画像について、当該道路画像を撮影時の前記撮像手段の直下の位置座標データ（Ｘ _０ ，Ｙ _０ ，Ｚ _０ ）及び当該道路画像の被写体である道路面の平面世界座標（Ｘ，Ｚ）における位置座標データ（Ｘ _ｉ ，Ｙ _ｉ ，Ｚ _ｉ ）を取得し、当該道路画像を撮影時の前記撮像手段から被写体である道路面までの標高差Δｈ＝Ｙ _ｉ −Ｙ _０ を算出し、
   当該道路画像の各点の世界座標（Ｘ，Ｙ，Ｚ）の奥行き座標ＺをＺ’＝（Ｚ・ｈ）／（Δｈ＋ｈ）（ｈは前記撮像手段の路面からの高さ）により補正し、
   当該道路画像の各点の世界座標（Ｘ，Ｙ，Ｚ）の幅成分及び高さ成分（Ｘ，Ｙ）の補正値（Ｘ’，Ｙ’）及びスケールパラメータｓを、
   

   

   により再度算出することにより、フレーム座標（ｕ，ｖ）を補正された世界座標（Ｘ’，Ｙ’，Ｚ’）へ正射投影変換した前記正射道路画像を生成することを特徴とする道路画像作成システム。
2. 前記車両の姿勢角度を計測し姿勢角度データとして出力する姿勢角度計測手段を備え、
   前記画像変換手段は、前記姿勢角度データにより前記回転行列Ｒを算出し、当該回転行列Ｒを用いて、前記撮像手段が撮像する道路画像を正射投影変換し、前記正射道路画像を生成することを特徴とする請求項１記載の道路画像作成システム。
3. 前記車両の車高を計測し車高データを出力する車高計測手段を備え、
   前記画像変換手段は、前記車高データにより前記撮像手段の路面からの前記高さｈを算出し、当該高さｈを用いて、前記撮像手段が撮像する道路画像を正射投影変換し、前記正射道路画像を生成することを特徴とする請求項１又は２記載の道路画像作成システム。
4. 走行する車両から当該車両の前方又は後方若しくは側方の道路を所定の間隔で撮像して得られる二次元フレーム画像からなる複数の道路画像、及び前記車両の位置座標を示す位置座標データから、前記道路画像を世界座標系の平面上に正射投影し張り合わせた連結道路画像を合成する道路画像合成装置であって、
   前記各道路画像を記憶する画像記憶手段と、
   前記各位置座標データを記憶する位置履歴記憶手段と、
   前記各道路画像に正射投影変換をして道路面上の正射画像（以下「正射道路画像」という。）を生成する画像変換手段と、
   各正射道路画像に対して前記車両位置計測手段により計測された位置座標データに基づき、正射道路画像の世界座標及び向きを決定し、各正射道路画像をそれぞれ決定された世界座標系の水平投射面上に配置することにより連結道路画像を合成する画像合成手段と、を備え、
   前記画像変換手段は、前記撮像手段の内部的なパラメータであって前記撮像手段のフレーム座標（ｕ，ｖ）から実画像座標（ｘ，ｙ）への写像を表す所定の内部パラメータ行列Ａ、世界座標（Ｘ，Ｙ，Ｚ）（Ｘは幅方向、Ｙは高さ方向、Ｚは奥行き方向）から実画像座標（ｘ，ｙ）への回転写像及び平行移動写像を表す所定の回転行列Ｒ及び平行移動ベクトルｔを用いて、前記撮像手段が出力する前記各道路画像について、当該道路画像の各座標（ｕ，ｖ）のピクセルを、
   

   

   を演算することにより正射投影変換し前記正射道路画像の平面世界座標（Ｘ，Ｚ）及びスケールパラメータｓを算出するとともに、
   前記位置履歴記憶手段に記憶された位置座標データを参照し、前記画像記憶手段に記憶された前記各道路画像について、当該道路画像を撮影時の前記撮像手段の直下の位置座標データ（Ｘ _０ ，Ｙ _０ ，Ｚ _０ ）及び当該道路画像の被写体である道路面の平面世界座標（Ｘ，Ｚ）における位置座標データ（Ｘ _ｉ ，Ｙ _ｉ ，Ｚ _ｉ ）を取得し、当該道路画像を撮影時の前記撮像手段から被写体である道路面までの標高差Δｈ＝Ｙ _ｉ −Ｙ _０ を算出し、
   当該道路画像の各点の世界座標（Ｘ，Ｙ，Ｚ）の奥行き座標ＺをＺ’＝（Ｚ・ｈ）／（Δｈ＋ｈ）（ｈは前記撮像手段の路面からの高さ）により補正し、
   当該道路画像の各点の世界座標（Ｘ，Ｙ，Ｚ）の幅成分及び高さ成分（Ｘ，Ｙ）の補正値（Ｘ’，Ｙ’）及びスケールパラメータｓを、
   

   

   により再度算出することにより、フレーム座標（ｕ，ｖ）を補正された世界座標（Ｘ’，Ｙ’，Ｚ’）へ正射投影変換した前記正射道路画像を生成することを特徴とする道路画像合成装置。
5. 前記位置履歴記憶手段には、前記車両の姿勢角度を示す姿勢角度データが記憶されており、
   前記画像変換手段は、前記姿勢角度データにより前記回転行列Ｒを算出し、当該回転行列Ｒを用いて、前記撮像手段が撮像する道路画像を正射投影変換し、前記正射道路画像を生成することを特徴とする請求項４記載の道路画像合成装置。
6. 前記位置履歴記憶手段には、前記車両の車高を示す車高データが記憶されており、
   前記画像変換手段は、前記車高データにより前記撮像手段の路面からの前記高さｈを算出し、当該高さｈを用いて、前記撮像手段が撮像する道路画像を正射投影変換し、前記正射道路画像を生成することを特徴とする請求項４又は５記載の道路画像合成装置。
7. コンピュータに読み込ませて実行させることにより、コンピュータを請求項４乃至６の何れか一に記載の道路画像合成装置として機能させることを特徴とする道路画像合成プログラム。
8. 撮像手段によって、車両から当該車両の前方又は後方若しくは側方の道路を所定の間隔で撮像し二次元フレーム画像（以下「道路画像」という。）を生成し、画像記憶手段ひ保存する撮像ステップと、
   車両位置計測手段によって、前記車両の位置座標を計測し位置座標データを生成し、位置履歴記憶手段に保存する車両位置計測ステップと、
   画像変換手段によって、前記撮像手段により撮像された道路画像に正射投影変換をして道路面上の正射画像（以下「正射道路画像」という。）を生成する画像変換ステップと、
   画像合成手段によって、各正射道路画像に対して前記車両位置計測ステップにおいて計測された位置座標データに基づき、前記正射道路画像の世界座標及び向きを決定し、前記各正射道路画像をそれぞれ決定された世界座標系の水平投射面上に配置することにより連結道路画像を合成する画像合成ステップと、を有し、
   前記画像変換ステップにおいて、前記撮像手段の内部的なパラメータであって前記撮像手段のフレーム座標（ｕ，ｖ）から実画像座標（ｘ，ｙ）への写像を表す所定の内部パラメータ行列Ａ、世界座標（Ｘ，Ｙ，Ｚ）（Ｘは幅方向、Ｙは高さ方向、Ｚは奥行き方向）から実画像座標（ｘ，ｙ）への回転写像及び平行移動写像を表す所定の回転行列Ｒ及び平行移動ベクトルｔを用いて、前記撮像手段が出力する前記各道路画像について、当該道路画像の各座標（ｕ，ｖ）のピクセルを、
   

   

   を演算することにより正射投影変換し前記正射道路画像の平面世界座標（Ｘ，Ｚ）及びスケールパラメータｓを算出するとともに、
   前記位置履歴記憶手段に記憶された位置座標データを参照し、前記画像記憶手段に記憶された前記各道路画像について、当該道路画像を撮影時の前記撮像手段の直下の位置座標データ（Ｘ _０ ，Ｙ _０ ，Ｚ _０ ）及び当該道路画像の被写体である道路面の平面世界座標（Ｘ，Ｚ）における位置座標データ（Ｘ _ｉ ，Ｙ _ｉ ，Ｚ _ｉ ）を取得し、当該道路画像を撮影時の前記撮像手段から被写体である道路面までの標高差Δｈ＝Ｙ _ｉ −Ｙ _０ を算出し、
   当該道路画像の各点の世界座標（Ｘ，Ｙ，Ｚ）の奥行き座標ＺをＺ’＝（Ｚ・ｈ）／（Δｈ＋ｈ）（ｈは前記撮像手段の路面からの高さ）により補正し、
   当該道路画像の各点の世界座標（Ｘ，Ｙ，Ｚ）の幅成分及び高さ成分（Ｘ，Ｙ）の補正値（Ｘ’，Ｙ’）及びスケールパラメータｓを、
   

   

   により再度算出することにより、フレーム座標（ｕ，ｖ）を補正された世界座標（Ｘ’，Ｙ’，Ｚ’）へ正射投影変換した前記正射道路画像を生成することを特徴とする道路画像作成方法。
9. 姿勢角度計測手段によって、前記車両の姿勢角度を計測し姿勢角度データを生成する姿勢角度計測ステップを有し、
   前記画像変換ステップにおいては、前記姿勢角度データにより前記回転行列Ｒを算出し、当該回転行列Ｒを用いて、前記撮像手段が撮像する道路画像を正射投影変換し、前記正射道路画像を生成することを特徴とする請求項８記載の道路画像作成方法。
10. 車高計測手段によって、前記車両の車高を計測し車高データを生成する車高計測ステップを有し、
    前記画像変換ステップにおいては、前記車高データにより前記撮像手段の路面からの前記高さｈを算出し、当該高さｈを用いて、前記撮像手段が撮像する道路画像を正射投影変換し、前記正射道路画像を生成することを特徴とする請求項８又は９記載の道路画像作成方法。

Images