JP3820428B2 - 道路画像の合成方法と合成装置 - Google Patents
道路画像の合成方法と合成装置 Download PDFInfo
- Publication number
- JP3820428B2 JP3820428B2 JP2003048178A JP2003048178A JP3820428B2 JP 3820428 B2 JP3820428 B2 JP 3820428B2 JP 2003048178 A JP2003048178 A JP 2003048178A JP 2003048178 A JP2003048178 A JP 2003048178A JP 3820428 B2 JP3820428 B2 JP 3820428B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- lane
- coordinate
- lane image
- adjacent
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、道路画像の作成方法に関する。より具体的には、道路を走行する車両から撮影して得た道路画像データから、車両が蛇行して走行した影響を除去する方法に関する。また、車線ごとに得られた車線画像データを合成して複数車線を持つ道路の道路画像を合成する方法に関する。
【０００２】
【従来の技術】
例えば特開２００２−５４９１１号公報に記載されているように、走行する車両から道路面を撮影して得た画像データを記憶することによって道路画像データのファイルを作成する技術が知られている。この道路画像データファイルが得られると、道路画像を表示することができ、道路表面のひび割れの程度や、道路に存在するマンホールの種類と位置や、道路表面にペイントされた各種の道路標識の鮮明さの程度等を把握しやすくなり、道路の維持管理に必要な負担が軽減される。道路の維持管理には、道路表面の数mm程度のひび割れも検出することができる高解像度の道路画像が求められる。
特開２００２−５４９１１号公報の技術では、高解像度の道路画像データを得るためにラインカメラを使用する。このラインカメラは1ラインあたり4096個の画素を持ち、各画素が道路表面の1mm×1mmの範囲を撮影するので、1ラインで4096mmの範囲を撮影する。これは1車線の幅よりも若干広い。
【０００３】
ライン方向を道路横断方向に維持して撮影用車両が車線に沿ってまっすぐに走行することができれば、走行距離をＸ座標として走行方向に直交する方向の距離をＹ座標とする座標系で特定される位置と、車線に沿った距離をＸ座標として道路横断方向の距離をＹ座標とする座標系で特定される位置が一致し、前者の座標系で得られる道路画面データに基づいて道路画面を作成すると、実際の道路画面が得られる。
しかし実際に道路を走行する場合、正確に観測すると、車線に沿ってまっすぐに走行することができず、蛇行しながら走行するのが普通である。走行した車両から撮影した道路画像データは、走行距離をＸ座標として走行方向に直交する方向の距離をＹ座標とする座標系で得られる。この道路画面データに基づいて道路画面を作成すると、実際には蛇行したラインが直線に表示され、道路上では直線的に伸びるラインが蛇行したラインに表示される。車線の中央に直線的ラインが描かれている場合、そのラインを中心として左右に蛇行する車両から観測すると、道路上の直線的ラインが蛇行するラインとして観測される。
蛇行しながら走行した車両から撮影した道路画像データを修正しないで画像表示すると、道路上では直線的に伸びるラインが道路画面上では蛇行するラインとして表示されてしまい、それでは正しい道路画面とならない。道路上で直線的に伸びるラインが、画面上でも直線的に伸びるラインとして表示されるようにする技術が必要とされる。
【０００４】
前記したように、走行しながら撮影する場合は１車線の幅よりも若干広い幅を撮影しながら走行する。この場合、複数車線を有する道路（片側１車線の道路も２車線を持つ道路である）の道路画面を得るためには、隣接する２車線に沿って別々に撮影した２車線分の車線画像データをマージして１つの道路画面を得る必要がある。現状では、複数車線分の車線画像データをマージして１つの道路画面データを得る方法が開発されておらず、車線ごとの道路画面によって解析作業を進めている。
特に、例えば右折車線のように車線が増える場合、または、片側２車線の道路の幅が狭くなって片側１車線に減少してしまう場合には、車線変更しながら撮影した道路画面データと、直進しながら撮影した道路画面データを合成して、増加する車線又は減少する車線を持つ道路を示す道路画面を得るための方法が開発されていない。
【０００５】
【発明が解決しようとする課題】
本発明はこの問題に鑑みてなされたものであり、一つの目的は、蛇行しながら走行した車両から撮影した道路画像データから蛇行の影響を除去して実際の道路画像に修正する方法を提供する。他の一つの目的は、複数の車線画面データを活用して複数の車線を持つ道路の道路画面を得る方法を提供する。特に、増加する車線又は減少する車線を持つ道路の道路画面を得る方法を提供する。
【０００６】
【課題を解決するための手段と作用】
本発明の方法は、車線に沿って蛇行しながら走行した車両から撮影した道路画像データから蛇行の影響を除去した道路画像に修正する方法であり、以下の工程を含む。即ち、走行距離（Ｘ座標）と走行方向に直交する方向の距離（Ｙ座標）で特定される画素毎の明暗情報を記憶した修正前の道路画像データを収集する工程と、修正前の道路画像データに基づいて道路画像を表示する工程と、道路上で車線に沿って直線的に伸びる線上にある複数の基準点を表示された道路画像中に特定する工程と、特定された基準点群に対応する画素の修正前のＹ座標群を特定する工程と、特定されたＹ座標群が一定値に揃うように修正前のＹ座標をアフィン変換する工程と、Ｘ座標と修正されたＹ座標に従って画素毎の明暗を再生する工程とを有する。
【０００７】
本発明の道路画像の修正方法では、走行方向をＸ軸とし、走行方向に直交する方向をＹ軸と定めて、道路画像データの収集を行う。これにより、Ｘ座標は走行距離で特定され、Ｙ座標は走行方向に直交する方向の距離で特定される。
本発明の道路画像の修正方法では、収集された道路画像データを修正しないで表示し、道路上で車線に沿って直線的に伸びる線上にある複数の基準点を特定する。その後に、特定された基準点群に対応する画素のＹ座標群が一定値に揃うように、修正前の座標に対するアフィン変換を行う。座標変換された基準点群は、Ｙ座標が一定値となることで、道路上でと同じように画像内で直線的に配置されるようになる。Ｘ座標と修正されたＹ座標に従って画素毎の明暗を再生することにより、撮影車両の蛇行の影響を除去した道路画像を得ることができる。
尚、本明細書におけるアフィン変換は、
P１(X1,Y1)と、P2(X1,Y2)と、P3(X2,Y3)と、P4(X2,Y4)の頂点を持つ４角形を、下記の条件、すなわち、
・第１条件：変形変位前のX座標は、変形変位後も維持される。
・第２条件：変形変位前のY方向距離は、変形変位後も維持される。
という２条件を満たすように、線形変換と平行移動を同時に行って、
P1a(X1,Y1a)と、P2a(X1,Y1a+(Y2-Y1))と、P3a(X2,Y3a)と、P4a(X2,Y3a+(Y4-Y3))の頂点を持つ４角形に変換することをいう。
【０００８】
本発明の他の１つの方法は、隣接する２本の車線に沿って走行した車両から撮影した２つの車線画像データから１つの道路画像に合成する方法であって、以下の工程を含む。即ち、基準車線と隣接車線のそれぞれについて、車線に沿った距離（Ｘ座標）と道路横断方向の距離（Ｙ座標）で特定される画素毎の明暗情報を記憶した車線画像データを収集し、基準車線画像データに基づく基準車線画像と隣接車線画像データに基づく隣接車線画像を対比可能に表示する。基準車線画像と隣接車線画像に共通に撮影されている基準点群を表示された基準車線画像と隣接車線画像のそれぞれの画像中に特定する。その後に、隣接車線画像データにおける特定された基準点群に対応する画素のＹ座標群が、基準車線画像データにおける特定された基準点群に対応する画素のＹ座標群と一致するように、隣接車線画像データにおける画素のＹ座標を基準点群で区切られる領域ごとにアフィン変換する。さらに基準車線画像データと画素のＹ座標がアフィン変換された隣接車線画像データをマージして２車線を含む道路画像データを得る。その後に、マージされた道路画像データのＸ座標とＹ座標に従って画素毎の明暗を再生することで、２車線を含む道路画像を得る。
【０００９】
隣接する２本の車線に沿って２回または２台で走行した車両から撮影した２つの車線画像データは、それぞれの車線に沿った距離をＸ座標とし、その車線からの道路横断方向の距離をＹ座標とする座標系で得られる。Ｙ座標は車線毎に相違し、隣接する一方の車線のＹ座標が＋2000であるのに、それと同じ点が隣接する車線のＹ座標では−2000となることがある。このことは車線幅が4000mmであり、座標の1が1mmである場合を想定すると明らかである。
なお、車線に沿った距離が走行距離に近似的に等しい場合、すなわち、車両の蛇行の程度が低くてほぼ直線的に走行できる場合には、車線に沿った距離を走行距離とすることができ、この場合には、上述した修正処理を必要としない。走行距離をＸ座標とし、走行方向に直交する方向の距離をＹ座標とする座標系で得られる修正前の道路画像データを車線画像データとすることができる。この場合、修正前の車線ごとの道路画像データに対して直接に上述した合成処理をして合成することができる。蛇行の影響が無視できない場合には、少なくとも一方の車線に対する修正前の道路画像データに対して上述した修正方法を実行して蛇行の影響を除去した車線画像データに修正し、その修正された車線画像データに対して上述した合成方法を適用する。この場合に、基準車線の画像データに対して上述した修正処理を施しておけばよく、基準車線に隣接する車線画像データに対しては上述した修正処理を施しておく必要がない。隣接車線画像データに対して上述した合成処理をすることによって上述した修正処理があわせて実行されるからである。
本発明の合成方法では、基準車線画像と隣接車線画像に共通に撮影されている基準点群を、表示された画像中で特定して座標変換の基準に使用する。基準点群に対応する画素の隣接車線画像データでのＹ座標群が、基準車線画像データでのＹ座標群となるように、隣接車線画像データでのＹ座標の全体をアフィン変換する。この座標変換によって、隣接車線画像データのＹ座標は、基準車線画像データでのＹ座標で表わされるようになるので、画像データのマージが可能となる。マージされた道路画像データの画素毎の明暗を再生することで、２車線を含む道路画像が得られる。
上記した道路画像を合成する発明は、装置として具現化することもできる。本発明の装置は、隣接する２本の車線に沿って走行した車両から撮影した２つの車線画像データから１つの道路画像に合成する装置であり、基準車線に沿った距離（Ｘ座標）と道路横断方向の距離（Ｙ座標）で特定される画素毎の明暗情報を記憶した基準車線画像データを収集する手段と、隣接車線に沿った距離（Ｘ座標）と道路横断方向の距離（Ｙ座標）で特定される画素毎の明暗情報を記憶した隣接車線画像データを収集する手段と、基準車線画像データに基づく基準車線画像と隣接車線画像データに基づく隣接車線画像を対比可能に表示する手段と、基準車線画像と隣接車線画像に共通に撮影されている基準点群を表示された基準車線画像と隣接車線画像のそれぞれの画像中に特定する手段と、隣接車線画像データにおける特定された基準点群に対応する画素のＹ座標群が、基準車線画像データにおける特定された基準点群に対応する画素のＹ座標群と一致するように、隣接車線画像データにおける画素のＹ座標を基準点群で区切られる領域ごとにアフィン変換する手段と、基準車線画像データと、画素のＹ座標がアフィン変換された隣接車線画像データをマージして、２車線を含む道路画像データを得る手段と、マージされた道路画像データのＸ座標とＹ座標に従って画素毎の明暗を再生する手段とを有する。
【００１０】
上述した道路画像の合成方法は、車線が増加する区間に適用することも可能である。即ち、共通車線に沿った経路で走行した車両から撮影した１つの車線画像と、共通車線から拡幅車線に進行する経路で走行した車両から撮影した１つの車線画像との間で、共通に撮影されている基準点群を表示されたそれぞれの画像中で特定して座標変換の基準に使用し、拡幅車線画像データのＹ座標の全体をアフィン変換する。この座標変換によって、拡幅車線画像データのＹ座標は、共通車線画像データでのＹ座標で表わされるので、画像データのマージが可能となる。マージされた道路画像データの画素毎の明暗を再生することで、車線が増加する区間の道路画像が得られる。
上述した道路画像の合成装置は、車線が増加する区間に適用することも可能である。この場合、上述した道路画像の合成装置は、共通車線に沿った経路で走行した車両から撮影した１つの車線画像データと、共通車線から拡幅車線に進行する経路で走行した車両から撮影した１つの車線画像データから、車線増加区間の道路画像を合成する。
【００１１】
同様に、上述した道路画像の合成方法を、車線が減少する区間に適用することも可能である。すなわち、共通車線に沿った経路で走行した車両から撮影した１つの車線画像と、減少車線から共通車線に車線変更しながら進行する経路で走行した車両から撮影した１つの車線画像データとの間に適用することにより、車線減少区間の道路画像を合成することができる。
同様に、上述した道路画像の合成装置を、車線が減少する区間に適用することも可能である。この場合、上述した道路画像の合成装置は、共通車線に沿った経路で走行した車両から撮影した１つの車線画像データと、減少車線から共通車線に進行する経路で走行した車両から撮影した１つの車線画像データから、車線減少区間の道路画像を合成する。
【００１２】
本発明を応用して、隣接する３本の車線に沿って３回あるいは３台で走行した車両から撮影した３つの車線画像データから１つの道路画像を合成することもできる。
本発明の他の１つの道路画像の合成方法は、以下の工程を含む。即ち、基準車線と、基準車線に隣接する隣接車線と、隣接車線にさらに隣接する第２隣接車線のそれぞれについて、車線に沿った距離（Ｘ座標）と道路横断方向の距離（Ｙ座標）で特定される画素毎の明暗情報を記憶した車線画像データを収集する。基準車線画像データに基づく基準車線画像と隣接車線画像データに基づく隣接車線画像を対比可能に表示し、基準車線画像と隣接車線画像に共通に撮影されている第１基準点群を表示された基準車線画像と隣接車線画像のそれぞれの画像中に特定する。隣接車線画像データに基づく隣接車線画像と第２隣接車線画像データに基づく第２隣接車線画像を対比可能に表示し、隣接車線画像と第２隣接車線画像に共通に撮影されている第２基準点群を表示された隣接車線画像と第２隣接車線画像のそれぞれの画像中に特定する。
そして、隣接車線画像データにおける特定された第１基準点群に対応する画素のＹ座標群が、基準車線画像データにおける特定された第１基準点群に対応する画素のＹ座標群と一致するように、隣接車線画像データにおける画素のＹ座標を第１基準点群で区切られる領域ごとに第１アフィン変換する。さらに、第２隣接車線画像データにおける特定された第２基準点群に対応する画素のＹ座標群が、隣接車線画像データにおける特定された第２基準点群に対応する画素の第１アフィン変換されたＹ座標群と一致するように、第２隣接車線画像データにおける画素のＹ座標を第２基準点群で区切られる領域ごとに第２アフィン変換する。基準車線画像データと、画素のＹ座標が第１アフィン変換された隣接車線画像データと、画素のＹ座標が第２アフィン変換された第２隣接車線画像データをマージして、３車線を含む道路画像データを得、マージされた道路画像データのＸ座標とＹ座標に従って画素毎の明暗を再生する工程とを有する。
【００１３】
上述した道路画像の合成方法でも、基準車線画像と隣接車線画像に共通に撮影されている第１基準点群を座標変換の基準に使用して、隣接車線画像データのＹ座標のアフィン変換を行う。座標変換によって、隣接車線画像データの座標が基準車線画像データの座標と同一の座標系で表わされるようになる。さらに、隣接車線画像データと第２隣接車線画像データとの間で、第２基準点群を特定し、第２隣接車線画像データのＹ座標を第２アフィン変換することで、全ての道路画像データの座標が基準車線画像データの座標系で表わされるようになる。ここで、全ての道路画像データのマージを行い、マージされた道路画像データの画素毎の明暗を再生することにより３車線を含む道路画像が得られる。
この処理をすると、第２隣接車線画像データを隣接車線画像データでの座標系に座標変換し、ついで基準車線画像データでの座標系に変換する必要がなく、第２隣接車線画像データを基準車線画像データでの座標系に直接的に変換することができる。２度の座標変換に代えて１度の座標変換ですむことから計算量を圧縮することができる。
本方法は４車線以上を有する道路に適用することができ、この場合には、第３隣接車線や第４隣接車線の画像データを基準車線での座標系に直接変換する。
上述した３車線の道路画像を合成する発明は、装置として具現化することもできる。本発明の他の１つの装置は、隣接する３本の車線に沿って走行した車両から撮影した３つの車線画像データから１つの道路画像に合成する装置であり、基準車線に沿った距離（Ｘ座標）と道路横断方向の距離（Ｙ座標）で特定される画素毎の明暗情報を記憶した基準車線画像データを収集する手段と、基準車線に隣接する車線（隣接車線）に沿った距離（Ｘ座標）と道路横断方向の距離（Ｙ座標）で特定される画素毎の明暗情報を記憶した隣接車線画像データを収集する手段と、隣接車線にさらに隣接する車線（第２隣接車線）に沿った距離（Ｘ座標）と道路横断方向の距離（Ｙ座標）で特定される画素毎の明暗情報を記憶した第２隣接車線画像データを収集する手段と、基準車線画像データに基づく基準車線画像と隣接車線画像データに基づく隣接車線画像を対比可能に表示する手段と、基準車線画像と隣接車線画像に共通に撮影されている第１基準点群を表示された基準車線画像と隣接車線画像のそれぞれの画像中に特定する手段と、隣接車線画像データに基づく隣接車線画像と第２隣接車線画像データに基づく第２隣接車線画像を対比可能に表示する手段と、隣接車線画像と第２隣接車線画像に共通に撮影されている第２基準点群を表示された隣接車線画像と第２隣接車線画像のそれぞれの画像中に特定する手段と、隣接車線画像データにおける特定された第１基準点群に対応する画素のＹ座標群が、基準車線画像データにおける特定された第１基準点群に対応する画素のＹ座標群と一致するように、隣接車線画像データにおける画素のＹ座標を第１基準点群で区切られる領域ごとに第１アフィン変換する手段と、第２隣接画像データにおける特定された第２基準点群に対応する画素のＹ座標群が、隣接車線画像データにおける特定された第２基準点群に対応する画素の第１アフィン変換されたＹ座標群と一致するように、第２隣接車線画像データにおける画素のＹ座標を第２基準点群で区切られる領域ごとに第２アフィン変換する手段と、基準車線画像データと、画素のＹ座標が第１アフィン変換された隣接車線画像データと、画素のＹ座標が第２アフィン変換された第２隣接車線画像データをマージして、３車線を含む道路画像データを得る手段と、マージされた道路画像データのＸ座標とＹ座標に従って画素毎の明暗を再生する手段とを有する。
【００１４】
【発明の実施の形態】
最初に、次に説明する実施例の主要な特徴を列記する。（形態１）道路画像データは、走行距離（Ｘ座標）と、撮影装置の画素の位置の情報（Ｙ座標）と、明暗情報からなり、記憶媒体に保存される。
（形態２）道路画像データの修正と合成処理は、コンピュータで行われる。
（形態３）形態２のコンピュータの記憶領域には、「撮影画像」「修正済画像」「合成済画像」のそれぞれを画像データとして記憶する領域を備えており、「画像修正プログラム」と、「画像合成プログラム」が演算部で実行可能な形式で記憶されている。
【００１５】
【実施例】
以下に、本発明の道路画像の作成方法の実施例を、添付図面を参照しながら詳細に説明する。
（第一実施例）
図１は、本発明の第一実施例の方法で、道路画像を作成する道路２を模式的に示している。道路２上には、マーカ４，６，８，１０，１２が車線に沿って直線的に伸びる線上にあり、基準点として利用することが可能である。
撮影車両は、図１の曲線１４で示すように蛇行しながら走行し、走行しながら撮影する。撮影された画像データは、道路画像データの一つのファイルとしてコンピュータ１６に入力され、撮影画像記憶領域３２（図２）に保管される。
なお図１では、説明の便宜のために蛇行幅を誇張して表示している。
【００１６】
図２は、道路画像データを入力して修正処理と合成処理を実行するコンピュータ１６の構成を模式的に示した図である。コンピュータ１６は、演算装置１８と、記憶装置２０と、入力装置２２と、出力装置２４から構成されており、表示装置２６が接続されている。記憶装置２０には、画像修正プログラム２８と画像合成プログラム３０が演算装置１８で実行可能な形式で記憶されており、さらに撮影画像データを記憶する領域３２と、修正済画像データを記憶する領域３４と、合成済画像データを記憶する領域３６が確保されている。
【００１７】
道路２の撮影時に収集される道路画像データの座標系は、走行距離をＸ座標とし、走行方向に直交する方向の距離をＹ座標とする。撮影装置の画素の明暗情報が撮影時の座標値とともに記憶される。車両に積載されている撮影装置は、ラインカメラであり、車両の走行方向に直交する方向に伸びている。このラインカメラは4096の画素を持ち、各画素が1mm×1mmの範囲の路面の明暗の程度を256諧調で記憶する。4096の画素のうちの中央の画素のＹ座標がゼロとされ、両端の画素のＹ座標が＋2048と−2048とされている。また車両は1mm走行するごとにパルスを出力するエンコーダを備え、コンピュータ１６がパルスを入力するごとにＸ座標が１づつ増加する。ＸとＹ座標値はmmの単位であらわされる。通常の車線幅は4000mm以下であり、車両が車線の中央を走行すると、撮影限界である＋2048と−2048の画素は、隣接車線の路面を撮影する。
Ｙ座標は走行方向に直交する方向の距離であり、撮影用車両が蛇行した場合には、道路の幅方向の距離と一致しないはずである。しかしながら蛇行の左右幅が小さい場合には、走行方向に直交する方向と道路の幅方向のなす角度が小さく、両者はほぼ等しいとすることができる。
【００１８】
図１に例示した場合、撮影された道路画面データをそのまま表示すると、蛇行線１４が直線化された状態で表示される。この結果、直線的に伸びている道路の方が蛇行しているように表示されてしまう。走行線１４から路肩までの距離は、走行方向に周期的に変化しているために、直線的に伸びている路肩が蛇行しているように表示されてしまうのである。
Ｙ座標の座標変換を行うために、道路画像修正プログラム２８が使用される。以下、道路画像データの修正方法を、図３の画像修正方法のフローチャートに基づいて詳細に説明する。
画像修正プログラム２８は、撮影画像記憶領域３２から、修正を行う道路画像データのファイルを読み込む（ステップ２）。
ここで、読み込まれる道路画像データの内容の一例を図４に示す。データは、撮影時に特定されたＸ座標とＹ座標と画像の明暗情報が含まれている。撮影された画像が白黒の場合は、グレースケールでの輝度情報として記憶されており、カラーの画像の場合は、Ｒｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅの３色の輝度情報として記憶されている。
【００１９】
画像修正プログラム２８は、読み込んだ道路画像データの画素毎の座標値と明暗情報に基づいて、図５（ａ）に示すような道路画像を表示装置２６に表示する（ステップ４）。図５（ａ）では、実際の道路上では直線上に位置しているはずのマーカ４，６，８，１０，１２のＹ座標値が、蛇行の影響で周期的に変化している。ここでは、それぞれのＹ座標値を、ｙ１，ｙ２，ｙ３，ｙ４，ｙ５とする。マーカ４，６，８，１０，１２のＸ座標値ｘ１，ｘ２，ｘ３，ｘ４，ｘ５は、撮影時の走行距離から得られているが、蛇行の幅が小さいことから、近似的には車線に沿った距離とすることができる。道路の画像は、細線４０で囲まれた領域Ａに示され、直線的に伸びている道路２が蛇行しているように表示される。
この状態で、オペレーターが実際の道路上では直線状にある点群を指定する。例えば、オペレーターがマウスやポインタ等の入力装置２２を用いて、直線状にあるはずのマーカ４，６，８，１０，１２を画面上で指定する（ステップ６）。すると、画像修正プログラム２８は、指定された点を基準点とし、基準点のＸ，Ｙ座標を読み込む（ステップ８）。
次に、画像修正プログラム２８は、指定された基準点に対応する画素ごとの画像データでのＹ座標の値を平均し、求められた平均値を基準点のＹ座標値とする（ステップ１０）。基準点の座標値（Ｙ座標については前記のように計算された平均値とする）と明暗情報を、修正済み画像データファイルに書き込む（ステップ１２）。以上までの画像修正プログラム２８の処理によって、基準点とされたマーカ４，６，８，１０，１２に対応する画素のデータは、Ｙ座標が平均値ｙ６に揃えられる。図５の（ｂ）に、平均値ｙ６に揃えられたマーカ４，６，８，１０，１２の位置を示す。図５の（ｂ）では、添字ａが付加されている。
【００２０】
全ての基準点のＹ座標の変換が終了すると、画像修正プログラム２８は、指定された基準点以外の画素のＹ座標をアフィン変換する（ステップS２０）。
アフィン変換では、道路画面をマーカ４，６，８，１０，１２で区切ってＹ座標の値を変換する。マーカ４，６とそれに対応する路肩位置４０，４２で形成される四角形の範囲のアフィン変換の例について説明する。
アフィン変換では、変換前の四角形４，６，４２，４０を、下記の条件、
・第１条件：変形変位前のＸ座標は、変形変位後も維持される。
・第２条件：変形変位前のＹ方向距離は、変形変位後も維持される。
という２条件を満たすように変換する。
このとき、マーカ４（変換前の座標x1，y1）の変換後のＹ座標と、マーカ６（変換前の座標x2，y2）の変換後のＹ座標が、ともに、先に求めた平均値y6となるように変換する。
この場合、
四角形 4(x1,y1),40(x1,y7),6(x2,y2),42(x2,y8)を、
長方形 4a(x1,y6),40a(x1,y6+(y7-y1)),6a(x2,y6),42a(x2,y6+(y8-y2)に変形することになる。
【００２１】
マーカ４とマーカ６を結ぶ直線上にある点４６（変換前の座標x7，y10）を考える。この場合、
y10=y1+((y2-y1)/(x2-x1))×(x7-x1) ・・・(1) である。
従って、点４８（変換前の座標x7，y11）の変換後のY座標は次のものとなる。
y13=y6+(y11-y10)=y6+y11-y1-((y2-y1)/(x2-x1))×(x7-x1) ) ・・・(2)
式(2)に従って座標変換すると、図５(a)の四角形4,40,6,42が、図５(b)の長方形4a,40a,6a,42aに変形され、アフィン変換される。
例えば、マーカ４とマーカ６を結ぶ直線上にある点４６（変換前の座標x7，y10）の変換後の座標は（x7，y6）となり、マーカ４と路肩４０を結ぶ直線上にある点４４（変換前の座標x1，y9）の変換後の座標は（x1，y6+(y9-y1)）となる。
【００２２】
変換前のＹ座標が式（２）に従って変換された変換後の道路画像データが、修正済画像データ記憶領域３４に記憶される。ステップＳ２０とステップＳ２２の処理はすべての画像データに対する変換が終了するまで繰り返される。
なお、アフィン変換のための式（２）は、マーカ間の区切りごとに切り替えられる。
【００２３】
次に、画像修正プログラム２８は、修正済み画像データ記憶領域３４に書き込まれた座標値と明暗情報に従って、変換された道路画像を表示装置に表示する。必要に応じてプリンタ等の出力装置に出力することで、修正済みの道路画像が得られる（ステップ２６）。
表示された修正済みの道路画像の一例を、図５（ｂ）に示す。基準点群のＹ座標は一定値y6に揃っており、基準点以外の画像データも、アフィン変換により基準点群に追従した修正がされている。
道路上で直線状に伸びる形状は直線に復元されている。撮影車両が蛇行したことによる影響が除去されていることが確認される。
【００２４】
本実施例の道路画像の作成方法によれば、蛇行する撮影用車両から撮影された道路画像データに対して、実際の道路上で直線的にのびる線上にある基準物群を特定し、画像修正プログラム２８を用いてアフィン変換を行って画像データを修正することにより、撮影用車両の蛇行の影響を除去した道路画像を得ることができる。オペレーターが多数の点を指定することにより、きめ細かく修正することできる。
【００２５】
（第二実施例）
図６（Ａ）は、車線毎に撮影した車線画像データを合成して道路画像を得たい道路の一例を示している。この場合、道路が拡幅して車線が増えている場合を示している。道路が狭くなって一方の車線が無くなる場合にも同一の合成手法が採用される。
この実施例では、同じ撮影車両が（Ｂ）の走行ルートと（Ｃ）の走行ルートに沿って走行しながら、２車線分の道路画像データを収集する。
【００２６】
直進するルート（Ｂ）に沿った車線を基準車線に採用する。この場合、図７のステップＳ３０に示すように、基準車線の画像データを読み込む。ついで、ステップＳ３２で、図３に示した蛇行補償処理を実施し、道路上で直線的に伸びているものを直線として表示されるようにする。ステップＳ３４では、隣接するルート（Ｃ）に沿って撮影した隣接車線の画像データを読み込む。
図６（Ｂ）は、走行ルート（Ｂ）に沿って走行しながら撮影することで得られた車線画像データに蛇行補償処理を施した基準斜線の画像を例示し、図６（Ｃ）は、走行ルート（Ｃ）に沿って走行しながら撮影することで得られた車線画像データを例示している。
合成処理の段階では、表示装置２６に、図６（Ｂ）と（Ｃ）の２つの車線画像が対比観察可能に表示される（図７のステップＳ３６）。オペレーターは、２枚の車線画像を対比観察し、共通に撮影されている点群を発見し、表示装置２６の位置特定装置（例えばマウス）を用いて共通点群を指定する（図７のステップＳ３８）。
図６のａからｋまでは、共通点群を示し、点ａ〜ｃは、（Ｂ）と（Ｃ）の車線画面でともに上側に表示されている。点ｄ〜ｉは、ルート（ｃ）で走行するときに、上側から下側にシフトする。点ｉ〜ｋは、ルート（C）で走行するとときに下側に存在し、ルート（Ｂ）で走行するとときに上側にとどまる。
【００２７】
明らかに、図６（Ｃ）のａ〜ｋ点を、図６（Ｂ）のａ〜ｋ点に重ね合わせることで、図６（Ａ）の合成結果が得られる。この処理の段階で、再度アフィン変換が利用される。
このアフィン処理の段階では、図６（Ｃ）のＸ−Ｙ２座標系で示されているＹ座標値を、図６（Ｂ）のＸ−Ｙ１座標系での座標値に変換する。例えば、点ｄのＸ−Ｙ２座標系での座標値を(X1,Y3)とし、点ｅのＸ−Ｙ２座標系での座標値を(X2,Y4)とし、点ｄのＸ−Ｙ１座標系での座標値を(X1,Y1)とし、点ｅのＸ−Ｙ１座標系での座標値を(X2,Y2)とすると、点ｄと点ｅで区切られる領域にある点のＸ−Ｙ２座標系での座標値を(X,Y)としたとき、変換後の座標を（X、Ya）を、
Ya＝Y1+Y-((X-X1)/(X2-X1))×（Y2-Y1+Y3-Y4）
の式で算出すると、（Ｃ）のＸ−Ｙ２座標系での座標値(X,Y)がアフィン変換されて（Ｄ）のＸ−Ｙ１座標系での座標値（X、Ya）に変換される。アフィン変換の結果、図６（Ｃ）の四角形Ｅは、図６（Ｄ）の四角形Ｅ１に変換される。
図７のステップＳ４０では、共通点で区切られる領域ごとに、前記変換式の係数を決定する。ステップＳ４２では、アフィン変換を実行する。続くステップＳ４４では、蛇行補償された基準車線の画像データに、アフィン変換された隣接車線の画像データをマージし、ステップＳ４６では、マージされた画像データに基づいて画像表示する。この結果、図６（Ｄ）の道路画像が表示される。
この道路画像は、複数車線が合成されており、蛇行の影響が除去されており、実道路の画像に忠実な画像となっている。
【００２８】
（第３実施例）
この実施例は、３車線を合成して道路画像を得る。この場合、撮影車両が基準車線を走行して基準車線の画像データを得、次に隣接する車線を走行して隣接車線の画像データを得、最後に、さらに隣接する３本目の車線を走行して第２隣接車線の画像データを得る。
図８のステップ５０では、基準車線の画像データと、隣接車線の画像データと、第２隣接車線の画像データをコンピュータに読み込む。
ステップＳ５２では、基準車線の画像と隣接車線の画像を対比観察可能に表示し、ステップＳ５４では、オペレーターが共通点群を指定する。ステップＳ５６では、隣接車線の画像と第２隣接車線の画像を対比観察可能に表示し、ステップＳ５８では、オペレーターが共通点群を指定する。
ステップＳ６０では、基準車線の画像データに対して図３に示したアフィン変換を実施して、蛇行の影響を補償する。ステップＳ６２では、隣接車線の画像データにアフィン変換を施して、蛇行の影響を補償した基準車線の画像データの座標軸に座標変換する。この処理は、第２実施例で説明したものである。ステップＳ６４では、第２隣接車線の画像データにアフィン変換を施して、蛇行の影響を補償した基準車線の画像データの座標軸に座標変換する。第２隣接車線と隣接車線の共通点は、隣接車線の画像データをアフィン変換することによって、基準車線の座標系での座標値に変換されている。そこで、第２隣接車線の画像データを直接に基準車線の座標系での座標値に変換することができる。一旦隣接車線での座標値に変換し、ついで基準車線での座標値に変換するのではないために、計算量が少なくてすむ。
ステップＳ６６では、蛇行補償された基準車線の画像データに、アフィン変換された隣接車線の画像データと、アフィン変換された第２隣接車線の画像データとをマージする。ステップＳ６８では、マージされた画像データに基づいて画像表示する。この結果、３車線が合成された道路画像が表示される。
この方法は４車線以上を有する道路に拡張することができる。
第２と第３実施例でオペレータが指定する基準点群は、２つの車線画像に共通に撮影されているものであればよく、道路上で直線状に配置されている必要はない。
【００２９】
以上、本発明の具体例を詳細に説明したが、これらは例示にすぎず、特許請求の範囲を限定するものではない。特許請求の範囲に記載の技術には、以上に例示した具体例を様々に変形、変更したものが含まれる。例えば、実施例では、撮影する道路の道幅は全て一定であるかのように図示されているが、道路上に画像の基準点とできる基準物があれば、道幅や車線数の変化がある道路画像に対しても、本発明を適用することができる。その他、実施例の図中に示したコンピュータの構成や座標変換のアルゴリズムは、座標変換の結果が異ならない範囲で自由に変更が可能である。
本明細書または図面に説明した技術要素は、単独であるいは各種の組み合わせによって技術的有用性を発揮するものであり、出願時の請求項記載の組み合わせに限定されるものではない。
【００３０】
【発明の効果】
以上のように、本願発明の道路画像の修正方法と合成方法によれば、蛇行しながら走行する車両から撮影した道路画像に対して、道路画像から基準点群を選択して座標を指定し、指定座標を満たすよう画像データの座標をアフィン変換することで、道路画像から蛇行の影響を除くことが可能となる。これにより、道路画像のずれや歪みを修正したり、道幅方向の撮影範囲が異なる道路画像の合成を可能にする技術を提供する。本技術の完成により、複数車線の画像や、直進帯と右折帯の両方が含まれる道路の画像などの、より広い範囲の道路画像を一つの正確な道路画像として得ることができる。
【図面の簡単な説明】
【図１】 本発明の第一実施例における、撮影される道路と撮影用車両の走行経路を模式的に示す図。
【図２】 本発明の第一実施例におけるコンピュータの構成を模式的に示す図。
【図３】 本発明の第一実施例における、道路画像の作成方法のフローを模式的に示す図。
【図４】 本発明の第一実施例における、道路画像データの内容を模式的に示す図。
【図５】 本発明の第一実施例における、撮影によって得られた道路画像と、画像修正によって得られた道路画像を模式的に示す図。
【図６】 本発明の第二実施例における、撮影される道路を模式的に示す図。
【図７】 本発明の第二実施例における、道路画像の合成方法のフローを模式的に示す図。
【図８】 本発明の第３実施例における、道路画像の合成方法のフローを模式的に示す図。
【発明の属する技術分野】
本発明は、道路画像の作成方法に関する。より具体的には、道路を走行する車両から撮影して得た道路画像データから、車両が蛇行して走行した影響を除去する方法に関する。また、車線ごとに得られた車線画像データを合成して複数車線を持つ道路の道路画像を合成する方法に関する。
【０００２】
【従来の技術】
例えば特開２００２−５４９１１号公報に記載されているように、走行する車両から道路面を撮影して得た画像データを記憶することによって道路画像データのファイルを作成する技術が知られている。この道路画像データファイルが得られると、道路画像を表示することができ、道路表面のひび割れの程度や、道路に存在するマンホールの種類と位置や、道路表面にペイントされた各種の道路標識の鮮明さの程度等を把握しやすくなり、道路の維持管理に必要な負担が軽減される。道路の維持管理には、道路表面の数mm程度のひび割れも検出することができる高解像度の道路画像が求められる。
特開２００２−５４９１１号公報の技術では、高解像度の道路画像データを得るためにラインカメラを使用する。このラインカメラは1ラインあたり4096個の画素を持ち、各画素が道路表面の1mm×1mmの範囲を撮影するので、1ラインで4096mmの範囲を撮影する。これは1車線の幅よりも若干広い。
【０００３】
ライン方向を道路横断方向に維持して撮影用車両が車線に沿ってまっすぐに走行することができれば、走行距離をＸ座標として走行方向に直交する方向の距離をＹ座標とする座標系で特定される位置と、車線に沿った距離をＸ座標として道路横断方向の距離をＹ座標とする座標系で特定される位置が一致し、前者の座標系で得られる道路画面データに基づいて道路画面を作成すると、実際の道路画面が得られる。
しかし実際に道路を走行する場合、正確に観測すると、車線に沿ってまっすぐに走行することができず、蛇行しながら走行するのが普通である。走行した車両から撮影した道路画像データは、走行距離をＸ座標として走行方向に直交する方向の距離をＹ座標とする座標系で得られる。この道路画面データに基づいて道路画面を作成すると、実際には蛇行したラインが直線に表示され、道路上では直線的に伸びるラインが蛇行したラインに表示される。車線の中央に直線的ラインが描かれている場合、そのラインを中心として左右に蛇行する車両から観測すると、道路上の直線的ラインが蛇行するラインとして観測される。
蛇行しながら走行した車両から撮影した道路画像データを修正しないで画像表示すると、道路上では直線的に伸びるラインが道路画面上では蛇行するラインとして表示されてしまい、それでは正しい道路画面とならない。道路上で直線的に伸びるラインが、画面上でも直線的に伸びるラインとして表示されるようにする技術が必要とされる。
【０００４】
前記したように、走行しながら撮影する場合は１車線の幅よりも若干広い幅を撮影しながら走行する。この場合、複数車線を有する道路（片側１車線の道路も２車線を持つ道路である）の道路画面を得るためには、隣接する２車線に沿って別々に撮影した２車線分の車線画像データをマージして１つの道路画面を得る必要がある。現状では、複数車線分の車線画像データをマージして１つの道路画面データを得る方法が開発されておらず、車線ごとの道路画面によって解析作業を進めている。
特に、例えば右折車線のように車線が増える場合、または、片側２車線の道路の幅が狭くなって片側１車線に減少してしまう場合には、車線変更しながら撮影した道路画面データと、直進しながら撮影した道路画面データを合成して、増加する車線又は減少する車線を持つ道路を示す道路画面を得るための方法が開発されていない。
【０００５】
【発明が解決しようとする課題】
本発明はこの問題に鑑みてなされたものであり、一つの目的は、蛇行しながら走行した車両から撮影した道路画像データから蛇行の影響を除去して実際の道路画像に修正する方法を提供する。他の一つの目的は、複数の車線画面データを活用して複数の車線を持つ道路の道路画面を得る方法を提供する。特に、増加する車線又は減少する車線を持つ道路の道路画面を得る方法を提供する。
【０００６】
【課題を解決するための手段と作用】
本発明の方法は、車線に沿って蛇行しながら走行した車両から撮影した道路画像データから蛇行の影響を除去した道路画像に修正する方法であり、以下の工程を含む。即ち、走行距離（Ｘ座標）と走行方向に直交する方向の距離（Ｙ座標）で特定される画素毎の明暗情報を記憶した修正前の道路画像データを収集する工程と、修正前の道路画像データに基づいて道路画像を表示する工程と、道路上で車線に沿って直線的に伸びる線上にある複数の基準点を表示された道路画像中に特定する工程と、特定された基準点群に対応する画素の修正前のＹ座標群を特定する工程と、特定されたＹ座標群が一定値に揃うように修正前のＹ座標をアフィン変換する工程と、Ｘ座標と修正されたＹ座標に従って画素毎の明暗を再生する工程とを有する。
【０００７】
本発明の道路画像の修正方法では、走行方向をＸ軸とし、走行方向に直交する方向をＹ軸と定めて、道路画像データの収集を行う。これにより、Ｘ座標は走行距離で特定され、Ｙ座標は走行方向に直交する方向の距離で特定される。
本発明の道路画像の修正方法では、収集された道路画像データを修正しないで表示し、道路上で車線に沿って直線的に伸びる線上にある複数の基準点を特定する。その後に、特定された基準点群に対応する画素のＹ座標群が一定値に揃うように、修正前の座標に対するアフィン変換を行う。座標変換された基準点群は、Ｙ座標が一定値となることで、道路上でと同じように画像内で直線的に配置されるようになる。Ｘ座標と修正されたＹ座標に従って画素毎の明暗を再生することにより、撮影車両の蛇行の影響を除去した道路画像を得ることができる。
尚、本明細書におけるアフィン変換は、
P１(X1,Y1)と、P2(X1,Y2)と、P3(X2,Y3)と、P4(X2,Y4)の頂点を持つ４角形を、下記の条件、すなわち、
・第１条件：変形変位前のX座標は、変形変位後も維持される。
・第２条件：変形変位前のY方向距離は、変形変位後も維持される。
という２条件を満たすように、線形変換と平行移動を同時に行って、
P1a(X1,Y1a)と、P2a(X1,Y1a+(Y2-Y1))と、P3a(X2,Y3a)と、P4a(X2,Y3a+(Y4-Y3))の頂点を持つ４角形に変換することをいう。
【０００８】
本発明の他の１つの方法は、隣接する２本の車線に沿って走行した車両から撮影した２つの車線画像データから１つの道路画像に合成する方法であって、以下の工程を含む。即ち、基準車線と隣接車線のそれぞれについて、車線に沿った距離（Ｘ座標）と道路横断方向の距離（Ｙ座標）で特定される画素毎の明暗情報を記憶した車線画像データを収集し、基準車線画像データに基づく基準車線画像と隣接車線画像データに基づく隣接車線画像を対比可能に表示する。基準車線画像と隣接車線画像に共通に撮影されている基準点群を表示された基準車線画像と隣接車線画像のそれぞれの画像中に特定する。その後に、隣接車線画像データにおける特定された基準点群に対応する画素のＹ座標群が、基準車線画像データにおける特定された基準点群に対応する画素のＹ座標群と一致するように、隣接車線画像データにおける画素のＹ座標を基準点群で区切られる領域ごとにアフィン変換する。さらに基準車線画像データと画素のＹ座標がアフィン変換された隣接車線画像データをマージして２車線を含む道路画像データを得る。その後に、マージされた道路画像データのＸ座標とＹ座標に従って画素毎の明暗を再生することで、２車線を含む道路画像を得る。
【０００９】
隣接する２本の車線に沿って２回または２台で走行した車両から撮影した２つの車線画像データは、それぞれの車線に沿った距離をＸ座標とし、その車線からの道路横断方向の距離をＹ座標とする座標系で得られる。Ｙ座標は車線毎に相違し、隣接する一方の車線のＹ座標が＋2000であるのに、それと同じ点が隣接する車線のＹ座標では−2000となることがある。このことは車線幅が4000mmであり、座標の1が1mmである場合を想定すると明らかである。
なお、車線に沿った距離が走行距離に近似的に等しい場合、すなわち、車両の蛇行の程度が低くてほぼ直線的に走行できる場合には、車線に沿った距離を走行距離とすることができ、この場合には、上述した修正処理を必要としない。走行距離をＸ座標とし、走行方向に直交する方向の距離をＹ座標とする座標系で得られる修正前の道路画像データを車線画像データとすることができる。この場合、修正前の車線ごとの道路画像データに対して直接に上述した合成処理をして合成することができる。蛇行の影響が無視できない場合には、少なくとも一方の車線に対する修正前の道路画像データに対して上述した修正方法を実行して蛇行の影響を除去した車線画像データに修正し、その修正された車線画像データに対して上述した合成方法を適用する。この場合に、基準車線の画像データに対して上述した修正処理を施しておけばよく、基準車線に隣接する車線画像データに対しては上述した修正処理を施しておく必要がない。隣接車線画像データに対して上述した合成処理をすることによって上述した修正処理があわせて実行されるからである。
本発明の合成方法では、基準車線画像と隣接車線画像に共通に撮影されている基準点群を、表示された画像中で特定して座標変換の基準に使用する。基準点群に対応する画素の隣接車線画像データでのＹ座標群が、基準車線画像データでのＹ座標群となるように、隣接車線画像データでのＹ座標の全体をアフィン変換する。この座標変換によって、隣接車線画像データのＹ座標は、基準車線画像データでのＹ座標で表わされるようになるので、画像データのマージが可能となる。マージされた道路画像データの画素毎の明暗を再生することで、２車線を含む道路画像が得られる。
上記した道路画像を合成する発明は、装置として具現化することもできる。本発明の装置は、隣接する２本の車線に沿って走行した車両から撮影した２つの車線画像データから１つの道路画像に合成する装置であり、基準車線に沿った距離（Ｘ座標）と道路横断方向の距離（Ｙ座標）で特定される画素毎の明暗情報を記憶した基準車線画像データを収集する手段と、隣接車線に沿った距離（Ｘ座標）と道路横断方向の距離（Ｙ座標）で特定される画素毎の明暗情報を記憶した隣接車線画像データを収集する手段と、基準車線画像データに基づく基準車線画像と隣接車線画像データに基づく隣接車線画像を対比可能に表示する手段と、基準車線画像と隣接車線画像に共通に撮影されている基準点群を表示された基準車線画像と隣接車線画像のそれぞれの画像中に特定する手段と、隣接車線画像データにおける特定された基準点群に対応する画素のＹ座標群が、基準車線画像データにおける特定された基準点群に対応する画素のＹ座標群と一致するように、隣接車線画像データにおける画素のＹ座標を基準点群で区切られる領域ごとにアフィン変換する手段と、基準車線画像データと、画素のＹ座標がアフィン変換された隣接車線画像データをマージして、２車線を含む道路画像データを得る手段と、マージされた道路画像データのＸ座標とＹ座標に従って画素毎の明暗を再生する手段とを有する。
【００１０】
上述した道路画像の合成方法は、車線が増加する区間に適用することも可能である。即ち、共通車線に沿った経路で走行した車両から撮影した１つの車線画像と、共通車線から拡幅車線に進行する経路で走行した車両から撮影した１つの車線画像との間で、共通に撮影されている基準点群を表示されたそれぞれの画像中で特定して座標変換の基準に使用し、拡幅車線画像データのＹ座標の全体をアフィン変換する。この座標変換によって、拡幅車線画像データのＹ座標は、共通車線画像データでのＹ座標で表わされるので、画像データのマージが可能となる。マージされた道路画像データの画素毎の明暗を再生することで、車線が増加する区間の道路画像が得られる。
上述した道路画像の合成装置は、車線が増加する区間に適用することも可能である。この場合、上述した道路画像の合成装置は、共通車線に沿った経路で走行した車両から撮影した１つの車線画像データと、共通車線から拡幅車線に進行する経路で走行した車両から撮影した１つの車線画像データから、車線増加区間の道路画像を合成する。
【００１１】
同様に、上述した道路画像の合成方法を、車線が減少する区間に適用することも可能である。すなわち、共通車線に沿った経路で走行した車両から撮影した１つの車線画像と、減少車線から共通車線に車線変更しながら進行する経路で走行した車両から撮影した１つの車線画像データとの間に適用することにより、車線減少区間の道路画像を合成することができる。
同様に、上述した道路画像の合成装置を、車線が減少する区間に適用することも可能である。この場合、上述した道路画像の合成装置は、共通車線に沿った経路で走行した車両から撮影した１つの車線画像データと、減少車線から共通車線に進行する経路で走行した車両から撮影した１つの車線画像データから、車線減少区間の道路画像を合成する。
【００１２】
本発明を応用して、隣接する３本の車線に沿って３回あるいは３台で走行した車両から撮影した３つの車線画像データから１つの道路画像を合成することもできる。
本発明の他の１つの道路画像の合成方法は、以下の工程を含む。即ち、基準車線と、基準車線に隣接する隣接車線と、隣接車線にさらに隣接する第２隣接車線のそれぞれについて、車線に沿った距離（Ｘ座標）と道路横断方向の距離（Ｙ座標）で特定される画素毎の明暗情報を記憶した車線画像データを収集する。基準車線画像データに基づく基準車線画像と隣接車線画像データに基づく隣接車線画像を対比可能に表示し、基準車線画像と隣接車線画像に共通に撮影されている第１基準点群を表示された基準車線画像と隣接車線画像のそれぞれの画像中に特定する。隣接車線画像データに基づく隣接車線画像と第２隣接車線画像データに基づく第２隣接車線画像を対比可能に表示し、隣接車線画像と第２隣接車線画像に共通に撮影されている第２基準点群を表示された隣接車線画像と第２隣接車線画像のそれぞれの画像中に特定する。
そして、隣接車線画像データにおける特定された第１基準点群に対応する画素のＹ座標群が、基準車線画像データにおける特定された第１基準点群に対応する画素のＹ座標群と一致するように、隣接車線画像データにおける画素のＹ座標を第１基準点群で区切られる領域ごとに第１アフィン変換する。さらに、第２隣接車線画像データにおける特定された第２基準点群に対応する画素のＹ座標群が、隣接車線画像データにおける特定された第２基準点群に対応する画素の第１アフィン変換されたＹ座標群と一致するように、第２隣接車線画像データにおける画素のＹ座標を第２基準点群で区切られる領域ごとに第２アフィン変換する。基準車線画像データと、画素のＹ座標が第１アフィン変換された隣接車線画像データと、画素のＹ座標が第２アフィン変換された第２隣接車線画像データをマージして、３車線を含む道路画像データを得、マージされた道路画像データのＸ座標とＹ座標に従って画素毎の明暗を再生する工程とを有する。
【００１３】
上述した道路画像の合成方法でも、基準車線画像と隣接車線画像に共通に撮影されている第１基準点群を座標変換の基準に使用して、隣接車線画像データのＹ座標のアフィン変換を行う。座標変換によって、隣接車線画像データの座標が基準車線画像データの座標と同一の座標系で表わされるようになる。さらに、隣接車線画像データと第２隣接車線画像データとの間で、第２基準点群を特定し、第２隣接車線画像データのＹ座標を第２アフィン変換することで、全ての道路画像データの座標が基準車線画像データの座標系で表わされるようになる。ここで、全ての道路画像データのマージを行い、マージされた道路画像データの画素毎の明暗を再生することにより３車線を含む道路画像が得られる。
この処理をすると、第２隣接車線画像データを隣接車線画像データでの座標系に座標変換し、ついで基準車線画像データでの座標系に変換する必要がなく、第２隣接車線画像データを基準車線画像データでの座標系に直接的に変換することができる。２度の座標変換に代えて１度の座標変換ですむことから計算量を圧縮することができる。
本方法は４車線以上を有する道路に適用することができ、この場合には、第３隣接車線や第４隣接車線の画像データを基準車線での座標系に直接変換する。
上述した３車線の道路画像を合成する発明は、装置として具現化することもできる。本発明の他の１つの装置は、隣接する３本の車線に沿って走行した車両から撮影した３つの車線画像データから１つの道路画像に合成する装置であり、基準車線に沿った距離（Ｘ座標）と道路横断方向の距離（Ｙ座標）で特定される画素毎の明暗情報を記憶した基準車線画像データを収集する手段と、基準車線に隣接する車線（隣接車線）に沿った距離（Ｘ座標）と道路横断方向の距離（Ｙ座標）で特定される画素毎の明暗情報を記憶した隣接車線画像データを収集する手段と、隣接車線にさらに隣接する車線（第２隣接車線）に沿った距離（Ｘ座標）と道路横断方向の距離（Ｙ座標）で特定される画素毎の明暗情報を記憶した第２隣接車線画像データを収集する手段と、基準車線画像データに基づく基準車線画像と隣接車線画像データに基づく隣接車線画像を対比可能に表示する手段と、基準車線画像と隣接車線画像に共通に撮影されている第１基準点群を表示された基準車線画像と隣接車線画像のそれぞれの画像中に特定する手段と、隣接車線画像データに基づく隣接車線画像と第２隣接車線画像データに基づく第２隣接車線画像を対比可能に表示する手段と、隣接車線画像と第２隣接車線画像に共通に撮影されている第２基準点群を表示された隣接車線画像と第２隣接車線画像のそれぞれの画像中に特定する手段と、隣接車線画像データにおける特定された第１基準点群に対応する画素のＹ座標群が、基準車線画像データにおける特定された第１基準点群に対応する画素のＹ座標群と一致するように、隣接車線画像データにおける画素のＹ座標を第１基準点群で区切られる領域ごとに第１アフィン変換する手段と、第２隣接画像データにおける特定された第２基準点群に対応する画素のＹ座標群が、隣接車線画像データにおける特定された第２基準点群に対応する画素の第１アフィン変換されたＹ座標群と一致するように、第２隣接車線画像データにおける画素のＹ座標を第２基準点群で区切られる領域ごとに第２アフィン変換する手段と、基準車線画像データと、画素のＹ座標が第１アフィン変換された隣接車線画像データと、画素のＹ座標が第２アフィン変換された第２隣接車線画像データをマージして、３車線を含む道路画像データを得る手段と、マージされた道路画像データのＸ座標とＹ座標に従って画素毎の明暗を再生する手段とを有する。
【００１４】
【発明の実施の形態】
最初に、次に説明する実施例の主要な特徴を列記する。（形態１）道路画像データは、走行距離（Ｘ座標）と、撮影装置の画素の位置の情報（Ｙ座標）と、明暗情報からなり、記憶媒体に保存される。
（形態２）道路画像データの修正と合成処理は、コンピュータで行われる。
（形態３）形態２のコンピュータの記憶領域には、「撮影画像」「修正済画像」「合成済画像」のそれぞれを画像データとして記憶する領域を備えており、「画像修正プログラム」と、「画像合成プログラム」が演算部で実行可能な形式で記憶されている。
【００１５】
【実施例】
以下に、本発明の道路画像の作成方法の実施例を、添付図面を参照しながら詳細に説明する。
（第一実施例）
図１は、本発明の第一実施例の方法で、道路画像を作成する道路２を模式的に示している。道路２上には、マーカ４，６，８，１０，１２が車線に沿って直線的に伸びる線上にあり、基準点として利用することが可能である。
撮影車両は、図１の曲線１４で示すように蛇行しながら走行し、走行しながら撮影する。撮影された画像データは、道路画像データの一つのファイルとしてコンピュータ１６に入力され、撮影画像記憶領域３２（図２）に保管される。
なお図１では、説明の便宜のために蛇行幅を誇張して表示している。
【００１６】
図２は、道路画像データを入力して修正処理と合成処理を実行するコンピュータ１６の構成を模式的に示した図である。コンピュータ１６は、演算装置１８と、記憶装置２０と、入力装置２２と、出力装置２４から構成されており、表示装置２６が接続されている。記憶装置２０には、画像修正プログラム２８と画像合成プログラム３０が演算装置１８で実行可能な形式で記憶されており、さらに撮影画像データを記憶する領域３２と、修正済画像データを記憶する領域３４と、合成済画像データを記憶する領域３６が確保されている。
【００１７】
道路２の撮影時に収集される道路画像データの座標系は、走行距離をＸ座標とし、走行方向に直交する方向の距離をＹ座標とする。撮影装置の画素の明暗情報が撮影時の座標値とともに記憶される。車両に積載されている撮影装置は、ラインカメラであり、車両の走行方向に直交する方向に伸びている。このラインカメラは4096の画素を持ち、各画素が1mm×1mmの範囲の路面の明暗の程度を256諧調で記憶する。4096の画素のうちの中央の画素のＹ座標がゼロとされ、両端の画素のＹ座標が＋2048と−2048とされている。また車両は1mm走行するごとにパルスを出力するエンコーダを備え、コンピュータ１６がパルスを入力するごとにＸ座標が１づつ増加する。ＸとＹ座標値はmmの単位であらわされる。通常の車線幅は4000mm以下であり、車両が車線の中央を走行すると、撮影限界である＋2048と−2048の画素は、隣接車線の路面を撮影する。
Ｙ座標は走行方向に直交する方向の距離であり、撮影用車両が蛇行した場合には、道路の幅方向の距離と一致しないはずである。しかしながら蛇行の左右幅が小さい場合には、走行方向に直交する方向と道路の幅方向のなす角度が小さく、両者はほぼ等しいとすることができる。
【００１８】
図１に例示した場合、撮影された道路画面データをそのまま表示すると、蛇行線１４が直線化された状態で表示される。この結果、直線的に伸びている道路の方が蛇行しているように表示されてしまう。走行線１４から路肩までの距離は、走行方向に周期的に変化しているために、直線的に伸びている路肩が蛇行しているように表示されてしまうのである。
Ｙ座標の座標変換を行うために、道路画像修正プログラム２８が使用される。以下、道路画像データの修正方法を、図３の画像修正方法のフローチャートに基づいて詳細に説明する。
画像修正プログラム２８は、撮影画像記憶領域３２から、修正を行う道路画像データのファイルを読み込む（ステップ２）。
ここで、読み込まれる道路画像データの内容の一例を図４に示す。データは、撮影時に特定されたＸ座標とＹ座標と画像の明暗情報が含まれている。撮影された画像が白黒の場合は、グレースケールでの輝度情報として記憶されており、カラーの画像の場合は、Ｒｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅの３色の輝度情報として記憶されている。
【００１９】
画像修正プログラム２８は、読み込んだ道路画像データの画素毎の座標値と明暗情報に基づいて、図５（ａ）に示すような道路画像を表示装置２６に表示する（ステップ４）。図５（ａ）では、実際の道路上では直線上に位置しているはずのマーカ４，６，８，１０，１２のＹ座標値が、蛇行の影響で周期的に変化している。ここでは、それぞれのＹ座標値を、ｙ１，ｙ２，ｙ３，ｙ４，ｙ５とする。マーカ４，６，８，１０，１２のＸ座標値ｘ１，ｘ２，ｘ３，ｘ４，ｘ５は、撮影時の走行距離から得られているが、蛇行の幅が小さいことから、近似的には車線に沿った距離とすることができる。道路の画像は、細線４０で囲まれた領域Ａに示され、直線的に伸びている道路２が蛇行しているように表示される。
この状態で、オペレーターが実際の道路上では直線状にある点群を指定する。例えば、オペレーターがマウスやポインタ等の入力装置２２を用いて、直線状にあるはずのマーカ４，６，８，１０，１２を画面上で指定する（ステップ６）。すると、画像修正プログラム２８は、指定された点を基準点とし、基準点のＸ，Ｙ座標を読み込む（ステップ８）。
次に、画像修正プログラム２８は、指定された基準点に対応する画素ごとの画像データでのＹ座標の値を平均し、求められた平均値を基準点のＹ座標値とする（ステップ１０）。基準点の座標値（Ｙ座標については前記のように計算された平均値とする）と明暗情報を、修正済み画像データファイルに書き込む（ステップ１２）。以上までの画像修正プログラム２８の処理によって、基準点とされたマーカ４，６，８，１０，１２に対応する画素のデータは、Ｙ座標が平均値ｙ６に揃えられる。図５の（ｂ）に、平均値ｙ６に揃えられたマーカ４，６，８，１０，１２の位置を示す。図５の（ｂ）では、添字ａが付加されている。
【００２０】
全ての基準点のＹ座標の変換が終了すると、画像修正プログラム２８は、指定された基準点以外の画素のＹ座標をアフィン変換する（ステップS２０）。
アフィン変換では、道路画面をマーカ４，６，８，１０，１２で区切ってＹ座標の値を変換する。マーカ４，６とそれに対応する路肩位置４０，４２で形成される四角形の範囲のアフィン変換の例について説明する。
アフィン変換では、変換前の四角形４，６，４２，４０を、下記の条件、
・第１条件：変形変位前のＸ座標は、変形変位後も維持される。
・第２条件：変形変位前のＹ方向距離は、変形変位後も維持される。
という２条件を満たすように変換する。
このとき、マーカ４（変換前の座標x1，y1）の変換後のＹ座標と、マーカ６（変換前の座標x2，y2）の変換後のＹ座標が、ともに、先に求めた平均値y6となるように変換する。
この場合、
四角形 4(x1,y1),40(x1,y7),6(x2,y2),42(x2,y8)を、
長方形 4a(x1,y6),40a(x1,y6+(y7-y1)),6a(x2,y6),42a(x2,y6+(y8-y2)に変形することになる。
【００２１】
マーカ４とマーカ６を結ぶ直線上にある点４６（変換前の座標x7，y10）を考える。この場合、
y10=y1+((y2-y1)/(x2-x1))×(x7-x1) ・・・(1) である。
従って、点４８（変換前の座標x7，y11）の変換後のY座標は次のものとなる。
y13=y6+(y11-y10)=y6+y11-y1-((y2-y1)/(x2-x1))×(x7-x1) ) ・・・(2)
式(2)に従って座標変換すると、図５(a)の四角形4,40,6,42が、図５(b)の長方形4a,40a,6a,42aに変形され、アフィン変換される。
例えば、マーカ４とマーカ６を結ぶ直線上にある点４６（変換前の座標x7，y10）の変換後の座標は（x7，y6）となり、マーカ４と路肩４０を結ぶ直線上にある点４４（変換前の座標x1，y9）の変換後の座標は（x1，y6+(y9-y1)）となる。
【００２２】
変換前のＹ座標が式（２）に従って変換された変換後の道路画像データが、修正済画像データ記憶領域３４に記憶される。ステップＳ２０とステップＳ２２の処理はすべての画像データに対する変換が終了するまで繰り返される。
なお、アフィン変換のための式（２）は、マーカ間の区切りごとに切り替えられる。
【００２３】
次に、画像修正プログラム２８は、修正済み画像データ記憶領域３４に書き込まれた座標値と明暗情報に従って、変換された道路画像を表示装置に表示する。必要に応じてプリンタ等の出力装置に出力することで、修正済みの道路画像が得られる（ステップ２６）。
表示された修正済みの道路画像の一例を、図５（ｂ）に示す。基準点群のＹ座標は一定値y6に揃っており、基準点以外の画像データも、アフィン変換により基準点群に追従した修正がされている。
道路上で直線状に伸びる形状は直線に復元されている。撮影車両が蛇行したことによる影響が除去されていることが確認される。
【００２４】
本実施例の道路画像の作成方法によれば、蛇行する撮影用車両から撮影された道路画像データに対して、実際の道路上で直線的にのびる線上にある基準物群を特定し、画像修正プログラム２８を用いてアフィン変換を行って画像データを修正することにより、撮影用車両の蛇行の影響を除去した道路画像を得ることができる。オペレーターが多数の点を指定することにより、きめ細かく修正することできる。
【００２５】
（第二実施例）
図６（Ａ）は、車線毎に撮影した車線画像データを合成して道路画像を得たい道路の一例を示している。この場合、道路が拡幅して車線が増えている場合を示している。道路が狭くなって一方の車線が無くなる場合にも同一の合成手法が採用される。
この実施例では、同じ撮影車両が（Ｂ）の走行ルートと（Ｃ）の走行ルートに沿って走行しながら、２車線分の道路画像データを収集する。
【００２６】
直進するルート（Ｂ）に沿った車線を基準車線に採用する。この場合、図７のステップＳ３０に示すように、基準車線の画像データを読み込む。ついで、ステップＳ３２で、図３に示した蛇行補償処理を実施し、道路上で直線的に伸びているものを直線として表示されるようにする。ステップＳ３４では、隣接するルート（Ｃ）に沿って撮影した隣接車線の画像データを読み込む。
図６（Ｂ）は、走行ルート（Ｂ）に沿って走行しながら撮影することで得られた車線画像データに蛇行補償処理を施した基準斜線の画像を例示し、図６（Ｃ）は、走行ルート（Ｃ）に沿って走行しながら撮影することで得られた車線画像データを例示している。
合成処理の段階では、表示装置２６に、図６（Ｂ）と（Ｃ）の２つの車線画像が対比観察可能に表示される（図７のステップＳ３６）。オペレーターは、２枚の車線画像を対比観察し、共通に撮影されている点群を発見し、表示装置２６の位置特定装置（例えばマウス）を用いて共通点群を指定する（図７のステップＳ３８）。
図６のａからｋまでは、共通点群を示し、点ａ〜ｃは、（Ｂ）と（Ｃ）の車線画面でともに上側に表示されている。点ｄ〜ｉは、ルート（ｃ）で走行するときに、上側から下側にシフトする。点ｉ〜ｋは、ルート（C）で走行するとときに下側に存在し、ルート（Ｂ）で走行するとときに上側にとどまる。
【００２７】
明らかに、図６（Ｃ）のａ〜ｋ点を、図６（Ｂ）のａ〜ｋ点に重ね合わせることで、図６（Ａ）の合成結果が得られる。この処理の段階で、再度アフィン変換が利用される。
このアフィン処理の段階では、図６（Ｃ）のＸ−Ｙ２座標系で示されているＹ座標値を、図６（Ｂ）のＸ−Ｙ１座標系での座標値に変換する。例えば、点ｄのＸ−Ｙ２座標系での座標値を(X1,Y3)とし、点ｅのＸ−Ｙ２座標系での座標値を(X2,Y4)とし、点ｄのＸ−Ｙ１座標系での座標値を(X1,Y1)とし、点ｅのＸ−Ｙ１座標系での座標値を(X2,Y2)とすると、点ｄと点ｅで区切られる領域にある点のＸ−Ｙ２座標系での座標値を(X,Y)としたとき、変換後の座標を（X、Ya）を、
Ya＝Y1+Y-((X-X1)/(X2-X1))×（Y2-Y1+Y3-Y4）
の式で算出すると、（Ｃ）のＸ−Ｙ２座標系での座標値(X,Y)がアフィン変換されて（Ｄ）のＸ−Ｙ１座標系での座標値（X、Ya）に変換される。アフィン変換の結果、図６（Ｃ）の四角形Ｅは、図６（Ｄ）の四角形Ｅ１に変換される。
図７のステップＳ４０では、共通点で区切られる領域ごとに、前記変換式の係数を決定する。ステップＳ４２では、アフィン変換を実行する。続くステップＳ４４では、蛇行補償された基準車線の画像データに、アフィン変換された隣接車線の画像データをマージし、ステップＳ４６では、マージされた画像データに基づいて画像表示する。この結果、図６（Ｄ）の道路画像が表示される。
この道路画像は、複数車線が合成されており、蛇行の影響が除去されており、実道路の画像に忠実な画像となっている。
【００２８】
（第３実施例）
この実施例は、３車線を合成して道路画像を得る。この場合、撮影車両が基準車線を走行して基準車線の画像データを得、次に隣接する車線を走行して隣接車線の画像データを得、最後に、さらに隣接する３本目の車線を走行して第２隣接車線の画像データを得る。
図８のステップ５０では、基準車線の画像データと、隣接車線の画像データと、第２隣接車線の画像データをコンピュータに読み込む。
ステップＳ５２では、基準車線の画像と隣接車線の画像を対比観察可能に表示し、ステップＳ５４では、オペレーターが共通点群を指定する。ステップＳ５６では、隣接車線の画像と第２隣接車線の画像を対比観察可能に表示し、ステップＳ５８では、オペレーターが共通点群を指定する。
ステップＳ６０では、基準車線の画像データに対して図３に示したアフィン変換を実施して、蛇行の影響を補償する。ステップＳ６２では、隣接車線の画像データにアフィン変換を施して、蛇行の影響を補償した基準車線の画像データの座標軸に座標変換する。この処理は、第２実施例で説明したものである。ステップＳ６４では、第２隣接車線の画像データにアフィン変換を施して、蛇行の影響を補償した基準車線の画像データの座標軸に座標変換する。第２隣接車線と隣接車線の共通点は、隣接車線の画像データをアフィン変換することによって、基準車線の座標系での座標値に変換されている。そこで、第２隣接車線の画像データを直接に基準車線の座標系での座標値に変換することができる。一旦隣接車線での座標値に変換し、ついで基準車線での座標値に変換するのではないために、計算量が少なくてすむ。
ステップＳ６６では、蛇行補償された基準車線の画像データに、アフィン変換された隣接車線の画像データと、アフィン変換された第２隣接車線の画像データとをマージする。ステップＳ６８では、マージされた画像データに基づいて画像表示する。この結果、３車線が合成された道路画像が表示される。
この方法は４車線以上を有する道路に拡張することができる。
第２と第３実施例でオペレータが指定する基準点群は、２つの車線画像に共通に撮影されているものであればよく、道路上で直線状に配置されている必要はない。
【００２９】
以上、本発明の具体例を詳細に説明したが、これらは例示にすぎず、特許請求の範囲を限定するものではない。特許請求の範囲に記載の技術には、以上に例示した具体例を様々に変形、変更したものが含まれる。例えば、実施例では、撮影する道路の道幅は全て一定であるかのように図示されているが、道路上に画像の基準点とできる基準物があれば、道幅や車線数の変化がある道路画像に対しても、本発明を適用することができる。その他、実施例の図中に示したコンピュータの構成や座標変換のアルゴリズムは、座標変換の結果が異ならない範囲で自由に変更が可能である。
本明細書または図面に説明した技術要素は、単独であるいは各種の組み合わせによって技術的有用性を発揮するものであり、出願時の請求項記載の組み合わせに限定されるものではない。
【００３０】
【発明の効果】
以上のように、本願発明の道路画像の修正方法と合成方法によれば、蛇行しながら走行する車両から撮影した道路画像に対して、道路画像から基準点群を選択して座標を指定し、指定座標を満たすよう画像データの座標をアフィン変換することで、道路画像から蛇行の影響を除くことが可能となる。これにより、道路画像のずれや歪みを修正したり、道幅方向の撮影範囲が異なる道路画像の合成を可能にする技術を提供する。本技術の完成により、複数車線の画像や、直進帯と右折帯の両方が含まれる道路の画像などの、より広い範囲の道路画像を一つの正確な道路画像として得ることができる。
【図面の簡単な説明】
【図１】 本発明の第一実施例における、撮影される道路と撮影用車両の走行経路を模式的に示す図。
【図２】 本発明の第一実施例におけるコンピュータの構成を模式的に示す図。
【図３】 本発明の第一実施例における、道路画像の作成方法のフローを模式的に示す図。
【図４】 本発明の第一実施例における、道路画像データの内容を模式的に示す図。
【図５】 本発明の第一実施例における、撮影によって得られた道路画像と、画像修正によって得られた道路画像を模式的に示す図。
【図６】 本発明の第二実施例における、撮影される道路を模式的に示す図。
【図７】 本発明の第二実施例における、道路画像の合成方法のフローを模式的に示す図。
【図８】 本発明の第３実施例における、道路画像の合成方法のフローを模式的に示す図。
Claims (8)
- 隣接する２本の車線に沿って走行した車両から撮影した２つの車線画像データから１つの道路画像に合成する方法であり、
基準車線に沿った距離（Ｘ座標）と道路横断方向の距離（Ｙ座標）で特定される画素毎の明暗情報を記憶した基準車線画像データを収集する工程と、
隣接車線に沿った距離（Ｘ座標）と道路横断方向の距離（Ｙ座標）で特定される画素毎の明暗情報を記憶した隣接車線画像データを収集する工程と、
基準車線画像データに基づく基準車線画像と隣接車線画像データに基づく隣接車線画像を対比可能に表示する工程と、
基準車線画像と隣接車線画像に共通に撮影されている基準点群を表示された基準車線画像と隣接車線画像のそれぞれの画像中に特定する工程と、
隣接車線画像データにおける特定された基準点群に対応する画素のＹ座標群が、基準車線画像データにおける特定された基準点群に対応する画素のＹ座標群と一致するように、隣接車線画像データにおける画素のＹ座標を基準点群で区切られる領域ごとにアフィン変換する工程と、
基準車線画像データと、画素のＹ座標がアフィン変換された隣接車線画像データをマージして、２車線を含む道路画像データを得る工程と、
マージされた道路画像データのＸ座標とＹ座標に従って画素毎の明暗を再生する工程とを有する２車線を含む道路画像の合成方法。 - 車線が増加する区間において、共通車線に沿った経路で走行した車両から撮影した１つの車線画像データと、共通車線から拡幅車線に進行する経路で走行した車両から撮影した１つの車線画像データとの間で請求項１の方法を実施して車線増加区間の道路画像を合成する方法。
- 車線が減少する区間において、共通車線に沿った経路で走行した車両から撮影した１つの車線画像データと、減少車線から共通車線に進行する経路で走行した車両から撮影した１つの車線画像データとの間で請求項１の方法を実施して車線減少区間の道路画像を合成する方法。
- 隣接する３本の車線に沿って走行した車両から撮影した３つの車線画像データから１つの道路画像に合成する方法であり、
基準車線に沿った距離（Ｘ座標）と道路横断方向の距離（Ｙ座標）で特定される画素毎の明暗情報を記憶した基準車線画像データを収集する工程と、
基準車線に隣接する車線（隣接車線）に沿った距離（Ｘ座標）と道路横断方向の距離（Ｙ座標）で特定される画素毎の明暗情報を記憶した隣接車線画像データを収集する工程と、
隣接車線にさらに隣接する車線（第２隣接車線）に沿った距離（Ｘ座標）と道路横断方向の距離（Ｙ座標）で特定される画素毎の明暗情報を記憶した第２隣接車線画像データを収集する工程と、
基準車線画像データに基づく基準車線画像と隣接車線画像データに基づく隣接車線画像を対比可能に表示する工程と、
基準車線画像と隣接車線画像に共通に撮影されている第１基準点群を表示された基準車線画像と隣接車線画像のそれぞれの画像中に特定する工程と、
隣接車線画像データに基づく隣接車線画像と第２隣接車線画像データに基づく第２隣接車線画像を対比可能に表示する工程と、
隣接車線画像と第２隣接車線画像に共通に撮影されている第２基準点群を表示された隣接車線画像と第２隣接車線画像のそれぞれの画像中に特定する工程と、
隣接車線画像データにおける特定された第１基準点群に対応する画素のＹ座標群が、基準車線画像データにおける特定された第１基準点群に対応する画素のＹ座標群と一致するように、隣接車線画像データにおける画素のＹ座標を第１基準点群で区切られる領域ごとに第１アフィン変換する工程と、
第２隣接車線画像データにおける特定された第２基準点群に対応する画素のＹ座標群が、隣接車線画像データにおける特定された第２基準点群に対応する画素の第１アフィン変換されたＹ座標群と一致するように、第２隣接車線画像データにおける画素のＹ座標を第２基準点群で区切られる領域ごとに第２アフィン変換する工程と、
基準車線画像データと、画素のＹ座標が第１アフィン変換された隣接車線画像データと、画素のＹ座標が第２アフィン変換された第２隣接車線画像データをマージして、３車線を含む道路画像データを得る工程と、
マージされた道路画像データのＸ座標とＹ座標に従って画素毎の明暗を再生する工程とを有する３車線を含む道路画像の合成方法。 - 隣接する２本の車線に沿って走行した車両から撮影した２つの車線画像データから１つの道路画像に合成する装置であり、
基準車線に沿った距離（Ｘ座標）と道路横断方向の距離（Ｙ座標）で特定される画素毎の明暗情報を記憶した基準車線画像データを収集する手段と、
隣接車線に沿った距離（Ｘ座標）と道路横断方向の距離（Ｙ座標）で特定される画素毎の明暗情報を記憶した隣接車線画像データを収集する手段と、
基準車線画像データに基づく基準車線画像と隣接車線画像データに基づく隣接車線画像を対比可能に表示する手段と、
基準車線画像と隣接車線画像に共通に撮影されている基準点群を表示された基準車線画像と隣接車線画像のそれぞれの画像中に特定する手段と、
隣接車線画像データにおける特定された基準点群に対応する画素のＹ座標群が、基準車線画像データにおける特定された基準点群に対応する画素のＹ座標群と一致するように、隣接車線画像データにおける画素のＹ座標を基準点群で区切られる領域ごとにアフィン変換する手段と、
基準車線画像データと、画素のＹ座標がアフィン変換された隣接車線画像データをマージして、２車線を含む道路画像データを得る手段と、
マージされた道路画像データのＸ座標とＹ座標に従って画素毎の明暗を再生する手段とを有する２車線を含む道路画像の合成装置。 - 車線が増加する区間において、共通車線に沿った経路で走行した車両から撮影した１つの車線画像データと、共通車線から拡幅車線に進行する経路で走行した車両から撮影した１つの車線画像データから、車線増加区間の道路画像を合成する、請求項５の装置。
- 車線が減少する区間において、共通車線に沿った経路で走行した車両から撮影した１つの車線画像データと、減少車線から共通車線に進行する経路で走行した車両から撮影した１つの車線画像データから、車線減少区間の道路画像を合成する、請求項５の装置。
- 隣接する３本の車線に沿って走行した車両から撮影した３つの車線画像データから１つの道路画像に合成する装置であり、
基準車線に沿った距離（Ｘ座標）と道路横断方向の距離（Ｙ座標）で特定される画素毎の明暗情報を記憶した基準車線画像データを収集する手段と、
基準車線に隣接する車線（隣接車線）に沿った距離（Ｘ座標）と道路横断方向の距離（Ｙ座標）で特定される画素毎の明暗情報を記憶した隣接車線画像データを収集する手段と、
隣接車線にさらに隣接する車線（第２隣接車線）に沿った距離（Ｘ座標）と道路横断方向の距離（Ｙ座標）で特定される画素毎の明暗情報を記憶した第２隣接車線画像データを収集する手段と、
基準車線画像データに基づく基準車線画像と隣接車線画像データに基づく隣接車線画像を対比可能に表示する手段と、
基準車線画像と隣接車線画像に共通に撮影されている第１基準点群を表示された基準車線画像と隣接車線画像のそれぞれの画像中に特定する手段と、
隣接車線画像データに基づく隣接車線画像と第２隣接車線画像データに基づく第２隣接車線画像を対比可能に表示する手段と、
隣接車線画像と第２隣接車線画像に共通に撮影されている第２基準点群を表示された隣接車線画像と第２隣接車線画像のそれぞれの画像中に特定する手段と、
隣接車線画像データにおける特定された第１基準点群に対応する画素のＹ座標群が、基準車線画像データにおける特定された第１基準点群に対応する画素のＹ座標群と一致するように、隣接車線画像データにおける画素のＹ座標を第１基準点群で区切られる領域ごとに第１アフィン変換する手段と、
第２隣接車線画像データにおける特定された第２基準点群に対応する画素のＹ座標群が、隣接車線画像データにおける特定された第２基準点群に対応する画素の第１アフィン変換されたＹ座標群と一致するように、第２隣接車線画像データにおける画素のＹ座標を第２基準点群で区切られる領域ごとに第２アフィン変換する手段と、
基準車線画像データと、画素のＹ座標が第１アフィン変換された隣接車線画像データと、画素のＹ座標が第２アフィン変換された第２隣接車線画像データをマージして、３車線を含む道路画像データを得る手段と、
マージされた道路画像データのＸ座標とＹ座標に従って画素毎の明暗を再生する手段とを有する３車線を含む道路画像の合成装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003048178A JP3820428B2 (ja) | 2003-02-25 | 2003-02-25 | 道路画像の合成方法と合成装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003048178A JP3820428B2 (ja) | 2003-02-25 | 2003-02-25 | 道路画像の合成方法と合成装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004258924A JP2004258924A (ja) | 2004-09-16 |
| JP3820428B2 true JP3820428B2 (ja) | 2006-09-13 |
Family
ID=33114219
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003048178A Expired - Fee Related JP3820428B2 (ja) | 2003-02-25 | 2003-02-25 | 道路画像の合成方法と合成装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3820428B2 (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009223221A (ja) * | 2008-03-18 | 2009-10-01 | Zenrin Co Ltd | 路面標示地図生成方法 |
| JP2009223220A (ja) * | 2008-03-18 | 2009-10-01 | Zenrin Co Ltd | 路面標示地図生成方法 |
| JP2009223213A (ja) * | 2008-03-18 | 2009-10-01 | Zenrin Co Ltd | 路面標示地図生成方法 |
| JP2009258651A (ja) * | 2008-03-18 | 2009-11-05 | Zenrin Co Ltd | 路面標示地図生成方法 |
| JP2010175756A (ja) * | 2009-01-29 | 2010-08-12 | Zenrin Co Ltd | 路面標示地図生成方法及び路面標示地図生成装置 |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009259215A (ja) * | 2008-03-18 | 2009-11-05 | Zenrin Co Ltd | 路面標示地図生成方法 |
| JP5982618B2 (ja) * | 2012-08-17 | 2016-08-31 | 名古屋市 | 路面画像の表示装置と表示方法 |
| JP6591131B1 (ja) * | 2019-02-07 | 2019-10-16 | 三菱電機株式会社 | 構造物計測装置および構造物計測方法 |
-
2003
- 2003-02-25 JP JP2003048178A patent/JP3820428B2/ja not_active Expired - Fee Related
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009223221A (ja) * | 2008-03-18 | 2009-10-01 | Zenrin Co Ltd | 路面標示地図生成方法 |
| JP2009223220A (ja) * | 2008-03-18 | 2009-10-01 | Zenrin Co Ltd | 路面標示地図生成方法 |
| JP2009223213A (ja) * | 2008-03-18 | 2009-10-01 | Zenrin Co Ltd | 路面標示地図生成方法 |
| JP2009258651A (ja) * | 2008-03-18 | 2009-11-05 | Zenrin Co Ltd | 路面標示地図生成方法 |
| JP2010175756A (ja) * | 2009-01-29 | 2010-08-12 | Zenrin Co Ltd | 路面標示地図生成方法及び路面標示地図生成装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004258924A (ja) | 2004-09-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4739122B2 (ja) | 車載カメラの画像合成装置および画像合成方法 | |
| EP0677820B1 (en) | Magnifying digital image using edge mapping | |
| JPH08287218A (ja) | 画像合成装置 | |
| US9661257B2 (en) | Projection system, image processing device, and projection method | |
| KR100739824B1 (ko) | 스크린의 일부의 변을 이용한 키스톤 보정 | |
| JP4677104B2 (ja) | 車両用表示装置 | |
| JP4874280B2 (ja) | 画像処理装置及び方法、運転支援システム、車両 | |
| US20050008254A1 (en) | Image generation from plurality of images | |
| JP3820428B2 (ja) | 道路画像の合成方法と合成装置 | |
| WO2006070603A1 (ja) | 表示パネルの駆動装置、それを備えた表示装置及び表示パネルの駆動方法、並びにプログラム、記録媒体 | |
| US10789872B2 (en) | Display apparatus with enhanced aperture ratio | |
| JP2013110712A (ja) | 車両周辺監視用画像生成装置 | |
| JP2010103730A (ja) | 車載カメラのキャリブレーション装置およびキャリブレーション方法 | |
| WO2004043079A1 (ja) | 立体映像処理方法及び立体映像表示装置 | |
| JP2017047794A (ja) | ヘッドアップディスプレイの歪補正方法とそれを用いたヘッドアップディスプレイの歪補正装置 | |
| JP4207064B2 (ja) | 電気光学装置、画像処理回路、画像処理方法、及び電子機器 | |
| US20060132509A1 (en) | Apparatus and method for reducing color error in display having sub-pixel structure | |
| JP2006033672A (ja) | 曲面マルチスクリーン投射方法及び曲面マルチスクリーン投射装置 | |
| JP2007271771A (ja) | 画像表示システム及びその制御方法 | |
| JP2014135628A (ja) | 画像処理装置及び画像処理方法 | |
| CN113793249B (zh) | Pentile图像转换RGB图像的方法及相关设备 | |
| JPH1115951A (ja) | ずれ検出装置および画像合成装置 | |
| JP2019159840A (ja) | 画像合成装置及び画像合成方法 | |
| JP4492392B2 (ja) | 画像処理装置 | |
| JP4072340B2 (ja) | 表示方法及びその装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20051108 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051122 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060123 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060418 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060517 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20060517 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3820428 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100630 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110630 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120630 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120630 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130630 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |