JP5613875B2 - 路面画像生成車両、路面画像生成装置、及び、路面画像生成方法 - Google Patents

Description

本発明は、走行する車両から撮影された複数の画像を配列して、路面の連続画像を生成する技術に関する。

特許文献１に、走行しながら路面を撮影し、撮影した複数の画像を配列して路面の連続画像を生成する装置が開示されている。この路面画像生成装置は、車両の幅方向に長い視野範囲を高精細に撮影するラインカメラを有している。車両がラインカメラの視野範囲の幅（車両の進行方向に沿った距離）だけ進む毎に、ラインカメラで路面を撮影する。ラインカメラで繰り返し撮影することで得られた複数枚の画像を配列することで、ラインカメラで撮影された範囲の路面全体の画像を生成することができる。また、この画像生成装置は、ラインカメラの視野範囲よりも広い視野範囲を撮影するエリアカメラを有している。エリアカメラは、ラインカメラよりも低い頻度で路面を撮影する。エリアカメラの視野範囲の幅（車両の進行方向に沿った距離）よりも短く設定されている所定距離だけ車両が進む毎に、エリアカメラが路面を撮影する。したがって、ある撮影タイミングでエリアカメラが撮影した画像の一部は、その直前の撮影タイミングでエリアカメラが撮影した画像の一部と重複している。この画像生成装置は、エリアカメラで連続して撮影した２つの画像を、これらの重複部分が一致するように配列することで、これらの撮影タイミング間における車両の進行方向の変化量を算出する。そして、算出した車両の進行方向の変化量に基づいてラインカメラで撮影した複数枚の画像を配列することで、ラインカメラで撮影された範囲の路面全体の画像を生成する。このように、ラインカメラで撮影した複数の画像を車両の進行方向の変化を考慮して配列することで、路面がカーブしている場合にはカーブしている路面全体の画像を生成することができる。この技術がないと、カーブしている路面を撮影したにもかかわらず、直線的に伸びている路面画像が生成されてしまう。

特開２００６−２１４８５４号公報

上述したエリアカメラを用いる技術によれば、車両の進行方向の変化を正確に特定することができる。しかしながら、エリアカメラは、広い範囲を高い解像度で撮影するため、短い周期で連続して撮影を行うことができない。このため、車両を高速で走行させた場合には、エリアカメラで連続して撮影した画像に重複部分が存在しなくなってしまい、進行方向の特定ができない。すなわち、従来の技術では、エリアカメラで連続して撮影した２つの画像に重複部分が存在するように、車両を低速で走行させる必要があった。このため、路面の撮影に時間がかかり、また、撮影時に周囲の交通を乱すおそれがあった。したがって、本明細書では、高速で車両を走行させた場合でも、車両の進行方向の変化を反映した路面画像を生成することができる技術を提供する。

本明細書が開示する路面画像生成車両は、走行しながら路面を撮影して路面の連続画像を生成する。この路面画像生成車両は、路面撮影手段と、第１ラインカメラと、第２ラインカメラと、第１の一致点特定手段と、第２の一致点特定手段と、画像配列手段を有している。路面撮影手段は、繰り返し路面を撮影する。第１ラインカメラは、一方向に長い第１視野範囲内の路面を撮影する。第２ラインカメラは、第２視野範囲内の路面を撮影する。第２視野範囲は、一方向に長く、第１視野範囲と交差する。第１の一致点特定手段は、第１タイミングで第１ラインカメラで撮影した第１画像と第１タイミングから所定時間経過後の第２タイミングで第２ラインカメラで撮影した第４画像との一致点である第１の一致点を特定する。第２の一致点特定手段は、第１タイミングで第２ラインカメラで撮影した第２画像と第２タイミングで第１ラインカメラで撮影した第３画像との一致点である第２の一致点を特定する。画像配列手段は、第１の一致点と第２の一致点の位置関係に基づいて、第１タイミングから第２タイミングの間に路面撮影手段で撮影された画像を配列する。

図１３は、路面画像生成車両の進行方向１５０と、第１ラインカメラの視野範囲１１０と、第２ラインカメラの視野範囲１２０を例示している。なお、図１３では、第１タイミングにおける進行方向１５０、視野範囲１１０、１２０を、進行方向１５０ａ、視野範囲１１０ａ、１２０ａとして示しており、第２タイミングにおけるこれらを、進行方向１５０ｂ、視野範囲１１０ｂ、１２０ｂとして示している。例示するように、この路面画像生成車両では、第１ラインカメラの視野範囲１１０と第２ラインカメラ１２０の視野範囲が互いに交差している。第１タイミングにおいては、第１ラインカメラにより視野範囲１１０ａ内の路面画像（第１画像）が撮影され、第２ラインカメラにより視野範囲１２０ａ内の路面画像（第２画像）が撮影される。その後の第２タイミングにおいては、路面画像生成車両が移動しているため、第１ラインカメラにより視野範囲１１０ｂ内の路面画像（第３画像）が撮影され、第２ラインカメラにより視野範囲１２０ｂ内の路面画像（第４画像）が撮影される。第１〜第４画像が撮影されると、第１画像と第４画像との一致点である第１の一致点が特定される。第１の一致点は、視野範囲１１０ａと視野範囲１２０ｂとの一致点（図１０の点１６０）を意味する。また、第２画像と第３画像との一致点である第２の一致点が特性される。第２の一致点は、視野範囲１１０ｂと視野範囲１２０ａとの一致点（図１０の点１７０）を意味する。このように、２つの一致点（第１の一致点１６０と第２の一致点１７０）が特定されると、第１タイミングにおける視野範囲１１０ａ、１２０ａと、第２タイミングにおける視野範囲１１０ｂ、１２０ｂとの相対位置関係が判明する。一致点１６０、１７０が特定されることで、第１タイミングにおける車両の進行方向１５０ａと、第２タイミングにおける車両の進行方向１５０ｂとの間の角度（すなわち、進行方向の変化量）が判明する。この路面画像生成車両は、第１の一致点と第２の一致点の位置関係に基づいて、路面画像撮影手段で撮影された画像を配列する。したがって、車両の進行方向が変化した場合でも、進行方向の変化に応じて画像を配列することができる。したがって、路面画像撮影手段で撮影された範囲の路面全体の正確な画像を生成することができる。また、この路面画像生成車両は、第１ラインカメラで撮影した画像と第２ラインカメラで撮影された画像（すなわち、２つの線状の視野範囲内の画像）によって、第１タイミングと第２タイミングとの間における進行方向の変化量を特定する。第１ラインカメラと第２ラインカメラは、従来技術のエリアカメラのように広い視野範囲を撮影する必要が無いので、短い周期で連続して撮影を行うことができる。したがって、この路面画像生成車両は、高速で走行しながら路面の連続画像を生成することができる。

上述した路面画像生成車両においては、第２の一致点特定手段が、第１の一致点特定手段が第１の一致点を特定した後に、第１の一致点を中心にして第２画像と第３画像を相対回転させながら、第２画像と第３画像が重なる範囲の一致度を算出し、算出した一致度に基づいて第２の一致点を特定することが好ましい。

第１の一致点が特定されれば、第２の一致点は、第１の一致点を中心にして第２画像と第３画像を相対回転させたときに第２画像と第３画像が重なる範囲内に存在する。第２画像と第３画像が重なる範囲は、両者を相対回転させる角度に応じて変化する。最もよく一致する角度において重なる範囲を第２の一致点とすることができる。第２画像と第３画像が重なる範囲は狭い範囲であるので、第２の一致点を容易に特定することができる。第２画像と第３画像が重なる範囲の一致度に基づいて第２の一致点を特定することで、第２の一致点を特定する演算処理に要する負荷を軽減することができる。

上述した路面画像生成車両は、第１ラインカメラと路面撮影手段とが１つのラインカメラにより構成されていることが好ましい。

このような構成によれば、路面画像生成車両をより簡略化することができる。

また、上述した処理を行う路面画像生成方法も、本明細書が開示する発明の１つである。また、路面撮影手段と、第１ラインカメラと、第２ラインカメラと、第１タイミングで第１ラインカメラで路面を撮影すると共に第２ラインカメラで路面を撮影する第１制御手段と、第１タイミングから所定時間経過後の第２タイミングで第１ラインカメラで路面を撮影すると共に第２ラインカメラで路面を撮影する第２制御手段を有する路面画像撮影車両も、本明細書で開示される。この路面画像撮影車両により撮影された各画像を用いて上述した処理を行うことで、路面全体の正確な画像を生成することができる。また、この路面撮影車両により撮影された各画像に対して、第１の一致点の特定、第２の一致点の特定、及び、画像の配列を行う路面画像生成装置及び路面画像生成方法も、本明細書が開示する発明の１つである。

路面画像生成車両１０の概略側面図。 路面画像生成車両１０の概略上面図。 全体画像生成処理を示すフローチャート。 画像Ａ１〜Ａ１０００を真っ直ぐに配列した画像Ｃ１を示す図。 画像Ｂ１〜Ｂ１０００を真っ直ぐに配列した画像Ｄ１を示す図。 被写体７０を基準として画像Ｃ１と画像Ｄ１を重ね合わせた図。 画像Ａ１、Ａ１０００、Ｂ１及びＢ１０００の位置関係の説明図。 一致点８２を特定したときの画像Ａ１、Ａ１０００、Ｂ１及びＢ１０００の位置関係を示す図。 移動経路９０についての説明図。 画像Ａ１〜Ａ１０００を移動経路９０に沿って配列した画像を示す図。 移動経路９０に沿って配列した画像Ａ１〜Ａ１０００に、移動経路９０に沿って配列した画像Ｂ１〜Ｂ１０００を重ね合わせた画像を示す図。 角度算出処理の説明図。 視野範囲１１０ａ、１１０ｂ、１２０ａ、１２０ｂの位置関係を示す図。

以下に説明する実施例の特徴について説明する。
（特徴１）第１ラインカメラは、その視野範囲の幅（路面画像生成車両の進行方向に沿った距離）だけ路面画像生成車両が進行する毎に、その視野範囲内の路面を撮影する。
（特徴２）第２ラインカメラは、その視野範囲の幅（路面画像生成車両の進行方向に沿った距離）だけ路面画像生成車両が進行する毎に、その視野範囲内の路面を撮影する。
（特徴３）第１タイミングと第２タイミングの間隔は、第１ラインカメラ及び第２ラインカメラが画像を繰り返し撮影する時間間隔より長い。
（特徴４）第１タイミングと第２タイミングの間隔は、第１画像と第４画像の一部が重複し、第２画像と第３画像の一部が重複する間隔に設定されている。
（特徴５）第１の一致点特定手段は、第１ラインカメラで連続して撮影された画像を一列に並べた画像と、第２ラインカメラで連続して撮影された画像を一列に並べた画像を比較することで、第１の一致点を特定する。すなわち、第１の一致点特定手段は、第１タイミングと第２タイミングの間は車両が直進したと仮定した状態から演算を開始して第１の一致点を特定する。

図１は、実施例に係る路面画像生成車両１０の概略側面図を示しており、図２は路面画像生成車両１０の概略上面図を示している。図１、２に示すように、路面画像生成車両１０は、車両１２と、ラインカメラ１４と、ラインカメラ１６と、エンコーダ１８と、記憶装置２０と、制御装置２２を有している。

車両１２は、マイクロバスを測定用に改造したものである。車両１２の上部には、車両１２から前方に突出する支持体２４が設置されている。ラインカメラ１４とラインカメラ１６は、支持体２４によって、車両１２の前方上部に固定されている。ラインカメラ１４とラインカメラ１６は、真下に向けて固定されている。ラインカメラ１４、１６は、撮像素子（ＣＣＤ、ＣＭＯＳ等）が、長手方向に多数（約４０００個）配列されており、短手方向に数個（約１０個）配列されている撮像素子ユニットを内蔵しており、直線状に伸びる細長い視野範囲内を撮影する。ラインカメラ１４、１６は、真下に向けて路面を撮影する。図２の範囲６０は、ラインカメラ１４の視野範囲を示している。ラインカメラ１４は、視野範囲６０内の路面を撮影する。図２に示すように、視野範囲６０は、車両１２の進行方向５０に対して角度θ１だけ傾斜した方向に長く伸びている。視野範囲６０の長手方向の長さは約４０００ｍｍであり、視野範囲６０の短手方向の長さは約１ｍｍである。図２の範囲６２は、ラインカメラ１６の視野範囲を示している。ラインカメラ１６は、視野範囲６２内の路面を撮影する。図２に示すように、視野範囲６２は、車両１２の進行方向に対して、視野範囲６０と反対側に角度θ２だけ傾斜した方向に長く伸びている。本実施例では、角度θ１と角度θ２は等しい角度である。視野範囲６２の長手方向の長さは約４０００ｍｍであり、視野範囲６０の短手方向の長さは約１ｍｍである。視野範囲６０と視野範囲６２が交差してＸ字を形成するように、ラインカメラ１４、１６が配置されている。視野範囲６０と視野範囲６２が交差する位置は各カメラのレンズの大きさ分だけ各視野範囲の中心からずれている。但し、そのずれは無視できるほど小さいので、以下では、視野範囲６０と視野範囲６２が中央点で交差しているとして説明する。視野範囲６０、６２からなる交差した視野範囲は、車両１２の左右で対称である。

エンコーダ１８は回転部１８ａを有している。回転部１８ａは、路面と接触しており、車両１２が走行するに伴って回転する。エンコーダ１８は、回転部１８ａの回転を検出することで、車両１２の走行距離を検出する。回転部１８ａは、車両１２の後輪の近傍であって、車両１２の幅方向中間点に配置されている。エンコーダ１８は、左右の後輪の走行距離の平均値を検出する。エンコーダ１８は、進行方向５０に沿った視野範囲６０、６２の幅分だけ車両１２が走行する毎に、パルスを出力する。なお、視野範囲６０、６２の短手方向の長さは１ｍｍであり、視野範囲６０、６２は進行方向に対して角度θ傾いているので、進行方向５０に沿った視野範囲６０、６２の幅は、１／ｓｉｎθ（ｍｍ）である。

記憶装置２０は、制御装置２２に接続されている。記憶装置２０は、ラインカメラ１４、１６によって撮影された画像等を記憶する。

制御装置２２には、ラインカメラ１４、１６、エンコーダ１８、記憶装置２０が接続されている。制御装置２２は、ラインカメラ１４、１６及び記憶装置２０の動作を制御する。制御装置２２には、エンコーダ１８から上述したパルスが入力される。制御装置２２は、１パルスが入力される毎（すなわち、車両１２が１／ｓｉｎθ（ｍｍ）進む毎）に、ラインカメラ１４、１６で撮影を行う。視野範囲６０、６２の進行方向５０に沿った幅分だけ車両１２が進行する毎にラインカメラ１４、１６が路面を撮影するので、ラインカメラ１４、１６の夫々によって車両１２が走行する路面が略隙間無く撮影される。制御装置２２は、撮影した画像をその撮影順序と共に記憶装置２０に記憶させる。また、制御装置２２は、エンコーダ１８から１０００パルスが入力される毎（すなわち、車両が１０００／ｓｉｎθ（ｍｍ）進む毎）に、以下に説明する全体画像生成処理を実行する。

次に、制御装置２２が行う全体画像生成処理について説明する。図３は、全体画像生成処理を示すフローチャートである。上述したように、ラインカメラ１４、１６は１パルス毎に路面を撮影し、制御装置２２は１０００パルス毎に全体画像生成処理を実行する。したがって、制御装置２２が全体画像生成処理を開始する時点では、ラインカメラ１４により１０００個の画像が得られており、ラインカメラ１６によって１０００個の画像が得られている。以下では、ラインカメラ１４が撮影した画像をその撮影順に画像Ａ１、Ａ２、Ａ３・・・Ａ１０００といい、ラインカメラ１４が撮影した画像をその撮影順に画像Ｂ１、Ｂ２、Ｂ３・・・Ｂ１０００という。全体画像生成処理では、画像Ａ１〜Ａ１０００を配列することで、画像Ａ１〜Ａ１０００の撮影範囲内の路面全体の画像を生成する。なお、全体画像生成処理の実行中においても、ラインカメラ１４、１６は１パルス毎に画像を撮影している。全体画像生成処理の実行中に撮影された画像は、次の全体画像生成処理に使用される。

ステップＳ２では、制御装置２２は、図４に示すように、画像Ａ１〜Ａ１０００を、画像の長手方向に対して角度θ１傾いた方向に沿って直線状に並べる。すなわち、画像Ａ１〜Ａ１０００を、各画像の撮影時における車両１２の進行方向５０に沿って直線状に並べる。これによって、画像Ａ１〜Ａ１０００を繋ぎ合わせた画像Ｃ１を生成する。同様にして、制御装置２２は、画像Ｂ１〜Ｂ１０００を、各画像の長手方向に対して角度θ２傾いた方向（すなわち、各画像の撮影時における車両１２の進行方向５０）に沿って直線状に並べる。これによって、図５に示すように、画像Ｂ１〜Ｂ１０００を繋ぎ合わせた画像Ｄ１を生成する。なお、図４、図５及び以下に説明する各図では、画像Ａ１〜Ａ１０００及び画像Ｂ１〜Ｂ１０００の各画像の幅を実際より大きく示しており、また、画像Ａ１〜Ａ１０００及び画像Ｂ１〜Ｂ１０００の一部の図示を省略している。ラインカメラ１４とラインカメラ１６は、同一の路面を撮影している。したがって、図４、５に示すように、画像Ｃ１と画像Ｄ１の撮影範囲が重複する部分には、同一の被写体７０、７２が写っている。

ステップＳ４では、制御装置２２は、画像Ｃ１の中央部より下側に写る被写体と画像Ｄ１の中央部より下側に写る被写体の中で同一の被写体を同定する。被写体の同定は、被写体の形状が一致するポイントを複数点照合することにより行われる。図４、５では、被写体７０が同一として同定される。そして、制御装置２２は、同定した被写体７０が一致する画像Ｃ１と画像Ｄ１の相対位置及び相対角度（以下、相対位置及び相対角度を合わせて相対位置関係という）を算出する。すなわち、図６に示すように、画像Ｄ１を画像Ｃ１に重ね合わせたときに、両画像に写る被写体７０が一致する画像Ｄ１と画像Ｃ１との相対位置関係を算出する。

ステップＳ６では、制御装置２２は、ステップＳ４で算出した相対位置関係に基づいて、画像Ａ１と画像Ｂ１０００の一致点を特定する。例えば、図６に示す相対位置関係が得られている場合には、画像Ａ１と画像Ｂ１０００が交差する点８０が一致点として特定される。一致点８０の位置は、画像Ａ１の中央点７６からの距離と、画像Ｂ１０００の中央点７８からの距離により特定される。

ステップＳ８では、制御装置２２は、図７に示すように、画像Ａ１、Ｂ１、Ａ１０００及びＢ１０００を配置する。画像Ａ１、Ｂ１、Ａ１０００及びＢ１０００は、ラインカメラ１４の視野範囲６０とラインカメラ１６の視野範囲６２を考慮して配置される。同じタイミングで撮影した画像Ａ１と画像Ｂ１の相対位置関係は、視野範囲６０と視野範囲６２の相対位置関係と等しくなる。したがって、画像Ａ１と画像Ｂ１は、画像Ａ１の中央点７６に画像Ｂ１の中央点が重なり、画像Ａ１に対する画像Ｂ１の相対角度が角度θ１＋θ２となるように配置される。以下では、相対位置関係が固定された画像Ａ１と画像Ｂ１の組を画像組（Ａ１，Ｂ１）という。画像Ａ１０００と画像Ｂ１０００も、同様に、画像Ｂ１０００の中央点７８が画像Ａ１０００の中央点と重なり、画像Ａ１０００に対する画像Ｂ１０００の相対角度が角度θ１＋θ２となるように配置される。以下では、相対位置関係が固定された画像Ａ１０００と画像Ｂ１０００の組を、画像組（Ａ１０００，Ｂ１０００）という。また、画像Ａ１と画像Ｂ１０００は、一致点８０で重なるように配置される。また、画像Ａ１と画像Ｂ１０００の間の角度φは、暫定的に角度θ１＋θ２とされる。次に、制御装置２２は、一致点８０を中心として、画像組（Ａ１，Ｂ１）に対して画像組（Ａ１０００，Ｂ１０００）を回転させながら（すなわち、画像組（Ａ１，Ｂ１）に対する画像組（Ａ１０００，Ｂ１０００）の相対角度φを変更しながら）、画像Ａ１０００と画像Ｂ１の重複範囲においてこれらの画像の一致度を算出する。なお、上述したようにラインカメラ１４、１６は短手方向にも数個の撮像素子を備えているので、画像Ａ１０００と画像Ｂ１の重複範囲は複数の画素により構成されている。制御装置２２は、重複範囲の画素値に基づいて、一致度を算出する。そして、最も高い一致度が得られる角度φ_ｍａｘを特定し、図８に示すように角度φ_ｍａｘのときの画像Ａ１０００と画像Ｂ１との重複範囲を一致点８２として特定する。一致点８２の位置は、中央点７６からの距離と、中央点７８からの距離により特定される。このように、第２の一致点８２を特定する際には、画像組（Ａ１，Ｂ１）に対する画像組（Ａ１０００，Ｂ１０００）の角度φのみが未定となっているので、角度φを変更しながら画像Ａ１０００と画像Ｂ１との重複箇所の一致度を算出することで、容易に一致点８２を特定することができる。このように、角度φを変更したときにおける画像Ａ１０００と画像Ｂ１との重複箇所のみを考慮して一致点８２を特定することで、一致点８２の特定する演算処理の負担を軽減することができる。一致点８０、８２が特定されると、図８に示すように、画像Ａ１、Ｂ１、Ａ１０００及びＢ１０００の相対位置関係が確定する。画像Ａ１、Ｂ１、Ａ１０００及びＢ１０００のそれぞれは、これらの画像を撮影したときの視野範囲６０、６２の相対位置関係を示している。したがって、画像Ａ１、Ｂ１、Ａ１０００及びＢ１０００の相対位置関係が確定すると、画像Ａ１を撮影したときの視野範囲６０と、画像Ｂ１を撮影したときの視野範囲６２と、画像Ａ１０００を撮影したときの視野範囲６０と、画像Ｂ１０００を撮影したときの視野範囲６２との相対位置関係が確定する。車両１２の進行方向５０と視野範囲６０、６２との相対位置関係は決まっている。したがって、図８に示すように、画像Ａ１、Ｂ１、Ａ１０００及びＢ１０００の相対位置関係から、画像Ａ１、Ｂ１を撮影したときの進行方向５０と画像Ａ１０００、Ｂ１０００を撮影したときの進行方向５０を特定することができる。このため、画像Ａ１、Ｂ１を撮影してから画像Ａ１０００、Ｂ１０００を撮影するまでの間における車両１２の進行方向５０の変化量（図８の角度ψ）が判明する。また、画像Ａ１、Ｂ１の交点（中央点７６）と画像Ａ１０００、Ｂ１０００の交点（中央点７８）との相対位置は、画像Ａ１、Ｂ１を撮影したときの車両１２と、画像Ａ１０００、Ｂ１０００を撮影したときの車両１２との相対位置（すなわち、位置変化量）を示す。制御装置２２は、角度ψと位置変化量を算出する。

ステップＳ１０では、制御装置２２は、算出した角度ψと位置変化量から、画像Ａ１、Ｂ１を撮影してから画像Ａ１０００、Ｂ１０００を撮影するまでの間に車両１２が移動した移動経路を算出する。制御装置２２は、車両１２の経路が円弧であるとして移動経路を算出する。例えば、図８に示すように一致点８０、８２が特定されている場合には、図９の点線９０に示すように移動経路が算出される。

ステップＳ１２では、制御装置２２は、算出した移動経路９０に沿って画像Ａ１〜Ａ１０００を配列する。制御装置２２は、算出した移動経路９０の始点からの順に画像Ａ１〜Ａ１０００を配列する。画像Ａ１〜Ａ１０００は、中央点が移動経路９０上に位置し、移動経路９０上における間隔が１／ｓｉｎθｍｍの間隔（画像Ａ１〜Ａ１０００を撮影した間隔と同じ間隔）となるように配列される。また、画像Ａ１〜Ａ１０００は、中央点が位置する箇所の移動経路９０の接線に対して角度θ１傾斜して配列される。このようにして、図１０に示すように、画像Ａ１を撮影してから画像Ａ１０００を撮影するまでにラインカメラ１４で撮影された範囲の路面全体の画像が生成される。なお、隣接する画像同士が重複する領域（カーブする移動経路の内周側の領域）は、重複する中の１つの画像を優先表示するようにして画像が生成される。または、重複する画像を平均化する等した画像を表示するようにしてもよい。

制御装置２２は、上述した全体画像生成処理を、エンコーダ１８から１０００パルスが入力される毎に実行し、生成した画像を以前の全体画像生成処理で生成した画像に繋ぎ合わせる。したがって、車両１２が走行した路面全体の画像が生成される。この路面画像生成車両１０では、車両１２の進行方向の変化を考慮して画像が生成されるので、車両１２がカーブする路面を走行する場合でも、その路面全体の画像を正確に生成することができる。また、上述したラインカメラ１４、１６は、エリアカメラに比べて極めて短い周期で路面を撮影することができる。したがって、路面画像生成車両１０は、高速で走行しながら路面の画像を生成することができる。

なお、上述した実施例では、画像Ａ１〜Ａ１０００を移動経路９０に沿って配列したが、画像Ｂ１〜Ｂ１０００を移動経路９０に沿って配列してもよい。また、図１０に示すように、カーブする移動経路９０の外周側の領域では、隣接する画像Ａ１〜Ａ１０００の間に間隔が形成されてしまう。したがって、図１１に示すように、画像Ａ１〜Ａ１０００を配列した画像と、画像Ｂ１〜Ｂ１０００を配列した画像を重ねることによって、あるいは、それぞれの画像から補完して画素値を算出することによって、路面全体の画像を生成してもよい。このような構成によれば、重ね合わせた画像Ｂ１〜Ｂ１０００によって、画像Ａ１〜Ａ１０００の隙間が補完される。したがって、より精密な画像を生成することができる。

なお、上述した実施例では、移動経路９０を算出する際に、画像Ａ１、Ｂ１、Ａ１０００及びＢ１０００の相対位置関係から得られた角度ψ（進行方向の変化量）と位置変化量を用いた。しかしながら、画像Ａ１〜Ａ１０００はエンコーダ１８が出力するパルスに基づいて１／ｓｉｎθ１（ｍｍ）の間隔で撮影されているので、画像Ａ１〜Ａ１０００を撮影するまでに車両１２が移動した距離は予め分かっている（１０００／ｓｉｎθ１（ｍｍ）である）。したがって、画像Ａ１、Ｂ１、Ａ１０００及びＢ１０００の相対位置関係から得られた角度ψと予め分かっている移動距離に基づいて、移動経路９０を算出してもよい。さらに、画像Ａ１〜Ａ１０００、Ｂ１〜Ｂ１０００を撮影する間の車両の速度が既知とみなせる場合には、画像Ａ１、Ｂ１、Ａ１０００及びＢ１０００の一致点の画像照合演算が可能で、経路の推定ができる。また、上述した実施例では、角度ψを算出したが、一致点８０、８２の位置が決まれば、角度ψは一義的に決まる。したがって、角度ψを算出せずに、一致点８０、８２の位置から車両１２の移動経路９０を算出してもよい。

また、上述した実施例では、路面を撮影しながら路面全体の画像を生成する路面画像生成車両１０について説明したが、路面の撮影と上述した全体画像生成処理を必ずしも同時進行で行う必要はない。例えば、路面の撮影を行って記憶装置２０に撮影した画像とその順序を示すデータを記憶させておき、その後に記憶させたデータを別の計算機に移して、その計算機で全体画像生成処理を行ってもよい。また、路面を撮影しながら、撮影した画像とその撮影順序を示すデータを無線により外部の計算機に送信し、外部の計算機で全体画像生成処理を行ってもよい。

なお、上述した処理を正確に実行するためには、車両１２の進行方向５０と視野範囲６０との間の角度θ１と、進行方向５０と視野範囲６２との間の角度θ２が正確に設定されている必要がある。したがって、路面画像生成車両１０は、以下に説明する角度設定処理を路面の撮影前に行っておくことが好ましい。

角度設定処理では、一辺の長さが既知である正方形が描かれた路面上を、路面画像生成車両１０で直進して走行する。これによって、その正方形の画像をラインカメラ１４、１６で撮影する。ラインカメラ１４、１６は、上述したように１パルス毎に撮影を行う。次に、図１２に示すように、ラインカメラ１４で撮影した画像Ａ１〜Ａｎを、その画像の短手方向（視野範囲６０の短手方向）に沿って配列する。実際には、視野範囲６０は車両１２の進行方向に対して角度θａだけ傾斜しているので、短手方向に配列して生成された画像では、図１２に示すように正方形であるはずの被写体９５が平行四辺形として表示される。次に、生成された画像に移る被写体９５の底辺の長さと高さとが等しくなるように、画像の縦横比を調整する（図１２は、縦横比調整後の画像を示している）。そして、平行四辺形の縦の辺の傾きθａを算出する。算出された縦の辺の傾きθａは、視野範囲６０の長手方向と車両１２の進行方向５０の間の角度θ１と等しくなる。このような処理によって、視野範囲６０の進行方向５０に対する角度θ１を算出することができる。算出された角度θ１に基づいて、ラインカメラ１４の取付角度を調整したり、制御装置２２に実行させるプログラム中の角度θ１の値を調整することで、正確な路面の撮影が可能となる。ラインカメラ１６の視野範囲６２と車両１２の進行方向５０との間の角度θ２も、同様の処理によって算出することができる。

なお、本実施例の技術で正確に移動経路を算出するためには、図８に示すように、画像組（Ａ１、Ｂ１）と画像組（Ａ１０００、Ｂ１０００）とが２つの交点８０、８２で交差する必要がある。したがって、視野範囲６０、６２の交差角度θ１、θ２は、２つの交点８０、８２が得られる角度に設定されている必要がある。例えば、図８において仮に移動経路の曲率がさらに大きかったとすると、交点８０が得られなくなる。このような移動経路が想定される場合には、交点８０、８２が得られるように、交差角度θ１、θ２をより小さくした方がよい。また、移動経路の算出処理を実行するサイクルは、２つの交点８０、８２が得られるように適切に設定されている必要がある。例えば、上述した実施例より短いサイクルで（例えば、画像Ａ１〜Ａ５００及び画像Ｂ１〜Ｂ５００を撮影する毎に）移動経路算出処理を行うと、図８の点７６と点７８の間の距離が短くなるので、交点８０、８２が得られ易くなる。但し、交差角度θ１、θ２を小さくしすぎると、進行方向に対する視野範囲の傾きが大きくなるので、撮影される画像の歪みが大きくなる。また、移動経路算出処理のサイクルを短くしすぎると、処理のための制御装置の負担が増大する。したがって、交差角度θ１、θ２及び移動経路算出処理の実行サイクルは、想定される車両１２の移動経路の曲率等に合わせて適切に設定する必要がある。

また、上述の実施例では、画像Ａ１、Ａ１０００、Ｂ１及びＢ１０００を１ラインの画像として説明している。しかしながら、車両１２の移動経路の曲率等を考慮して適切な解像度で路面を撮影しようとすると、撮影間隔が短くなる場合がある。したがって、各カメラで撮影する画像は、１００ライン程度の帯画像であってもよい。この場合も、撮影範囲の交差角度を用いて同様に画像を処理することができる。

以上、本発明の具体例を詳細に説明したが、これらは例示に過ぎず、特許請求の範囲を限定するものではない。特許請求の範囲に記載の技術には、以上に例示した具体例を様々に変形、変更したものが含まれる。本明細書または図面に説明した技術要素は、単独であるいは各種の組合せによって技術的有用性を発揮するものであり、出願時請求項記載の組合せに限定されるものではない。また、本明細書または図面に例示した技術は複数目的を同時に達成し得るものであり、そのうちの一つの目的を達成すること自体で技術的有用性を持つものである。

１０：路面画像生成車両
１２：車両
１４：ラインカメラ
１６：ラインカメラ
１８：エンコーダ
１８ａ：回転部
２０：記憶装置
２２：制御装置
５０：進行方向
６０：視野範囲
６２：視野範囲
８０：一致点
８２：一致点
９０：移動経路

Claims (6)

1. 走行しながら路面を撮影して路面の連続画像を生成する路面画像生成車両であって、
   繰り返し路面を撮影する路面撮影手段と、
   一方向に長い第１視野範囲内の路面を撮影する第１ラインカメラと、
   一方向に長く、第１視野範囲と交差する第２視野範囲内の路面を撮影する第２ラインカメラと、
   第１タイミングで第１ラインカメラで撮影した第１画像と、第１タイミングから所定時間経過後の第２タイミングで第２ラインカメラで撮影した第４画像との一致点である第１の一致点を特定する第１の一致点特定手段と、
   第１タイミングで第２ラインカメラで撮影した第２画像と、第２タイミングで第１ラインカメラで撮影した第３画像との一致点である第２の一致点を特定する第２の一致点特定手段と、
   第１の一致点と第２の一致点の位置関係に基づいて、第１タイミングから第２タイミングの間に路面撮影手段で撮影された画像を配列する画像配列手段、
   を有する路面画像生成車両。
2. 第２の一致点特定手段は、第１の一致点特定手段が第１の一致点を特定した後に、第１の一致点を中心にして第２画像と第３画像を相対回転させながら、第２画像と第３画像が重なる範囲の一致度を算出し、算出した一致度に基づいて第２の一致点を特定することを特徴とする請求項１に記載の路面画像生成車両。
3. 第１ラインカメラと路面撮影手段とが１つのラインカメラにより構成されていることを特徴とする請求項１又は２に記載の路面画像生成車両。
4. 繰り返し路面を撮影する路面撮影手段と、
   一方向に長い第１視野範囲内の路面を撮影する第１ラインカメラと、
   一方向に長く、第１視野範囲と交差する第２視野範囲内の路面を撮影する第２ラインカメラ、
   を有する路面画像撮影車両が走行しながら路面を撮影して路面の連続画像を生成する路面画像生成方法であって、
   路面撮影手段で繰り返し路面を撮影する路面撮影ステップと、
   第１タイミングで第１ラインカメラで路面を撮影すると共に第２ラインカメラで路面を撮影する第１制御ステップと、
   第１タイミングから所定時間経過後の第２タイミングで第１ラインカメラで路面を撮影すると共に第２ラインカメラで路面を撮影する第２制御ステップと、
   第１タイミングで第１ラインカメラで撮影した第１画像と、第２タイミングで第２ラインカメラで撮影した第４画像との一致点である第１の一致点を特定する第１の一致点特定ステップと、
   第１タイミングで第２ラインカメラで撮影した第２画像と、第２タイミングで第１ラインカメラで撮影した第３画像との一致点である第２の一致点を特定する第２の一致点特定ステップと、
   第１の一致点と第２の一致点の位置関係に基づいて、第１タイミングから第２タイミングの間に路面撮影手段で撮影した画像を配列する画像配列ステップ、
   を有する路面画像生成方法。
5. 繰り返し路面を撮影する路面撮影手段と、
   一方向に長い第１視野範囲内の路面を撮影する第１ラインカメラと、
   一方向に長く、第１視野範囲と交差する第２視野範囲内の路面を撮影する第２ラインカメラと、
   第１タイミングで第１ラインカメラで路面を撮影すると共に第２ラインカメラで路面を撮影する第１制御手段と、
   第１タイミングから所定時間経過後の第２タイミングで第１ラインカメラで路面を撮影すると共に第２ラインカメラで路面を撮影する第２制御手段、
   を有し、走行しながら路面を撮影する路面画像撮影車両によって撮影された画像から路面の連続画像を生成する路面画像生成装置であって、
   第１タイミングで第１ラインカメラで撮影された第１画像と、第２タイミングで第２ラインカメラで撮影された第４画像との一致点である第１の一致点を特定する第１の一致点特定手段と、
   第１タイミングで第２ラインカメラで撮影された第２画像と、第２タイミングで第１ラインカメラで撮影された第３画像との一致点である第２の一致点を特定する第２の一致点特定手段と、
   第１の一致点と第２の一致点の位置関係に基づいて、第１タイミングから第２タイミングの間に路面撮影手段で撮影された画像を配列する画像配列手段、
   を有する路面画像生成装置。
6. 繰り返し路面を撮影する路面撮影手段と、
   一方向に長い第１視野範囲内の路面を撮影する第１ラインカメラと、
   一方向に長く、第１視野範囲と交差する第２視野範囲内の路面を撮影する第２ラインカメラと、
   第１タイミングで第１ラインカメラで路面を撮影すると共に第２ラインカメラで路面を撮影する第１制御手段と、
   第１タイミングから所定時間経過後の第２タイミングで第１ラインカメラで路面を撮影すると共に第２ラインカメラで路面を撮影する第２制御手段、
   を有し、走行しながら路面を撮影する路面画像撮影車両によって撮影された画像から路面の連続画像を生成する路面画像生成方法であって、
   第１タイミングで第１ラインカメラで撮影された第１画像と、第２タイミングで第２ラインカメラで撮影された第４画像との一致点である第１の一致点を特定する第１の一致点特定ステップと、
   第１タイミングで第２ラインカメラで撮影された第２画像と、第２タイミングで第１ラインカメラで撮影された第３画像との一致点である第２の一致点を特定する第２の一致点特定ステップと、
   第１の一致点と第２の一致点の位置関係に基づいて、第１タイミングから第２タイミングの間に路面撮影手段で撮影した画像を配列する画像配列ステップ、
   を有する路面画像生成方法。
   

Images