JP4709309B2

JP4709309B2 - 路面画像撮影・編集装置及び路面画像撮影・編集プログラム

Info

Publication number: JP4709309B2
Application number: JP2009241177A
Authority: JP
Inventors: 秀明黒須; 近邦前田
Original assignee: Pasco Corp
Current assignee: Pasco Corp
Priority date: 2009-10-20
Filing date: 2009-10-20
Publication date: 2011-06-22
Anticipated expiration: 2029-10-20
Also published as: JP2011090367A; WO2011049118A1

Description

本発明は、路面画像撮影・編集装置及び路面画像撮影・編集プログラムの改良に関する。

従来より、車両に搭載したカメラにより路面を撮影し、路面のひび割れを観察する技術が提案されている。例えば、下記特許文献１には、路面性状測定におけるひびわれ検出のための連続路面映像取得機能を有する路面ひびわれ検出装置が開示されている。本従来例では、一定時間毎に路面映像を取得し、路面映像に車両の走行距離データを関連付け、この距離データに基づいて各路面映像の重なり量を算出し、重なり部分を切り取りながら路面映像を編集する構成となっている。

特開平９−９６５１５号公報

しかし、上記従来の技術においては、日向・日陰領域を撮影した場合に日向領域・日陰領域間のコントラストが強すぎるため、路面性状（ひび割れ等）を観察するためには手動による撮影設定の調整を頻繁に行わなければならないという問題がある。このため、通常、路面の撮影作業は、太陽光による日向領域及び日陰領域が生じない夜間に行うのが一般的であり、作業者の負担が大きいという問題があった。

本発明は、上記従来の課題に鑑みなされたものであり、その目的は、日向、日陰ができた路面の路面画像を識別可能に撮影する路面画像撮影・編集装置及び路面画像撮影・編集プログラムを提供することにある。

上記目的を達成するために、請求項１記載の路面画像撮影・編集装置の発明は、車両に搭載され、道路幅員の一部を撮影範囲とし、互いの前記撮影範囲が一部重複しつつ道路幅員の全部が撮影可能に配置された複数のカメラを有し、車両の所定走行距離毎に、同時に、日向における路面画像を識別可能に撮影する日向撮像手段と、車両に搭載され、道路幅員の一部を撮影範囲とし、互いの前記撮影範囲が一部重複しつつ道路幅員の全部が撮影可能に配置された複数のカメラを有し、車両の所定走行距離毎に、同時に、日陰における路面画像を識別可能に撮影する日陰撮像手段と、前記日向撮像手段における複数のカメラで撮影した路面画像の台形補正並びに前記日陰撮像手段における複数のカメラで撮影した路面画像の台形補正を行うための補正データを取得する補正データ取得手段と、前記日向撮像手段における複数のカメラで撮影し、前記補正データにより補正後の路面画像の前記道路幅員方向及び車両の進行方向の重なり領域及び前記日陰撮像手段における複数のカメラで撮影し、前記補正データにより補正後の路面画像の前記道路幅員方向及び車両の進行方向の重なり領域の一致度を算出し、前記一致度に基づいて路面画像の接合部の編集を行う編集手段と、を備えることを特徴とする。

請求項２記載の発明は、請求項１記載の路面画像撮影・編集装置において、前記編集手段が、前記路面画像の重なり領域における画素の輝度に基づいて前記一致度を算出することを特徴とする。

請求項３記載の発明は、請求項１または請求項２記載の路面画像撮影・編集装置が、前記日向撮像手段におけるカメラで撮影した路面画像の日向領域と前記日陰撮像手段におけるカメラで撮影した路面画像の日陰領域とを、前記日向領域と日陰領域との境界で接合し、前記境界近傍の輝度を前記路面画像の日向領域の輝度と日陰領域の輝度との間の値とする日向・日陰接合手段を備えることを特徴とする。

請求項４記載の発明は、請求項１または請求項２記載の路面画像撮影・編集装置が、前記路面画像の識別可能な日向領域の輝度より低い輝度または識別可能な日陰領域の輝度より高い輝度で路面画像を撮影する中間画像撮像手段が撮影した路面画像を、前記日向領域と日陰領域との間に挟んで接合する日向・日陰接合手段を備えることを特徴とする。

請求項５記載の路面画像撮影・編集プログラムの発明は、コンピュータを、車両に搭載され、道路幅員の一部を撮影範囲とし、互いの前記撮影範囲が一部重複しつつ道路幅員の全部が撮影可能に配置された複数のカメラを有し、車両の所定走行距離毎に、同時に、日向における路面画像を識別可能に撮影する日向撮像手段と、車両に搭載され、道路幅員の一部を撮影範囲とし、互いの前記撮影範囲が一部重複しつつ道路幅員の全部が撮影可能に配置された複数のカメラを有し、車両の所定走行距離毎に、同時に、日陰における路面画像を識別可能に撮影する日陰撮像手段とがそれぞれ撮影した各路面画像を記憶する記憶手段、前記記憶手段が記憶している路面画像の台形補正を行うための補正データを取得する補正データ取得手段、前記記憶手段が記憶している、前記日向撮像手段における複数のカメラで撮影し、前記補正データにより補正後の路面画像の前記道路幅員方向及び車両の進行方向の重なり領域及び前記日陰撮像手段における複数のカメラで撮影し、前記補正データにより補正後の路面画像の前記道路幅員方向及び車両の進行方向の重なり領域の一致度を算出し、前記一致度に基づいて路面画像の接合部の編集を行う編集手段、として機能させることを特徴とする。

本発明によれば、昼間に日向、日陰ができた路面の路面画像を識別可能に撮影することができる。

実施形態にかかる路面画像撮影・編集装置を搭載した車両の構成例を示す図である。実施形態にかかる撮影手段の構成例を示す図である。道路の路面の日向領域及び日陰領域を識別可能に撮影した路面画像の例を示す図である。実施形態にかかる制御装置を構成するコンピュータのハードウェア構成の例を示す図である。実施形態にかかる制御装置の機能ブロック図である。路面画像の台形補正を行うための補正データを取得する方法の説明図である。実施形態にかかる路面画像撮影・編集装置による路面撮影の説明図である。道路幅員方向の撮影範囲の説明図である。実施形態にかかる路面画像撮影・編集装置の動作例のフロー図である。実施形態にかかる画像編集部が路面画像の重なり領域の一致度を算出する方法の説明図である。実施形態にかかる画像編集部が接合した路面画像の例を示す図である。

以下、本発明を実施するための形態（以下、実施形態という）を説明する。

図１（ａ），（ｂ）には、実施形態にかかる路面画像撮影・編集装置を搭載した車両の構成例が示される。図１（ａ）が側面図であり、図１（ｂ）が背面図である。

図１（ａ），（ｂ）において、車両１００には、撮影手段１０，１２、レーザスキャナ１４、座標取得装置１６、走行距離計１８及び制御装置２０が搭載されている。ここで、撮影手段１０，１２は、車両１００の進行方向（車両１００を背面からみた方向）に対して左側が撮影手段１０であり、右側が撮影手段１２である。この撮影手段１０，１２は、ＣＣＤカメラ等の路面撮影用のカメラを備えている。詳細については図２において説明する。

また、レーザスキャナ１４は、路面からの高さを測定し、わだちの計測を行うほか、後述するように、上記カメラの台形補正を行うための補正データを取得する際にも使用する。

また、座標取得装置１６は、ＧＰＳ受信機等を含んで構成され、撮影手段１０，１２の撮影位置の地理座標を取得する。

また、走行距離計１８は、車両１００の走行距離を測定する装置であり、車両１００の車速パルスから走行距離を算出する構成、空間フィルター法等の非接触型距離計を使用する構成等があるが、これらに限定されるものではない。

また、制御装置２０は、パーソナルコンピュータ等により構成され、上記カメラが撮影する路面画像の台形補正、上記カメラのゲインの制御等を行う。

図２には、撮影手段１０，１２の構成例が示される。図２において、車両１００の進行方向に対して左側に配置された撮影手段１０は、カメラ１０ｓ，カメラ１０ｋ，カメラ１０ｍを備えている。また、車両１００の進行方向に対して右側に配置された撮影手段１２は、カメラ１２ｓ，カメラ１２ｋ，カメラ１２ｍを備えている。

カメラ１０ｓ及びカメラ１２ｓは、道路幅員の一部を撮影範囲とし、互いの撮影範囲が道路幅員の方向で一部重複している。また、カメラ１０ｓ及びカメラ１２ｓの撮影範囲を合わせると、道路幅員の全部が撮影可能となっている。これらのカメラ１０ｓ及びカメラ１２ｓは、走行距離計１８が計測した車両の所定走行距離毎に、同時に昼間の路面画像を撮影する。この際、昼間の日向における路面画像を識別可能に撮影する。ここで、識別可能とは、道路の路面の日向領域の画像が白くつぶれず、目視による路面性状（ひび割れ等）の観察が可能なことをいう。

また、カメラ１０ｋ及びカメラ１２ｋは、道路幅員の一部を撮影範囲とし、互いの撮影範囲が道路幅員の方向で一部重複している。また、カメラ１０ｋ及びカメラ１２ｋの撮影範囲を合わせると、道路幅員の全部が撮影可能となっている。これらのカメラ１０ｋ及びカメラ１２ｋは、走行距離計１８が計測した車両の所定走行距離毎に、同時に昼間の路面画像を撮影する。この際、昼間の日陰における路面画像を識別可能に撮影する。ここで、識別可能とは、道路の路面の日陰領域の画像が黒くつぶれず、目視による路面性状の観察が可能なことをいう。

以上に述べたカメラ１０ｓ、カメラ１２ｓ及びカメラ１０ｋ、カメラ１２ｋにより、道路の路面の日向領域及び日陰領域を識別可能に撮影するために、各カメラのシャッター速度及びゲインが適宜設定されており、それぞれの日向領域または日陰領域の画素の輝度が、目視で識別可能な値に調整される。シャッター速度は、例えば１／１００秒から１／２００００秒の範囲で設定し、ゲインは、例えば０ｄＢから＋１２ｄＢの範囲で設定するが、これらの範囲はカメラに応じて適宜決定する。また、上記ゲインは、制御装置２０で制御してもよい。

また、カメラ１０ｍ及びカメラ１２ｍは、道路幅員の一部を撮影範囲とし、互いの撮影範囲が道路幅員の方向で一部重複している。また、カメラ１０ｍ及びカメラ１２ｍの撮影範囲を合わせると、道路幅員の全部が撮影可能となっている。これらのカメラ１０ｍ及びカメラ１２ｍは、走行距離計１８が計測した車両の所定走行距離毎に、同時に、昼間の路面画像を撮影する。ここで、カメラ１０ｍ及びカメラ１２ｍのシャッター速度及びゲインは、カメラ１０ｓ、カメラ１２ｓのシャッター速度より速く、かつ小さなゲインとするか、カメラ１０ｋ、カメラ１２ｋのシャッター速度より遅く、かつ大きなゲインとする。シャッター速度を速く、かつ小さなゲインとすると、路面画像の輝度が低く（暗く）なり、シャッター速度を遅く、かつ大きなゲインとすると、路面画像の輝度が高く（明るく）なる。そこで、カメラ１０ｍ及びカメラ１２ｍのシャッター速度及びゲインを上記のように調整し、輝度が低い日向領域を、カメラ１０ｓ、カメラ１２ｓが撮影した路面画像の日向領域とカメラ１０ｋ、カメラ１２ｋが撮影した路面画像の日陰領域の境界の日向領域側に挟み、または、輝度が高い日陰領域を、カメラ１０ｓ、カメラ１２ｓが撮影した路面画像の日向領域とカメラ１０ｋ、カメラ１２ｋが撮影した路面画像の日陰領域の境界の日陰領域側に挟むことにより、日向領域と日陰領域の境界の接合線を目立たなくすることができる。

なお、日向領域と日陰領域の接合は、後述する図５、図１１（ｃ）等で説明するように、境界近傍の輝度を日向・日陰接合部４８が調整する方法で行ってもよく、この場合にはカメラ１０ｍ及びカメラ１２ｍを省略してもよい。

以上に述べたように、本実施形態においては、道路幅員方向に複数のカメラを配置して路面画像を撮影する。これは、１台のカメラにより道路幅員の全部を撮影する場合には、カメラの設定位置を高くする必要があり、高解像度のカメラを使用することになるので、撮影間隔が長くなるからである。

図３（ａ），（ｂ）には、道路の路面の日向領域及び日陰領域を識別可能に撮影した路面画像の例が示される。図３（ａ）が日向領域を識別可能に撮影した例であり、図３（ｂ）が日陰領域を識別可能に撮影した例である。何れも白黒画像である。

図３（ａ）において、日向領域Ｓは、目視で路面の状態を識別可能に撮影されているが、日陰領域Ｋは、黒くつぶれている。一方、図３（ｂ）においては、日向領域Ｓが白くつぶれているが、日陰領域Ｋは、目視で路面の状態を識別可能に撮影されている。

図４には、実施形態にかかる制御装置２０を構成するコンピュータのハードウェア構成の例が示される。図４において、制御装置２０は、中央処理装置（例えばマイクロプロセッサ等のＣＰＵを使用することができる）２２、ランダムアクセスメモリ（ＲＡＭ）２４、読み出し専用メモリ（ＲＯＭ）２６、入力装置２８、表示装置３０、通信装置３２及び記憶装置３４を含んで構成されており、これらの構成要素は、バス３６により互いに接続されている。また、入力装置２８、表示装置３０、通信装置３２及び記憶装置３４は、それぞれ各入出力インターフェース３８を介してバス３６に接続されている。

ＣＰＵ２２は、ＲＡＭ２４またはＲＯＭ２６に格納されている制御プログラムに基づいて、後述する各部の動作を制御する。ＲＡＭ２４は主としてＣＰＵ２２の作業領域として機能し、ＲＯＭ２６にはＢＩＯＳ等の制御プログラムその他のＣＰＵ２２が使用するデータが格納されている。

また、入力装置２８は、キーボード、ポインティングデバイス等により構成され、使用者が動作指示等を入力するために使用する。

また、表示装置３０は、液晶ディスプレイ等により構成され、ＣＰＵ２２による処理結果等を表示する。

また、通信装置３２は、ＵＳＢ（ユニバーサルシリアルバス）ポート、ネットワークポートその他の適宜なインターフェースにより構成され、ＣＰＵ２２がネットワーク等の通信手段を介して外部の装置とデータをやり取りするために使用する。

また、記憶装置３４は、ハードディスク等の磁気記憶装置であり、後述する処理に必要となる種々のデータを記憶する。なお、記憶装置３４としては、ハードディスクの代わりに、ＥＥＰＲＯＭ等の不揮発性記憶装置を使用してもよい。

図５には、実施形態にかかる制御装置２０の機能ブロック図が示される。図５において、制御装置２０は、撮影制御部４０、撮影情報調整部４２、補正データ取得部４４、画像編集部４６、日向・日陰接合部４８及び通信部５０を含んで構成されており、これらの機能は例えばＣＰＵ２２とＣＰＵ２２の処理動作を制御するプログラムにより実現される。

撮影制御部４０は、上記走行距離計１８から車両１００の走行距離データを取得し、所定走行距離毎に、カメラ１０ｓ，カメラ１０ｋ，カメラ１０ｍ及びカメラ１２ｓ，カメラ１２ｋ，カメラ１２ｍに同時に撮影指示情報を出力する。上記各カメラは、この撮影指示情報に基づき、同時に路面画像を撮影する。

撮影情報調整部４２は、カメラ１０ｓ，カメラ１０ｋ，カメラ１０ｍ及びカメラ１２ｓ，カメラ１２ｋ，カメラ１２ｍが撮影した路面画像に対して、後述する補正データ取得部４４が取得した補正データを使用し、台形補正を行う。台形補正を行った路面画像は、一旦記憶装置３４に記憶しておく。また、撮影情報調整部４２は、上記各カメラが撮影した路面画像のゲインを調整し、カメラ１０ｓ及びカメラ１２ｓが撮影した路面画像の日向領域を識別可能な画像とし、カメラ１０ｋ、カメラ１２ｋが撮影した路面画像の日陰領域を識別可能な画像とする。さらに、撮影情報調整部４２は、カメラ１０ｍ及びカメラ１２ｍのゲインの調整も行う。なお、各カメラのゲインは、各カメラの画像情報を出力する回路において調整してもよい。

補正データ取得部４４は、カメラ１０ｓ，カメラ１０ｋ，カメラ１０ｍ及びカメラ１２ｓ，カメラ１２ｋ，カメラ１２ｍで撮影した路面画像の台形補正を行うための補正データを取得する。補正データの取得手順については後述する。

画像編集部４６は、カメラ１０ｓ及びカメラ１２ｓにより撮影した日向領域を識別可能な路面画像の上記道路幅員方向及び車両１００の進行方向の重なり領域の一致度を算出し、この一致度に基づいて路面画像の接合部の編集を行う。また、同様に、カメラ１０ｋ及びカメラ１２ｋにより撮影した日陰領域を識別可能な路面画像の上記道路幅員方向及び車両の進行方向の重なり領域の一致度を算出し、この一致度に基づいて画像の接合部の編集を行う。ここで、一致度は、例えば画像中に設定した領域の画素の輝度を比較する等の方法で算出する。また、一致度の算出は、上記撮影情報調整部４２が台形補正を行った後の画像情報について行う。

日向・日陰接合部４８は、カメラ１０ｓまたはカメラ１２ｓが撮影した路面画像の日向領域と、カメラ１０ｋまたはカメラ１２ｋが撮影した路面画像の日陰領域とを、日向領域と日陰領域の境界で接合する。なお、この接合の組み合わせは、カメラ１０ｓの路面画像とカメラ１０ｋの路面画像及びカメラ１２ｓの路面画像とカメラ１２ｋの路面画像となる。この場合、単に接合しただけでは、路面画像中に接合線が残り、路面のひび割れと誤って判別される可能性がある。このため、日向・日陰接合部４８は、上記境界近傍の輝度を上記路面画像の日向領域の輝度と日陰領域の輝度との間の値として、境界の接合線が目立たないように処理する。また、この処理は、路面画像の日向領域の輝度と日陰領域の輝度との間の輝度で路面画像を撮影するカメラ１０ｍ及びカメラ１２ｍが撮影した路面画像を、上記日向領域と日陰領域との間に挟んで接合することにより行ってもよい。

通信部５０は、通信装置３２を介して、上記路面画像等を外部の装置に送信する。なお、路面画像は、通信部５０の代わりに、適宜な記憶媒体に記憶させて外部の装置に提供する構成でもよい。

なお、上記撮影情報調整部４２、画像編集部４６及び日向・日陰接合部４８は、車両１００に搭載するコンピュータとは別のコンピュータ上に設けてもよい。この場合には、車両１００に搭載するコンピュータと通信部５０またはＵＳＢメモリ、ＤＶＤその他の適宜な記憶媒体により路面画像のデータの授受を行う。

図６には、路面画像の台形補正を行うための補正データを取得する方法の説明図が示される。図６において、地面上に補正データの取得に使用するシート５２を置き、このシート５２をカメラ１０ｓ，カメラ１０ｋ，カメラ１０ｍ及びカメラ１２ｓ，カメラ１２ｋ，カメラ１２ｍにより撮影する。シート５２の表面には、図６に示されるように、縦横等距離に丸印が描かれている。また、上述したように、車両１００には、レーザスキャナ１４が搭載されている。そこで、レーザ光をレーザスキャナ１４からシート５２上に直線状に照射し、このレーザ光で表示される直線上に上記丸印の列（横列）が一致するようにシートを配置する。図６の例では、レーザ光で表示される直線がＬで示されている。なお、左右のカメラを対象に配置する場合（図２のように、左から順に１０ｋ、１０ｍ、１０ｓ、１２ｓ、１２ｍ、１２ｋ）には、シート５２の中央における丸印の列（縦列、シートの中央線）Ｃに、目視で識別可能な線を表示しておくのが好適である。

この状態で各カメラによりシート５２の表面を撮影すると、撮影画像には、上記丸印、レーザ光の直線Ｌ、シートの中央線Ｃが写る。ここで、カメラ１０ｓとカメラ１２ｓ、カメラ１０ｋとカメラ１２ｋ、カメラ１０ｍとカメラ１２ｍの各組み合わせにおいてそれぞれ撮影した画像中のレーザ光の直線Ｌが一致するように各カメラの画角を調整する。これにより、左右の撮影手段１０，１２により撮影される画像の、車両１００の進行方向に対するずれをなくすことができる。

また、左右のカメラを対称に配置する場合には、シート５２の中央線Ｃが重複領域の左右中央に位置し、かつカメラ１０ｓとカメラ１２ｓ、カメラ１０ｋとカメラ１２ｋ、カメラ１０ｍとカメラ１２ｍの撮影画像が相互に一定領域重なるように調整する。

さらに、シート５２上の丸印は、碁盤の目状に配列されており、各カメラで撮影した画像の丸印の座標値から、画像の歪み量を算出することができる。補正データ取得部４４は、この算出結果から、各カメラが撮影した画像の台形補正データを求める。

図７には、実施形態にかかる路面画像撮影・編集装置による路面撮影の説明図が示される。図７において、走行距離計１８が測定した車両１００の走行距離に基づき、撮影制御部４０が出力する撮影指示情報により、撮影手段１０，１２が備える各カメラにより所定走行距離毎に路面画像を撮影する。図７では、１．５ｍ毎に撮影する例が示されているが、これに限定されるものではない。図７に示されるように、１．５ｍの走行距離毎に路面を撮影する場合、それぞれの撮影範囲が、車両１００の進行方向に所定距離重複（進行方向重複領域Ｄ）するように各カメラの画角が調整されている。この画角調整も、図６で説明したシート５２を使用して行う。

図８には、道路幅員方向の撮影範囲の説明図が示される。図８において、撮影手段１０，１２が備える各カメラは、道路幅員Ｗの一部を撮影範囲Ａ_Ｌ，Ａ_Ｒとしており、互いの撮影範囲Ａ_Ｌ，Ａ_Ｒのうち、左側の撮影手段１０の各カメラで撮影した左側路面画像（撮影範囲Ａ_Ｌ）の右側領域と、右側の撮影手段１２の各カメラで撮影した右側路面画像（撮影範囲Ａ_Ｒ）の左側領域とが一部重複している（道路幅員方向重複領域Ｄ´）。また、これらの撮影範囲Ａ_Ｌ，Ａ_Ｒにより道路幅員の全部が撮影可能となっている。図８に示される撮影範囲となるような画角調整も、図６で説明したシート５２を使用して行う。

図９には、実施形態にかかる路面画像撮影・編集装置の動作例のフローが示される。図９において、撮影制御部４０の指示により、カメラ１０ｓ及びカメラ１２ｓで日向領域が識別可能な路面画像を車両１００の所定走行距離毎に同時に撮影し、カメラ１０ｋ及びカメラ１２ｋで日陰領域が識別可能な路面画像を車両１００の所定走行距離毎に同時に撮影する。これにより、所望の道路区間における所定距離毎の路面画像を取得する（Ｓ１）。なお、取得した路面画像には、それぞれ取得順に番号を付し、取得したカメラの識別情報とともに記憶装置３４に記憶する。

次に、撮影情報調整部４２が、上記４台のカメラ（カメラ１０ｓ、カメラ１２ｓ、カメラ１０ｋ、カメラ１２ｋ）で取得した路面画像のうちＮ番目（Ｎ＝１、２…）の路面画像を記憶装置３４から読み出し（Ｓ２）、補正データ取得部４４が取得した補正データを使用して台形補正を行う（Ｓ３）。

次に、撮影情報調整部４２は、上記Ｓ２、Ｓ３の工程と同様にして、Ｎ＋１番目の路面画像を記憶装置３４から読み出し（Ｓ４）、補正データ取得部４４が取得した補正データを使用して台形補正を行う（Ｓ５）。

画像編集部４６は、撮影情報調整部４２が台形補正を行った路面画像の道路幅員方向重複領域Ｄ´の一致度を算出し、この一致度に基づいて路面画像の接合部の編集、すなわち路面画像の接合処理を行う（Ｓ６）。また、画像編集部４６は、撮影情報調整部４２が台形補正を行った路面画像の車両１００の進行方向重複領域Ｄの一致度を算出し、この一致度に基づいて路面画像の接合処理を行う（Ｓ７）。なお、ステップＳ６とステップＳ７の処理順序は逆でも構わない。

図１０（ａ），（ｂ）には、画像編集部４６が路面画像の重なり領域の一致度を算出する方法の説明図が示される。図１０（ａ）が道路幅員方向の場合であり、図１０（ｂ）が車両１００の進行方向の場合である。

図１０（ａ）において、左側の撮影手段１０のカメラ１０ｓまたはカメラ１０ｋで撮影した左側路面画像の右側領域と右側の撮影手段１２のカメラ１２ｓまたはカメラ１２ｋで撮影した右側路面画像の左側領域は、図８で説明したように、一部重複するように撮影されている。そこで、画像編集部４６は、一方の路面画像（例えば、左側路面画像）の左からＰ_Ｌピクセル目（但し、道路幅員方向重複領域Ｄ´内）のピクセル列（画像の縦列）を、他方の路面画像（例えば、右側路面画像）の左からＰ_Ｒピクセル目のピクセル列の左右ｎピクセルの幅の領域に、１ピクセル列ずつ重ねて行き、輝度の一致度を算出する。一致度としては、例えば１ピクセル列内の輝度差分の合計値の逆数として求めることができる。次に、画像編集部４６は、算出した輝度の一致度が最も高くなる位置にピクセル列Ｐ_Ｌがくるように左側路面画像と右側路面画像とを接合する。この場合、接合後の路面画像では、上記ピクセル列Ｐ_Ｌの左側は左側路面画像を使用し、右側は右側路面画像を使用する。なお、上記Ｐ_Ｌは、例えば９５０ピクセルとし、Ｐ_Ｒは１００ピクセルとし、ｎは３０ピクセルとすることができるが、これらに限定されるものではなく、路面画像のサイズ等に応じて適宜決定できる。例えば、道路幅員方向重複領域Ｄ´内の全ピクセル列に対して一致度を算出し、この値が最も高いピクセル列をＰ_Ｌとしてもよい。

また、図１０（ｂ）において、左側の撮影手段１０と右側の撮影手段１２の各カメラで撮影した路面画像は、図７で説明したように、車両１００の進行方向に所定距離Ｄ重複するように撮影されている。そこで、画像編集部４６は、連続して撮影した路面画像のうち、ある時点（Ｎ番目）で撮影した路面画像の上からＰ_Ｂピクセル目（但し、進行方向重複領域Ｄ内）のピクセル行（画像の横列）を、撮影順序が次（Ｎ＋１番目）の路面画像の上からＰ_Ｆピクセル目のピクセル行の上下ｍピクセルの幅の領域に、１ピクセル行ずつ重ねて行き、輝度の一致度を算出する。次に、画像編集部４６は、算出した輝度の一致度が最も高くなる位置にピクセル行Ｐ_Ｂがくるように上記２枚の路面画像を接合する。この場合、接合後の路面画像では、上記ピクセル行Ｐ_Ｂの下側は撮影順序が先（Ｎ番目）の路面画像を使用し、上側は撮影順序が後（Ｎ＋１番目）の路面画像を使用する。なお、上記Ｐ_Ｂは、例えば３ピクセルとし、Ｐ_Ｆは７５０ピクセルとし、ｍは３０ピクセルとすることができるが、これらに限定されるものではなく、路面画像のサイズ等に応じて適宜決定できる。例えば、進行方向重複領域Ｄ内の全ピクセル行に対して一致度を算出し、この値が最も高いピクセル列をＰ_Ｂとしてもよい。

従来、路面画像を接合する場合には、路面画像が重なる長さ（距離データ）に基づいて接合処理が行われており、車両の振動等により路面画像が重なる長さが一定値ではないことによる誤差の影響を除去できなかった。これに対して、本実施形態では、上述したように、路面画像の重なり領域の一致度に基づいて路面画像を接合するので、車両の振動等の影響を除去でき、路面画像を正確に接合することができる。

次に、図９に戻り、撮影情報調整部４２が、記憶装置３４に記憶された路面画像の中に、未処理の路面画像が残っているか否かを判定する（Ｓ８）。Ｓ８において、未処理の路面画像が残っている場合には、Ｎ＝Ｎ＋１とし（Ｓ９）、Ｓ２からの工程を繰り返し、残っていない場合には、処理を終了する。

上述した、図９の各ステップを実行するためのプログラムは、記録媒体に格納することも可能であり、また、そのプログラムを通信手段によって提供しても良い。その場合、例えば、上記説明したプログラムについて、「プログラムを記録したコンピュータ読み取り可能な記録媒体」の発明または「データ信号」の発明として捉えても良い。

図１１（ａ），（ｂ），（ｃ）には、画像編集部４６が接合した路面画像の例が示される。図１１（ａ）が、カメラ１０ｓ及びカメラ１２ｓで撮影した、日向領域が識別可能な路面画像を接合した例であり、図１１（ｂ）が、カメラ１０ｋ及びカメラ１２ｋで撮影した、日陰領域が識別可能な路面画像を接合した例である。また、図１１（ｃ）は、図１１（ａ）の日向領域と図１１（ｂ）の日陰領域とを接合した例である。これらのうち、図１１（ａ），（ｂ）の例は、図９の工程により接合処理が行われたものである。

また、図１１（ｃ）の例は、日向・日陰接合部４８が、図１１（ａ）日向領域と図１１（ｂ）の日陰領域とを、輝度値に基づいて抽出し、これらを日向領域と日陰領域との境界Ｂで接合している。この際、図１１（ｃ）の例では、境界Ｂ近傍の輝度を上記路面画像の日向領域の輝度と日陰領域の輝度との間の値として、境界Ｂの接合線が目立たないように処理している。なお、図２で説明したように、カメラ１０ｓ（またはカメラ１２ｓ）及びカメラ１０ｋ（またはカメラ１２ｋ）が撮影した路面画像の日向領域の輝度より低い輝度または日陰領域の輝度より高い輝度で路面画像を撮影するカメラ１０ｍ及びカメラ１２ｍが撮影した路面画像を、上記日向領域と日陰領域との間に挟んで接合してもよい。

なお、上記実施形態では昼間の日光により日陰領域が生じている場合を例に説明したが、夜間に強い照明で照らされていることにより日陰領域が生じている場合にも適用することができる。

１０，１２撮影手段、１０ｓ，１０ｋ，１０ｍ、１２ｓ，１２ｋ，１２ｍカメラ、１４レーザスキャナ、１６座標取得装置、１８走行距離計、２０制御装置、２２ＣＰＵ、２４ＲＡＭ、２６ＲＯＭ、２８入力装置、３０表示装置、３２通信装置、３４記憶装置、３６バス、３８入出力インターフェース、４０撮影制御部、４２撮影情報調整部、４４補正データ取得部、４６画像編集部、４８日向・日陰接合部、５０通信部、５２シート、１００車両。

Claims

車両に搭載され、道路幅員の一部を撮影範囲とし、互いの前記撮影範囲が一部重複しつつ道路幅員の全部が撮影可能に配置された複数のカメラを有し、車両の所定走行距離毎に、同時に、日向における路面画像を識別可能に撮影する日向撮像手段と、
車両に搭載され、道路幅員の一部を撮影範囲とし、互いの前記撮影範囲が一部重複しつつ道路幅員の全部が撮影可能に配置された複数のカメラを有し、車両の所定走行距離毎に、同時に、日陰における路面画像を識別可能に撮影する日陰撮像手段と、
前記路面画像の識別可能な日向領域の輝度より低い輝度または識別可能な日陰領域の輝度より高い輝度で路面画像を撮影する中間画像撮像手段と、
前記中間画像撮像手段が撮影した路面画像を、前記日向領域と日陰領域との間に挟んで接合する日向・日陰接合手段と、
前記日向撮像手段における複数のカメラで撮影した路面画像の台形補正、前記日陰撮像手段における複数のカメラで撮影した路面画像の台形補正及び前記中間画像撮像手段における複数のカメラで撮影した路面画像の台形補正を行うための補正データを取得する補正データ取得手段と、
前記日向撮像手段における複数のカメラで撮影し、前記補正データにより補正後の路面画像の前記道路幅員方向及び車両の進行方向の重なり領域及び前記日陰撮像手段における複数のカメラで撮影し、前記補正データにより補正後の路面画像の前記道路幅員方向及び車両の進行方向の重なり領域の一致度を算出し、前記一致度に基づいて路面画像の接合部の編集を行う編集手段と、
を備えることを特徴とする路面画像撮影・編集装置。
請求項１記載の路面画像撮影・編集装置において、前記編集手段は、前記路面画像の重なり領域における画素の輝度に基づいて前記一致度を算出することを特徴とする路面画像撮影・編集装置。
コンピュータを、
車両に搭載され、道路幅員の一部を撮影範囲とし、互いの前記撮影範囲が一部重複しつつ道路幅員の全部が撮影可能に配置された複数のカメラを有し、車両の所定走行距離毎に、同時に、日向における路面画像を識別可能に撮影する日向撮像手段と、車両に搭載され、道路幅員の一部を撮影範囲とし、互いの前記撮影範囲が一部重複しつつ道路幅員の全部が撮影可能に配置された複数のカメラを有し、車両の所定走行距離毎に、同時に、日陰における路面画像を識別可能に撮影する日陰撮像手段と、前記路面画像の識別可能な日向領域の輝度より低い輝度または識別可能な日陰領域の輝度より高い輝度で路面画像を撮影する中間画像撮像手段とがそれぞれ撮影した各路面画像を記憶する記憶手段、
前記記憶手段が記憶している中間画像撮像手段が撮影した路面画像を、前記日向領域と日陰領域との間に挟んで接合する日向・日陰接合手段、
前記記憶手段が記憶している路面画像の台形補正を行うための補正データを取得する補正データ取得手段、
前記記憶手段が記憶している、前記日向撮像手段における複数のカメラで撮影し、前記補正データにより補正後の路面画像の前記道路幅員方向及び車両の進行方向の重なり領域及び前記日陰撮像手段における複数のカメラで撮影し、前記補正データにより補正後の路面画像の前記道路幅員方向及び車両の進行方向の重なり領域の一致度を算出し、前記一致度に基づいて路面画像の接合部の編集を行う編集手段、
として機能させることを特徴とする路面画像撮影・編集プログラム。