JP6929207B2 - 道路画像処理装置、道路画像処理方法、道路画像処理プログラム、および、記録媒体 - Google Patents

Description

本発明は、道路の撮影画像を解析処理して、わだち掘れ不具合を検出するとともにその様子を可視化表示する技術に関する。

従来、アスファルト等の道路舗装の不具合を検出する指標として、ひび割れおよび平坦性およびわだち掘れの３指標が用いられてきた。特に、わだち掘れとは、車の左右の車輪が繰り返し踏みしめる部分が沈み込み、車線の進行方向に連続的にへこみが続くような不具合を指す。

わだち掘れは、高速走行でハンドルが取られて事故の原因になったり、また、雨天時に雨水が溜まり歩行者への大きな水撥ねの原因になるなどの問題を引き起こすため、わだち掘れを点検し、計画的に修繕することは重要である。

従来、これらの指標値での点検には、路面性状測定車といわれる高額な専用車両を用いることが多かった。路面性状測定車にはレーザー照射を行って、道路の横断方向での凹凸を検出する専用測定機能が搭載されているなどし、正確にわだち掘れを検出することができる。

一方、ひび割れ不具合に関しては、ビデオカメラとＡＩを組み合わせた安価な点検方法も提案されてきた（非特許文献１）。

道路を静止画カメラあるいはビデオカメラにて撮影した画像は、当然、遠近法に基づいて遠くが小さく見えるような画像として得られる。このような画像から、舗装不具合の判定対象とするべき一車線の領域を検出したり、また、当該領域に対して遠近法を逆に適用して真上から見た画像を生成する技術は、様々な方法が提案されてきた。例えば、非特許文献２には、車線領域の検出処理および車線領域を真上から見た画像の生成処理の両方の詳細手順が開示されている。なお、前記「真上から見た画像」は、鳥瞰図あるいはオルソ画像などと呼称される。

「誕生！インフラ×AI 業界地図アダルト画像や不審者を見逃さない、深層学習が次に見抜くものAIで狙うインフラの維持管理市場（舗装編2：NTTコムウェア）」、http://itpro.nikkeibp.co.jp/atcl/column/17/051900200/052400007/、ウェブサイトの掲載日 平成２９年６月６日 「車載カメラ画像処理による道路白線測位方式の開発」,神田 準史郎, 田口 進也, 米山 昇吾,情報処理学会研究報告高度交通システム（ITS）, 2006-ITS-024, pp.55-61, 2006.

従来、わだち掘れの検出には、レーザー照射やステレオ撮影などの高額な専用機器を必要とし、安価な単眼のビデオカメラ等での撮影画像を用いては検出ができないという問題があった。

また、従来、わだち掘れの検出の状況を分かり易く可視化するには、高額な専用機器を必要とし、安価な単眼のビデオカメラ等での撮影画像を用いたわだち掘れの検出の様子を分かりやすく可視化できないという問題があった。

本発明は、上記事情に鑑みてなされたものであり、本発明の目的は、高額な専用機器を必要とすることなく、安価なビデオカメラでの撮影画像を用いて、わだち掘れを検出することにある。

また、本発明の目的は、高額な専用機器を必要とすることなく、安価なカメラでの撮影画像を用いて、わだち掘れの検出の状況を分かり易く可視化することにある。

本発明は、道路画像を処理する道路画像処理装置であって、前記道路画像である静止画、または前記道路画像である動画から取り出した静止画から車線領域を検出する車線検出部と、前記車線領域の鳥瞰図画像を生成する生成部と、前記鳥瞰図画像における道路横断方向の一次元の画素群を抽出する抽出部と、前記画素群のわだちの有無を判定する判定部とを有する。

本発明は、道路画像を処理する道路画像処理装置であって、前記道路画像である静止画、または前記道路画像である動画から取り出した静止画から車線領域を検出する車線検出部と、前記斜線領域の鳥瞰図画像を生成する生成部と、前記鳥瞰図画像における道路横断方向の一次元の画素群を複数抽出する抽出部と、前記抽出された各画素群の各画素について、当該画素値を高さ方向の座標に設定し、当該画素群における当該画素の位置を横方向の座標に設定し、当該画素群の道路進行方向における位置を縦方向の座標に設定し、前記設定した３次元の座標に基づいて前記道路画像を３次元で描画する描画部とを有する。

本発明は、コンピュータが行う、道路画像を処理する道路画像処理方法であって、前記道路画像である静止画、または前記道路画像である動画から取り出した静止画から車線領域を検出する車線検出ステップと、前記車線領域の鳥瞰図画像を生成する生成ステップと、前記鳥瞰図画像における道路横断方向の一次元の画素群を抽出する抽出ステップと、前記画素群のわだちの有無を判定する判定ステップとを行う。

本発明は、コンピュータが行う、道路画像を処理する道路画像処理方法であって、前記道路画像である静止画、または前記道路画像である動画から取り出した静止画から車線領域を検出する車線検出ステップと、前記車線領域の鳥瞰図画像を生成する生成ステップと、前記鳥瞰図画像における道路横断方向の一次元の画素群を抽出する抽出ステップと、前記抽出された各画素群の各画素について、当該画素値を高さ方向の座標に設定し、当該画素群における当該画素の位置を横方向の座標に設定し、当該画素群の道路進行方向における位置を縦方向の座標に設定し、前記設定した３次元の座標に基づいて前記道路画像を３次元で描画する描画ステップとを行う。

本発明は、コンピュータを、前記道路画像処理装置として機能させるための道路画像処理プログラムである。

本発明は、コンピュータを、前記道路画像処理装置として機能させるための道路画像処理プログラムを記録した記録媒体である。

本発明によれば、高額な専用機器を必要とすることなく、安価なビデオカメラでの撮影画像を用いて、わだち掘れを検出することができる。

また、本発明によれば、高額な専用機器を必要とすることなく、安価なカメラでの撮影画像を用いて、わだち掘れの検出の状況を分かり易く可視化することができる。

道路画像処理装置の構成を示す。 道路を撮影した静止画の例を示す。 処理フローチャートを示す。 鳥瞰図の例を示す。 道路横断方向に関する断面の画素群の例を示す。 わだち判定処理のフローチャートを示す。 断面画素群の微分値の例を示す。 片側わだち判定処理のフローチャートを示す。 ディープラーニングを用いた片側わだち判定処理の概要を示す。 可視化配列へのマッピング例を示す。

本発明の実施の形態の一つを以下に示す。

図１は本実施の形態における道路画像処理装置の構成を示す。

道路画像処理装置100は以下の機能を具備する。すなわち、記憶媒体101、画面102、静止画取得部111、車線検出部112、鳥瞰図生成部113、断面抽出部114、わだち判定部115、集計部116、描画部117および描画データ保存部121を具備する。

記憶媒体101は、撮影した画像を道路画像処理装置100に入力するための手段である。本実施の形態においては、市販のビデオカメラを車両に搭載して走行しながら撮影した動画のファイルを記録媒体101であるＳＤメモリカードなどに格納して、当該ＳＤメモリカードを道路画像処理装置 100に装着して読み込ませることとする。画面102は、ディスプレイ等の出力装置である。

静止画取得部111は、記憶媒体101に記録された道路画像の動画ファイルから、静止画を取り出す。なお、静止画取得部111は、動画ファイルからではなく、静止画そのものを入力としてもよい。車線検出部112は、静止画から車線領域を検出する。鳥瞰図生成部113は、車線領域の鳥瞰図画像を生成する。断面抽出部114は、鳥瞰図画像における道路横断方向の一次元の画素群を抽出する。

わだち判定部115は、抽出した画素群のわだち掘れの有無（わだちの有無）を判定する。図示するわだち判定部115は、前記画素群から、左の車輪通過位置に相当する第１画素部分および右の車輪通過位置に相当する第２画素部分を抽出する車輪位置抽出部1151と、第１画素部分および前記第２画素部分のわだち掘れの有無を判定する検出部1152とを有する。集計部116は、複数の画素群の各々の判定結果を集計して、前記複数の画素群の全体のわだち掘れの有無を判定する。

描画部117は、断面抽出部114が抽出した各画素群の各画素について、当該画素値を高さ方向の座標に設定し、当該画素群における当該画素の位置を横方向の座標に設定し、当該画素群の道路進行方向における位置を縦方向の座標に設定し、前記設定した３次元の座標に基づいて前記道路画像を３次元で描画する。描画データ保存部121には、断面抽出部114が抽出した各画素群が格納される。

111〜117および121の各機能は、以下で詳述する動作を行うことで、わだち掘れの判定および結果の可視化を行う。

図２は道路を撮影した静止画の例を示す。記憶媒体101に保存されている前記撮影動画は、一時停止して各フレームに着目した場合、それぞれのフレームは例えば図２の撮影画像201のような画像となっている。

本画像においては、片側１車線の左側通行の道路を示しており、センターライン204は点線で示される。車線の左端は白線203で示され、その左側は歩道である。符号205は歩道の端を表しており、これより左は道路に面した家屋などが撮影されている。車線202はセンターライン204と白線203で挟まれた領域である。わだち掘れの判定は、車線202の領域を対象とする。

わだち掘れは道路の進行方向に連続する車輪（タイヤ）跡のくぼみであり、符号206は車両の左車輪のわだち掘れ、符号207は車両の右車輪のわだち掘れの様子を図示している。

わだち掘れは、撮影画像においては、光線のあたり具合に起因して道路の舗装面上に縦長の陰影が付いて見えるという形で現出する。符号206あるいは符号207のような見え方が、片側のみあるいは両側に認められるとき、当該撮影画像はわだち掘れ有りと判定できる。

以下で詳述する動作によって、前記わだち掘れ判定動作を実現する。

図３はわだち掘れ判定処理のフローチャートを示す。

まず、道路画像処理装置100が処理を開始すると(手順300)、静止画取得部111が、記憶媒体101から撮影動画のファイルを読み取って、一定間隔ごとに静止画を取り出し、以降の手順へと送る(手順301)。

なお、ここで言う一定間隔ごとに静止画を取り出すとは、例えば動画が毎秒３０フレームで撮影されているときは、１秒あたり３０枚の静止画として取り出してその全てを以降の手順での処理対象としてもよいし、３０枚のうち一定枚数だけを処理対象とするような間引きを行ってもよいし、あるいは、GPSによって車両の緯度経度座標や移動速度を車両から取得しておいて例えば３メートルごと等の一定距離間隔を進んだ位置に相当する静止画を抜き出して処理対象としてもよい。

次に、車線検出部112は、前記処理対象の静止画から車線202に相当する領域を検出する(手順302)。さらに、鳥瞰図生成部113は、画像内の前記検出された車線領域について、鳥瞰図すなわち真上から見た画像を生成する(手順303)。

既に述べたように、手順302および手順303の処理方法として多数の技術が従来から提案されており、例えば非特許文献２には手順302および手順303の処理方法の詳細が開示されている。これらの技術を用いることにより、手順302および手順303は実施できる。

図４は手順303の結果として得られた鳥瞰図401の例を示す。符号401は得られた画像の全体を示しており、図２の車線202に相当する領域を真上から見た画像に相当する。符号402は、図２の符号206に相当する左車輪のわだち掘れを示している。また、符号403は、図２の符号207に相当する右車輪のわだち掘れを示している。

次に、断面抽出部114は、前記鳥瞰図の画像401から、道路横断方向に関する断面の画素群を抽出する(手順304)。具体的に図示すると、鳥瞰図画像401に対して、道路横断方向に関する断面とは符号410あるいは符号411あるいは符号412のことであり、この線上の画素をピックアップする処理が手順304に相当する。当該処理結果である前記断面の画素群は、当然、横方向の１次元画像（１次元情報）となる。

ここで、断面抽出部114は、後述する処理に使用するために、抽出した断面の画素群を描画データ保存部121に格納してもよい（手順310）。

前記断面の画素群の抽出手順は、１つの鳥瞰図画像401に対して、１つ以上の断面に関して抽出を行い、それぞれの抽出結果の前記断面の画素群に対して、以下で述べる手順305を実施する。

その際、前記１つ以上の断面に関する抽出とは、例えば全ての画素のラインに対して抽出してその全てを手順305での処理対象としてもよいし、画素のラインのうち一定間隔で抜き出したもののみを処理対象とするような間引きを行ってもよいし、あるいは、例えば０．５メートルごと等の一定距離間隔を進んだ位置に相当する鳥瞰図画像上の画素のラインを抜き出して処理対象としてもよい。

図５は手順304の結果として得られた道路横断方向に関する断面の画素群の例を示す。図５の横軸は、道路横断方向（図４では横方向）の１次元画像に関する横軸（位置）を表している。また、図５の縦軸は、それぞれの座標での画素における画素値を表しており、画素値が大きいものほど上に図示するようなグラフとなっている。

なお、本実施形態においては、画素値としてカラー映像における輝度を用いる。本発明の範囲はこれに限るものではなく、R,G,BあるいはH,S,V等の色表現におけるいずれかの指標値を用いてもよいし、あるいは、これらを一定の計算式で演算して得られた結果の値を前記画素値として用いてもよい。

図５で例示する断面の画素群のグラフでは、図４の符号402および符号403で示されるわだち掘れ画像に相当する画素値の特徴が、それぞれ符号502および符号503で示される波形変化として現出している。

次に、わだち判定部115は、前記得られた道路横断方向に関する断面の画素群に対して、わだち掘れが有るか無いかを判定するサブルーチン処理を行う(手順305)。当該サブルーチンの詳細は後述する。

最後に、集計部116は、１つ以上の断面の画素群の各々に対して手順305を適用して得られた１つ以上のわだち掘れ有無の判定結果に対して、所定の道路区間毎に集計処理を行い、当該道路区間におけるわだち掘れが有るか無いかの最終的な判定処理を行う(手順306)。以上で処理を終了する(手順307)。

前記集計処理とは、わだち掘れの有るもしくは無いという個々の判定結果に対して、例えば閾値を５０％とする判断処理すなわち多数決の処理を行ってもよいし、あるいは５０％以外の閾値に基づく判断処理を行ってもよい。すなわち、わだち掘れ有りと判定された断面の画素群が全体の中で所定の閾値（割合）以上の場合は、最終的な判定結果としてわだち掘れ「有り」と判定し、一方、わだち掘れ有りと判定された断面の画素群が全体の中で所定の閾値未満の場合は、最終的な判定結果としてわだち掘れ「無し」と判定する。

あるいは、前記集計処理として、統計的な有意率に基づく仮説棄却によって最終的な判定を行ってもよい。もしくは、個々のわだち掘れの判定結果が前後の一定回数で連続して「有り」と判定された場合には最終的な判定結果も「有り」とするような集計処理であってもよい。

また、後述するサブルーチン処理(手順305)によって、左車輪と右車輪のそれぞれについて、わだち掘れの有無が判定された場合、それら左右の結果を一度集計（例えば、少なくとも一方がわだち掘れ有りの場合に集計結果を有りとする等）した後に前記集計処理を行ってもよいし、もしくは、左の結果と右の結果をそれぞれ別の位置での判定結果と見なして前記集計処理を行ってもよい。

また、前記集計処理は、単一の前記鳥瞰図画像内に関して手順304で抽出された各断面での判定結果に関して集計を行ってもよいし、もしくは、手順301で取り出された複数の静止画に基づいて複数の鳥瞰図画像を得てそれら複数の鳥瞰図画像から得られた複数の断面について、各断面でのわだち掘れの有無の判定結果を総合して集計を行ってもよい。

特に、国土交通省の通達によれば、道路の２０ｍもしくは１００ｍといった区間に関してわだち掘れの有無を判定することが推奨されているため、前記道路区間における複数の静止画を用いて総合的に集計を行うことで、当該通達に判定結果を適合させられるという利点が得られる。

図６は、手順305で呼び出される、わだち判定処理サブルーチンのフローチャートを示す。

まず、サブルーチンを開始すると(手順600)、わだち判定部115は、前記断面の画素群に対して、画素群の微分値を算出する(手順601)。ここで、微分値の算出とは、隣接する値の差分を集合として算出する処理のことであるから、具体的には、例えば、隣り合う画素の画素値を引き算すればよい。

図７は、前記得られた断面画素群の微分値の例を示す。

次に、わだち判定部115は、車輪位置抽出処理を行って、左の車輪が通過する位置および右の車輪が通過する位置の画素群に関する部分集合を元の前記微分値から抽出する(手順602)。

具体的には、例えば前記断面の画素群が１０００ドットの横一線の画像だったと仮定した場合、前記微分値は１０００ドット相当の値の集合として得られているのであるから、車線の中央は５００ドット付近の座標である。車線幅が一般の道路で３ｍ〜３．５ｍ程度であることを勘案すると、一般乗用車ならびに大型車において左の車輪が通過するのは例えばおよそ０ドットから２００ドット付近の位置であり、また、右の車輪が通過するのはおよそ８００ドットから１０００ドット付近の位置である等と想定できる。これにより、本実施の形態においては例えば、わだち判定部115は、これらそれぞれの座標に相当する２００ドット分の微分値の集合を左右１対ずつ抽出を行う。

このように車線幅のうち特定の予め定めた領域について抽出処理を行って以下の手順での分析対象とするような処理の考え方には、原理上の利点がある。すなわち、そもそも本発明で検出や可視化対象とするわだち掘れとは、一般乗用車やとりわけ大型車が繰り返し車線内のほぼ同じ位置に車輪を乗せる形で通行を繰り返すことにより、舗装が変形もしくは磨耗して、安全快適な交通に支障を来たすようになる不具合のことを指している。

すなわち、多くの車両が車線内の特定の位置を踏みしめるよう統計的に偏って走行を重ねることは、わだち掘れの発生原理から考えて必然であり、そのような特定位置とは予め固定的に装置内に定数として組み込むことが可能なパラメータであるから、上記述べたように固定的パラメータで車線内の特定位置の画素を抽出して処理を行うような仕組みは、応用目的に照らし合わせて、本質的な必然性を有するといえる。

なお、本実施の形態では、左右の車輪の通過位置を端点からそれぞれ２００ドットと固定的に定める例を示した。本発明はその他の実施の形態も可能であり、例えば、左の車輪は１００ドットから２５０ドットの範囲の座標としてもよく、また、一般道路と高速道路では車線幅が異なることを踏まえて一般道路用の定数と高速道路用の定数といった異なる設定の組を準備してもよい。

また、元の画像の幅（断面の画素群）が１０００ドットといった固定幅ではなく様々な解像度で撮影された画像を処理できるようにするため、例えば総ドット数の０％〜２０％のように割合で指定することとしてもよい。

次に、わだち判定部115は、前記抽出された左車輪位置の抽出結果に関して、わだち掘れが有るか無いかを片側のみ判定するサブルーチン処理を行う(手順603)。当該サブルーチンの詳細は後述する。

次に、わだち判定部115は、同様にして、前記抽出された右車輪位置の抽出結果に関して、わだち掘れが有るか無いかを片側のみ判定するサブルーチン処理を行う(手順604)。以上でわだち判定処理サブルーチンを終了する(手順605)。

なお、本実施の形態では、手順601で画素群の微分値を算出したのち、その結果に対して手順602で左右車輪位置に相当する部分集合を抽出する処理手順とした。本発明の範囲はこれに限るものではなく、手順601と手順602の順序を入れ替える実施としてもよい。なぜならば、１次元集合に関して、微分してから部分集合を抽出するのも、部分集合を抽出してから微分するのも、数学的には等価な処理である。

図８は、手順603および手順604で呼び出される、片側わだち判定処理サブルーチンのフローチャートを示す。

まず、サブルーチンを開始すると(手順800)、わだち判定部115は、図６の手順602で抽出された左または右の車輪の微分値の１次元集合に対して、左から順に走査し、以下の判定処理を行う。すなわち、まず、前記微分値が一定以上（所定の閾値以上）のプラスの値が現れることを検出する(手順801)。これは、図７に示した微分値の例においては、符号701の箇所を検出することに相当する。もし現れなければ（不検出の場合）、検出ＮＧ、すなわち、わだち無しとして結果を返し処理を終える(手順805)。

次に、手順801でプラスの値が検出された場合、前記微分値がゼロに一定程度以内に近い値（絶対値が所定の閾値以下）が連続することを検出する(手順802)。これは、図７に示した微分値の例においては、符号702の箇所を検出することに相当する。もし現れなければ、検出ＮＧ、すなわち、わだち無しとして結果を返し処理を終える(手順805)。

次に、手順802でゼロに近似する値の連続が検出された場合、前記微分値が一定以下（所定の閾値以下）のマイナスの値が現れることを検出する(手順803)。これは、図７に示した微分値の例においては、符号703の箇所を検出することに相当する。もし現れなければ、検出ＮＧ、すなわち、わだち無しとして結果を返し処理を終える(手順805)。逆に現れていれば、手順801から手順803まで全ての判定が検出ＯＫであるから、わだち有りとして結果を返し処理を終える(手順804)。

なお、前記「一定」を示す定数値（閾値）は、適宜定めた値でよい。なお、上記示した手順では、微分値に対して概ね「プラスの値」→「ゼロ」→「マイナスの値」のような連続的変化であるか否かを検出した。これは、換言すれば、微分する前の元の画素値に対して、画素値の急激な上昇がまず生じ、次いで少し離れた位置に、画素値の急激な下降が生じているような連続的変化であることを検出する処理と数学的に等価である。

以上述べた手順により、道路画像処理装置100が、ビデオカメラを車両に搭載して走行しながら撮影した動画に基づいて、わだち掘れ不具合(わだち掘れ有り)の検出を行うことができる。当該検出には、レーザー照射による測定機器や、立体視用のステレオ撮影機材などの高額な機器は不要なので、一般的で安価な機器を用いて、わだち掘れ不具合の検出を実現することができるという利点を得ることができる。

なお、描画部117は、検出結果を例えば以下のようにして地図上に表示してもよい。すなわち、描画部117は、記録媒体101に記録された動画ファイルに対応する平面の地図上に色分けした線分として前記検出結果を表示し、具体的には、わだち掘れが検出された区間は道路に沿って赤色の線を描画するなどの可視化を行っても良い。

このような地図上への表示は、Ｇｏｏｇｌｅ Ｅａｒｔｈなどのソフトウェアに標準的な機能として備わっているので、当該機能を利用し、前記ソフトウェアに入力するＫＭＬ形式などの標準的ファイル形式で前記検出結果を出力することで当該可視化を実現できる。

このような表示は、道路画像処理装置 100が具備する画面 102に表示してもよいし、あるいは道路画像処理装置 100が検出結果のファイルを出力して、前記ファイルのみを表示機能を有する別の装置に入力して前記可視化を実現する構成としてもよい。

一般に、画像の解析処理には処理時間がかかる一方で一度だけ実行すればよく、他方、検出結果のファイルを読み込んで画面に表示することは処理時間はかからないが何度も繰り返し実行する操作であるので、上記のように機能分担する構成とすることは実用上の利点がある。

ここまでで示した本実施の形態においては、手順305で呼び出される、わだち判定処理サブルーチンは波形変化を前記示したフローチャートに基づくプログラム処理（アルゴリズム）で検出してわだちの有無を判定する考え方に基づく実施形態を示した。本発明は、上記判定処理の方法以外にも、ＡＩ技術の一つであるディープラーニング（ＤＬ）を用いてわだち判定処理サブルーチンを構成する方法も可能である。

ＤＬはニューラルネットワークの考え方に基づいて判断を行う技術である。ＤＬを用いる際は、前もって製品の開発製造段階において、教師データと呼ばれる正解データ群をＤＬの学習機能に入力することで、予めＤＬが内部に保持するニューラルネットワークの繋がりに当該正解データ群を学習させておき、学習済みモデルを生成しておく。

これによって当該学習済みモデルを保持するＤＬは、以降、目的データをＤＬの判定機能に入力することで、予め学習させたデータと同一種のものであるかの判定結果を返すことができる。ＤＬの利点は、対象とするデータを判定する際に波形の特徴などを人間が予め考慮する必要がなく、大量の正解データ群を事前すなわち製品の開発製造段階で学習させておくだけで、目的データの判定が高い精度で可能になるという点にある。この利点のためＤＬは広く用いられており、利用可能な多数のオープンソースの実装が入手可能であり、ＤＬは容易に利用できる。

以下では、ＤＬを用いた道路画像処理装置の具体的な構成例（変形例）を示す。

図９はディープラーニングを用いた片側わだち判定処理の概要を示す。

本構成例では、手順305で呼び出されるわだち判定処理サブルーチンの中で、さらに手順603および手順604で呼び出される片側わだち判定処理サブルーチンを上記示した実施からＤＬを用いた実施へと置き換えるものとした構成例を示す。

図９（ｂ）のフローチャート902は、手順603および手順604で呼び出される片側わだち判定処理サブルーチンのフローチャートである。わだち判定部 115は、内部に学習済みモデルを保持するＤＬのソフトウェアを組み込む構成とする。

まず、サブルーチンを開始すると(手順920)、わだち判定部 115は、前記学習済みモデルを保持するＤＬのソフトウェアに前記与えられた微分値の１次元集合を入力し、わだち掘れが有るか無いかの判定結果を得る(手順921)。次に、わだち判定部 115は、当該判定結果を返却して処理を終える(手順922)。

本構成例のポイントは、上記一連の手順で用いる当該ＤＬのソフトウェアに、予め本道路画像処理装置100の開発製造段階において、事前に学習処理を施し、学習済みモデルを生成しておく点にある。

図９（ａ）のフローチャート901は、当該事前学習処理について示したものである。 前述のとおり、ＤＬは、予め大量の教師データをＤＬの学習機能に入力することで、ニューラルネットワークの繋がりを学習させ、学習済みモデルを生成し、実際に手順921のようにＤＬを用いた際に予め学習させたデータと同一種のものであるかの判定を高い精度で可能とする特徴を有する技術であり、かつ、その実装はオープンソース等で広汎に利用可能である。

本構成例では、上記示した一連のわだち掘れ判定手順、すなわち、図３の手順301から手順305および図６の手順601から602と同一の処理を、本道路画像処理装置100の開発製造段階において事前に行う学習処理の際にも行う。ただし、その際、手順301への入力とするのは、わだち掘れが有るか無いかが不明な道路の撮影画像ではなく、現に確実にわだち掘れが存在すると判明している地点を撮影して得られた道路の撮影画像を用いて、これを手順301への入力とする。

その結果、手順301から手順602までの一連の処理を行うことで得られた手順602の結果、すなわち、左の車輪が通過する位置および右の車輪が通過する位置の画素群に関する部分集合は、確実にわだち掘れが存在すると判明している箇所での前記集合であるから、これをＤＬの学習データとして用いることとし、ＤＬに入力することで、ＤＬが保持する学習済みモデル（学習途中のモデル）に対してさらなる学習がなされる(手順911)。

これら一連の手順を、さまざまなわだち掘れ画像を入力として、およそ数百回から数万回程度繰り返す(手順912)。上記一連の手順によって、十分にＤＬの学習が進むので、本道路画像処理装置100の開発製造段階において事前に行う学習処理を完了する (手順913)。この時点でＤＬが保持する学習済みモデルは十分にわだち掘れの特徴について学習が進んだモデルであるので、当該ＤＬを道路画像処理装置100の構築に用いることとする。

上記述べたように、事前の学習に大量の教師データを準備してＤＬに学習させるという手順を踏むことによって、本道路画像処理装置100を実際にわだち掘れの検出に用いる際には、上記手順921のように簡素な手順で、わだち掘れの有無の判定が可能となる。

なお、既に述べたように、このようなＤＬの実装は多数公開されており、それらは学習機能と判定機能をＡＰＩ(Application Programming Interface)として提供しているので、当該機能を用いることで上記実施は可能である。

上記述べたＤＬを用いた実施であれば、適切な学習データを準備することで、高い判定精度を得られるという利点がある。

なお、上記「およそ数百回から数万回程度繰り返す」とは、実際にある程度学習させた学習済みモデルを保持するＤＬを用いて実際に本道路画像処理装置100を構築し、実際の道路映像の分析をさせてみて、十分高い成績が得られなければさらなる追加の学習を施すという手順により実現すればよい。

なお、上記述べた構成例では、手順601によって画素群の微分値を算出し、当該微分値の車輪位置に相当する部分集合をＤＬ（学習済みモデル）に入力して学習させ、かつ、ＤＬに判定させることとした。本発明の範囲はこれに限るものではなく、手順601を省略する、すなわち、画素値の微分値ではなく画素値そのものをＤＬに学習入力させ、かつ、ＤＬに判定させる実施も可能である。この場合、わだち判定部 115は、左の車輪通過位置に相当する部分の画素（第１画素部分）、および、右の車輪通過位置に相当する部分の画素（第２画素部分）のそれぞれを、学習済みモデルに入力することで、左右それぞれのわだちの有無を判定する。

また、上記述べた構成例では、手順602によって左の車輪が通過する位置および右の車輪が通過する位置の画素群に関する部分集合を抽出し、左右それぞれの部分集合をＤＬ（学習済みモデル）に入力して学習させ、かつ、ＤＬに判定させることとした。本発明の範囲はこれに限るものではなく、手順601および手順602を省略する、すなわち、左右それぞれの部分集合ではなく元の画素群の集合そのものをＤＬに学習入力させ、かつ、ＤＬに判定入力する実施も可能である。この場合、わだち判定部 115は、断面抽出部114が抽出した画素群を学習済みモデルに入力することで、わだちの有無を判定する。

また、手順602のみを省略する、すなわち、元の画素群の微分値をＤＬに学習入力させ、かつ、ＤＬに判定入力する実施も可能である。この場合、わだち判定部 115は、断面抽出部114が抽出した画素群の微分値を学習済みモデルに入力することで、わだちの有無を判定する。

上記示した一連の実施形態に加え、さらに、わだち掘れの様子に関して、道路の凹凸に即して３次元的に表示する機能を提供することもできる。具体的な構成例（変形例）を以下に示す。

本構成例においては、図３の手順304において、断面抽出部114は、道路横断方向に関する断面の画素群を抽出した後、さらに、当該断面の画素群を描画データ保存部 121に保存する(手順310)。上記述べたように、手順304、あるいは、手順301から304までの一連の手順は、複数の断面に関して繰り返し実施されるのであるから、描画データ保存部 121は撮影した道路の複数の個所に関する断面の画素群が保存されることとなる。

単一の断面の画素群は横軸方向の延伸を持つ１次元データ集合であり、かつ、その断面が車線進行方向すなわち縦軸方向に複数集まっているのであるから、結果として描画データ保存部 121に保存された複数の個所に関する断面の画素群は、必然的に、平面上の２次元データ集合となっている。

描画部117は、前記保存されたデータを用いて、以下のように描画処理を行う。描画部117は、前記２次元データ集合のそれぞれの点に対して、当該箇所の画素値を高さとして読み替えた、可視化用の２次元配列を生成する。つまり、（Ｘ，Ｙ）の配列で、値は高さを持つような配列である。前記読み替えは、例えば、単純に画素値＝高さとしてもよい。

上記手順で得られた配列は、（横，縦，高さ）の点の集合になっているから、例えばＷｅｂＧＬやｔｈｒｅｅ．ｊｓのような３Ｄ描画機能を有する公開されているソフトウェアを用いることで、立体表示することができる。

すなわち、描画部117は、断面抽出部114により抽出された各画素群の各画素について、当該画素値を高さ方向の座標に設定し、当該画素群における当該画素の位置を横方向の座標に設定し、当該画素群の道路進行方向におけるの位置を縦方向の座標に設定し、前記設定した３次元の座標に基づいて前記道路画像を３次元で描画する。

図１０は前記可視化用配列へのマッピング例を示す。符号１００１は、表示対象となる可視化配列を表す。ここでは、例えば図５で例示されるようなわだち掘れが存在する断面の画素群の波形が、例えば符号１０２０や例えば符号１０２１や例えば符号１０２２のように可視化用配列へマッピングされ、当該配列が３Ｄ描画されている様子を示している。

符号１０１０や符号１０１１や符号１０１２は、断面の方向を示しており、もしまったく凹凸のない平坦な画像が入力されていれば、例えば符号１０２０のマッピングは符号１０１０の直線にほぼ平行するものとなる。

符号１０２０と符号１０２１と符号１０２２のように、車線進行方向と直交して複数の断面が配置されているのは、前記示したように複数の個所に関する断面の画素群を保存して表示の対象としている様子を示している。

なお、前記複数の個所に関する断面の画素群が、総数が少ないために縦方向に間隔が開くことが問題となる場合には、線形補間（Ｚ＝ａＹ＋ｂの式による補間）などを行って、開いている部分に仮想的な頂点を補っても良い。例えば、符号１０３０は、上記補間の様子を示している。

以上示した表示手順によって、わだち掘れの様子に関して、道路の凹凸に即して３次元的に表示することができ、これにより、わだち掘れの検出の様子を分かり易く可視化することができる。すなわち、わだち掘れの検出結果の状況を、平面（２次元）の地図上に表示する場合と比較して、本実施形態では、わだち掘れの検出の様子を一目で把握することができる。

また、上記表示に加えて、例えばわだち掘れが有りと判定された箇所は背景を赤色にする等、わだち掘れ判定結果そのものを重畳して表示してもよい。

以上示したような表示は、道路画像処理装置 100が具備する画面 102に表示してもよいし、あるいは道路画像処理装置 100が処理結果（図１０のマッピング例）のファイルを出力して、前記ファイルのみを表示機能を有する別の装置に入力して前記可視化を実現する構成としてもよい。特に、道路画像処理装置 100が処理結果のファイルを出力して、前記ファイルをＷｅｂサーバ上に入力し、ＷｅｂサーバがＷｅｂブラウザに当該ファイルの情報を送信することによって、Ｗｅｂブラウザ上に描画する構成としてもよい。

なお、本発明は上記実施形態に限定されるものではなく、その要旨の範囲内で数々の変形が可能である。

以上示した本実施の形態においては、わだち掘れを有る無しの２値で判定する機能を提供した。上記示した手順を改良することで、わだち掘れの有無だけでなく程度を示す値も算出することも可能である。例えば、集計部 116は手順306で１つ以上のわだち掘れ有無の判定結果に対して集計処理を行う際、閾値を超えるか否かで有無を判定するだけでなく、わだち掘れ有りと判定された個々の判定結果の個数に応じてわだち掘れの程度を示す値を出力してもよい。

あるいは、例えば、わだち判定部 115は手順801で検出した微分値が一定以上のプラスの値が現れる箇所に対して、対応する微分前の画素値を取得し、その画素値に応じて
わだち掘れの程度を示す値を出力してもよい。

上記説明した、道路画像処理装置 100には、例えば、CPU（Central Processing Unit、プロセッサ）と、メモリと、ストレージ（HDD：Hard Disk Drive、SSD：Solid State Drive）と、通信装置と、入力装置と、出力装置とを備える汎用的なコンピュータシステムを用いることができる。このコンピュータシステムにおいて、CPUがメモリ上にロードされた所定のプログラムを実行することにより、道路画像処理装置 100の各機能が実現される。また、道路画像処理装置 100用のプログラムは、HDD、SSD、USBメモリ、CD-ROM、DVD-ROM、MOなどのコンピュータ読取り可能な記録媒体に記憶することも、ネットワークを介して配信することもできる。

100 ：道路画像処理装置
101 ：記憶媒体
102 ：画面
111 ：静止画取得部
112 ：車線検出部
113 ：鳥瞰図生成部
114 ：断面抽出部
115 ：わだち判定部
116 ：集計部
117 ：描画部
121 ：描画データ保存部

Claims (4)

1. 道路画像を処理する道路画像処理装置であって、
   前記道路画像である静止画、または前記道路画像である動画から取り出した静止画から車線領域を検出する車線検出部と、
   前記車線領域の鳥瞰図画像を生成する生成部と、
   前記鳥瞰図画像における道路横断方向の一次元の画素群を複数抽出する抽出部と、
   前記抽出された各画素群の各画素について、当該画素値を高さ方向の座標に設定し、当該画素群における当該画素の位置を横方向の座標に設定し、当該画素群の道路進行方向における位置を縦方向の座標に設定し、前記設定した３次元の座標に基づいて前記道路画像を３次元で描画する描画部と
   を有することを特徴とする道路画像処理装置。
2. コンピュータが行う、道路画像を処理する道路画像処理方法であって、
   前記道路画像である静止画、または前記道路画像である動画から取り出した静止画から車線領域を検出する車線検出ステップと、
   前記車線領域の鳥瞰図画像を生成する生成ステップと、
   前記鳥瞰図画像における道路横断方向の一次元の画素群を抽出する抽出ステップと、
   前記抽出された各画素群の各画素について、当該画素値を高さ方向の座標に設定し、当該画素群における当該画素の位置を横方向の座標に設定し、当該画素群の道路進行方向における位置を縦方向の座標に設定し、前記設定した３次元の座標に基づいて前記道路画像を３次元で描画する描画ステップと
   を行うことを特徴とする道路画像処理方法。
3. コンピュータを、請求項１に記載の道路画像処理装置として機能させるための道路画像処理プログラム。
4. コンピュータを、請求項１に記載の道路画像処理装置として機能させるための道路画像処理プログラムを記録した記録媒体。

Images