JP6902652B1 - 道路不具合検出装置、道路不具合検出方法及び道路不具合検出プログラム - Google Patents

Abstract

【課題】道路に発生した白いひび割れの検出精度を向上する。【解決手段】道路不具合検出装置100であって、道路を撮影した画像から、道路の不具合を含む画素領域を検出する検出部113と、検出した前記画素領域の面積を用いて、区間ごとの道路の不具合率を算出する集計部116と、を有し、検出部113は、白いひび割れを含む不具合の種類毎に、前記画素領域を検出し、集計部116は、検出部113が前記種類毎に検出した前記画素領域の和集合の面積の合計を用いて、前記不具合率を算出する。【選択図】図１

Description

本発明は、道路を撮影した画像を処理して、道路の不具合を検出する技術に関する。

道路のひびを検出する技術として、特許文献１には、前方を撮影したカメラの画像を、真上から見た画像に変換してひびを判定し、判定結果をメッシュに区切り、各メッシュにひびがあるかないかを判定して、ひび割れ率を得る装置が記載されている。

特許文献２には、前方を撮影したカメラの画像を、大きさの異なるメッシュに区切り、それぞれのメッシュについてニューラルネットワークを適用することで各メッシュにひびがあるかないかを判定する装置が開示されている。

国際公開第2017/014288号 特開2018-17101号公報

アスファルトを用いた道路舗装は、アスファルト混合物で構成される表層および基層と、砂利などで構成された路盤から構成されている。表層および基層のひびが路盤まで到達した場合、雨水などによって路盤の細粒分などの構成物がひびから路面に噴き出すことで、白いひびのようなものが模様として路面上に現れる。路盤はトラックなど重量の大きな交通の荷重を支えるために必要な層であり、路盤を形成する構成物が一定以上流出してしまうと、路盤の強度が失われるため交通荷重に対する保持力の低下を招き、路面上で大きな破損が繰り返し発生する原因となる。

細粒分が流出すると、砂がアスファルト表面に浮き出ることから、ひび割れた部分が路面上では白く見える。このようなひび割れは、見た目において路面上のタイヤ跡などの単なる路面の汚れとの区別がつきにくく、誤認しやすい。

また、白く見えるひび割れは、一般的な黒く見える道路のひび割れとは、色彩や明度が全く異なる。そのため、ニューラルネットワークが、白く見えるひび割れと、黒く見えるひび割れとが、同じひび割れであると認識することは困難である。このため、黒く見えるひび割れを学習させたニューラルネットワークにおいては、白く見えるひび割れを高い精度で検出することができないという問題があった。

また、ニューラルネットワークに黒いひび割れに加えて白いひび割れも学習させた場合には、これらのひび割れは視覚上全く異なる図形であるから、ニューラルネットワークが効率よくそれらの特徴を捉えることが難しく、路面の汚れもひび割れとして誤検出してしまうなど、検出精度の低下が懸念される。

本発明は上記課題を鑑みたものであり、本発明は、道路に発生した白いひび割れの検出精度を向上することを目的とする。

本発明の一態様は、道路不具合検出装置であって、道路を撮影した画像から、道路の不具合を含む画素領域を検出する検出部と、検出した前記画素領域の面積を用いて、区間ごとの道路の不具合率を算出する集計部と、を有し、前記検出部は、白いひび割れを含む不具合の種類毎に、前記画素領域を検出し、前記集計部は、前記検出部が前記種類毎に検出した前記画素領域の和集合の面積の合計を用いて、前記不具合率を算出する。

本発明の一態様は、道路不具合検出装置が行う道路不具合検出方法であって、道路を撮影した画像から、道路の不具合を含む画素領域を検出する検出ステップと、検出した前記画素領域の面積を用いて、区間ごとの道路の不具合率を算出する集計ステップと、を行い、前記検出ステップは、白いひび割れを含む不具合の種類毎に、前記画素領域を検出し、前記集計ステップは、前記検出ステップで前記種類毎に検出した前記画素領域の和集合の面積の合計を用いて、前記不具合率を算出する。

本発明の一態様は、上記道路不具合検出装置として、コンピュータを機能させる道路不具合検出プログラムである。

本発明によれば、道路に発生した白いひび割れの検出精度を向上することができる。

第１の実施形態の道路不具合検出装置の構成を示す構成図である。 道路不具合検出装置の動作を示すフローチャートである。 処理対象となる画像を示す図である。 マスク加工を行った画像を示す図である。 検出処理の結果を示す図である。 画素領域の融合のようすを示す図である。 枠描画処理の結果を示す図である。 地図画面の表示内容を示す図である。 混同行列を示す図である。 第２の実施形態の道路不具合検出装置の構成を示す構成図である。 道路不具合検出装置の動作を示すフローチャートである。 処理対象となる画像を示す図である。 処理対象となる画像に補助線を示した図である。 画質調整前の画像の例を示す図である。 画質調整前の別の画像の例を示す図である。 ひび割れ検出処理の結果を示す図である。 枠描画処理の結果を示す図である。

本発明の実施形態を以下に示す。

（第１の実施形態）
＜道路不具合検出装置の構成＞
図１は、本実施形態における道路不具合検出装置の構成を示す。道路不具合検出装置 100 には、記憶媒体 101 に記憶されたデータが入力される。前記データとして、車にビデオカメラを取り付けて道路の前方を撮影した動画と、前記車にGPSロガー装置を取り付けて時刻ごとの緯度経度の情報を記録したGPSログとが、道路不具合検出装置 100 に入力される。

なお、本実施形態では、走行する車から道路の前方を撮影した動画を用いるが、走行する車から道路の後方を撮影した動画を用いてもよい。また、入力は毎秒30フレームあるいは毎秒60フレームなどのレートで撮影した動画に限るものではなく、例えば1秒あたり30枚の静止画の集まりを入力として用いても良い。

道路不具合検出装置 100 は、静止画取得部 111、画像前処理部 112、検出部113、結果選別部 114、検出枠融合部 115、集計部 116、枠描画部 117、および、表示部 118を備える。

静止画取得部111は、道路の不具合を検出するために用いる画像（静止画）を取得する。本実施形態においては、ビデオカメラを車に搭載して走行しながら撮影した動画のファイルをSDメモリカードなどの記憶媒体101に格納して、当該記憶媒体101を道路不具合検出装置 100に装着して読み込ませる。静止画取得部111は、記憶媒体101から読み込んだ動画（一連の画像）から一定距離間隔ごとに画像を取得する。記憶媒体101に保存されている動画の各フレームに着目した場合、それぞれのフレームを静止画とみなすことができる。なお、一定距離間隔は、以下で説明する本実施形態では3ｍ間隔とするが、距離間隔は可変であってもよい。また、道路不具合検出装置100 への入出力は、記憶媒体ではなくネットワークを介して行ってもよい。

画像前処理部112は、静止画取得部111が取得した画像の一部の領域の画素を、マスクする。

検出部113は、道路を撮影した画像から、道路の不具合を含む画素領域を検出する。本実施形態の道路を撮影した画像は、道路を前方もしくは後方の道路を撮影した遠近法に基づく一連の画像である。本実施形態の検出部113は、白いひび割れを含む不具合の種類毎に、不具合を含む画素領域を検出する。また、検出部113は、複数の種類毎に学習させた学習済みモデルを複数備え、学習済みモデルを用いて道路の不具合を検出する。

学習済みモデル（検索エンジン）は、物体検出ニューラルネットワーク 121 に、パラメータ 122を与えることで構築される。物体検出ニューラルネットワークとは、深層学習（ディープラーニング）の技術を用いて、与えられた入力画像の中から、予め学習させた物体の１つ以上の存在を検出して、その存在を取り囲む矩形の位置座標を得ることができる手法である。このような手法として、R-CNN、Faster R-CNN、Single Shot MultiBox Detectorなどが公表されており、実装もオープンソース等で利用可能である。

物体検出ニューラルネットワーク121を用いれば、大小さまざまな大きさの候補領域について、予め学習させた物体に似た画像かどうかを自動的かつ高速に判断させることができる。このため、本実施形態では、事前に固定サイズに分割した部分画像に対して個々にニューラルネットワークを適用して判断させるよりも、判断精度を高めることが可能である。

本実施形態では、道路不具合検出装置 100 の製造段階において、物体検出ニューラルネットワーク 121 の学習機能に対して道路の不具合に関する様々な画像を入力して学習を行わせ、学習の結果として得られる学習結果データをパラメータ 122 として道路不具合検出装置 100に組み込み、利用する。

なお、学習の際には、道路不具合検出装置 100 に入力として与える画像（動画から切り出した静止画）と同様な見た目の画像（静止画）を準備し、前記画像内の不具合（ひび割れ等）の部分にマーキングを行って、当該情報を学習入力（教師データ）として、物体検出ニューラルネットワーク 121に与える。これにより、まったく別の見た目であるようなひび等の写真を学習入力として与える場合に比べて、より高い精度で判定可能な学習済み物体検出ニューラルネットワーク121を実現できる。同様な見た目の画像には、道路不具合検出装置 100に入力される画像と同様に、車に搭載したビデオカメラで道路の舗装面を前方または後方から撮影した画像を用いることが望ましい。

各学習済みモデルは、対応する種類の不具合を含む画素領域を検出する。本実施形態の不具合の種類には、線状ひび割れ、面状ひび割れ、白いひび割れの３つの種類を含み、これらの種類毎に学習済みモデルを備えるものとする。

例えば、第１の学習済みモデルは、線状ひび割れを検出する。線状ひび割れは、線のように細長い形状のひび割れである。第２学習済みモデルは、面状ひび割れを検出する。面状ひび割れは、面的にひび割れが進行している亀甲状ひび割れである。本実施形態の線状ひび割れおよび面状ひび割れは、画像上ではひび割れた部分が影となり黒く映るひび割れである。

第３の学習済みモデルは、白いひび割れを検出する。白いひび割れは、路盤を構成する細粒分がひび割れから流出することで発生する。細粒分が流出すると砂がアスファルト表面に浮き出るため、画像上ではひび割れの部分が白く映るひび割れである。交通荷重を支えるために、舗装では、石、砂などの成分を路盤に敷き詰め、その上にアスファルト混合物を施工する。この路盤の構成物が舗装表面に流出し、白ひびが発生することよって、荷重を支える性能が急速に劣化し、舗装の破損が著しく進行する。このため、舗装の点検にあたっては、このような細粒分の流出による白いひび割れを確実に検出し、適切な処置につなげることが重要である。

第３の学習済みモデルは、白い線状ひび割れも、白い面状ひび割れも、同じ種類のひび割れとして検出する。第３の学習済みモデルは、学習の際に、白い線状ひび割れと白い面状ひび割れとを同じ分類クラスで学習させてもよいし、白い線状ひび割れと白い面状ひび割れとを別の分類クラスで学習させてもよい。

誤検出を防止するために、第３の学習済みモデルに、白いひび割れではない路面の汚れを示す画像についても、別の分類クラスとして学習させてもよい。この分類クラスで検出された画素領域については、検出部113は、白いひび割れではないと判定する。

検出部113は、道路の不具合として、穴（ポットホール）を検出してもよい。この場合、道路不具合検出装置１は、穴を不具合の１つの種類として検出するための第４の学習済みモデルを備えていてもよいし、あるいは、いずれかの学習済みモデルが、ひび割れの他に穴も併せて検出してもよい。例えば、第１の学習済みモデルに、線状ひび割れと穴とを同じ分類クラスとして学習させてもよいし、線状ひび割れと穴とを別の分類クラスとして学習させてもよい。

また、誤検出を防止するために、いずれかの学習済みモデルに、ひび割れや穴以外の道路の不具合でない物体を示す画像について、正常な物体を示す画像として別の分類クラスとして学習させてもよい。例えば、マンホール、路面の汚れ、水濡れ、影、施工ジョイント、パッチング、シール補修跡に対しては、これらは必ずしも道路の不具合とは言えないから、それぞれを表す別の分類クラスとして学習済みモデルに学習させてもよい。この分類クラスで検出された画素領域については、検出部113は、不具合ではないと判定する。

すなわち、上記述べたように、本実施の形態においては、３つあるいは４つの異なる学習済みモデル（検索エンジン）を個別に準備し、それぞれの学習済みモデルにはそれぞれ異なる様態の道路の不具合を個別に学習させておき、得られたこれら３つあるいは４つの学習済みモデルを道路不具合検出装置 100に組み込み、利用する。

結果選別部 114は、検出部113が不具合の種類ごとに検出した画素領域の中から、走行車線領域に存在する画素領域を選択する。また、結果選別部 114は、走行車線領域であって、撮影地点から所定の距離以内の領域に存在する画素領域を選択してもよい。検出枠融合部 115は、重なりがある画素領域を融合する。具体的には、検出枠融合部 115は、検出部113が不具合の種類ごとに検出した画素領域の和集合をとることで、重なりがある画素領域を融合する。

集計部 116は、検出部113が検出した画素領域の面積を用いて、区間毎の道路のひび割れ率（不具合率）を算出する。具体的には、集計部116は、検出部113が不具合の種類毎に検出した画素領域の和集合の面積の合計を用いて、ひび割れ率を算出する。本実施形態では、集計部116は、複数の学習済みモデルが検出した画素領域の和集合の面積の合計を用いる。不具合の種類毎に検出した画素領域の和集合の面積は、検出枠融合部 115が融合した後の画素領域の面積であって、重なりがある画素領域の重なり部分を除いた画素領域の面積である。

また、集計部 116は、結果選別部114が選択した画素領域の和集合の面積の合計を用いて、不具合率を算出してもよい。区間は、ひび割れ率の算出単位であって、以下で説明する本実施形態では20ｍを１区間とする。

枠描画部 117は、画素領域を示す枠を画像に描画し、重なりがある画素領域の重なり部分の枠を除いて描画する。表示部 118は、区間に対応する地図上の道路に、ひび割れ率に応じた図形（例えば線）を設定し、表示する。表示部118は、画素領域が検出された画像が撮影された位置に、所定の図形（例えばピン）を設定した地図を表示し、前記図形が指定されると枠描画部 117により枠が描画された画像を表示する。

＜道路不具合検出装置の動作＞
道路不具合検出装置 100 は、記憶媒体 101 に記憶された動画とGPSログのデータとを入力として、以下に述べる動作を行う。

図２は、道路不具合検出装置 100の動作を示すフローチャートである。道路不具合検出装置 100 の静止画取得部 111 は、前記GPSログに基づいて前記動画を一定間隔ごとの静止画に切り出す（ステップS11）。例えば1枚目の静止画は前記動画における0m進んだ地点のフレーム、2枚目の静止画は前記動画における約3m進んだ地点のフレーム、3枚目の静止画は前記動画における約6m進んだ地点のフレーム、等となるように静止画群を取得する。静止画取得部 111 は、取得したそれぞれの静止画に対して、前記GPSログに基づいて、その地点の緯度経度の情報も併せて対応づけて取得する。

上記述べたような静止画取得部111の動作は、例えば特許文献２にも同様の処理が開示されており、実施可能である。なお、切り出し間隔は 3m 以外の距離であってもよい。

図３は、静止画取得部111によって得られた、以降の処理対象となる画像の一例を示す。画像201は、道路の前方を撮影した動画から切り出された静止画である。前方を撮影しているので、遠くのものほど小さく見える、いわゆる遠近法に基づく画像になっている。遠方は、地平線206 までの地面が画角内に見えている。距離としては画角の下端207 から10m以上の遠方まで、地面が見えている。

車道の左端 202 と中央線 203 に挟まれた領域 204 が、舗装の不具合を検出する対象となる走行車線である。中央線 203 の右側の領域 205 は、対向車線である。走行車線204の左側には、路肩 220、建物221、信号 222 などの物体が映りこんでいる。

走行車線204および対向車線205を含む道路の舗装には、符号211から符号217までのひび割れが映りこんでいる。このうち、符号211、符号212、符号213、符号214、符号216、符号217は、距離としては画角の下端207 から3m以内に存在するひび割れである。このうち符号214 のひび割れは、走行車線204と対向車線205に跨って存在している。また、符号213は、面状ひび割れ（亀甲状ひび割れ）である。符号212は白い線状ひび割れであり、符号217は白い面状ひび割れである。

符号 208 は、画角の下端207 から3m進んだ地点を図示する。符号215は、距離としては画角の下端207 から3m以上遠く、かつ、6m以内に存在するひび割れである。画像201 は、遠近法に基づく画像であるため、遠くにあるひび割れほど、画像上は小さい領域に見えている。

次に、道路不具合検出装置 100 の画像前処理部 112 は、前記切り出されて得られた画像に対して、明らかに処理対象としなくてもよい一部の領域をマスクする（ステップS12）。

図４は、マスク加工を行った画像を示す。本実施形態では、画像前処理部 112 は、地平線 206 より上の部分を黒塗りに加工する処理を行い、画像301を生成する。動画を撮影するカメラの取り付け角度が一定であれば、道路を撮影する画角は固定だから、静止画上の所定の与えられたY座標より上の画素を黒で置き換えればよい。

このようなマスク処理を実施することによって、画像301 においては、画像201 で映りこんでいた建物 221、信号 222 などの物体をマスクすることができる。これによって、無駄な検出処理を省略でき、また、学習済みモデルによる検出精度の向上などの利点が期待できる。少なくとも地面より上側には道路舗装が無いことは自明だから、このような処理によるデメリットはない。

本実施形態では上空に相当する部分をマスクしたが、本発明はこれに限るものではなく、マスクしなくてもよいし、黒以外の色で塗りつぶしてもよいし、画角の下端から3m以上遠くに相当するY座標208より上の画素をマスクしてもよいし、車道の左端 202 より左側の領域をマスクしてもよいし、中央線 203 より右側の対向車線の領域をマスクしてもよい。

次に、道路不具合検出装置 100 の検出部 113 は、マスク処理で得られた画像に対して、各学習済みモデルを用いた検出処理を行い、あらかじめ学習させた物体（不具合）を検出し、物体が検出された場合には、各物体を囲む矩形の画素領域の位置座標を得る（ステップS13）。本実施形態のあらかじめ学習させた物体は、第１の学習済みモデルは線状ひび割れであり、第２の学習済みモデルは面状ひび割れであり、第３の学習済みモデルは白いひび割れである。

図５は、各学習済みモデルの検出結果を示す。第１の学習済みモデルは、符号 211、符号 214、符号 215、符号 216の線状のひび割れに対して矩形 411、矩形 414、矩形 415、矩形 416を検出し、各矩形の画素領域の位置座標を取得する。第２の学習済みモデルは、符号 213の面状ひび割れに対して矩形 413を検出し、当該矩形の画素領域の位置座標を取得する。第３の学習済みモデルは、符号 212および符号217の白いひび割れに対して矩形 412および矩形417を検出し、各矩形の画素領域の位置座標を取得する。

なお、矩形411の画素領域と矩形412の画素領域、および、矩形414の画素領域と矩形416の画素領域は、それぞれ重なりあっている。

次に、道路不具合検出装置 100 の結果選別部 114 は、前記得られた矩形の画素領域のうち、走行車線の領域でかつ画角の下端から3m以内に存在する不具合を含む矩形の画素領域のみを選別する（ステップS14）。すなわち、結果選別部 114 は、走行車線の領域であって、撮影地点から所定の距離以内の領域に存在する画素領域を選択する。

図５に示す例では、矩形415の画素領域は画角の下端から3mより遠い位置にあり、また、矩形416の画素領域は中央線 203 より右側の対向車線の領域にあるから、いずれも除外される。結果選別部 114 は、矩形411 、矩形412、矩形413 、矩形414および矩形417の画素領域のみを選別する。なお、本実施形態では、矩形414 のように、中央線203に一部でも重なっている矩形の画素領域は除外せず、選別対象に含めるものとする。

本実施形態では、結果選別部 114 が選別処理を行うこととしたが、本発明はこれに限るものではなく、画像前処理部 112 によって十分にマスク処理を行えているものとして、結果選別部 114 による処理は割愛してもよい。

次に、道路不具合検出装置 100 の検出枠融合部 115 は、前記選別された矩形の画素領域に対し、互いに重なりのある矩形を検出し、それらの矩形を重ね合わせた図形へと融合する（ステップS15）。互いに重なりのある矩形は、同じ学習済みモデルが検出した矩形であっても、異なる学習済みモデルが検出した矩形であってもよい。

具体的には、各学習済みモデルは、「｛矩形の座標範囲｝×N個」の集合を検出結果として返す。そして、結果選別部 114は、各学習済みモデルの検出結果から対象領域の画素領域を選択する。検出枠融合部115 は、選択後の各学習済みモデルの検出結果である「｛矩形の座標範囲｝×M個（M<=N）」の集合で表される画素領域の和集合を求める。

図６は、矩形の画素領域の融合のようすを示す。図示する例では、検出枠融合部 115は、各学習済みモデルの検出領域の集合の和集合をとることで、矩形411の画素領域と矩形412の画素領域との重なりを検出し、図形 511 へと融合する。例えば、検出枠融合部 115は、１つの画像内で、重なりがある複数の矩形411および矩形412の画素領域を、当該画素領域の枠線を結合（接合）して、１つの図形511の画素領域に融合（統合）する。この結果、融合処理を行わなかった元の矩形も含めて、図形511 、矩形413 、矩形414 および矩形417の4つの図形の画素領域が得られる。

なお、複数の学習済みモデルが同じ画素領域を重複して検出した場合であっても、重複して検出された画素領域の和集合を取った結果は、各学習済みモデルが検出した画素領域とほぼ同じ領域であり、ほぼ同一の面積（範囲）となる。したがって、画素領域の和集合を取ることで、例えば第３の学習済みモデルが白いひび割れの矩形417を正しく検出し、第２の学習済みモデルが矩形417を誤検出した場合であっても、画素領域の和集合を取ることで後述するひび割れ率の算出に影響はない。

以上示したように、道路不具合検出装置 100 の静止画取得部 111 によって得られた静止画群のそれぞれの静止画に対して、ステップS12からステップS15の処理を行うことにより、各静止画に対応する道路の不具合箇所を示す図形（矩形、融合した図形）の画素領域の集合が処理結果として得られる。

次に、道路不具合検出装置 100 の集計部 116 は、前記得られた処理結果に対して、以下に示す手順（式１）によって図形（画素領域）の面積を集計して、区間ごとのひび割れ率を算出する（ステップS16）。

なお、式１の結果は、ひび割れ率を百分率として表すのであれば、得られた数値を１００倍する。

本実施形態では１区間を20mとしたときの、区間ごとのひび割れ率を求めるので、例えば、最初の画像から数えて７枚分の集計を行う。路線長に換算すると21mに相当する。これを踏まえ、集計部 116 は、前記７枚の画像のそれぞれに対して、以下の処理を行う。

ひび割れ率は、道路（走行車線の領域）全体の面積に占めるひび割れ等の不具合を含む画素領域の面積の比率として定義される。そのため、各画像に対して、式１の分母は、以下に示す台形の面積である。すなわち、図５の画像301の場合、下底は画角の下端207、上底は符号 208 で示される画角の下端207 から3m進んだ地点、左辺は走行車線の左端 202、右辺は中央線 203の4辺で規定される台形である。なお、この台形の面積は、カメラの画角が固定されていれば、定数である。

式１の分子には、結果選別部 114が選別した後の、各学習済みモデルが検出した画素領域の集合の和集合の面積の和を用いる。図６の例では、検出枠融合部 115により、複数の矩形411、412の画素領域を融合した図形511の画素領域を用いる。なお、集計部116は、融合前の複数の矩形411、412の画素領域を用いて面積の和を算出し、その後、算出した面積の和から重なり部分を減算してもよい。

集計部116 は、前記分子を前記分母で割ることで、当該画像１枚に対するひび割れ率を求める。すなわち、集計部 116 は、不具合の種類毎に検出された画素領域の和集合の面積の合計を用いて、ひび割れ率を算出する。

なお、この際、画素領域の和集合の面積の合計を用いることは、換言すれば、画素領域の集合の面積の合計を、当該画素領域間の重複を多重計上しないようにしつつ算出することに相当する。そのため、集計部116 は、画素領域の和集合の面積の合計を求めるにあたって、画素領域の和集合を求める代わりに、前記集合の面積を合計して前記重複部分の面積を差し引くことによって、画素領域の和集合の面積の合計を求めてもよい。

集計部 116 は、この処理を前記７枚の画像のそれぞれに対して行い、得られた７つのひび割れ率の平均を求めることで、当該区間に対するひび割れ率を算出する。

集計部 116 は、同様にして、次々に区間ごとのひび割れ率を求める。この際、上記述べたように最初の区間は７枚分の集計を行ったのであるから、次の区間は７枚分、その次の区間は６枚分、の集計をそれぞれ行えば、区間長は最初から数えて２１ｍ、２１ｍ、１８ｍとなるから、合計60mとなり、これを繰り返せば距離の誤差を累積することなく、約20m区間ごとのひび割れ率を次々と算出することができる。なお、本来求めようとする1区間の長さ20mに対して、前記の例では２１ｍもしくは１８ｍの区間長となっており、差異があるが、この差異は区間長にして１割程度と大きくなく、かつ、前記差異が存在する区間に含まれるひび割れが前後いずれの区間に含まれるものとして集計されるかが変わるだけの影響であるため、前記差異が算出結果に与える影響は小さい。

なお、本実施形態では、式１の分母に用いる台形は定数とした。本発明はこれに限るものではなく、車線自動認識の技術を用いて、それぞれの画像における車線幅を画像認識し、認識結果を用いて台形のサイズを画像ごとに変更してもよい。

また、同様に、車線自動認識による車線幅（車道の左端 202および中央線 203で囲まれる領域）の認識結果に基づいて、画像前処理部 112 が行うマスク処理の範囲を画像ごとに変更してもよいし、結果選別部 114 が行う選別処理の範囲を画像ごとに変更してもよい。

あるいは、前記台形を定数とする際、台形の範囲の設定は、車線幅とほぼ同じにしてもよいし、車線幅より狭く、かつ、左右のわだち部（すなわちタイヤの通過部）よりは広い幅に設定してもよい。また特に、異なる種類の道路を走行して撮影した画像を処理対象とする際に、道路の種類が異なることによって車線幅も異なる場合に、もっとも狭い車線幅に合わせて台形の範囲を設定してもよい。

このことは、道路の舗装の点検においてひび割れ率を算出する安価で簡易な方法を提供するに際して、道路の破損がもっとも急激に進行するわだち部を中心として破損状況を把握し数値指標化する必要があるという要請に基づいて定数設定を行うことに相当する。つまり、当該わだち部を中心とする車線範囲を台形範囲として設定しておき、それに伴って車線のぎりぎり端の部分は解析対象外となったとしても実用上は問題がない。これを踏まえて、車線幅が異なる様々な道路を一括して処理対象とするためにもっとも狭い車線幅に合わせて台形を設定したとしても、車の左右のタイヤの間隔は一定であるため道路の種類の違いに起因して当該台形が左右のわだち部より狭い範囲を示すことは起こり得ず、常に前記要請に合致した適切な処理結果を得られるという利点がある。

次に、道路不具合検出装置 100 の枠描画部 117 は、静止画取得部 111 によって得られた静止画群のそれぞれの画像ごとに、各学習済みモデルが検出した結果を上書き描画した画像を生成する（ステップS17）。

図７は、枠描画処理の結果を示す。本実施形態では、枠描画部 117 は、検出された図形の画素領域を取り囲む枠線を描画する。枠描画部 117 は、重なりがある複数の画素領域については、重なり部分の枠を除いて、前記複数の画素領域を1つの枠で描画する。この例では、枠描画部 117 は、ステップS14で選別された図形511、矩形413、矩形414および矩形417の4つの図形にそれぞれ対応する、符号 611 、符号 613 、符号 614および符号617 の枠線を上書き描画した画像601を生成する。

この際、描画の元になる画像としては、検出部113 の入力として用いた画像ではなく、静止画取得部 111 によって得られた画像（図３）を対象とする。これによって、画像前処理部 112 がマスク処理を行う前の画像を利用者に提示できるから、地平線 206 より上の画像も視認することができ、利便性が向上する。

道路不具合検出装置 100 の表示部118 は、以上得られた処理結果を、当該道路不具合検出装置 100が備えるディスプレイの画面に表示する（ステップS18）。

図８は、画面の表示内容を示す。表示部118は、ひび割れ率を算出した各区間に対応する地図上の道路に、ひび割れ率に応じた線81を設定し、表示する。これにより、区間ごとのひび割れ率を可視化することができる。表示部118は、例えば地理情報システムGIS：Geographic Information System）などを用いて、地図上の道路に、ひび割れ率を可視化した線81を設定する。記録媒体101には道路の前方を撮影した動画と、GPSロガー装置により取得した緯度経度の位置情報が記録され、静止画取得部111は、各画像の緯度経度の情報を取得している。表示部118は、緯度経度の情報を用いて各画像の撮影地点および区間を特定し、地図データ上に設定する。なお、地図データは、道路不具合検出装置 100の記憶部（不図示）に保持されている。

図８の画面には、地図が表示され、記録媒体101に記録された動画に対応する部分の道路には、進行方向を示す矢印とともに、区間ごとに算出したひび割れ率に応じた線81が設定されている。

例えば、ひび割れ率をレベル分けし、ひび割れ率が０％〜２０％未満の区間をレベル１、ひび割れ率が２０％〜４０％未満の区間をレベル２、ひび割れ率が４０％〜１００％未満の区間をレベル３とする。そして、表示部118は、各レベルに応じた、それぞれ異なる色、線種、太さなどの態様で、地図上の線81を、20m区間ごと設定する。ここでは、レベル１、レベル２、レベル３を、それぞれを青、緑、赤のように色分けして線分で表示する。図示する例では、符号811の線分がレベル２で、符号812の線分がレベル３であり、それ以外の線81はレベル１である。これにより、利用者は、ひび割れの程度が一目で容易に理解できる。

なお、図示する例では、ひび割れ率に応じた線81を、地図上の道路に設定することとしたが、本発明は線に限定されず、線以外の図形であってもよい。

また、表示部118は、地図上で、不具合を含む画素領域が検出された画像が撮影された位置に、所定の図形（例えばピン82）を設定し、表示する。各区間には6ないし7枚の静止画を含むが、表示部118は、その静止画のうちひび割れなどの不具合を示す画素領域が一定数以上（例えば１つ以上）検出された静止画に対応する緯度経度には、異常地点を示すピン82を表示する。なお、表示部118は、不具合の種類（線状ひび割れ、面状ひび割れ、白いひび割れ、穴など）に応じて、ピン82の形、色、模様などを変えて表示してもよい。

道路不具合検出装置 100 は、マウスやタッチパネルなどのユーザインタフェースを有していてもよく、ピン82がクリックされた場合には、当該地点に対応する検出枠を描画した静止画（図７）を表示してもよい。

本実施形態では、集計部 116 がひび割れ率を算出する際に、式１の台形（撮影時に走行した車線）に完全に含まれている図形だけでなく、一部のみ重なっている図形についても、その図形の面積全体を足しこむこととした。本発明はこれに限るものではなく、一部のみ重なっている図形は足しこまないこととしてもよいし、台形と重なっている部分の面積を算出してその面積を足しこんでもよい。

あるいは、前記一部のみ重なっている図形について、重なり度合いの判断を行い、重なり度合いの大きな図形のみを足しこむこととしてもよい。この際、前記重なり度合いの判断は、当該図形の面積を分母とし、当該図形と台形との重なり部分の面積を分子とし、その比を重なり度合いとして用いてもよい。また、当該判断の基準として、閾値を例えば０．５とし、重なり度合いが閾値を上回る図形の面積を足しこむこととしてもよい。

図９は、比較例と本実施形態の評価結果を示す混同行列である。図示する混同行列は、ある市の道路画像について、学習済みモデルによる検出結果から700枚を無作為抽出して、人が目視で検証した結果を示す。図９（ａ）は、黒い線状ひび割れを検出する第１の学習済みモデルと、黒い面状ひび割れを検出する第２の学習済みモデルとを用いた比較例の混同行列である。図９（ｂ）は、第１の学習済みモデルと、第２の学習済みモデルと、白いひび割れを検出する第３の学習済みモデルを備える本実施形態の検出部113を用いた混同行列である。

TP（True Positive）は、目視でひび割れと判定した判定対象物を学習済みモデルが正しくひび割れと判定できた数である。TN（True Negative)は、目視でひび割れ無しと判定した判定対象外のものを学習済みモデルがひび割れ無しと正しく判定できた数である。FP （False Positive）は、目視でひび割れ無しと判定した判定対象外のものを、学習済みモデルが誤ってひび割れと判定してしまった数である。FN（False Negative)は、目視でひび割れと判定した判定対象物を、学習済みモデルがひび割れと判定できなかった検出漏れの数である。

正解率(Accuracy)は、学習済みモデルが正解した割合である。精度(Precision)は、学習済みモデルがひび割れと判定したうち、目視でひび割れと判定した割合である。再現率(Recall)は、目視でひび割れと判定されたうち、学習済みモデルがひび割れと判定した割合である。

正解率＝（TP+TN）/（TP+TN+FN+FP）
精度 ＝（TP）/（TP+FP）
再現率＝（TP）/（TP+FN）
正解率、精度および再現率の全てにおいて、白いひび割れを検出する第３の学習済みモデルを備える本実施形態（図９（ｂ））の方が、比較例（図９（ａ））よりも向上していることが確認できた。

以上説明した本実施形態の道路不具合検出装置100は、道路を撮影した画像から、道路の不具合を含む画素領域を検出する検出部113と、検出した前記画素領域の面積を用いて、区間ごとの道路の不具合率を算出する集計部116とを有し、検出部113は、白いひび割れを含む不具合の種類毎に前記画素領域を検出し、集計部116は、検出部113が種類毎に検出した画素領域の和集合の面積の合計を用いて、不具合率を算出する。具体的には、検出部113は、種類毎に学習させた学習済みモデルを複数備え、集計部116は、複数の学習済みモデルが検出した画素領域の和集合の面積の合計を用いて、不具合率を算出する。

これにより、本実施形態では、一般的な黒いひび割れとは色彩や明度が全く異なる白いひび割れであっても、高い精度で検出することができる。すなわち、細粒分が流出し、砂がアスファルト表面に浮き出ることにより発生する白いひび割れは、一般的な黒く見える道路のひび割れと視覚上異なる図形となるため、黒いひび割れの教師データを用いて学習させた学習済みモデルでは、白いひび割れをひび割れと認識すること難しい。これに対し、本実施形態では、白いひび割れを含む不具合の種類毎に学習させた学習済みモデルを複数用いることで、白いひび割れを高い精度で検出することでき、これにより道路のひび割れ率（不具合率）の精度を向上することができる。また、白いひび割れを早期に検出し、補修することで、大きな路面の破損の発生を回避することができる。

また、白いひび割れは細粒分の流出は砂がアスファルト表面に付着している状態であることから、白いひび割れと、雨上がりのタイヤ痕あるいは単なる砂がかぶった路面の汚れとの区別が視覚上、極めてつきにくい。このため、教師データとして黒いひび割れと白いひび割れとを一緒に学習させた学習済みモデルの場合、路面の汚れもひび割れとして誤検出してしまうなど、十分な検出精度が得られない可能性がある。また、黒いひび割れと白いひび割れを一緒に学習させることで、黒いひび割れの検出精度に悪影響を及ぼす恐れもある。これに対し、本実施形態では、白いひび割れを含む不具合の種類毎に学習させた学習済みモデルを複数用いることで、他の種類の学習済みモデルに影響を与えることなく、各種類のひび割れの検出精度を高めることができる。

例えば、黒いひび割れに関して様々な学習を施して高精度な学習済みモデルが存在する場合であっても、本実施形態では、当該学習済みモデルの精度に悪影響を及ぼすことなく、白いひび割れを適切に検出可能な学習済みモデルを別途構築し、複数の学習済みモデルで得られた検出結果の和集合の面積の合計を用いることで、白いひび割れを高い精度で検出し、ひび割れ率の精度を向上することができる。

（第２の実施形態）
＜道路損傷判定装置の構成＞
第２の実施形態では、入力画像として、路面性状測定車に搭載したラインカメラで道路の舗装面を上から撮影した画像を扱う。

図１０は、第２の実施形態における道路不具合検出装置100Aの構成を示す。本実施形態の道路不具合検出装置100Aは、画質調整部152、検出部113A、結果選別部114、検出枠融合部115、集計部116、枠描画部117、および、表示部118を備える。図示する道路不具合検出装置100Aは、図１の道路不具合検出装置100の静止画取得部111および画像前処理部112の代わりに、画質調整部152を備える。また、本実施形態の検出部113Aは、不具合の種類毎に異なる分類クラスで学習させた学習済みモデルを用いて不具合を含む画素領域を検出する。

道路不具合検出装置100Aに、SDメモリカードなどの記憶媒体101 を装着し、記憶媒体101に格納されたデータを入力する。本実施形態の記憶媒体101に格納されたデータは、路面性状測定車に搭載したラインカメラで道路の舗装面を上から撮影した横幅4mの連続的な画像を、道路の進行方向に対して5mごとに分割した、複数の画像（静止画）である。すなわち、横4m×縦5mの領域ごとに撮影された複数の画像が道路不具合検出装置100Aに入力される。また、画像の解像度（ドット数）は任意でよく、例えば、横4000ドット×縦5000ドットであってもよい。

ラインカメラでは、道路の進行方向に対して、連続的に画像が撮影される。この連続的な画像のうち、例えば100mの区間の損傷を検出する場合、縦5mごとに区切られた画像20枚を道路不具合検出装置100Aへの入力とする。

なお、本発明はこれに限るものではなく、道路不具合検出装置100Aへの入力は、異なる横幅の画像であってもよいし、進行方向に対して5m以外の固定あるいは可変の長さで分割した画像であってもよいし、画像を90度あるいは180度回転させた画像であってもよい。また、道路不具合検出装置100Aへの入力は、自然光ではなく可視光照明あるいは赤外線照明などの人工照明で撮影した画像であってもよいし、レーザー照射による計測結果を画素に変換して得られた画像であってもよい。また、道路不具合検出装置100 Aへの入出力は、記憶媒体ではなくネットワークを介して行ってもよい。

画質調整部152は、入力された画像（道路画像）の明るさおよびコントラストの少なくとも１つ調整して、画像の画質を調整する。具体的には、画質調整部152は、日陰により、画像の中で進行方向に連続する暗い領域を検出し、前記暗い領域の明るさおよびコントラストの少なくとも１つを、他の領域の明るさまたはコントラストと同じになるように調整する。

検出部113Aは、画質調整部152から出力された画像から、道路の不具合を含む画素領域を検出する。具体的には、検出部113Aは、白いひび割れを含む不具合の種類毎に、不具合を含む画素領域を検出する。本実施形態の検出部113Aは、不具合の種類毎に学習させた学習済みモデルを備える。学習済みモデルは、物体検出ニューラルネットワーク 121 に、パラメータ 122 を与えることで構成される。本実施形態の検出部113Aは、不具合の種類毎に別の分類クラスとして学習させた学習モデルを備える。

不具合の種類には、線状ひび割れ、面状ひび割れ、白いひび割れ（白い線状ひび割れ、白い面状ひび割れ）を含む。不具合の種類に、穴（ポットホール）を含んでもよく、この場合、穴を別の分類クラスとして学習させてもよい。不具合の種類については、第１の実施形態と同様である。

なお、本実施形態の検出部113Aは、白い線状ひび割れと、白い面状ひび割れとを、１つの分類クラスで学習させるが、白い線状ひび割れと、白い面状ひび割れとを別の分類クラスとして学習させてもよい。

また、検出部113Aは、ひび割れおよび穴以外の道路の不具合でない物体を示す画像については、正常な物体を示す画像として、別の分類クラスとして学習させてもよい。例えば、マンホール、路面の汚れ、水濡れ、影、施工ジョイント、パッチング、シール補修跡に対しては、これらは必ずしも道路の不具合とは言えないから、それぞれを表す別の分類クラスとして学習させてもよい。この分類クラスで検出された画素領域については、検出部113Aは、不具合ではないと判定する。

結果選別部114は、検出部113Aが検出した画素領域の中から、走行車線領域に存在する画素領域を選択する。検出枠融合部115は、重なりがある画素領域を融合する。具体的には、検出枠融合部 115は、検出部113A（学習済みモデル）が不具合の種類ごとに検出した画素領域の和集合をとることで重なりがある画素領域を融合する。

集計部 116は、検出部113Aが検出した画素領域の面積を用いて、区間毎の道路のひび割れ率（不具合率）を算出する。具体的には、集計部116は、検出部113Aが不具合の種類毎に検出した画素領域の和集合の面積の合計を用いて、ひび割れ率を算出する。本実施形態では、集計部116は、学習済みモデルの各分類クラスで検出された画素領域の和集合の面積の合計を用いる。

不具合の種類毎に検出した画素領域の和集合の面積は、検出枠融合部 115が融合した後の画素領域の面積であって、重なりがある画素領域の重なり部分を除いた画素領域の面積であってもよい。また、集計部 116は、結果選別部 114が選択した画素領域の和集合の面積の合計を用いて、不具合率を算出してもよい。区間は、ひび割れ率の算出単位であって、以下で説明する本実施形態では5ｍを１区間とする。

枠描画部 117は、画素領域を示す枠を画像に描画し、重なりがある画素領域の重なり部分の枠を除いて描画する。表示部 118は、区間に対応する地図上の道路に、ひび割れ率に応じた図形（例えば線）を設定し、表示する。表示部118は、画素領域が検出された画像が撮影された位置に、所定の図形（例えばピン）を設定した地図を表示し、前記図形が指定されると枠描画部 117により枠が描画された画像を表示する。

＜道路損傷判定装置の動作＞
道路不具合検出装置100 は、記憶媒体 101 に記憶された画像を入力として、以下に述べる動作を行う。

図１１は、道路不具合検出装置100Aの動作を示すフローチャートである。道路不具合検出装置100Aの画質調整部152は、記憶媒体101 に記憶された画像を取得する（ステップS31）。

図１２は、道路不具合検出装置100Aに入力された、以降の処理対象となる画像の一例を示す。画像201は、路面性状測定車に搭載したラインカメラで撮影し、横4m×縦5mの舗装面の領域を示す画像である。図示する画像は、ラインカメラによる撮影なので、道路の舗装面を上から見た映像となっている。画像の上が道路の進行方向である。

図１３は、図１２に対してさらに、説明のための補助線を加筆した図である。縦方向の補助線251と、横方向の補助線252は、いずれも、道路の舗装面の50cm間隔を示している。画像201は、これらの補助線によって、50cm×50cmの正方形において横8個×縦10個に相当する領域に区分される。

車道の左端 202 と中央線 203 に挟まれた領域 204 が、舗装のひび割れなどの損傷を検出する対象であり、走行車線1車線分に相当する。本実施形態では、前記区分領域の左端1列の区分と右端1列の区分を処理対象外とし、中央の6列の区分のみを処理対象とする。

なお、中央の6列の区分のみを処理対象とすることは、実際の車線幅より狭く、かつ、左右のわだち部（すなわちタイヤの通過部）よりは広い幅を処理対象として設定したことに相当する。このことは、道路の破損がもっとも急激に進行するわだち部を中心として道路の破損を検出する必要があるという要請に基づいた処理となっている。すなわち、左端1列の区分および右端1列の区分は、車線のぎりぎり端の部分であって、解析対象外としても実用上は問題がない。このため、本実施形態では、簡易な処理で適切な処理結果を得られるという利点がある。

本発明はこれに限るものではなく、区分する領域は左右あるいは上下に端数サイズを含んでもよいし、あるいは、車線自動認識の技術を用いて、それぞれの画像における車線幅を画像認識し、認識結果を用いて処理対象を自動的に変更してもよい。画像201には、符号211から符号221までの計11個のひび割れ損傷が映っている。

道路不具合検出装置100Aの画質調整部152は、入力された画像の画質を調整する（ステップS32）。例えば、画質調整部152は、明るさ、コントラスト、エッジ強調、ノイズ除去、等の画像処理フィルタを、所定のパラメータで画像に適用する。パラメータは、撮影に用いたラインカメラの特性に応じて、予め定めた値を用いることができる。

なお、本発明はこれに限るものではなく、画質調整部 152は、画像のうちの一部のみに、他の部分とは別のパラメータを用いて画像処理フィルタを適用してもよい。あるいは、画質調整部 152は、画像ごとに自動的にパラメータを調整してもよい。例えば、道路の舗装面または中央線などの道路標示（ペイント）が一定の明るさとなるように、明るさおよびコントラストの値を自動調整して、画像処理フィルタを適用してもよい。なお、元の画像において十分な鮮明さが得られているのであれば、特段の画質調整を行わなくてもよい。

画質調整部152は、日陰により、画像の中で進行方向に連続する暗い領域を検出し、暗い領域の明るさおよびコントラストの少なくとも１つを、他の領域の明るさまたはコントラストと同じになるように調整することで、画質を調整してもよい。例えば、画像のおよそ左半分が日陰のため暗い画像となっており、かつ、右半分が日差しのため明るい画像となっている場合がある。この場合、画質調整部 152は、暗い部分と明るい部分の境目となる垂直線分を自動検出して、それより左側と右側とでそれぞれ画像処理フィルタのパラメータを個別に自動調整したうえで、垂直線分の左側と右側とでそれぞれ個別に画像処理フィルタを適用してもよい。あるいは、画質調整部 152は、左側が明るく右側が暗い画像であっても、同様に処理してもよいし、中央部のみが明るいあるいは暗い画像であっても、同様に処理してもよい。

このようなケースは、自然光を用いて撮影するラインカメラの映像において、撮影に用いた車両自身の影によって左右で大きく明るさ等が異なる画像が進行方向に連続的に取得されるという、通常の写真とは異なる特徴的な様態として頻出する。このため、本実施形態では、そのような入力画像の場合でも高い処理精度を得るための手法として有用である。

図１４は、画質調整前の画像の例を示す。画像の左側261は明るく、画像の右側262は影になっており暗い。この例では、画質調整部 152は、垂直線分として線分265を自動検出して、画像の左側261は道路の路面が十分に明るいから特段の明るさ調整は不要であると自動で判定する。一方、画質調整部 152は、画像の右側262は道路の路面が暗いから、画像の左側261の路面の明るさと同程度の明るさになるように、明るさおよびコントラストを調整してもよい。この際、画質調整部 152は、さらに、路面標示（道路の白線ペイント）202および203が同程度の白さになるように、明るさおよびコントラストを調整してもよい。

図１５は、画質調整前の画像の別の例を示す。この例においては、画像の中央部272が暗く、画面の左側271および画面の右側273が明るい。この例では、画質調整部 152は、暗い部分と明るい部分の境目となる垂直線分として２つの線分275、276を自動検出し、画面全体271を3つの領域に分けて明るさを自動調整する。例えば、画質調整部 152は、画像の左側271および右側273は、道路の路面が十分に明るいから特段の明るさ調整は不要であると自動で判定し、画像の中央部272は道路の路面が暗いから、画像の左側271および右側273における路面の明るさと同程度の明るさになるように、明るさおよびコントラストを調整してもよい。

次に、道路不具合検出装置100Aの検出部 113 Aは、画質調整後の画像に対して、学習済みモデルに基づく検出処理を行い、あらかじめ学習させた物体(不具合)を検出し、物体が検出された場合には、各物体を囲む矩形の画素領域の位置座標を得る（ステップS33）。本実施形態のあらかじめ学習させた物体は、不具合の種類毎に各分類クラスで検出された、線状ひび割れ、面状ひび割れ、白いひび割れ等である。

図１６は、学習済みモデルの検出処理の結果を示す。線状ひび割れの種類の分類クラスでは、符号 211、符号 212、符号 213、符号 216、符号 219および符号 221の線状ひび割れに対して、矩形 411、矩形 412、矩形 413、矩形 416、符号 219および矩形 421を検出し、各矩形の画素領域の位置座標を取得する。面状ひび割れの種類の分類クラスでは、符号 215および符号 218の面状ひび割れに対して、矩形 415および矩形 418を検出し、各矩形の画素領域の位置座標を取得する。白いひび割れの種類の分類クラスでは、符号 214および符号 217の白いひび割れに対して、矩形 414および矩形 417を検出し、各矩形の画素領域の位置座標を取得する。なお、矩形415の画素領域と矩形416の画素領域は、重なりあっている。

次に、道路不具合検出装置100Aの結果選別部 114 は、前記得られた矩形の画素領域のうち、検出対象の領域 204 に含まれる矩形の画素領域のみを選別する（ステップS34）。図１６に示す例では、全ての矩形の画素領域は領域 204 の範囲に含まれるため、すべての矩形の画素領域が選別される。

次に、道路不具合検出装置100Aの検出枠融合部115 は、選別された矩形の画素領域に対し、互いに重なりのある矩形を検出し、それらの矩形を重ね合わせた図形へと融合する（ステップS35）。互いに重なりのある矩形は、学習済みモデルの同じ分類クラスで検出された矩形であっても、異なる分類クラスで検出された矩形であってもよい。

具体的には、各分類クラスは、「｛矩形の座標範囲｝×N個」の集合を検出結果として返す。そして、結果選別部 114は、各分類クラスの検出結果から対象領域の画素領域を選択する。検出枠融合部 115 は、各分類クラスの選択後の「｛矩形の座標範囲｝×M個（M<=N）」の集合の和集合を求める。

図１６では、検出枠融合部 115は、選択後の各学習済みモデルの検出領域の集合の和集合をとることで、矩形415の画素領域と矩形416の画素領域との重なりを検出し、これらの矩形を融合する。検出枠融合部 115の処理は、第１実施形態と同様であるため、ここでは詳細な説明を省略する。この結果、融合処理を行わなかった元の矩形も含めて、矩形411、矩形412、矩形413、矩形414、矩形417、矩形418、矩形419、矩形420、矩形421 、矩形415と矩形416とを融合した図形の計10の図形の画素領域が得られる。

以上示したように、道路不具合検出装置100 Aに入力されたそれぞれの画像に対して、ステップS12からステップS15の処理を行うことにより、各画像に対応する道路の不具合箇所を示す図形（矩形、融合した図形）の画素領域の集合が処理結果として得られる。

次に、道路不具合検出装置100Aの集計部 116 は、前記得られた処理結果に対して、以下に示す手順（式２）によって図形（画素領域）の面積の合計を用いて、区間ごとのひび割れ率を算出する（ステップS36）。

なお、式２の結果は、ひび割れ率を百分率として表すのであれば、得られた数値を１００倍する。

本実施形態では１区間を5mとしたときの、各区間のひび割れ率を求めるので、それぞれの入力画像ごとに集計を行えばよい。ひび割れ率は、道路（走行車線の領域）全体の面積に占める、ひび割れ等の不具合を含む画素領域の面積の比率として定義される。式２の分子は、結果選別部114が選別した後の、各分類クラスで検出された画素領域の和集合の面積である。また、式１の分母は、検出領域の面積であり、横3m×縦5m、ドット数で表せば横3000ドット×縦5000ドットの面積である。

なお、本実施形態では、１区間を5mとした。本発明はこれに限るものではなく、例えば1区間を20mとして、4つの入力画像に対して式1の計算を行ったのち、得られた4つのひび割れ率の平均値を求めてもよい。あるいは、1区間を1mとして、1つの入力画像をさらに横方向（横長画像）に5分割して、分割後の横3m×縦1mに相当する5枚の画像それぞれに対して式２の計算を行ってもよい。

本実施形態では、式２を用いてひび割れ率を算出した。本発明はこれに限るものではなく、メッシュ法を適用してひび割れ率を算出してもよい。具体的には、例えば、入力画像を50cm×50cmのメッシュに区切り、式１の分子を「Σ（不具合を含むメッシュの面積）」とし、ステップS33で得られたひび割れを囲む画素領域が全部もしくは一部を覆うメッシュを「不具合を含むメッシュ」と見なし、当該メッシュの面積を足しこむことによって分子を計算して、ひび割れ率を算出してもよい。

次に、道路不具合検出装置100Aの枠描画部 117 は、画質調整部 152の処理結果として得られた画像に対して、学習済みモデルが検出した結果を上書き描画した画像を生成する（ステップS37）。

図１７は、ひび割れに関する枠描画処理の結果の画像を示す。本実施形態では、枠描画部 117 は、ひび割れの検出結果に関して、検出された図形の画素領域を取り囲む枠線を描画する。枠描画部 117 は、重なりがある複数の画素領域については、重なり部分の枠を除いて、前記複数の画素領域を1つの枠で描画する。

この例では、枠描画部 117 は、ステップS34で選別された矩形411〜矩形414、矩形415と矩形416とを融合した図形、矩形417〜矩形421 の10の図形にそれぞれ対応する、符号611〜符号614、符号615、符号617〜符号621
の枠線を上書き描画した画像601を生成する。

道路不具合検出装置100Aの表示部118 は、以上得られた処理結果を、当該道路不具合検出装置100Aが備えるディスプレイの画面に表示する（ステップS38）。表示部118は、ひび割れ率を算出した各区間に対応する地図上の道路に、ひび割れ率に応じた線81を設定し、表示する（図８参照）。これにより、区間ごとのひび割れ率を可視化することができる。なお、表示部118の処理については、第１の実施形態と同様であるため、ここでは説明を省略する。

以上説明した本実施形態の道路不具合検出装置100Aは、検出部113Aは、種類毎に別の分類クラスとして学習させた学習済みモデルを備え、集計部116は、学習済みモデルの各分類クラスで検出された画素領域の和集合の面積の合計を用いて、不具合率を算出する。

これにより、本実施形態では、第１の実施形態と同様に、一般的な黒いひび割れとは色彩や明度が全く異なる白いひび割れであっても、高い精度で検出することができる。すなわち、本実施形態では、白いひび割れを含む不具合の種類毎に別の分類クラスとして学習させた学習済みモデルを用いることで、白いひび割れを高い精度で検出することでき、これにより道路のひび割れ率（不具合率）の精度を向上することができる。

また、本実施形態では、白いひび割れを含む不具合の種類毎に別の分類クラスで学習させた学習済みモデルを用いることで、他の種類の分類クラスと明確に区分して学習を行わせることができ、各種類のひび割れの検出精度を高めることができる。

例えば、黒いひび割れに関して様々な学習を施せるだけの十分に潤沢な教師データが存在する場合で、白いひび割れに関しても十分に潤沢な教師データが存在する場合、これらを別の分類クラスで学習させて単一の学習モデルを得る。このような学習モデルを用いることで、黒いひび割れの分類クラスの検出精度を十分に高くしつつ、黒いひび割れとは明確に区分された白いひび割れの分類クラスの検出精度も同様に高くし、これら複数の分類クラスで得られた検出結果の和集合の面積の合計を用いることで、ひび割れ率の精度を向上することができる。各分類クラスで学習させる教師データの数を同程度にする（複数の分類クラスの間で教師データ数の偏りをなくす）ことで、高い精度の学習済みモデルを生成することができる。

なお、黒いひび割れに関して様々な学習を施して高精度な学習済みモデルが存在する場合、白いひび割れを別の分類クラスで学習させてもよい。

（ハードウェア構成）
本実施形態の装置はコンピュータとプログラムによっても実現でき、プログラムを記録媒体に記録することも、ネットワークを通して提供することも可能である。具体的には、上記説明した道路不具合検出装置100、100Aには、例えば、CPU（Central Processing Unit、プロセッサ）と、メモリと、ストレージ（HDD：Hard Disk Drive、SSD：Solid State Drive）と、通信装置と、入力装置と、出力装置とを備える汎用的なコンピュータシステムを用いることができる。このコンピュータシステムにおいて、CPUがメモリ上にロードされた道路不具合検出装置100、100A用のプログラムを実行することにより、道路不具合検出装置100、100Aの各機能が実現される。また、道路不具合検出装置100、100A用のプログラムは、HDD、SSD、USBメモリ、CD-ROM、DVD-ROM、MOなどのコンピュータ読取り可能な記録媒体に記憶することも、ネットワークを介して配信することもできる。

また、本発明は上記実施形態および変形例に限定されるものではなく、その要旨の範囲内で数々の変形が可能である。

例えば、第１の実施形態では、走行する車から道路の前方または後方を撮影した画像を入力画像とし、検出部113は、不具合の種類毎に学習させた複数の学習済みモデルを備えることとした。第２の実施形態では、ラインカメラで道路を上から撮影した画像を入力画像とし、検出部113Aは、不具合の種類毎に別の分類クラスで学習させた学習済みモデルを備えることとした。本発明は、第１の実施形態と第２の実施形態とを組み合わせてもよい。すなわち、第１の実施形態の道路の前方または後方を撮影した入力画像に対して、第２の実施形態の検出部113Aを用いてもよいし、第２の実施形態の道路を上から撮影した入力画像に対して第１の実施形態の検出部113を用いてもよい。

また、本実施形態では、道路不具合検出装置100 、100Aが表示部 118 を具備する。本発明はこれに限るものではなく、表示部118を別装置としてもよい。また、道路不具合検出装置100、100Aが処理した結果のデータを、ネットワークまたは記録媒体を通じて表示装置に入力してもよい。また、道路不具合検出装置100、100Aは、表示部118を持たず、処理結果の画像ないし検出結果のデータを出力してもよい。特に、道路不具合検出装置100、100Aは、ひび割れ率の検出結果を、CSVあるいはJSONあるいは表として出力してもよい。

100、100A：道路不具合検出装置
111 ：静止画取得部
112 ：画像前処理部
113、113A：検出部
114 ：結果選別部
115 ：検出枠融合部
116 ：集計部
117 ：枠描画部
118 ：表示部
122 ：パラメータ
123 ：物体検出ニューラルネットワーク
152 ：画質調整部

Claims (5)

1. 道路不具合検出装置であって、
   道路を撮影した画像から、道路の不具合を含む画素領域を検出する検出部と、
   検出した前記画素領域の面積を用いて、区間ごとの道路の不具合率を算出する集計部と、を有し、
   前記検出部は、白いひび割れを含む不具合の種類毎に、前記画素領域を検出し、
   前記集計部は、前記検出部が前記種類毎に検出した前記画素領域の和集合の面積の合計を用いて、前記不具合率を算出すること
   を特徴とする道路不具合検出装置。
2. 請求項１に記載の道路不具合検出装置であって、
   前記検出部は、前記種類毎に学習させた学習済みモデルを複数備え、
   前記集計部は、複数の前記学習済みモデルが検出した画素領域の和集合の面積の合計を用いて、前記不具合率を算出すること
   を特徴とする道路不具合検出装置。
3. 請求項１に記載の道路不具合検出装置であって、
   前記検出部は、前記種類毎に別の分類クラスとして学習させた学習済みモデルを備え、
   前記集計部は、前記学習済みモデルの各分類クラスで検出された画素領域の和集合の面積の合計を用いて、前記不具合率を算出すること
   を特徴とする道路不具合検出装置。
4. 道路不具合検出装置が行う道路不具合検出方法であって、
   道路を撮影した画像から、道路の不具合を含む画素領域を検出する検出ステップと、
   検出した前記画素領域の面積を用いて、区間ごとの道路の不具合率を算出する集計ステップと、を行い、
   前記検出ステップは、白いひび割れを含む不具合の種類毎に、前記画素領域を検出し、
   前記集計ステップは、前記検出ステップで前記種類毎に検出した前記画素領域の和集合の面積の合計を用いて、前記不具合率を算出すること
   を特徴とする道路不具合検出方法。
5. 請求項１ないし３のいずれかに記載の道路不具合検出装置として、コンピュータを機能させること、を特徴とする道路不具合検出プログラム。

Images