JP7046279B1 - ひび割れ検出装置、ひび割れ検出方法及びひび割れ検出プログラム - Google Patents

Abstract

本開示技術に係るひび割れ検出装置は、画像処理部を備えるひび割れ検出装置であって、画像処理部は、調査対象である舗装の表面が撮影された可視画像を複数の矩形ブロックに分割し設定し、可視画像の背景輝度値と複数の矩形ブロックのそれぞれの輝度の平均値及び標準偏差とに基づいて、複数の矩形ブロックのそれぞれに対応した舗装の路面種別及び骨材粒度を判定し、判定した路面種別及び骨材粒度により二値化処理に用いる閾値を決定し、可視画像に閾値を用いた二値化処理を施してひび割れ検出を行う。

Description

本開示技術は、舗装道路のひび割れ検出装置、ひび割れ検出方法及びひび割れ検出プログラムに関する。

アスファルト舗装道路及びコンクリート舗装道路の調査及び試験の技術分野において、舗装の損傷を定量的に評価する指標として、ひび割れ率が用いられている。

ひび割れ率は、舗装道路の調査対象区画面積に対するひび割れ面積の比率のことを指すが、具体的な算出は、以下の考え方により行われる。調査対象である路面は、縦横０．５ｍのます目状に区画割りされる。各区画は、表面の状態が観測され、ひび割れ検出が行われる。ひび割れ検出されたひび割れ面積は、対象の区画にひび割れが１本あれば６割、ひび割れが２本以上あれば１０割と面積換算し、全ての矩形ブロックについての結果を合計して求める。

従来、ひび割れ率の調査は、人間が手作業で路面のひび割れをスケッチして計算を行っていたため、膨大な労力となっていた。最近では、ひび割れ率調査の半自動化及び自動化に関する技術も、開示されてきた。

自動化された検出装置によるひび割れ調査の技術には、例えば、調査対象の表面が撮影された可視画像に二値化処理を施しひび割れを検出するものがある（特許文献１）。

特開２０１８－８７４８４号公報。

自動化によるひび割れ率調査は、人間が手作業で行ったひび割れ率調査と結果がすべて一致するこが望ましい。すなわち、ひび割れ率調査におけるひび割れ検出において、自動化された検出装置の評価と人間の評価とが相違しないことが重要である。しかし、現状の自動化された検出装置は、人間の手作業による評価と一致しない部分があり、問題となっている。特にアスファルト舗装の調査において、骨材をひび割れと誤検出してしまう場合があった。

本開示技術は、上記課題を解決し、アスファルト舗装の骨材をひび割れと誤検出しないひび割れ検出装置を提供することを目的とする。

本開示技術に係るひび割れ検出装置は、データ記録部と画像処理部とを備えるひび割れ検出装置であって、データ記録部は、舗装の路面種別に輝度の平均値及び標準偏差が記録され、画像処理部は、調査対象である舗装の表面が撮影された可視画像を複数の矩形ブロックに分割し設定し、可視画像の背景輝度値と複数の矩形ブロックのそれぞれの輝度の平均値及び標準偏差とを、データ記録部に記録されている輝度の平均値及び標準偏差と比較し、一定以上の確からしさでマッチしたと判断したときに複数の矩形ブロックのそれぞれに対応した舗装の路面種別を判定し、判定した結果、路面種別がアスファルト舗装の場合、アスファルト舗装に使用されている骨材の粒度範囲を算出し、判定した路面種別及び算出した骨材の粒度範囲により二値化処理に用いる閾値を決定し、可視画像に閾値を用いた二値化処理を施してひび割れ検出を行う。

本開示技術によるひび割れ検出装置は、舗装の表面が撮影された可視画像の背景輝度値と設定した複数の矩形ブロックのそれぞれの輝度の平均値及び標準偏差とに基づいて、舗装の路面種別及び骨材粒度を判定する。判定された路面種別及び骨材粒度により、骨材とひび割れとを区別する二値化処理における閾値を決定するこができるため、アスファルト舗装の骨材をひび割れと誤検出しないひび割れ検出装置を提供することができる。

実施の形態１に係るひび割れ検出装置の構成を示した機能ブロック図である。 実施の形態１に係るひび割れ検出方法のフローを示したフローチャートである。 画像処理における注目画素と周辺画素との関係を表した模式図その１である。 画像処理における注目画素と周辺画素との関係を表した模式図その２である。 画像処理における注目矩形ブロックと周辺矩形ブロックとの関係を表した模式図その１である。 画像処理における注目矩形ブロックと周辺矩形ブロックとの関係を表した模式図その２である。 実施の形態２に係るひび割れ検出装置の構成を示した機能ブロック図である。 実施の形態２に係るひび割れ検出方法のフローを示したフローチャートである。 実施の形態２に係るひび割れ検出装置において、領域拡張の考え方を示した模式図である。 実施の形態２に係るひび割れ検出装置において、領域統合の考え方を示した模式図である。 可視画像と本開示技術によるひび割れ検出結果を示した例のその１の可視画像である。 可視画像と本開示技術によるひび割れ検出結果を示した例のその１のひび割れ画像である。 可視画像と本開示技術によるひび割れ検出結果を示した例のその１の比較従来例の画像である。 可視画像と本開示技術によるひび割れ検出結果を示した例のその２の可視画像である。 可視画像と本開示技術によるひび割れ検出結果を示した例のその２のひび割れ画像である。 可視画像と本開示技術によるひび割れ検出結果を示した例のその２の比較従来例の画像である。 本開示技術に係るひび割れ検出装置のハードウェア構成の一例を示す図その１である。 本開示技術に係るひび割れ検出装置のハードウェア構成の一例を示す図その２である。 可視画像に対して輝度のヒストグラムの平坦化を実施する前の状態を示した簡単な具体例である。 可視画像に対して輝度のヒストグラムの平坦化を実施した後の状態を示した簡単な具体例である。 舗装のタイプごとの画像特徴量とひび割れ領域の輝度の範囲を表した模式図である。

実施の形態１．
図１は、実施の形態１に係るひび割れ検出装置の構成を示した機能ブロック図である。図１に示すように、本開示技術によるひび割れ検出装置１０は、画像処理部１、可視画像入力部２、データ記録部３、データ出力部４、及び画像出力部５を備える。

ひび割れ検出装置１０の画像処理部１は、判定路面画像生成部１０２、白線検出部１０３、画像特徴量算出部１０４、路面種別判定部１０５、二値化部１０６、及びデータ生成部１１０を備える。

ひび割れ検出装置１０は、対象物の表面を撮影した可視画像に基づいて、対象物の表面におけるひび割れ領域を検出する。対象物の一例は、アスファルト舗装の路面である。可視画像は、ひび割れ検出装置１０の可視画像入力部２に入力され、画像処理部１で画像処理され、画像処理部１にてひび割れ情報とひび割れ画像とが生成される。画像処理部１で処理するデータは、その全部又は一部がデータ記録部３に記録される。画像処理部１で生成されたひび割れ情報とひび割れ画像とは、それぞれデータ出力部４と画像出力部５とを介して出力される。画像処理部１の詳細な処理は、後に明らかにされる。

図２は、実施の形態１に係るひび割れ検出方法のフローを示したフローチャートである。ひび割れ検出装置１０の処理は、図１及び図２によって明らかにされる。実施の形態１に係るひび割れ検出方法は、可視画像入力部２を介して行う可視画像の入力ステップ（ＳＴ１）と、判定路面画像生成部１０２が行う判定路面画像の生成ステップ（ＳＴ２）、及び背景輝度値と判定路面画像の特徴量の算出ステップ（ＳＴ３）と、白線検出部１０３が行う白線領域の抽出ステップ（ＳＴ４）と、画像特徴量算出部１０４が行う背景輝度値と各矩形ブロックの特徴量の算出ステップ（ＳＴ５）と、二値化部１０６が行う二値化処理ステップ（ＳＴ６）、及びひび割れ画像の生成ステップ（ＳＴ１２）と、データ生成部１１０が行うひび割れ情報の生成ステップ（ＳＴ１０）と、データ出力部４を介して行うひび割れ情報の出力ステップ（ＳＴ１１）と、画像出力部５を介して行うひび割れ画像の出力（ＳＴ１３）と、を有する。

ひび割れ検出装置１０は、可視画像入力部２を介してひび割れ検出の調査対象である舗装の表面が撮影された可視画像が入力される（可視画像の入力ステップ（ＳＴ１））。

画像処理部１に入力された可視画像は、画像処理部１の判定路面画像生成部１０２において、画素データが集計され、輝度等のヒストグラム及び累積ヒストグラムが計算される。判定路面画像生成部１０２は、画素データ中の輝度の累積ヒストグラムにおいて、プロットを結んだグラフの傾きが一定となるように、可視画像の輝度値を補正する。このような輝度補正は、輝度のヒストグラム平坦化、若しくは輝度の正規化と呼ばれる（ここでは以降、「輝度のヒストグラム平坦化」という）。輝度がヒストグラム平坦化された可視画像は、判定路面画像とよぶ。判定路面画像生成部１０２は、この判定路面画像を生成する（判定路面画像の生成ステップ（ＳＴ２））。

図１１は、画像に対して輝度のヒストグラムの平坦化を実施した簡単な具体例である。図１１－１は、モノクロの可視画像、可視画像の輝度のヒストグラム、及び可視画像の輝度の累積ヒストグラムを示した例である。図１１－２は輝度のヒストグラム平坦化を施した可視画像、ヒストグラム平坦化後の輝度のヒストグラム、及びヒストグラム平坦化後の輝度の累積ヒストグラムを示したものである。
このように、画像の輝度のヒストグラム平坦化は、大量のカラー画像を処理する場合に、明るい画像と暗い画像とを統一的に扱うことができる、という効果を奏する。また、画像の輝度のヒストグラム平坦化は、輝度が最小の真っ黒な画素から輝度が最大の真っ白な画素まで満遍なく出現するよう画素の値を調整するため、ヒストグラム平坦化後の画像のコントラストが強調され、はっきりした画像になる効果もある。

カラー画像の輝度のヒストグラム平坦化は、より具体的には以下の手順で行われる。カラー画像の各画素は、一般に色情報として光の三原色である赤（ＲＥＤ）、緑（ＧＲＥＥＮ）、青（ＢＬＵＥ）のＲＧＢ情報で表されている。このＲＧＢ情報は、色相（ＨＵＥ）、彩度（ＳＡＴＵＲＡＴＩＯＮ）、及び輝度（ＶＡＬＵＥ）のＨＵＶ情報に変換できる。判定路面画像生成部１０２は、入力された可視画像をＲＧＢからＨＵＶ変換を行い、輝度（Ｖ）についてのヒストグラム平坦化を行う。

ひび割れ検出装置１０は、計算した可視画像の画素データの輝度のヒストグラムから、いろいろな情報を得ることができる。ひび割れ検出装置１０は、「同じ素材は、同じ輝度で写る」という性質をうまく利用する。例えば、当該可視画像が、骨材とバインダーから成るアスファルト舗装の路面の画像である場合を考える。可視画像の中で、最も面積を有しているものがバインダーであれば、そのバインダーの輝度のヒストグラムにピークが出現する。また、画像において、輝度のヒストグラムで階級が最大となるピークの輝度値を、背景輝度値と呼ぶ。

ひび割れ検出装置１０は、可視画像のほか、リファレンス画像として、可視画像を撮影したときと同じカメラ条件で、例えば白と黒のボード、若しくはあらかじめ決められた色パターンが記されたボードを撮影した画像を使用してもよい。このリファレンス画像は、可視画像と同様に可視画像入力部２を介して入力される。リファレンス画像は、カメラの技術分野において行われているホワイトバランスの処理を、事後的に可視画像へ適用するために用いてもよい。

判定路面画像は、背景輝度値によって基底化される。言い換えれば、判定路面画像は、背景輝度値によって、各画素の輝度（Ｖ）の平均値と標準偏差とが調整される。この基底化は、可視画像が撮影された日の天候、時間帯、カメラ及びレンズの性能差などによる外的な環境要因をできる限り排除する、という効果を奏するために行う。基底化された前記判定路面画像は、画素データが集計され、ヒストグラムが算出される。

一般に、舗装路面の画像を処理した場合、ヒストグラムには複数のピークが生じる。ヒストグラムにおけるピークは、前述のバインダー部分のほか、例えば、アスファルト舗装に用いられる各種骨材を表している。具体的には、ヒストグラムのいずれかにピークがあれば、そのピークはアスファルト舗装の骨材を表す、といったものである。ヒストグラムのパターンや特徴量は、判定路面画像生成部１０２において、判定路面画像の特徴量としてデータ記録部３に記録される（背景輝度値と判定路面画像の特徴量の算出ステップ（ＳＴ３））。
ここで判定路面画像の特徴量の算出は、モノトーン画像の処理方法である輝度（Ｖ）のヒストグラムを用いる方法のほか、ＲＧＢごとのヒストグラムを用いる方法、又はＨＵＶごとのヒストグラムを用いる方法がある。

基底化された判定路面画像は、白線検出部１０３において白線部分が検出される。白線部分とは、いわゆる道路のセンターラインなどの白線に相当する部分をいう。ひび割れ検出装置１０は、二値化処理によって白線を検出するための輝度の閾値について、その候補値及び範囲をあらかじめ用意している。ひび割れ検出装置１０は、白線検出部１０３において、前述の算出された輝度（Ｖ）のヒストグラムから、白線に対応するピークを確定する。さらにひび割れ検出装置１０は、白線検出部１０３において、前記閾値を、白線を表すピークとそれ以外とが分かれるように前記範囲の中で調整する。

調整された閾値は、白線検出用輝度値として決定される。基底化された判定路面画像は、白線検出部１０３において、この白線検出用輝度値を用いて二値化され、輝度（Ｖ）の高い部分が白線領域として抽出される（白線領域の抽出ステップ（ＳＴ４））。

白線検出部１０３は、画像の白線領域をクリッピングし、以降の画像処理の影響を受けないようにする。その方法は、例えば白線領域と判定された箇所について、その箇所が白線であることを示すビットを該当画素に立てる方法が考えられる。
白線検出部１０３は、白線領域と判定された箇所の画素値ＨＵＶに（０，０，０）を入力し、白線領域と白線領域以外の領域とを示した画像を作成し、白線検出結果画像としてデータ記録部３に記録する。白線領域の画素値ＨＵＶに代入する値は、（０，０，０）の代わりに、それぞれの最大値、例えば8bit画像であれば（２５５，２５５，２５５）であってもよい。ようは、ひび割れ検出装置１０は、白線領域と白線領域以外の領域とを示せる画像を作成し、それを白線検出結果画像としてデータ記録部３に記録する。
ひび割れ検出装置１０は、白線検出結果画像を、画像出力部５を介して出力することができる。

白線領域の抽出は、細かい雑音を除去するための平滑化フィルタを施すことが望ましい。白線領域の抽出がなされ白線領域が除かれた画像は、路面種別を判定するため、複数の矩形の領域に適宜な大きさで分割される。分割された複数の矩形の領域は、それぞれ「判定用矩形領域」と呼ぶ。

複数の判定用矩形領域の画像は、ひび割れ検出装置１０の画像特徴量算出部１０４において、それぞれの画像ごとに背景路面輝度、及び領域全体の輝度（Ｖ）の平均値及び標準偏差が算出される。ここで、背景路面輝度とは、判定用矩形領域における路面の非着目部分の輝度、例えばアスファルト舗装のバインダー部分の輝度をいう。これら背景路面輝度、及び領域全体の輝度（Ｖ）の平均値及び標準偏差は、ここではまとめて判定用矩形領域の画像特徴量とよぶ。
ひび割れ検出装置１０の画像特徴量算出部１０４は、それぞれの判定用矩形領域をさらに複数の矩形ブロックに分割する。ひび割れ検出装置１０は、複数の矩形ブロックの画像のそれぞれについて、背景路面輝度から、矩形ブロックごとの画像の基底化を行う。矩形ブロックごとに画像の基底化を行うことは、矩形ブロック間での撮影条件の差、例えば日向と日蔭との差をなくすという効果を奏する。
分割された複数の矩形ブロックの画像は、画像特徴量算出部１０４において、それぞれ画像特徴量が算出される（背景輝度値と各矩形ブロックの特徴量の算出ステップ（ＳＴ５））。
なお、矩形ブロックの大きさは、ひび割れ率調査において調査対象路面を縦横０．５ｍのます目状に区画割りされた区画に合わせることが望ましい。なお、矩形ブロックは、ひび割れ率調査における区画をさらに分割した領域としてもよい。また、矩形ブロックは、入力された可視画像の解像度に応じて、大きさを変えてもよい。

ひび割れ検出装置１０は、路面種別判定部１０５において、複数の判定用矩形領域の画像及び複数の矩形ブロックの画像のそれぞれごとに算出された画像特徴量から、画像の対象がアスファルト舗装なのかコンクリート舗装なのかの路面種別を判定する。さらに、画像の対象がアスファルト舗装であった場合、ひび割れ検出装置１０は、路面種別判定部１０５において、アスファルト舗装に使用されている骨材の粒度範囲を算出する。
ひび割れ検出装置１０は、路面種別判定部１０５において、判定された路面種別及び算出した骨材の粒度範囲から、ひび割れ抽出用の閾値を、矩形ブロックごとに決定する。

具体的には、ひび割れ検出装置１０は、あらかじめ、舗装のタイプごとに画像特徴量と典型的なひび割れの輝度の範囲とを、データ記録部３に記録している。図１２は、舗装のタイプごとの画像特徴量とひび割れ領域の輝度の範囲を表した模式図である。例えば、舗装のタイプをタイプＡのアスファルト舗装の場合、ひび割れの輝度の範囲が１０～１５であったとする。画像特徴量算出部１０４において、算出された画像特徴量が、データ記録部３に記録しているタイプＡのアスファルト舗装の画像特徴量と一定以上の確からしさでマッチすると判断すれば、ひび割れ抽出用の閾値は、下限閾値が１０、上限閾値が１５として、後述する二値化処理の閾値として用いる。

複数の矩形ブロックの画像は、ひび割れ検出装置１０の二値化部１０６において、矩形ブロックごとに決定されたひび割れ抽出用の閾値を用いて二値化処理される（二値化処理ステップ（ＳＴ６））。前述のタイプＡの例で言えば、矩形ブロックの画像の画素データにおいて、輝度（Ｖ）が１０～１５である箇所は、ひび割れと検出される。

複数の矩形ブロックの画像は、いわゆるかすれを軽減するたに、二値化処理の前処理として、８近傍平均、３×３ガウシアンフィルタ、その他一般に使用されている画像をぼかす処理を適宜施してもよい。画像をぼかす処理は、周辺画素の範囲を隣接した画素に限定する必要はない。図３－１は、注目画素に対して周辺の２０×２０の画素を周辺画素と定義した場合の、図３－２は、注目画素に対して半径が１０画素分の円内の画素を周辺画素と定義した場合の、それぞれイメージ図である。

図３が注目画素と周辺画素との関係を表したものであるのに対し、図４は、注目矩形ブロックと周辺矩形ブロックとの関係を表したものである。前述の矩形ブロックごとに行った画像の基底化の処理は、矩形ブロックごとの条件差をなくすために行うものであるが、画素に対して施す８近傍平均又は３×３ガウシアンフィルタの処理を、矩形ブロック単位に拡張して実施し、同様の効果を得るようにしてもよい。図４－１は、５×５の矩形ブロックを参照矩形ブロックと定義した場合の、図４－２は、９×９の矩形ブロックを参照矩形ブロックと定義した場合の、それぞれイメージ図である。

ひび割れ抽出用の閾値によって二値化処理された画像は、二値化部１０６において、ひび割れ画像として生成される（ひび割れ画像の生成ステップ（ＳＴ１２））。ひび割れ画像は、画像出力部５を介して出力される（ひび割れ画像の出力（ＳＴ１３））。

ひび割れ抽出用の閾値によって二値化処理された画像は、ひび割れ検出装置１０のデータ生成部１１０において、ひび割れの本数がカウントされ、ひび割れ情報として生成される（ひび割れ情報の生成ステップ（ＳＴ１０））。ひび割れ情報は、データ出力部４を介して出力される（ひび割れ情報の出力ステップ（ＳＴ１１））。

以上のとおり、実施の形態１に係るひび割れ検出装置１０は、舗装の表面が撮影された可視画像の背景輝度値と設定した複数の矩形ブロックのそれぞれの輝度の平均値及び標準偏差とに基づいて、舗装の路面種別及び骨材粒度を判定する。判定された路面種別及び骨材粒度により、骨材とひび割れとを区別する二値化処理における閾値を決定するこができるため、アスファルト舗装の骨材をひび割れと誤検出しないひび割れ検出を実現することができる。

実施の形態２．
実施の形態２に係るひび割れ検出装置１０は、実施の形態１に係るひび割れ検出装置１０の構成に加え、ひび割れ領域判定部１０７、ひび割れ領域統合部１０８、及びひび割れ領域生成部１０９を備える。図５は、実施の形態２に係るひび割れ検出装置１０の構成を示した機能ブロック図である。

実施の形態２に係るひび割れ検出方法は、実施の形態１に係るひび割れ検出方法の処理ステップに加え、ひび割れ領域判定部１０７が行うひび割れ候補輪郭の抽出ステップ（ＳＴ７）、及び輪郭とその周辺の特徴量によるひび割れ領域判定ステップ（ＳＴ８）と、ひび割れ領域統合部１０８が行うひび割れ領域の統合判定ステップ（ＳＴ９）との処理ステップを有する。図６は、実施の形態２に係るひび割れ検出方法のフローを示したフローチャートである。

ところで、自動化されたひび割れ検出は、アスファルト舗装の骨材のうち大きなもの（以下、「粗骨材」とよぶ）及び色が濃いものをひび割れと誤検出してしまうことがあった。そこで、ひび割れ検出処理を行う前に、画像におけるアスファルト舗装の粗骨材を検出しておき、ひび割れの候補から排除することが考えられる。

粗骨材検出は、実施の形態１で示した白線領域の検出処理と同様に、粗骨材検出用の輝度閾値を用いて画像の二値化処理をすればよい。また、白線領域の検出処理と同様、粗骨材領域と判定された箇所について、その箇所が粗骨材であることを示すビットを該当画素に立てる方法が考えられる。

粗骨材領域を示す二値化の画像は、さらにモルフォロジークロージング処理を施すことにより複数に分かれた骨材の孤立領域を統合することが考えられる。このようにモルフォロジークロージング処理を施すことは、ひび割れ以外と認識している部分を広げ、ひび割れの誤検出をより防ぐ効果を奏する。

ひび割れ以外と認識している部分を広げる方法として、外接円を使う方法も考えられる。図７－１は、外接円を用いた領域の拡張方法を示す模式図である。粗骨材領域を示す二値化の画像において、図７の領域Ａ１及び領域Ａ２が粗骨材領域と判定された領域であったとする。図７－１に示したとおり、領域Ａ１及び領域Ａ２それぞれの外接円の内部の領域すべてに対して、その箇所が粗骨材であることを示すビットを立ててもよい。外接円を使う方法により領域を広げることは、ひび割れ以外と認識している部分を広げ、ひび割れの誤検出をより防ぐ効果を奏する。

粗骨材検出に用いる閾値は、実施の形態１で示した路面種別判定部１０５で求めた骨材粒度の情報を用いることができる。これにより、実施の形態２に係るひび割れ検出装置１０は、細粒度やポーラスアスファルトにおける骨材によるひび割れ誤検知を軽減することができる。

ところで、背景技術で説明したとおり、ひび割れ検出におけるひび割れ面積は、対象の区画にひび割れが１本あれば６割、ひび割れが２本以上あれば１０割と面積換算し、全ての矩形ブロックについての結果を合計して求める。すなわち、本来は繋がった１つとして数えるべきひび割れを、別個の２つ以上のひび割れと数えてしまえば誤検出につながってしまう。実施の形態２におけるひび割れ検出装置１０は、このような個々のひび割れ領域を統合するひび割れ領域統合部１０８を、画像処理部１の一部として備える。

ひび割れ領域判定部１０７は、ひび割れ抽出用の閾値によって二値化処理された画像の情報から、個々のひび割れ領域を特定し、ひび割れ候補領域の輪郭を抽出する（ひび割れ候補輪郭の抽出ステップ（ＳＴ７））。さらに、ひび割れ領域判定部１０７は、抽出されたひび割れ候補領域の輪郭とその周辺の特徴量から、ひび割れ領域を判定する（輪郭とその周辺の特徴量によるひび割れ領域判定ステップ（ＳＴ８））。

ひび割れ領域統合部１０８は、いくつかの判定条件に従って、個々のひび割れ領域の統合を行う。図７－２は、ひび割れ領域統合部１０８の判定条件を模式的に示している。統合すべきという判定のための判定条件Ｃ１は、対象の２つのひび割れ領域間の距離があらかじめ決められた一定の距離よりも短いこと、である。判定条件Ｃ２は、対象の２つのひび割れ領域のいずれもが、あらかじめ決められた一定の面積よりも広い面積を有すること、である。判定条件Ｃ３は、対象の２つのひび割れ領域をそれぞれ外接する楕円で表したときに、それぞれの楕円の長軸がほぼ直線上になるような配置関係にあること、である。判定条件Ｃ３は、言い換えれば、対象の２つのひび割れ領域の重心間の角度と、それぞれのひび割れ領域の形状が有する角度とが、一定の範囲内で一致していること、である。

図７－２は、判定条件Ｃ１、Ｃ２、及びＣ３について、それぞれ具体例を示している。領域Ａ１と領域Ａ２とは、判定条件Ｃ１を満たしている。一方、領域Ａ１と領域Ａ３とは、判定条件Ｃ１を満たしていない。よって、領域Ａ１と領域Ａ３とは、統合されない。領域Ａ１と領域Ａ５とは、判定条件Ｃ１を満たしているが、領域Ａ５は判定条件Ｃ２を満たしていない。よって、領域Ａ５は領域Ａ１とは統合されない。領域Ａ１と領域Ａ２とは、判定条件Ｃ３も満たしている。判定条件Ｃ１から判定条件Ｃ３のすべての条件を満たす領域Ａ１と領域Ａ２とは、統合される。領域Ａ１と領域Ａ４とは、判定条件Ｃ３を満たさない。よって、領域Ａ１と領域Ａ４とは統合されない。

このようにひび割れ領域統合部１０８は、判定条件Ｃ１、Ｃ２、及びＣ３に従って、ひび割れ抽出用の閾値によって二値化処理された画像に対し、個々のひび割れ領域の統合を行う（ひび割れ領域の統合判定ステップ（ＳＴ９））。

個々のひび割れ領域の統合が行われた画像は、ひび割れ領域生成部１０９において、一つのひび割れ領域に対して一つのＩＤが付与される。その後の処理は、実施の形態１と同じであり、統合が行われた画像は、ひび割れ画像として生成される（ひび割れ画像の生成ステップ（ＳＴ１２））。ひび割れ画像は、画像出力部５を介して出力される（ひび割れ画像の出力（ＳＴ１３））。また、データ生成部１１０において、ひび割れの本数がカウントされ、ひび割れ情報として生成される（ひび割れ情報の生成ステップ（ＳＴ１０））。ひび割れ情報は、データ出力部４を介して出力される（ひび割れ情報の出力ステップ（ＳＴ１１））。

図８及び図９は、可視画像と本開示技術によるひび割れ検出結果を示した例である。図８－１及び図９－１は、それぞれ可視画像である。図８－１に比べて図９－１は、骨材の粒度が粗い例である。図８－２と図９－３は、それぞれ骨材粒度に最適なひび割れ検出がなされた画像である。図８－３と図９－２はそれぞれ画像におけるアスファルト舗装の粗骨材がひび割れと誤検出されてしまう例である。図８－３は、細いひび割れが検出出来ていない場合であり、図９－２は多くの粗骨材がひび割れと誤検出されてしまっている場合である。

以上のとおり、実施の形態２に係るひび割れ検出装置１０は、実施の形態１に係る技術が示す効果に加え、ひび割れ領域判定部１０７、ひび割れ領域統合部１０８、及びひび割れ領域生成部１０９を備えるため、本来は繋がった１つとして数えるべきひび割れを別個の２つ以上のひび割れと数えてしまう誤検出を軽減できる。

実施の形態３．
実施の形態３に係るひび割れ検出装置１０は、実施の形態１に係るひび割れ検出装置１０の構成に加え、入力された同じ対象物の複数枚の撮影画像を、一枚に統合して可視画像を生成する機能を備えるようにしてもよい。これにより、広大な面積を有する対象物に対しても、自動でひび割れ検出を行うことができる。

実施の形態４．
実施の形態４に係るひび割れ検出装置１０は、実施の形態１に係るひび割れ検出装置１０の構成に加え、機械学習により可視画像の輝度のヒストグラムから対象である舗装のタイプを判定する学習機能を備えるようにしてもよい。これにより、実施の形態４に係るひび割れ検出装置の評価を人間の評価に近づけることができる。

実施の形態５．
実施の形態５は、本開示技術に係るひび割れ検出装置１０を、汎用のコンピュータで実現した場合を示す。図１０－１、図１０－２は、実施の形態１に係るひび割れ検出装置１０のハードウェア構成の一例を示す図である。

実施の形態５に係るひび割れ検出装置１０において、画像処理部１と、可視画像入力部２と、データ出力部４と、画像出力部５の各機能は、処理回路１００１により実現される。すなわち、ひび割れ検出装置１０は、カメラから取得した複数枚の撮影画像に基づき、舗装路面のひび割れ領域を検出し、検出したひび割れ領域に関する情報であるひび割れの本数を記録し、ひび割れ領域をイメージ画像として表示し、記憶し、又は出力する制御を行うための処理回路１００１を備える。

処理回路１００１は、図１０－１に示すように専用のハードウェアであっても、図１０－２に示すようにメモリ１００５に格納されるプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１００６であってもよい。

処理回路１００１が専用のハードウェアである場合、処理回路１００１は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、又はこれらを組み合わせたものが該当する。

処理回路１００１がＣＰＵ１００６の場合、画像処理部１と、可視画像入力部２と、データ出力部４と、画像出力部５の各機能は、ソフトウェア、ファームウェア、又は、ソフトウェアとファームウェアとの組み合わせにより実現される。すなわち、画像処理部１と、可視画像入力部２と、データ出力部４と、画像出力部５は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）１００２、メモリ１００５等に記憶されたプログラムを実行するＣＰＵ１００６、システムＬＳＩ（Ｌａｒｇｅ－Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等の処理回路により実現される。また、ＨＤＤ等の補助記憶装置１００２、メモリ１００５等に記憶されたプログラムは、画像処理部１と、可視画像入力部２と、データ出力部４と、画像出力部５の手順又は方法をコンピュータに実行させるものであるとも言える。ここで、メモリ１００５とは、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）等の、不揮発性又は揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、及び、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等が該当する。

なお、本開示技術に係るひび割れ検出装置１０の画像処理部１と可視画像入力部２、データ出力部４、及び画像出力部５の各機能は、一部を専用のハードウェアで実現し、一部をソフトウェア又はファームウェアで実現するようにしてもよい。例えば、画像処理部１については専用のハードウェアとしての処理回路１００１でその機能を実現し、可視画像入力部２と、データ出力部４と、画像出力部５については処理回路がメモリ１００５に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
データ記録部３は、例えば、ＨＤＤ等の補助記憶装置１００２を使用する。なお、これは一例にすぎず、データ記録部３は、ＤＶＤ、メモリ１００５等によって構成されるものでもよい。
また、ひび割れ検出装置１０は、カメラ、外部の記録装置、又は、外部の表示装置等の外部機器との通信を行う入力インタフェース装置１００３、出力インタフェース装置１００４を有する。

なお、本開示技術は、その発明の範囲内において、実施の形態の任意の構成要素の変形、もしくは実施の形態の任意の構成要素の省略が可能である。

この発明に係るひび割れ検出装置は、舗装道路、トンネル及び橋架など対象物の表面のひび割れ箇所を検出するひび割れ検出装置に適用することができる。

１ 画像処理部、２ 可視画像入力部、３ データ記録部、４ データ出力部、５ 画像出力部、１０ ひび割れ検出装置、１０２ 判定路面画像生成部、１０３ 白線検出部、１０４ 画像特徴量算出部、１０５ 路面種別判定部、１０６ 二値化部、１０７ ひび割れ領域判定部、１０８ ひび割れ領域統合部、１０９ ひび割れ領域生成部、１１０ データ生成部、１００１ 処理回路、１００２ 補助記憶装置、１００３ 入力インタフェース装置、１００４ 出力インタフェース装置、１００５ メモリ、１００６ ＣＰＵ。

Claims (7)

1. データ記録部と画像処理部とを備えるひび割れ検出装置であって、
   前記データ記録部は、舗装の路面種別に輝度の平均値及び標準偏差が記録され、
   前記画像処理部は、調査対象である舗装の表面が撮影された可視画像を複数の矩形ブロックに分割し設定し、
   前記可視画像の背景輝度値と複数の前記矩形ブロックのそれぞれの輝度の平均値及び標準偏差とを、前記データ記録部に記録されている輝度の平均値及び標準偏差と比較し、一定以上の確からしさでマッチしたと判断したときに複数の前記矩形ブロックのそれぞれに対応した舗装の前記路面種別を判定し、
   判定した結果、前記路面種別がアスファルト舗装の場合、前記アスファルト舗装に使用されている骨材の粒度範囲を算出し、
   判定した前記路面種別及び算出した前記骨材の前記粒度範囲により二値化処理に用いる閾値を決定し、前記可視画像に前記閾値を用いた前記二値化処理を施してひび割れ検出を行う
   ことを特徴とするひび割れ検出装置。
2. 前記画像処理部は、前記二値化処理を施した前記可視画像に対し、ひび割れ領域間の距離、ひび割れ領域の面積、ひび割れ領域の重心間の角度、及びそれぞれのひび割れ領域の形状が有する角度に基づいて、ひび割れ領域の統合の処理をすることを特徴とする請求項１に記載のひび割れ検出装置。
3. 前記画像処理部は、前記可視画像の解像度に応じて、前記矩形ブロックの大きさを変えて決定することを特徴とする請求項１記載のひび割れ検出装置。
4. 前記画像処理部は、入力された同じ対象物の複数枚の撮影画像を、一枚に統合して前記可視画像を生成することを特徴とする請求項１記載のひび割れ検出装置。
5. 前記画像処理部は、機械学習により前記可視画像の輝度のヒストグラムから対象である前記舗装のタイプを判定する学習機能をさらに備えることを特徴とする請求項１記載のひび割れ検出装置。
6. データ記録部と画像処理部とを備えるひび割れ検出装置のひび割れ検出方法であって、
   前記データ記録部は、舗装の路面種別に輝度の平均値及び標準偏差が記録され、
   前記画像処理部は、調査対象である舗装の表面が撮影された可視画像を複数の矩形ブロックに分割し設定し、
   前記可視画像の背景輝度値と複数の前記矩形ブロックのそれぞれの輝度の平均値及び標準偏差とを、前記データ記録部に記録されている輝度の平均値及び標準偏差と比較し、一定以上の確からしさでマッチしたと判断したときに複数の前記矩形ブロックのそれぞれに対応した舗装の前記路面種別を判定し、
   判定した結果、前記路面種別がアスファルト舗装の場合、前記アスファルト舗装に使用されている骨材の粒度範囲を算出し、
   判定した前記路面種別及び算出した前記骨材の前記粒度範囲により二値化処理に用いる閾値を決定し、前記可視画像に前記閾値を用いた前記二値化処理を施す
   ことを特徴とするひび割れ検出方法。
7. コンピュータにひび割れ検出を実行させるためのプログラムであって、
   調査対象である舗装の表面が撮影された可視画像を複数の矩形ブロックに分割し設定する手順と、
   前記可視画像の背景輝度値と複数の前記矩形ブロックのそれぞれの輝度の平均値及び標準偏差とを、あらかじめ記録されている舗装の路面種別の輝度の平均値及び標準偏差と比較し、一定以上の確からしさでマッチしたと判断したときに複数の前記矩形ブロックのそれぞれに対応した舗装の前記路面種別を判定する手順と、
   判定した結果、前記路面種別がアスファルト舗装の場合、前記アスファルト舗装に使用されている骨材の粒度範囲を算出する手順と、
   判定した前記路面種別及び算出した前記骨材の前記粒度範囲により二値化処理に用いる閾値を決定し、前記可視画像に前記閾値を用いた前記二値化処理を施す手順と、
   を備えるひび割れ検出プログラム。

Images