JP6364565B1 - 解析装置、ひび割れ検出処理装置、および解析プログラム - Google Patents

解析装置、ひび割れ検出処理装置、および解析プログラム Download PDF

Info

Publication number
JP6364565B1
JP6364565B1 JP2018025423A JP2018025423A JP6364565B1 JP 6364565 B1 JP6364565 B1 JP 6364565B1 JP 2018025423 A JP2018025423 A JP 2018025423A JP 2018025423 A JP2018025423 A JP 2018025423A JP 6364565 B1 JP6364565 B1 JP 6364565B1
Authority
JP
Japan
Prior art keywords
road surface
image
lane mark
lane
detection unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018025423A
Other languages
English (en)
Other versions
JP2019144608A (ja
Inventor
謙一 杉井
謙一 杉井
範彦 上見
範彦 上見
裕章 上中田
裕章 上中田
達也 堅多
達也 堅多
正純 中山
正純 中山
寿英 三宅
寿英 三宅
晋作 清水
晋作 清水
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Zosen Corp
Original Assignee
Hitachi Zosen Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Zosen Corp filed Critical Hitachi Zosen Corp
Priority to JP2018025423A priority Critical patent/JP6364565B1/ja
Application granted granted Critical
Publication of JP6364565B1 publication Critical patent/JP6364565B1/ja
Publication of JP2019144608A publication Critical patent/JP2019144608A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

【課題】レーンマークを高精度に検出する。
【解決手段】情報処理装置(1)は、車両の走行レーンを区切るレーンマークの周辺に描かれている路面表示を路面画像(111)から検出する周辺標識検出部(104)と、路面画像(111)の画像領域のうち、上記路面表示が検出された領域外から上記レーンマークを検出するレーンマーク検出部(106)と、を備えている。
【選択図】図1

Description

本発明は、画像解析によって路面等のひび割れを検出するひび割れ検出処理に関し、より詳細には、検出したひび割れの程度を評価するために、路面に描かれたレーンマークを検出する解析装置等に関する。
事故を未然に防ぐため、舗装路面にひび割れなどが発生していないかを検査することが必要であるが、このような検査は手間もコストもかかるという問題がある。この問題に関して、下記の特許文献1には、車載用の舗装路面巡視装置が記載されている。この舗装路面巡視装置によれば、安全かつ簡易に路面の検査に必要な情報を収集することができる。
特開平8−86645号公報(1996年4月2日公開)
上記特許文献1に記載されているような車両から撮影した路面画像をコンピュータで解析することにより、ひび割れを自動で検出しようとした場合、路面画像における何れの領域がひび割れの検出対象とする路面であるかを特定する必要がある。例えば、走行レーンとその走行レーン外の路面(隣接する走行レーンの路面または路肩の路面)とを区切る標識であるレーンマークで挟まれた車線をひび割れの検出対象とする場合、画像解析によりレーンマークを検出する必要がある。なお、以下では、路面に描かれた標識を路面表示と呼ぶ。
しかしながら、レーンマークの周辺には、他の路面表示が描かれていることがあり、このような他の路面表示がレーンマークの検出精度を低下させる場合がある。これについて、図17に基づいて説明する。図17は、路面を撮影した路面画像の一例を示す図である。同図に示される路面画像501には、2本のレーンマーク503で挟まれた路面が写っている。また、各レーンマーク503の周辺には、当該レーンマーク503を挟み込む位置に車両の進行速度を落とすことを促す路面表示である減速マーク502が写り込んでいる。
このような路面画像501からレーンマーク503を検出しようとした場合、減速マーク502はレーンマーク503と同様に白色で描かれた線状の路面表示であるため、減速マーク502が描かれた領域をレーンマーク503であると誤検出するおそれがある。つまり、図17の例では、路面とレーンマーク503の境界をL1と認識すべきところを、L2と誤認識するおそれがある。特に、図示の例のように、レーンマーク503が描かれる路面の端部付近は、走行車両のタイヤによる摩耗で路面表示がかすれることが多い。このことも、レーンマーク503の検出を難しくする要因の一つである。
本発明の一態様は、上記の問題点に鑑みてなされたものであり、その目的は、レーンマークを高精度に検出することができる解析装置等を実現することを目的とする。
上記の課題を解決するために、本発明の一態様に係る解析装置は、走行中の路面性状測定車から路面を撮影した路面画像を解析する解析装置であって、車両の走行レーンを区切るレーンマークの周辺に描かれている路面表示を上記路面画像から検出する周辺表示検出部と、上記路面画像の画像領域のうち、上記路面表示が検出された領域外から上記レーンマークを検出するレーンマーク検出部と、を備えている。
また、本発明の一態様に係る解析方法は、上記の課題を解決するために、走行中の路面性状測定車から路面を撮影した路面画像を解析装置によって解析する解析方法であって、車両の走行レーンを区切るレーンマークの周辺に描かれている路面表示を上記路面画像から検出する周辺標識検出ステップと、上記路面画像の画像領域のうち、上記路面表示が検出された領域外から上記レーンマークを検出するレーンマーク検出ステップと、を含む。
本発明の一態様によれば、レーンマークの周辺に描かれている路面表示をレーンマークと誤検出する可能性を低減し、レーンマークの検出精度を高めることができるという効果を奏する。
本発明の一実施形態に係る情報処理装置の要部構成の一例を示すブロック図である。 路面画像の撮影方法と、路面画像の例を示す図である。 路面画像を取得してひび割れ率を算出する処理の一例を示すフローチャートである。 伸縮装置検出処理の一例を示すフローチャートである。 伸縮装置検出処理で行われる画像処理の効果を示す図である。 伸縮装置検出処理における除去と補間の例を示す図である。 レーンマーク検出処理の一例を示すフローチャートである。 減速マークの検出結果の例を示す図である。 横方向に並ぶ減速マークの検出結果に基づく路面領域の判定結果の例を示す図である。 縦方向に並ぶ減速マークの検出結果に基づく路面領域の判定結果の例を示す図である。 レーンマークの検出結果の例を示す図である。 レーンマーク領域の補間結果の例を示す図である。 寄与度決定処理の一例を示すフローチャートである。 レーンマークの写り込みのパターンに応じた寄与度の設定例を示す図である。 レーンマークの検出方法の一例を示す図である。 ひび割れ率算出処理の一例を示すフローチャートである。 路面を撮影した路面画像の一例を示す図である。 伸縮装置が写り込んだ路面画像の一例を示す図である。
本発明の一実施形態について図1から図16に基づいて説明する。
〔装置構成〕
本実施形態に係る情報処理装置の構成を図1に基づいて説明する。図1は、情報処理装置1の要部構成の一例を示すブロック図である。情報処理装置1は、走行中の路面性状測定車から路面を撮影した路面画像を解析する解析装置としての機能を備えていると共に、当該解析結果に基づいて路面のひび割れを検出するというひび割れ検出処理装置としての機能を備えている。情報処理装置1によれば、路面画像から自動的にひび割れを検出することができるので、人手によるひび割れの検査と比べて、作業時間を大幅に低減して検査コストを低減することができると共に、バラツキのない安定した検査結果を得ることができる。情報処理装置1は、例えばパーソナルコンピュータ等であってもよい。また、情報処理装置1は、路面性状測定車内に搭載されていてもよい。情報処理装置1を搭載した路面性状測定車であれば、路面を撮影しながらひび割れの検査を行うことができる。
情報処理装置1は、情報処理装置1の各部を統括して制御する制御部10、情報処理装置1が使用する各種データを格納する記憶部11、情報処理装置1に対するユーザの入力操作を受け付ける入力部12、およびデータを出力する出力部13を備えている。また、制御部10には、画像取得部101、画像処理部102、伸縮装置検出部103、周辺標識検出部(周辺表示検出部)104、路面検出部105、レーンマーク検出部106、寄与度決定部107、ひび割れ検出部108、およびひび割れ率算出部(指標値算出部)109が含まれている。そして、記憶部11には、走行中の路面性状測定車から撮影した路面の画像である路面画像111が格納されている。
画像取得部101は、ひび割れの有無の検出対象である路面画像111を取得する。より詳細には、画像取得部101は、ひび割れの検出対象となる所定区間の路面を撮影した路面画像111を取得する。
画像処理部102は、路面画像111に画像処理を施して、伸縮装置と路面との接続部分が路面と近い外観となるようにする。なお、伸縮装置は、橋梁の端部などに設けられる装置であり、車両の走行レーンを横断するように設けられる。画像処理部102が施す画像処理については後述する。
伸縮装置検出部103は、画像処理部102による画像処理後の路面画像111から伸縮装置を検出する。伸縮装置検出部103による伸縮装置の検出方法については後述する。
周辺標識検出部104は、走行レーンを区切るレーンマークの周辺に描かれている路面表示を路面画像111から検出する。周辺標識検出部104が検出する路面表示と、その検出方法については後述する。
路面検出部105は、路面画像111の画像領域のうち、路面が写り込んでいる路面領域(レーンマークが描かれていない領域)を検出する。路面検出部105は、レーンマークに沿って所定間隔で描かれる複数の路面表示で挟まれる領域を路面領域として検出してもよい。また、路面検出部105は、走行レーンを横断する方向に所定距離以上離れて検出された路面表示で挟まれる領域を路面領域として検出してもよい。路面領域の検出方法については後述する。
レーンマーク検出部106は、路面画像111の画像領域のうち、周辺標識検出部104が路面表示を検出した領域外からレーンマークを検出する。レーンマークの検出方法については後述する。
寄与度決定部107は、路面画像111を所定単位で分割したメッシュ画像のそれぞれについて寄与度を決定する。寄与度とは、ひび割れの程度を示す指標値の算出に用いるパラメータである。より詳細には、寄与度は、レーンマークが写り込んでいるメッシュ画像について算出された指標値を、当該レーンマークを挟んで位置する各走行レーンの指標値として振り分ける分配割合を示している。なお、指標値は、ひび割れの程度を示すものであれば特に限定されず、例えばメッシュ画像においてひび割れ部分が占める面積であってもよい。
ひび割れ検出部108は、路面画像111に写っている路面について、ひび割れが発生しているひび割れ箇所を検出する。ひび割れ箇所の検出方法については後述する。
ひび割れ率算出部109は、路面のひび割れの程度を示す指標値であるひび割れ率を算出する。ひび割れ率の算出においては、ひび割れ検出部108の検出結果と、寄与度決定部107が決定した寄与度を用いる。ひび割れ率の算出方法については後述する。
〔路面画像について〕
路面画像111の詳細を図2に基づいて説明する。図2は、路面画像111の撮影方法と、路面画像111の例を示す図である。図2の(a)に示すように、路面性状測定車の走行方向(同図の右方向)の後方側端部には撮影装置が、その撮影方向が路面と垂直となるように取り付けられている。この撮影装置は、例えばラインスキャンカメラであってもよい。ラインスキャンカメラは、例えば1ピクセルが1mmに相当する画質で路面をモノクロ撮影できるものであってもよく、これによりひび割れの検出に十分な画質の路面画像を得ることができる。図示の例では、縦4m×横10mの範囲が1つの路面画像111として撮影されている。情報処理装置1は、この範囲に写っている路面部分におけるひび割れの程度を示す指標値を算出する。
ラインスキャンカメラによって走行中の路面性状測定車から撮影することにより、例えば図2の(b)のような路面画像が得られる。(b)に示すように、路面画像には少なくとも1つの車線が含まれていることが好ましい。路面画像には、ひび割れの検出対象となる路面の他にも様々なものが写り込む。
例えば、図2の(b)の路面画像には、車両の走行レーンの境界を示すレーンマークA1が写り込んでいる。また、レーンマークA1の周辺には、路面表示A2が写り込んでいる。路面表示A2は、減速マークと呼ばれる路面表示であり、車両の進行速度を落とすことを促すものである。路面表示A2は、レーンマークA1に沿って所定間隔で描かれた複数の平行四辺形状の図形からなる。また、この図形は、1本のレーンマークA1を両側から挟む位置に描かれている。
さらに、図2の(b)の路面画像には、伸縮装置A3が写り込んでいる。また、伸縮装置A3と路面との間には、路面と伸縮装置A3の接続部分であるセメントミルク層A4が写り込んでいる。セメントミルク層A4は、路面と伸縮装置A3の接続を良好にする等の目的で設けられた層である。なお、図示の例では、伸縮装置A3の右側のみにセメントミルク層A4が設けられているが、両側に設けられることもある。また、路面と伸縮装置A3の接続部分は、セメントミルク層A4に限られず、例えば後打ちコンクリートの層であってもよい。
セメントミルク層A4は、路面の一部であるから、セメントミルク層A4上の画像領域もひび割れ率算出の対象とする。一方、伸縮装置A3は、路面に設けられた装置であるから、伸縮装置A3上の画像領域はひび割れ率算出の対象とはしない。
〔処理の流れ(全体)〕
ひび割れ率を算出する処理の流れを図3に基づいて説明する。図3は、路面画像111を取得してひび割れ率を算出する処理の一例を示すフローチャートである。なお、本処理の前に、上述のようにして撮影された路面画像が入力部12を介して情報処理装置1に入力され、記憶部11に路面画像111として格納されている。
S1では、画像取得部101は、記憶部11から路面画像111を取得する。そして、画像取得部101は、取得した路面画像111を、画像処理部102、周辺標識検出部104、およびひび割れ検出部108に送信する。
S2では、路面画像111を受信した画像処理部102と、伸縮装置検出部103により、伸縮装置検出処理が行われる。伸縮装置検出処理の詳細は、図4〜図6に基づいて後述する。
S3では、路面画像111を受信した周辺標識検出部104と、路面検出部105およびレーンマーク検出部106により、レーンマーク検出処理が行われる。レーンマーク検出処理の詳細は、図7〜図12に基づいて後述する。なお、S3の処理は、S2の処理よりも先に行ってもよいし、S2の処理と並行して行ってもよい。
S4では、S2およびS3の検出結果に基づき、寄与度決定部107により、寄与度決定処理が行われる。寄与度決定処理の詳細は、図13および図14に基づいて後述する。なお、S2の検出結果に基づく寄与度の決定はS2の直後に行い、S3の検出結果に基づく寄与度の決定はS3の直後に行うようにしてもよい。
S5では、路面画像111を受信したひび割れ検出部108と、ひび割れ率算出部109により、ひび割れ率算出処理が行われ、路面画像111におけるひび割れ率が算出される。ひび割れ率算出処理の詳細は、図16に基づいて後述する。なお、ひび割れ率算出処理における、ひび割れを検出する処理はS4より前に行ってもよい。
〔伸縮装置の検出について〕
ここでは、伸縮装置の検出を難しくしている要因について図18に基づいて説明する。図18は、伸縮装置602が写り込んだ路面画像601の一例を示す図である。図18に写り込んだ伸縮装置602の両側には、路面と伸縮装置602の接続部分であるセメントミルク層603が形成されている。このセメントミルク層603は、路面と伸縮装置602の中間的な外観となっている。このため、画像処理によって路面画像601から伸縮装置602を検出しようとした場合、伸縮装置602の左側の外縁を直線L3ではなく直線L4であると誤判定してしまうおそれがある。同様に、伸縮装置602の右側の外縁を直線L5ではなく直線L6であると誤判定してしまうおそれがある。
また、連続した道路であっても、場所によって、路面、伸縮装置602、およびセメントミルク層603の外観も変わることがあるため、従来技術では伸縮装置602を高精度に検出することが難しいという問題があった。
このような問題を解決するため、情報処理装置1は、路面画像111に対して所定の画像処理を施した上で、伸縮装置を検出するという構成を採用している。これにより、接続部分を伸縮装置であると誤検出する可能性を低減し、伸縮装置の検出精度を高めることができる。これについて、次段落以降で詳細に説明する。
〔伸縮装置検出処理〕
図3のS2で行われる伸縮装置検出処理の詳細を図4〜図6に基づいて説明する。図4は、伸縮装置検出処理の一例を示すフローチャートである。図5は、伸縮装置検出処理で行われる画像処理の効果を示す図である。図6は、伸縮装置検出処理における除去と補間の例を示す図である。
図4のS21では、画像処理部102は、伸縮装置と路面との接続部分であるセメントミルク層(図2の(b)のA4参照)が、路面と近い外観となるように路面画像111に画像処理を施す。この画像処理は、伸縮装置と路面との接続部分(セメントミルク層)と伸縮装置との境界を識別するための画像処理であり、画像処理後は該境界の識別性が向上する。この画像処理は、伸縮装置と路面との接続部分が路面と近い外観となるような画像処理であればよく、例えば最小値フィルタによる画像処理であってもよい。
図5の(a)の路面画像111には、両側をセメントミルク層で挟まれたコンクリート製の伸縮装置が写り込んでいる。そして、図5の(b)には、この路面画像111におけるセメントミルク層上の領域Aと、伸縮装置上の領域Bについて、最小値フィルタによる画像処理の実施前後における外観が示されている。
図5の(b)から、領域Aについては、画像処理後には全体的に黒に近い色調となっている。この色調は、図5の(a)における路面の色調と近い色調である。一方、領域Bについては、画像処理後も画像処理前と同じく全体的に白に近い色調である。つまり、画像処理により、領域AとBとの色調のコントラストがより鮮明になっている。この結果から、最小値フィルタによる画像処理を路面画像111に施すことにより、接続部分を伸縮装置であると誤検出する可能性を低減し、伸縮装置の検出精度を高めることができることが分かる。
なお、図5の例で使用した最小値フィルタは、路面画像111を構成する各画素の画素値を、その画素に隣接する8つの画素の画素値のうち最小の値に一致させるというものである。
図4のS22では、伸縮装置検出部103は、S21の画像処理後の路面画像111から、伸縮装置が写り込んでいるメッシュ画像を検出する。なお、メッシュ画像は、路面画像111(正確にはS21の画像処理後の路面画像111。図4の説明において以下同様。)を所定単位で分割したものであり、より詳細には、路面画像111を網目状に区切ることで得た、路面画像111の部分画像である。ひび割れの有無の判定は、このメッシュ画像単位で行われる。メッシュ画像のサイズは適宜設定すればよく、例えば、1つのメッシュ画像を500×500ピクセルのサイズとしてもよい。この場合、1mmが1ピクセルの路面画像111を用いていれば、1つのメッシュ画像は50cm四方の路面に対応する画像となる。また、伸縮装置検出部103は、検出したメッシュ画像のうち隣接するメッシュ画像の集まりを一群のメッシュ画像とし、各群にラベリングする。
伸縮装置が写り込んでいるメッシュ画像の検出方法は特に限定されないが、例えば伸縮装置が写り込んでいる画像と写り込んでいない画像とを識別できるように学習させたFCM(ファジイc−平均)識別器によって行ってもよい。この場合、伸縮装置検出部103は、学習済みのFCM識別器ということになる。学習に用いる教師データとしては、S21と同じまたは同等の画像処理を施した画像(伸縮装置が写り込んでいる画像と写り込んでいない画像)を用いればよい。各メッシュ画像について、このようなFCM識別器で伸縮装置が写り込んでいる画像と写り込んでいない画像に分類することにより、伸縮装置が写り込んでいるメッシュ画像を検出することができる。なお、上記識別器はFCM識別器に限られず、ランダムフォレスト、ニューラルネットワーク、サポートベクターマシンなどのパターン認識手法や、深層学習等を行う識別器を用いてもよい。
S23では、伸縮装置検出部103は、S22で検出したメッシュ画像のうち、他のメッシュ画像(伸縮装置が写り込んでいるメッシュ画像)と隣接していないものを除去する。具体的には、伸縮装置検出部103は、ラベリングした群のうち、構成要素が1つである群に属するメッシュ画像を伸縮装置の領域のメッシュ画像ではないものとする。伸縮装置はレーンを横切るように設けられるものであり、ある程度の広さを有するものであるため、S23の処理によりS22で誤検出されたメッシュ画像を除去することができる。例えば、図6の(a)の例では、伸縮装置検出部103が検出したメッシュ画像からなる領域を矩形で示している。この図における領域Cのメッシュ画像は、他のメッシュ画像と隣接していないため、S23の処理で除去される。
S24では、伸縮装置検出部103は、横方向(路面画像111の画像平面におけるレーンマークの延伸方向と平行な方向)に連続し、縦方向には隣接するものがないメッシュ画像も除去する。具体的には、伸縮装置検出部103は、ラベリングした群のうち、横方向に連続しているが、縦方向には連続していないメッシュ画像からなる群に属するメッシュ画像を伸縮装置の領域のメッシュ画像ではないものとする。伸縮装置はレーンを横切るように設けられるものであるため、S24の処理によりS22で誤検出されたメッシュ画像を除去することができる。図6の(a)の例では、領域Dの2つのメッシュ画像が横方向に隣接しているため、これらのメッシュ画像はS24の処理で除去される。S23およびS24で除去されずに残ったメッシュ画像が、伸縮装置が写り込んだメッシュ画像ということになる。
S25では、伸縮装置検出部103は、除去されずに残ったメッシュ画像で形成される領域のうち、縦方向(路面画像111の画像平面におけるレーンマークの延伸方向と垂直な方向)に不連続となっている領域を補間する。具体的には、伸縮装置検出部103は、格子状に並ぶメッシュ画像の縦方向の各列について、S23およびS24で除去されずに残ったメッシュ画像の数と、S22で検出されなかったメッシュ画像の数とを比較する。そして、伸縮装置検出部103は、除去されずに残ったメッシュ画像の数の方が多かった列のメッシュ画像については、全て伸縮装置が写り込んでいるメッシュ画像とする。伸縮装置は走行レーンを横切るように設けられるものであるため、S25の処理によりS22で検出漏れとなったメッシュ画像を補うことができる。S25の処理の終了により、伸縮装置が写り込んだメッシュ画像が確定し、伸縮装置検出処理は終了する。
例えば、図6の(a)の例では、領域Eにおいて、メッシュ画像の縦方向の並びが不連続となっている。このため、S25の処理により、領域Eのメッシュ画像が、伸縮装置が写り込んだメッシュ画像として補間される。これにより、同図の(b)に示すように伸縮装置が写り込んでいる領域のメッシュ画像が正しく特定される。
〔レーンマーク検出処理〕
図3のS3で行われるレーンマーク検出処理(解析方法)の詳細を図7〜図12に基づいて説明する。図7は、レーンマーク検出処理の一例を示すフローチャートである。図8は、減速マークの検出結果の例を示す図である。図9および図10は、減速マークの検出結果に基づく路面領域の判定結果の例を示す図である。図11は、レーンマークの検出結果の例を示す図である。図12は、レーンマーク領域の補間結果の例を示す図である。
図7のS31(周辺標識検出ステップ)では、周辺標識検出部104は、路面画像111から減速マークを検出する。減速マークには、走行レーンの端部付近に所定間隔で描かれるという配置の特徴がある。また図8の路面画像111に写り込んでいる減速マークには、白色で描かれる、平行四辺形状である、レーンマークを挟むようにレーンマークの両側に描かれる、レーンマークに対して線対称に描かれる等の特徴もある。よって、これらの特徴点に基づく画像解析により、減速マークを検出可能である。減速マークの具体的な検出方法は特に限定されないが、例えば一般に人工知能と呼ばれる物体検出アルゴリズムによって検出してもよい。この場合、周辺標識検出部104は、学習済みの物体検出アルゴリズムということになる。使用するアルゴリズムは、画像からの物体検出および検出物体のクラス判定が可能なものであれば特に限定されないが、判定精度等の観点から深層学習のアルゴリズムを使用することが好ましい。例えば、Faster R-CNN、YOLO(You Only Look Once)、SSD(Single Shot Multibox Detector)等が好適に適用できる。また、学習においては、輪郭が明瞭なものから摩耗して消えかかっているものまで、多様な状態の減速マークを学習データに使用することが好ましい。
図8では、路面画像111において、周辺標識検出部104が減速マークを検出した領域A11を矩形で示している。この例では、同図の上側のレーンマークを挟むように配置された2列の減速マークが検出されていると共に、同図の下側のレーンマークに沿って横一列に並ぶ減速マークが検出されている。
図7のS32では、路面検出部105は、S31で検出した減速マークのうち、横方向(路面画像111の画像平面におけるレーンマークの延伸方向と平行な方向)に並ぶ減速マークの数が閾値αより多いか否かを判定する。路面検出部105が閾値αより多いと判定した場合(S32でYES)にはS33に進み、閾値α以下と判定した場合(S32でNO)にはS34に進む。なお、閾値αは減速マークを他の路面表示等と識別できるような値(例えば3〜5程度の値)とすればよい。
S32でYESの場合に行われるS33の処理では、路面検出部105は、S31で検出した減速マークの検出領域と、横方向に並ぶ減速マークで挟まれる領域(例えば図8の領域A12)とを路面領域と判定する。そして、路面検出部105は、路面画像111における路面領域と判定した画像領域の画素値を0、すなわち黒色となるように修正する。図8の路面画像111は、この修正により、図9のようになる。図9では、上側のレーンマークを上下から挟み込む帯状の領域A13が路面領域と判定され、画素値が0とされている。下側のレーンマークの上側に沿った領域A13も同様である。S33の後、処理はS35に進む。
S32でNOの場合に行われるS34の処理では、路面検出部105は、S31で検出した減速マークの検出領域を路面領域と判定し、路面画像111における路面領域と判定した画像領域の画素値を0に修正する。
S35では、路面検出部105は、S31で検出した減速マークのうち、縦方向(路面画像111の画像平面におけるレーンマークの延伸方向と垂直な方向)に並ぶ減速マーク間の距離が閾値βより広いか否かを判定する。路面検出部105が閾値βより広いと判定した場合(S35でYES)にはS36に進み、閾値β以下の広さと判定した場合(S35でNO)にはS36に進む。なお、閾値βは走行レーンの幅と同程度かそれよりやや小さい値(例えば2m程度の値)とすればよい。
S36では、路面検出部105は、縦方向に並ぶ減速マークで挟まれる領域を路面領域と判定する。そして、路面検出部105は、路面画像111における路面領域と判定した画像領域の画素値を0となるように修正する。図9の路面画像111は、この修正により、図10のようになる。図10では、上側のレーンマークの下側に沿った領域A13と、下側のレーンマークの上側に沿った領域A13との間の領域A14が路面領域と判定されて画素値が0とされている。
S37(レーンマーク検出ステップ)では、レーンマーク検出部106は、路面画像111からレーンマークを検出する。レーンマークは白線として描かれることが多く、路面よりも画素値が大きくなるので、路面画像111を二値化することによりレーンマークを検出することができる。なお、減速マークが検出された領域はS37までの処理により画素値が0となっているのでこの領域がレーンマークであると検出されることはない。つまり、二値化によりレーンマークを検出することにより、減速マークが検出された領域外からレーンマークが検出される。なお、S32でYESの場合には、減速マークが検出された領域であり、かつ横方向に並ぶ減速マーク間の領域外からレーンマークが検出される。また、S35でYESの場合には、減速マークが検出された領域外であり、かつ縦方向に並ぶ減速マーク間の領域外からレーンマークが検出される。
図10の路面画像111を二値化した例が図11に示されている。図11の例における二値化処理では、所定の閾値よりも白色に近い画素値の画素については画素値を1とし、該閾値よりも黒色に近い画素値の画素については画素値を0としている。このような二値化処理により、図11の例では、図10の路面画像111において画素値が相対的に大きい(白色に近い画素値)の領域が、レーンマークが描かれたレーンマーク領域A15として検出されている。
S38では、レーンマーク検出部106は、S37で検出したレーンマーク領域を補間する。具体的には、レーンマーク検出部106は、S37で検出したレーンマーク領域のうち、横方向に白色画素が所定数以上並んでいる部分が、路面画像111の左右両端に達する連続領域となるようにする。例えば、図11の例では、レーンマーク領域A15が領域A16で分断されている。レーンマーク領域A15において横方向に白色画素が所定数以上並んでいれば、レーンマーク検出部106は、領域A16の画素値を1(白色)とする。これにより、図12に示すように、途切れた部分が補われたレーンマーク領域A15が特定される。なお、図12では、路面画像111をメッシュ画像に分割する格子状の分割線も合せて示している。図7のレーンマーク検出処理によれば、図12に示すように、各メッシュ画像にレーンマークが写り込んでいるか否か、また写り込んでいる場合にはどの程度写り込んでいるかを正確に判定することが可能になる。
なお、図8のように伸縮装置が写り込んでいる路面画像111では、2本のレーンマークの両方が、伸縮装置によって同じ位置で途切れている。そこで、伸縮装置検出部103は、これを利用して伸縮装置を検出してもよい。具体的には、伸縮装置検出部103は、検出されたレーンマークが部分的に途切れている領域(図11のA16)が、2本のレーンマークのそれぞれについて検出され、かつ検出された領域が縦方向に並んでいる場合に、縦方向に並ぶそれらの領域で挟まれる領域を、伸縮装置が写り込んでいる領域として検出してもよい。
〔寄与度決定処理の流れ〕
図3のS4で行われる寄与度決定処理の詳細を図13および図14に基づいて説明する。図13は、寄与度決定処理の一例を示すフローチャートである。図14は、レーンマークの写り込みのパターンに応じた寄与度の設定例を示す図である。
なお、図13の寄与度決定処理にあたり、寄与度決定部107は、路面画像111を例えば図12に示すようなメッシュ画像に分割している。また、寄与度決定部107は、各メッシュ画像について、そのメッシュ画像が路面画像の何れの部分から切り出されたものであるかを示す位置情報を記録する。例えば、路面画像を格子状に分割してメッシュ画像を切り出した場合、位置情報は格子における行と列との組み合わせとしてもよく、この組み合わせを当該メッシュ画像のファイル名とすることにより位置情報を記録してもよい。この他、画像番号や、走行路線、撮影車線等を示す情報についても併せて記録してもよい。
S41では、寄与度決定部107は、伸縮装置検出処理(図4等参照)における検出結果に基づき、伸縮装置が写り込んだメッシュ画像の寄与度を0に決定する。そして、寄与度決定部107は、決定した寄与度を当該メッシュ画像と対応付けて記録する。
S42では、寄与度決定部107は、レーンマーク検出処理(図7等参照)における検出結果に基づき、レーンマークが写り込んだメッシュ画像を特定すると共に、特定した各メッシュ画像についてレーンマークの写り込みのパターンを判定する。このパターンは、レーンマークの写り込み位置(および写り込みの程度)に応じて複数設定しておけばよい。例えば、図14の例では、パターンNo.1〜5の5つのパターンを予め設定している。これらのパターンのうち、No.1と2はメッシュ画像の上側にレーンマークが写り込んだパターンであり、No.3は中央部に、No.4と5は下側にレーンマークが写り込んだパターンである。なお、パターンNo.0は、レーンマークが写り込んでいないパターンである。S42では、寄与度決定部107は、このようなパターンの何れに該当するかを、各メッシュ画像について判定してもよい。
レーンマークのパターンの判定は、画像中のレーンマークのパターンが所定のパターンの何れに該当するかを学習させたFCM識別器によって行ってもよい。この場合、寄与度決定部107は、画像中のレーンマークのパターンを学習させたFCM識別器を備えているということになる。このFCM識別器は、所定のパターンでレーンマークが写っている画像を教師データとし、後述する、ひび割れの有無を判定するFCM識別器と同様の要領で構築することができる。なお、ひび割れの有無を判定するFCM識別器は、判定結果がひび割れありとなしの2通りであるからクラス数2のFCM識別器となるが、レーンマークのパターンを判定するFCM識別器は、設定したパターンの数に応じたクラス数となる。例えば、図14の例のように5つのパターンを設定した場合、クラス数は5となる。なお、上記識別器はFCM識別器に限られず、ランダムフォレスト、ニューラルネットワーク、サポートベクターマシンなどのパターン認識手法や、深層学習等を行う識別器を用いてもよい。例えば、AlexNet、ResNet(Residual Network)等を適用してもよい。
S43では、寄与度決定部26は、当該メッシュ画像の寄与度を、S42で判定されたパターンに応じた値に決定し、決定した寄与度を当該メッシュ画像と対応付けて記録する。つまり、レーンマークの写り込みのパターンに応じて寄与度を予め設定しておく。
例えば、図14の例におけるNo.1のパターンでは、メッシュ画像の上部の領域がレーンマークで占められており、このメッシュ画像における路面部分はレーンマークの下側の領域であり、この領域の面積はメッシュ画像全体の75%程度である。図14の例ではメッシュ画像M1がこのパターンに該当する。No.1のパターンに該当するメッシュ画像が、検査対象の車線の左側(路面性状測定車の進行方向に向かって左側)に検出された場合における、そのメッシュ画像の検査対象の車線への寄与度を75(%)に設定している。また、図14の例では、No.1のパターンに該当するメッシュ画像が、検査対象の車線の右側(路面性状測定車の進行方向に向かって右側)に検出された場合の寄与度を0に設定している。
No.2のパターンでは、メッシュ画像の上部の領域がレーンマークで占められており、このメッシュ画像における路面部分はレーンマークの下側の領域であり、この領域の面積はメッシュ画像全体の50%程度である。このため、No.2のパターンに該当するメッシュ画像が、検査対象の車線の左側に検出された場合の寄与度を50(%)に設定し、No.2のパターンに該当するメッシュ画像が、検査対象の車線の右側に検出された場合の寄与度を0に設定している。
No.3のパターンでは、メッシュ画像の中央部の領域がレーンマークで占められており、このメッシュ画像における路面部分はレーンマークの上側および下側の領域であり、これらの領域の面積はそれぞれメッシュ画像全体の25%程度である。このため、No.3のパターンに該当するメッシュ画像については、検査対象の車線の左右何れの側に検出された場合についても寄与度を25(%)に設定している。
No.4のパターンでは、メッシュ画像の下部の領域がレーンマークで占められており、このメッシュ画像における路面部分はレーンマークの上側の領域であり、この領域の面積はメッシュ画像全体の50%程度である。このため、No.4のパターンに該当するメッシュ画像が、検査対象の車線の左側に検出された場合の寄与度を0に設定し、No.4のパターンに該当するメッシュ画像が、検査対象の車線の右側に検出された場合の寄与度を50(%)に設定している。
No.5のパターンでは、メッシュ画像の下部の領域がレーンマークで占められており、このメッシュ画像における路面部分はレーンマークの上側の領域であり、この領域の面積はメッシュ画像全体の75%程度である。このため、No.5のパターンに該当するメッシュ画像が、検査対象の車線の左側に検出された場合の寄与度を0に設定し、No.5のパターンに該当するメッシュ画像が、検査対象の車線の右側に検出された場合の寄与度を75(%)に設定している。
S44では、寄与度決定部107は、伸縮装置もレーンマークも写り込んでいないメッシュ画像の寄与度を100(%)に決定し、決定した寄与度を当該メッシュ画像と対応付けて記録する。これにより、図13の寄与度決定処理は終了する。なお、S41、S42とS43、およびS44の処理の順序は図示の例に限られない。また、これらの処理を並行で行ってもよい。
〔レーンマーク検出・寄与度決定の変形例〕
レーンマークの検出方法および寄与度の決定方法は上述の例に限られない。レーンマークの検出は、例えば図15に示すような方法で行うこともできる。図15は、レーンマークの検出方法の一例を示す図である。なお、図15の例では、説明を簡単にするため、同図の(a)に示すように、減速マークを含まない路面画像111を用いている。
レーンマーク検出部106は、同図の(a)に示す路面画像111を二値化することにより、同図の(b)に示す画像を得る。なお、制限速度を示す路面表示(50との数字)が描かれている領域は、車線の中央付近に位置しているため、路面であるとみなし、路面と同じく画素値を0としている。また、路面画像111に減速マークが含まれている場合には、減速マークを検出し、検出した領域の画素値を0にした上で二値化処理を施せばよい。
次に、レーンマーク検出部106は、二値化後の路面画像111を所定サイズのブロック画像に分割する。各ブロック画像のサイズはメッシュ画像よりも小さいものとする。例えば、メッシュ画像を500×500ピクセルのサイズの矩形とした場合、各ブロック画像は100×100ピクセルのサイズの矩形としてもよい。そして、レーンマーク検出部106は、各ブロック画像に含まれる白色画素の割合を算出する。
図15の(c)には、算出した白色画素の割合を示している。図15の(c)における左右方向と奥行き方向が路面画像111の左右方向と奥行き方向にそれぞれ対応している。また、図15の(c)における高さ方向の値が、各ブロックの白色画素の割合(%)を示している。同図の(a)(b)と比較すれば分かるように、同図の(c)ではレーンマークの部分が高いピークとなって表れている。
次に、レーンマーク検出部106は、二値化後の路面画像111から、白色画素の割合が所定の閾値γ以上であるブロックがη個以上集まっている領域をレーンマーク領域として検出する。また、検出したレーンマーク領域に対して横方向に隣接する領域もレーンマーク領域とする。これにより、レーンマーク領域が補間されて、横方向に一直線のレーンマーク領域が検出される。図15の(d)の例では、路面画像111の上端付近に2本、下端付近に1本のレーンマークが検出されている。
また、図15の例のように、メッシュ画像をさらに分割したブロック画像単位で白色画素の割合を算出した場合、メッシュ画像における何れの位置をレーンマークが占めているかが分かる。このため、寄与度決定部107は、白色画素の割合の算出結果を利用して寄与度を設定することができる。例えば、メッシュ画像を縦5列×横5列の25ブロック画像に分割した場合を考える。この場合、上側2列のブロック画像における白色画素の割合が所定の閾値γ以上であり、下側3列のブロック画像における白色画素の割合が所定の閾値γ未満であれば、このメッシュ画像の上側40%がレーンマークで占められていることになる。よって、寄与度決定部107は、このメッシュ画像の寄与度を60%とすればよい。
〔ひび割れ率算出処理の流れ〕
図3のS5で行われるひび割れ率算出処理の詳細を図16に基づいて説明する。図16は、ひび割れ率算出処理の一例を示すフローチャートである。ひび割れ率算出処理は、図3のS1で取得された路面画像111を用いて行われる。なお、路面画像111に対し、路面に写り込んだ影の影響を低減するための明るさの調整、および路面におけるひび割れ部分を強調するためのコントラストの調整を行った上で、ひび割れを検出してもよい。
S51では、ひび割れ検出部108は、路面画像111をブロック画像に分割する。各ブロック画像のサイズは、メッシュ画像よりも小さく、かつ、ひび割れの検出に支障のない範囲であればよく、例えば50×50ピクセル、あるいは100×100ピクセルのサイズとしてもよい。
S52では、ひび割れ検出部108は、各ブロック画像におけるひび割れの有無を判定する。ひび割れの有無の判定は、画像におけるひび割れの有無を判定できるように学習させたFCM識別器によって行ってもよい。この場合、ひび割れ検出部108は、画像中のひび割れの有無を学習させたFCM識別器を備えていることになる。この学習には、ひび割れのある部分が写り込んでいるブロック画像と、写り込んでいないブロック画像とを教師データとして用いればよい。なお、上記識別器はFCM識別器に限られず、ランダムフォレスト、ニューラルネットワーク、サポートベクターマシンなどのパターン認識手法や、深層学習等を行う識別器を用いてもよい。
S53では、ひび割れ検出部108は、S52における各ブロック画像におけるひび割れの有無の判定結果に基づき、メッシュ画像単位でひびの有無を判定する。具体的には、ひび割れ検出部108は、S53でひび割れ有りと判定したブロック画像が隣接してなる画像領域をひび割れ箇所として検出し、各メッシュ画像について、ひび割れ箇所を含むか否かを判定する。
また、ひび割れ検出部108は、この判定結果に基づいて各メッシュ画像を1本だけひび割れが検出された「線状ひび割れ」、2本以上のひび割れが検出された「面状ひび割れ」、およびひび割れが検出されなかった「ひび割れなし」の3グループに分類する。「線状ひび割れ」と「面状ひび割れ」は、例えばひび割れありと判定されたブロックの連結数や、メッシュ画像におけるひび割れありブロックの割合等に基づいて分類してもよい。
なお、S53では、ひび割れ有りと判定したブロック画像が所定数以上隣接してなる領域をひび割れ箇所として検出してもよい。この場合、S52でひび割れ有りと判定したブロック画像のうち、隣接数が所定数未満の領域はひび割れなし、とみなされる。一般に、検出すべきひび割れはある程度の長さや幅を有しているので、この処理を行うことにより、誤検出の可能性を減らし、検出すべきひび割れを的確に検出することが可能になる。
S54では、ひび割れ率算出部109は、S53の判定結果に基づいて路面画像111のひび割れ率を算出する。そして、ひび割れ率算出部109は、算出したひび割れ率を出力部13から出力し、これによりひび割れ算出処理は終了する。なお、ひび割れ率の出力が必要ない場合には、ひび割れ率算出部109は、算出したひび割れ率を路面画像111と対応付けて記録し、ひび割れ算出処理を終了する。
「面状ひび割れ」のひび割れ率と、「線状ひび割れ」のひび割れ率は、例えば下記の式で算出してもよい。
(面状ひび割れ率)=(面状ひび割れのあるメッシュ面積)/(調査面積)×100
(線状ひび割れ率)={(線状ひび割れのあるメッシュ面積)/(調査面積)}
×0.6×100
なお、上記各式において、メッシュ面積は所定の調査区間における積算値であり、調査面積はその調査区間の総面積である。例えば、1枚の路面画像111で撮影された範囲を1つの調査区間としてもよい。また、上記メッシュ面積は、寄与度を乗じて算出する。例えば、図14のメッシュ画像M1は寄与度75(%)であるから、メッシュ画像M1に線状ひび割れが検出された場合、(メッシュ画像M1の面積)×75/100が、メッシュ画像M1における線状ひび割れのあるメッシュ面積となる。
〔変形例〕
上記実施形態の情報処理装置1が備えている機能の一部を抽出して情報処理装置を構成することもできる。例えば、周辺標識検出部104の機能とレーンマーク検出部106の機能を備えた情報処理装置を構成することもできる。また、例えば、画像処理部102の機能と伸縮装置検出部103の機能を備えた情報処理装置を構成することもできる。なお、これらは例示であり、情報処理装置1の任意の機能を抽出して新たな情報処理装置を構成することができる。
また、情報処理装置1の機能は、複数のコンピュータを通信可能に接続した情報処理システムによって実現することもできる。例えば、周辺標識検出部104の機能とレーンマーク検出部106の機能と寄与度決定部107の機能を備えたコンピュータと、ひび割れ検出部108とひび割れ率算出部109の機能を備えたコンピュータとを含む情報処理システムを構成してもよい。この場合、前者で算出した寄与度を後者に送信して、寄与度を考慮したひび割れ率を算出することができる。
周辺標識検出部104が検出の対象とする、レーンマークの周辺に描かれている路面表示は、減速マークに限られない。例えば、進行方向の先に信号があることを示す鉤型の路面表示を検出対象としてもよい。この路面表示には、レーンマークの内側(走行レーン内)に沿って所定の間隔で描かれるという配置の特徴と、レーンマークに沿った直線部分と走行レーンの中央に向かって折れ曲がった鉤部分からなるという形状の特徴がある。このため、減速マークと同様に検出可能である。また、例えば、走行レーンの中央部に描かれる各種路面表示を検出対象としてもよい。走行レーンの中央部に描かれる種路面表示としては、例えばアロー型(「<」型)の減速マーク等が挙げられる。
また、例えば、「止まれ」等の文字と、レーンマークに沿った破線状の図形(減速マーク等)とが組み合わされた路面表示については、周辺標識検出部104は、先に文字を検出し、その検出位置を基準として図形を検出してもよい。これにより、レーンマーク近傍の図形(路面表示)を高精度に検出し、その検出領域を路面と判定することができるので、レーンマークの検出精度を高めることが可能になる。
さらに、例えば、周辺標識検出部104がレーンマークの内側に描かれる路面表示を検出する場合、レーンマーク検出部106は、路面画像の画像領域のうち、上記路面表示が検出された領域よりも走行レーンの外側の画像領域からレーンマークを検出してもよい。これにより、レーンマークの検出対象領域を絞り込むことができるので、レーンマークの検出精度を高めることが可能になる。
上記実施形態では、学習済みの識別器を用いて各種判定を行っているが、検査用の路面画像111を用いてこれら識別器の追加学習を行ってもよい。これにより、情報処理装置1を実際の検査に運用しながら、識別器の検出精度を向上させることができる。
また、路面画像111は、走行中の路面性状測定車から路面を撮影したものであるから、多くの場合、連続して撮影された路面画像111においてレーンマークが占める位置および範囲は同様である。このため、連続して撮影された路面画像111における寄与度が整合するように、寄与度を補正してもよい。例えば、連続して撮影された3つの路面画像111のうち、1番目と3番目の路面画像における寄与度の分布が同じまたは略同じであれば、2番目の路面画像の寄与度を、1番目または3番目の路面画像と同様の分布となるように補正してもよい。
〔ソフトウェアによる実現例〕
情報処理装置1の制御ブロック(特に制御部10に含まれる各部)は、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、CPU(Central Processing Unit)を用いてソフトウェアによって実現してもよい。
後者の場合、情報処理装置1は、各機能を実現するソフトウェアであるプログラムの命令を実行するCPU、上記プログラムおよび各種データがコンピュータ(またはCPU)で読み取り可能に記録されたROM(Read Only Memory)または記憶装置(これらを「記録媒体」と称する)、上記プログラムを展開するRAM(Random Access Memory)などを備えている。そして、コンピュータ(またはCPU)が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体(通信ネットワークや放送波等)を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
〔付記事項〕
本発明の一態様に係る解析装置は、走行中の路面性状測定車から路面を撮影した路面画像を解析する解析装置であって、車両の走行レーンを区切るレーンマークの周辺に描かれている路面表示を上記路面画像から検出する周辺表示検出部と、上記路面画像の画像領域のうち、上記路面表示が検出された領域外から上記レーンマークを検出するレーンマーク検出部と、を備えている。この構成によれば、路面表示が検出された領域外からレーンマークを検出するので、レーンマークの周辺に描かれている路面表示をレーンマークと誤検出する可能性を低減し、レーンマークの検出精度を高めることができる。
上記解析装置では、上記周辺表示検出部は、上記レーンマークに沿って所定間隔で描かれる上記路面表示を複数検出し、上記レーンマーク検出部は、上記路面表示が検出された領域外であり、かつ、検出された複数の上記路面表示で挟まれる領域外の画像領域から上記レーンマークを検出してもよい。この構成によれば、レーンマークに沿って所定間隔で描かれる複数の路面表示で挟まれる領域外の画像領域からレーンマークを検出するので、レーンマークの検出精度を高めることができる。これは、レーンマークに沿って所定間隔で描かれる複数の路面表示で挟まれる領域には、通常、レーンマークは描かれていないからである。
上記解析装置では、上記レーンマーク検出部は、上記周辺表示検出部が上記走行レーンを横断する方向に所定距離以上離れた路面表示を検出した場合に、上記路面表示が検出された領域外であり、かつ、所定距離以上離れて検出された上記路面表示で挟まれる領域外の画像領域から上記レーンマークを検出してもよい。この構成によれば、レーンマークの検出精度を高めることができる。これは、走行レーンを横断する方向に所定距離以上離れて描かれる路面表示で挟まれる領域は、通常、レーンマークが描かれていない領域であるからである。なお、走行レーンを横断する方向は、走行レーンの延伸方向と垂直な方向である。また、路面表示で挟まれる領域は、走行レーンを横断する方向に対向する一組の路面表示で挟まれる領域である。
上記解析装置は、上記路面上に設けられた伸縮装置と路面との接続部分が上記路面と近い外観となるように上記路面画像に画像処理を施す画像処理部と、上記画像処理後の上記路面画像から上記伸縮装置を検出する伸縮装置検出部と、を備えていてもよい。この構成によれば、接続部分が路面と近い外観となるように画像処理を施した上で、伸縮装置を検出するので、接続部分を伸縮装置であると誤検出する可能性を低減し、伸縮装置の検出精度を高めることができる。
本発明の一態様に係るひび割れ検出処理装置は、上記解析装置がレーンマークを検出した上記路面画像を解析して当該路面のひび割れを検出するひび割れ検出処理装置であって、上記路面画像を所定単位で分割したメッシュ画像について、上記レーンマークの位置および写り込みの程度に応じた寄与度を決定する寄与度決定部と、上記メッシュ画像について算出したひび割れの程度を示す指標値を、上記寄与度に応じて、上記レーンマークを挟んで位置する各走行レーンの指標値として振り分ける指標値算出部と、を備えている。この構成によれば、レーンマーク付近の路面におけるひび割れの程度を、走行レーンごとに正確に評価することができる。
本発明の一態様に係る解析方法は、走行中の路面性状測定車から路面を撮影した路面画像を解析装置によって解析する解析方法であって、車両の走行レーンを区切るレーンマークの周辺に描かれている路面表示を上記路面画像から検出する周辺標識検出ステップと、上記路面画像の画像領域のうち、上記路面表示が検出された領域外から上記レーンマークを検出するレーンマーク検出ステップと、を含む。この解析方法によれば、上記解析装置と同様の作用効果を奏する。
上述の解析装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記解析装置が備える各部(ソフトウェア要素)として動作させることにより上記解析装置をコンピュータにて実現させる解析プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
1 情報処理装置(解析装置、ひび割れ検出処理装置)
101 画像取得部
102 画像処理部
103 伸縮装置検出部
104 周辺標識検出部(周辺表示検出部)
105 路面検出部
106 レーンマーク検出部
107 寄与度決定部
108 ひび割れ検出部
109 ひび割れ率算出部(指標値算出部)
111 路面画像

Claims (6)

  1. 走行中の路面性状測定車から路面を撮影した路面画像を解析する解析装置であって、
    車両の走行レーンを区切るレーンマークの周辺に描かれている路面表示を上記路面画像から検出する周辺表示検出部と、
    上記路面画像の画像領域のうち、上記路面表示が検出された領域外から上記レーンマークを検出するレーンマーク検出部と、
    上記路面上に設けられた伸縮装置と路面との接続部分が上記路面と近い外観となるように上記路面画像に画像処理を施す画像処理部と、
    上記画像処理後の上記路面画像から上記伸縮装置を検出する伸縮装置検出部と、を備えていることを特徴とする解析装置。
  2. 上記周辺表示検出部は、上記レーンマークに沿って所定間隔で描かれる上記路面表示を複数検出し、
    上記レーンマーク検出部は、上記路面表示が検出された領域外であり、かつ、検出された複数の上記路面表示で挟まれる領域外の画像領域から上記レーンマークを検出することを特徴とする請求項1に記載の解析装置。
  3. 上記レーンマーク検出部は、上記周辺表示検出部が上記走行レーンを横断する方向に所定距離以上離れた路面表示を検出した場合に、上記路面表示が検出された領域外であり、
    かつ、所定距離以上離れて検出された上記路面表示で挟まれる領域外の画像領域から上記レーンマークを検出することを特徴とする請求項1または2に記載の解析装置。
  4. 請求項1から3の何れか1項に記載の解析装置がレーンマークを検出した上記路面画像を解析して当該路面のひび割れを検出するひび割れ検出処理装置であって、
    上記路面画像を所定単位で分割したメッシュ画像について、上記レーンマークの位置および写り込みの程度に応じた寄与度を決定する寄与度決定部と、
    上記メッシュ画像について算出したひび割れの程度を示す指標値を、上記寄与度に応じて、上記レーンマークを挟んで位置する各走行レーンの指標値として振り分ける指標値算出部と、を備えていることを特徴とするひび割れ検出処理装置。
  5. 請求項1に記載の解析装置としてコンピュータを機能させるための解析プログラムであって、上記周辺表示検出部および上記レーンマーク検出部としてコンピュータを機能させるための解析プログラム。
  6. 走行中の路面性状測定車から路面を撮影した路面画像を解析して当該路面のひび割れを検出するひび割れ検出処理装置であって、
    車両の走行レーンを区切るレーンマークの周辺に描かれている路面表示を上記路面画像から検出する周辺表示検出部と、
    上記路面画像の画像領域のうち、上記路面表示が検出された領域外から上記レーンマークを検出するレーンマーク検出部と、
    上記路面画像を所定単位で分割したメッシュ画像について、上記レーンマークの位置および写り込みの程度に応じた寄与度を決定する寄与度決定部と、
    上記メッシュ画像について算出したひび割れの程度を示す指標値を、上記寄与度に応じて、上記レーンマークを挟んで位置する各走行レーンの指標値として振り分ける指標値算出部と、を備えていることを特徴とするひび割れ検出処理装置。
JP2018025423A 2018-02-15 2018-02-15 解析装置、ひび割れ検出処理装置、および解析プログラム Active JP6364565B1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018025423A JP6364565B1 (ja) 2018-02-15 2018-02-15 解析装置、ひび割れ検出処理装置、および解析プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018025423A JP6364565B1 (ja) 2018-02-15 2018-02-15 解析装置、ひび割れ検出処理装置、および解析プログラム

Publications (2)

Publication Number Publication Date
JP6364565B1 true JP6364565B1 (ja) 2018-07-25
JP2019144608A JP2019144608A (ja) 2019-08-29

Family

ID=62976661

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018025423A Active JP6364565B1 (ja) 2018-02-15 2018-02-15 解析装置、ひび割れ検出処理装置、および解析プログラム

Country Status (1)

Country Link
JP (1) JP6364565B1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109636772A (zh) * 2018-10-25 2019-04-16 同济大学 基于深度学习的不规则形状金属加工表面的缺陷检测方法
JP2020125980A (ja) * 2019-02-05 2020-08-20 西日本旅客鉄道株式会社 劣化レベル判定装置、劣化レベル判定方法、およびプログラム
JP2020144572A (ja) * 2019-03-06 2020-09-10 エヌ・ティ・ティ・コムウェア株式会社 道路不具合検出装置、道路不具合検出方法及び道路不具合検出プログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7480838B2 (ja) * 2020-03-31 2024-05-10 日本電気株式会社 道路劣化診断装置、道路劣化診断方法、及び、プログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012168884A (ja) * 2011-02-16 2012-09-06 Nissan Motor Co Ltd 車線境界検出装置及び車線境界検出方法
JP2018026044A (ja) * 2016-08-12 2018-02-15 トヨタ自動車株式会社 道路区画線検出装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012168884A (ja) * 2011-02-16 2012-09-06 Nissan Motor Co Ltd 車線境界検出装置及び車線境界検出方法
JP2018026044A (ja) * 2016-08-12 2018-02-15 トヨタ自動車株式会社 道路区画線検出装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109636772A (zh) * 2018-10-25 2019-04-16 同济大学 基于深度学习的不规则形状金属加工表面的缺陷检测方法
JP2020125980A (ja) * 2019-02-05 2020-08-20 西日本旅客鉄道株式会社 劣化レベル判定装置、劣化レベル判定方法、およびプログラム
JP7261026B2 (ja) 2019-02-05 2023-04-19 西日本旅客鉄道株式会社 劣化レベル判定装置、劣化レベル判定方法、およびプログラム
JP2020144572A (ja) * 2019-03-06 2020-09-10 エヌ・ティ・ティ・コムウェア株式会社 道路不具合検出装置、道路不具合検出方法及び道路不具合検出プログラム

Also Published As

Publication number Publication date
JP2019144608A (ja) 2019-08-29

Similar Documents

Publication Publication Date Title
JP6294529B1 (ja) ひび割れ検出処理装置、およびひび割れ検出処理プログラム
JP6364565B1 (ja) 解析装置、ひび割れ検出処理装置、および解析プログラム
CN108759973B (zh) 一种水位测量方法
CN110678901B (zh) 信息处理设备、信息处理方法和计算机可读存储介质
JP4567630B2 (ja) 車種判別プログラムおよび車種判別装置
CN110555361B (zh) 车道分类的图像处理方法
CN106599792B (zh) 一种手部驾驶违规行为的检测方法
US9047518B2 (en) Method for the detection and tracking of lane markings
CN108921089A (zh) 车道线检测方法、装置和系统及存储介质
US8620094B2 (en) Pattern recognition apparatus, pattern recogntion method, image processing apparatus, and image processing method
JP6362442B2 (ja) 車線境界線抽出装置、車線境界線抽出方法、及びプログラム
JP7025126B2 (ja) 情報処理装置、情報処理方法、および情報処理プログラム
JP6678267B1 (ja) 道路不具合検出装置、道路不具合検出方法及び道路不具合検出プログラム
US20150154460A1 (en) Image processing apparatus and image processing method
JP2021060656A (ja) 道路損傷判定装置、道路損傷判定方法及び道路損傷判定プログラム
JP2016045508A (ja) 路面の劣化度合い推定方法およびアルゴリズム(多重解像度画像のガボール・フィルター出力画像を使用した、ひび割れ検出手法)
CN111932537A (zh) 对象形变检测方法、装置、计算机设备和存储介质
CN104318225A (zh) 车牌检测方法及装置
JP2019045922A (ja) 変状箇所検出装置、変状箇所検出プログラムおよび変状箇所検出方法
CN101425143B (zh) 一种图像定位的方法及装置
JP2004145501A (ja) 道路白線認識装置
JP6223256B2 (ja) マンホール蓋管理装置、マンホール蓋管理方法及びプログラム
JP2020160840A (ja) 路面標示不具合検出装置、路面標示不具合検出方法及び路面標示不具合検出プログラム
JP7156527B2 (ja) 路面検査装置、路面検査方法、およびプログラム
US10062155B2 (en) Apparatus and method for detecting defect of image having periodic pattern

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180215

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20180215

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20180326

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180403

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180601

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180612

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180702

R150 Certificate of patent or registration of utility model

Ref document number: 6364565

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250