JP7480838B2 - 道路劣化診断装置、道路劣化診断方法、及び、プログラム - Google Patents

道路劣化診断装置、道路劣化診断方法、及び、プログラム Download PDF

Info

Publication number
JP7480838B2
JP7480838B2 JP2022511769A JP2022511769A JP7480838B2 JP 7480838 B2 JP7480838 B2 JP 7480838B2 JP 2022511769 A JP2022511769 A JP 2022511769A JP 2022511769 A JP2022511769 A JP 2022511769A JP 7480838 B2 JP7480838 B2 JP 7480838B2
Authority
JP
Japan
Prior art keywords
deterioration
image
road
shadow
road surface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022511769A
Other languages
English (en)
Other versions
JPWO2021200038A5 (ja
JPWO2021200038A1 (ja
Inventor
千里 菅原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2021200038A1 publication Critical patent/JPWO2021200038A1/ja
Publication of JPWO2021200038A5 publication Critical patent/JPWO2021200038A5/ja
Application granted granted Critical
Publication of JP7480838B2 publication Critical patent/JP7480838B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06Road conditions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

本開示は、道路劣化診断装置、道路劣化診断方法、及び、記録媒体に関する。
道路劣化診断では、車両から撮影した路面画像をコンピュータで解析することにより、ひび割れを自動で検出する装置の導入が進められている。
特許文献1および特許文献2には、路面を撮影した路面画像を解析して、当該解析結果に基づいて路面のひび割れを検出するひび割れ検出処理装置が開示されている。
特許文献1および特許文献2のような、画像解析に基づくひび割れ検出では、路面上の構造物の影を、ひび割れと誤検出してしまう可能性がある。このような誤検出を防ぐ技術の一例が、特許文献3に記載されている。
特許文献3の技術では、撮影した画像内における太陽光に起因する影の位置を特定し、画像内で影の位置とひび割れの位置とを比較して、影をひび割れと検出するような誤検出を判定する。特許文献3の技術では、建物や架空線等の構造物をレーザースキャンして得られる、当該構造物の点群データと、天文データや計算式から算出される特定の時刻における太陽の天球上における位置と、に基づいて、撮像した画像の路面に映り込む影の位置を求めている。
特開2019-144608号公報 特開2018-087484号公報 特開2018-036769号公報
特許文献3に開示されているシステムでは、画像内における影の位置を特定するために、レーザースキャナーが必要となる。このため、システムが高価となり、その使用やメンテナンスも容易ではない。
本開示の目的の一つは、上述の課題を解決し、安価で容易に構造物の影による道路劣化の誤検出を防ぐことができる、道路劣化検出装置、道路劣化検出方法、及び、記録媒体を提供することである。
本開示の一態様における道路劣化診断装置は、道路を撮影した画像と、前記画像を撮影した、日付、位置、時刻、及び、方向とを取得する取得手段と、取得した前記画像の路面上の劣化を検出する検出手段と、前記日付、位置、時刻、及び、方向を用いて、前記画像の路面上で構造物の影ができ得る方向を算出する算出手段と、前記路面上の劣化の方向と、前記影ができ得る方向と、に基づいて、前記劣化の誤検出の可能性を判定する判定手段と、を含む。
本開示の一態様における道路劣化診断方法は、路面を撮影した画像と、前記画像を撮影した、日付、位置、時刻、及び、方向とを取得し、取得した前記画像の路面上の劣化を検出し、前記日付、位置、時刻、及び、方向に基づいて、前記画像の路面上で構造物の影ができ得る方向を算出し、前記路面上の劣化の方向と、前記影ができ得る方向と、に基づいて、前記劣化の誤検出の可能性を判定する。
本開示の一態様におけるコンピュータが読み取り可能な記録媒体は、コンピュータに、路面を撮影した画像と、前記画像を撮影した、日付、位置、時刻、及び、方向とを取得し、取得した前記画像の路面上の劣化を検出し、前記日付、位置、時刻、及び、方向に基づいて、前記画像の路面上で構造物の影ができ得る方向を算出し、前記路面上の劣化の方向と、前記影ができ得る方向と、に基づいて、前記劣化の誤検出の可能性を判定する、処理を実行させるプログラムを格納する。
本開示の効果は、安価で容易に、構造物の影による道路劣化の誤検出を防ぐことができることである。
第1の実施形態における道路劣化診断システム10の概要を示す概略図である。 第1の実施形態における道路劣化診断システム10の構成の一例を示すブロック図である。 第1の実施形態における、画像情報の例である。 第1の実施形態における、画像認識技術による道路劣化(ひび割れ)を検出した例である。 第1の実施形態における、道路劣化診断処理を示すフローチャートである。 第1の実施形態における、道路をカメラで撮影した場合の模式図である。 第1の実施形態における、道路領域を、平面図上にマッピングした例を示す模式図である。 第1の実施形態における、ひび割れの方向(方位)を算出する方法の一例を説明する図である。 第1の実施形態における、パッチラインの方向(方位)と影方向との関係を示す例である。 第1の実施形態における、画像認識技術による道路劣化(ひび割れ)を示す、パッチラインの方向を表す線分に、影方向を示す線分を重畳した例である。 第2の実施形態における道路劣化診断システム100の構成の一例を示すブロック図である。 第2の実施形態の道路劣化診断処理のフローチャートである。 第2の実施形態における、道路周辺の構造物が認識された例を示す図である。 第3の実施形態における道路劣化診断システム110の構成の一例を示すブロック図である。 第3の実施形態における、信頼度算出処理のフローチャートである。 第4の実施形態における、道路劣化診断装置1の構成を示すブロック図である。 コンピュータ500のハードウェア構成の例を示すブロック図である。
実施形態について図面を参照して詳細に説明する。なお、各図面、及び、明細書記載の各実施形態において、同様の構成要素には同一の符号を付与し、説明を適宜省略する。
(第1の実施形態)
第1の実施形態について説明する。
はじめに、第1の実施形態における道路劣化診断システムの構成を説明する。図1は、第1の実施形態における道路劣化診断システム10の概要を示す概略図である。図1を参照すると、道路劣化診断システム10は、複数の撮像装置20_1、20_2、…20_N(Nは自然数を表す)(以下、まとめて、撮像装置20とも記載)、道路劣化診断装置30、及び、複数の車両40_1、40_2、…40_N(Nは自然数を表す)(以下、まとめて、車両40とも記載)を含む。
道路劣化診断システム10では、撮像装置20_1、20_2、…20_Nは、それぞれ、例えば、地方自治体や、道路管理会社等、道路を管理する機関に属する車両40_1、40_2、…40_Nに搭載される。また、道路劣化診断システム10では、道路劣化診断装置30、及び、撮像装置20_1、20_2、…20_Nが、例えば、通信ネットワークを介して通信可能なように接続される。
道路劣化診断装置30は、例えば、上述の機関の道路管理部門に配置される。なお、道路劣化診断装置30は、上述の機関の道路管理部門以外の場所に配置されてもよい。この場合、道路劣化診断装置30は、クラウドコンピューティングシステムにより実現されてもよい。なお、本実施形態では、撮像装置20が車両40に搭載される場合について説明する。この場合、撮像装置20は、例えば、車両に搭載されるドライブレコーダでもよい。また、撮像装置20は、自転車やドローン等の他の移動体に搭載されてもよく、また、人が撮像装置20を持ち歩いてもよい。また、撮影装置は、移動体に限らず固定/定点カメラなどでもよい。
次いで、図2を参照しながら、各装置の構成を説明する。図2は、第1の実施形態における道路劣化診断システム10の構成の一例を示すブロック図である。
(撮像装置の構成)
撮像装置20は、図2に示すように、撮像部21、時刻取得部22、地点取得部23、撮影方向取得部24、記憶部25、及び、送信部26を含む。
撮像部21は、車両40が走行する道路を撮影する。撮像部21は、車両40が道路を走行中に、所定の間隔で、車両40の周囲を撮影する。撮影により得られる画像は、車両40の前方の道路、及びその周囲を含む。また、撮影により得られる画像は、撮像装置20が移動体全般に搭載される場合、当該移動体が移動する道路、及び、その周囲の画像であり、人の場合、人が移動する道路、及び、その周囲の画像である。
時刻取得部22は、撮像部21が画像を撮影した、日付、及び、時刻(以下、撮影日、及び、撮影時刻とも記載)を取得する。時刻取得部22は、撮影日、及び、撮影時刻を、撮像部21に出力する。
地点取得部23は、撮像部21が撮影した地点(以下、撮影地点とも記載)を取得する。地点取得部23は、例えば、GPS(Global Positioning System)受信機であり、撮像部21が備えるものであっても、別体でもよい。地点取得部23は、撮影地点を、撮像部21に出力する。
撮影方向取得部24は、撮像部21が画像を撮影した方向(方位)(以下、撮影方向とも記載)を取得する。撮像装置20は、車両40のフロントガラス付近で、道路とその周囲を撮影し易い場所に設置される。この場合、撮影方向が、車両40の進行方向と同一となるように、撮像装置20を車両40に設置する。また、撮影方向は、方向(方位)を詳細に表すことができる、360°式(北を0°、東を90°、南を180°、及び、西を270°で表現する方位角、つまり時計回りに0°~360°で方位を表す)を用いて、表してもよい。
撮影方向取得部24は、例えば、左右、上下の3方向を検出できる加速度センサと、東西南北を検出できる地磁気センサと、が組み合わされた6軸センサである。また、撮影方向取得部24は、車両の前方を撮影方向とし、地点取得部23で得られた位置情報を用いて、直前もしくは直後の位置情報と現在の位置情報の差分情報などから、車両の進行方向(撮影方向)を推定してもよい。撮影方向取得部24は、撮影方向を、撮像部21に出力する。
撮像部21は、時刻取得部22から撮影日、及び、撮影時刻を取得し、地点取得部23から撮影地点を取得し、撮影方向取得部24から撮影方向を取得して、撮影した画像に、撮影日、撮影時刻、撮影地点、及び、撮影方向を関連付けて、画像情報として、記憶部25に記憶させる。
記憶部25は、車両ID(Identifier)を記憶する。また、記憶部25は、画像情報を記憶する。記憶部25は、例えば、RAM(Random Access Memory)、またはUSB(Universal Serial Bus)メモリなどの可搬型の記憶媒体であってもよい。
また、記憶部25がUSBメモリのような可搬型の記憶媒体の場合、USBメモリの画像が、道路劣化診断装置30により直接読み出されてもよい。この場合、例えば、車両40の運転者が、画像が記憶されたUSBメモリを、道路劣化診断装置30のオペレータに渡し、当該オペレータが道路劣化診断装置30にUSBメモリを読み取らせてもよい。
送信部26は、記憶部25から画像情報を取得し、通信ネットワークを介して、道路劣化診断装置30に送信する。画像情報の送信は、例えば、画像を撮影する度に当該画像を含む画像情報を送信する形態でもよく、所定の期間ごとに、各期間に撮影された1以上の画像のそれぞれを含む画像情報を送信する形態でもよい。
(道路劣化診断装置の構成)
道路劣化診断装置30は、記憶部31、画像情報取得部32、道路劣化検出部33、影方向算出部34、誤検出判定部35、及び、表示制御部36を含む。画像情報取得部32、道路劣化検出部33、影方向算出部34、及び、誤検出判定部35は、本開示における、それぞれ、取得手段、検出手段、算出手段、及び、判定手段の一実施形態である。道路劣化診断装置30の構成要素の一部又は全部が、上述のように、クラウドコンピューティングシステムにより実現されてもよい。例えば、記憶部31、画像情報取得部32、道路劣化検出部33、影方向算出部34、及び、誤検出判定部35がクラウド上に配置され、表示制御部36が、道路管理部門に配置されてもよい。
また、道路劣化診断装置30は、道路の路面上の劣化を診断する。ここで、路面上の劣化とは、例えば、路面の凹凸、轍、ひび割れ、及び、ポットホール等である。以下、本実施の形態では、路面の劣化が、ひび割れの場合を例に説明する。
記憶部31は、画像情報取得部32が取得する、画像情報を記憶する。図3は、第1の実施形態における、画像情報の例である。図3では、車両IDが「1」の車両40に関する画像情報とする。図3を参照すると、例として、撮影日2020年3月13日において、撮影時刻13:00:00から5秒ごとに13:00:35までの画像情報が示されている。例えば、撮影時刻13:00:00では、撮影地点A1_1、撮影方向90°、画像ファイル画像1である。ここでは、撮影地点としてA1_1と簡易的に表しているが、例えば、「北緯35°39′29″1572」「東経135°26′7″2539」等の緯度経度であってもよい。また、撮影方向90°とは、上述した360°式において、東を示す。画像1は、静止画でもよく、また動画でもよい。画像1が動画の場合、撮影時刻13:00:00の例では、画像1は、例えば、撮影時刻13:00:00~13:00:04までの動画でもよい。
また、画像情報は、車両ID、撮影された画像、撮影時刻、撮影地点、及び、撮影方向に限らず、その他の情報を含んでもよい。撮像装置20から受信した画像情報に、撮影日が含まれていない場合、当該受信時に、道路劣化診断装置30が管理する日付を、画像情報に追加するようにしてもよい。
画像情報取得部32は、撮像装置20から送信される画像情報を、通信ネットワークを介して受信する。画像情報取得部32は、取得した画像情報を、記憶部31に記憶させる。画像情報取得部32は、記憶部31に保存した画像情報から、道路劣化診断の対象の画像情報を取得する。また、画像情報取得部32は、USBメモリなどの記憶媒体から、道路劣化診断の対象の画像情報を読み出しても(取得しても)よい。
道路劣化検出部33は、記憶部31から取得した画像情報に含まれる画像を画像解析することにより、路面上の劣化である、ひび割れを検出する。この画像解析では、道路劣化検出部33が、例えば、取得した画像の中から、道路領域を抽出して、当該道路領域において、路面のひび割れを検出するような構成にしてもよい。
図4は、第1の実施形態における、画像認識技術による道路劣化(ひび割れ)を検出した例である。図4では、抽出された道路領域において、複数の矩形が、検出されたひび割れに沿って示されている。ここで、矩形は、例えば、画像解析により抽出された道路領域を、複数の部分領域に分割して、部分領域ごとに道路劣化(ひび割れ)の有無を判定する場合において、道路劣化(ひび割れ)が検出された部分領域を示す。以下、このような、道路劣化(ひび割れ)が検出された部分領域を示す矩形を、対象パッチとも記載する。
道路劣化検出部33は、検出したひび割れについて分析し、当該ひび割れの方向(方位)を検出する。道路劣化検出部33は、ひび割れの方向(方位)を、例えば、図4に示すような、解析画像上における、対象パッチの並びと、画像情報に含まれる撮影方向と、を用いて判断してもよい。ひび割れの方向(方位)の算出方法の詳細は、後述する。
影方向算出部34は、道路劣化検出部33が画像解析を行った画像が含まれる画像情報から、撮影日、撮影時刻、撮影地点、及び、撮影方向を用いて、当該画像の路面上で影ができうる方向を、算出する。影方向算出部34は、撮影日、撮影時刻、及び、撮影地点を用いて、太陽の位置を推定する。影方向算出部34は、推定した太陽の位置から、影ができ得る方向(以下、影方向とも記載)を推定する。なお、太陽の位置の推定方法、及び、影方向の推定方法は、後述する一般的な方法を用いてもよい。
誤検出判定部35は、対象パッチの並びの方向(方位)と、影方向と、を比較して、これらの方向(方位)の角度θを算出する。例えば、誤検出判定部35は、上述した360°式で、複数の対象パッチの並びの方向(方位)が300°、影方向が305°であるとすると、角度θを5°と判定する。
誤検出判定部35は、角度θが所定の閾値より小さい場合、検出したひび割れが構造物の影である可能性が高いと判断し、当該ひび割れの検出を誤検出と判定する。また、誤検出判定部35は、角度θが所定の閾値以上の場合、検出したひび割れが構造物の影である可能性が低いと判断し、当該ひび割れの検出を誤検出ではないと判定する。
表示制御部36は、道路劣化検出部33から、解析された画像を取得し、表示装置に表示する。表示制御部36が表示装置に表示する画像は、例えば、図4に示す表示例である。また、表示制御部36は、誤検出判定部35が、検出したひび割れを誤検出と判定した場合、誤検出と判定されたひび割れについて、対象パッチの表示方法を変更してもよい。例えば、表示制御部36は、誤検出と判定されたひび割れの対象パッチを、点滅させて表示する等の強調表示にしてもよい。
次に、第1の実施形態の動作について説明する。
(道路劣化診断処理)
道路劣化診断装置30における、道路劣化診断処理について説明する。
図5は、第1の実施形態における、道路劣化診断処理を示すフローチャートである。道路劣化診断処理は、例えば、道路劣化診断装置30が各車両40の撮像装置20から画像情報を受信した後に、オペレータ等により、道路劣化診断の実行指示が入力された場合に実行される。実行指示の入力では、例えば、道路劣化の検出を行う対象区間が指定される。
なお、第1の実施形態の動作では、撮像装置20から受信した画像情報が、記憶部31に保存されているとする。
画像情報取得部32は、記憶部31から、対象区間に合致する撮影地点の画像情報を取得する(ステップS101)。なお、画像情報取得部32は、通信ネットワークを介して接続されたデータベース等の記憶部から、画像を取得してもよい。また、画像情報取得部32は、USBメモリまたはSDカード等の記憶媒体から画像を取得してもよい。
道路劣化検出部33は、撮像装置20から取得した画像情報の画像から、道路領域を抽出する(ステップS102)。ここで、道路劣化検出部33は、例えば、画像認識技術を用いて、道路領域を検出する。この場合、画像認識技術として、道路領域の画像を機械学習やディープラーニングにより学習させたAI(Artificial Intelligence)が用いられてもよい。また、道路劣化検出部33は、例えば、ハフ(Hough)変換によって道路領域を検出してもよい。
ハフ変換では、例えば、取得した画像にエッジ抽出処理を施したエッジ画像において、抽出されたエッジの各点を、所定の点を原点として、原点からエッジの各点の距離と、原点から各点への角度とを用いて、各点を通る直線を求める。そして、ハフ変換では、各点を通る直線を、各点の直線を表すパラメータである距離と角度との空間(パラメータ空間)に変換して、各直線のパラメータが一致する点を算出することで、エッジ画像における直線を検出する。
ここで、図6及び図7を参照して、道路劣化検出部33による抽出した道路領域の平面図上へのマッピングの例を説明する。
図6は、第1の実施形態における、道路をカメラで撮影した場合の模式図である。図6には、ひび割れC1、及び、ひび割れC2が示されている。一般的に、カメラで撮影した遠近法の画像では、道路の両側が平行に延びていく直線道路であっても、道路の両側がある一点、すなわち消失点に向かって延びていく。すなわち、撮影画像の手前側(車両に近い側)と奥側(車両から遠い側)とで、同じ大きさの物体が異なる大きさとなる。このため、図6に示すように、同じ大きさのひび割れが、撮影画像の手前側では大きく映り、撮影画像の奥側では小さく映る。そのため、検出した道路領域の画像を、路面を上から見たような平面図上にマッピングして、正確にひび割れの方向及び大きさを検出してもよい。
図7は、第1の実施形態における、道路領域を、平面図上にマッピングした例を示す模式図である。マッピングの方法は、例えば、道路の幅が、最も手前側の道路幅と同じになるような倍率で、マッピングしてもよい。また、マッピングの方法としては、これに限らず、周知の技術を用いて行ってもよい。
後述する、ひび割れの検出、及び、誤検出の判定は、このような平面図上へのマッピングにより得られる画像に対して行ってもよい。
道路劣化検出部33は、抽出した道路領域において、ひび割れを検出する(ステップS103)。ここで、道路劣化検出部33は、例えば、画像認識技術を用いて、路面のひび割れを検出する。この場合、画像認識技術として、路面のひび割れの画像を機械学習やディープラーニングにより学習させたAIが用いられてもよい。
道路劣化検出部33は、ひび割れの方向(方位)を判定する(ステップS104)。ここで、道路劣化検出部33は、例えば、上述したハフ変換を用いて、直線状に並んでいる対象パッチ(以下、パッチラインとも記載)を検出して、ひび割れの方向(方位)を判定もよい。図8は、第1の実施形態における、ひび割れの方向(方位)を算出する方法の一例を説明する図である。図8には、複数の対象パッチP1~P6と、それらの対象パッチの中央を示す点と、が示されている。道路劣化検出部33は、これらの対象パッチについて、例えばハフ変換を用いて、対象パッチ中央の点が直線状に並ぶパッチラインを検出してもよい。この場合、道路劣化検出部33は、図8に示すような、対象パッチP1~P3、及び、P6のパッチラインを示す線分L1と、対象パッチP4~P6のパッチラインを示す線分L2と、を検出する。
道路劣化検出部33は、この地点における撮影方向(つまり、進行方向)を用いて、線分L1及び線分L2の方向(方位)と撮影方向との角度を算出する。各線分と撮影方向との角度は、解析画像上の線分と、仮想的な撮影方向の線分とを用いて、画像解析で求めてもよい。また、各線分と撮影方向との角度は、画像解析を使用せずに、例えば、線分L1の式のパラメータ(1次式の傾き)と、撮影方向とから求めてもよい。
例えば、図8において、撮影方向が0°、撮影方向と線分L1の方向との角度が、例えば、反時計回りに60°であるとする。この場合、道路劣化検出部33は、線分L1の方向(方位)を300°と算出する。また、撮影方向と線分L2の方向との角度は、例えば、0°であるとする。この場合、道路劣化検出部33は、線分L2の方向(方位)を0°と算出する。
影方向算出部34は、解析している画像に対応する、撮影日、撮影地点、及び、撮影時刻を用いて、太陽の位置を推定する(ステップS105)。ここでは、一般的な太陽の位置の算出方法を用いるが、他の算出方法を用いてもよい。一般的な太陽の位置の算出方法としては、太陽高度、及び、太陽方位角を、用いる方法がある。この方法は、例えば、株式会社気象データシステムのホームページの技術解説一般にある「太陽位置の計算」(URL: https://www.metds.co.jp/wp-content/uploads/2019/03/TE_SunPosition_160401.pdf)や、国立天文台のホームページの「太陽の高度,方位角および影の位置の概略値の求め方」(URL: https://eco.mtk.nao.ac.jp/koyomi/topics/html/topics2005.html)を参照することができる。なお、この方法では、まず太陽高度を算出し、算出した太陽高度を用いて、太陽方位角を算出している。
影方向算出部34は、推定した太陽の位置のうち、太陽方位角を用いて、構造物の影ができ得る方向である、影方向を推定する(ステップS106)。影方向算出部34は、太陽方位角の180°逆方向を求めることで、影方向を算出する。例えば、影方向算出部34は、太陽方位角を125°と算出すれば、影方向を305°と算出する。
誤検出判定部35は、パッチラインの方向(方位)と、影方向と、を比較して、これらの方向(方位)の角度θを算出する(ステップS107)。図9は、第1の実施形態における、パッチラインの方向(方位)と影方向との関係を示す例である。図9は、パッチラインの方向(方位)を示す線分L1及びL2と、影方向算出部34が算出した影方向を示す線分S1と、線分L1と線分S1との角度θ1と、線分L2と線分S1との角度θ2とを示している。誤検出判定部35は、例えば、図9において、対象パッチP1~P3、及び、P6のパッチラインを示す線分L1の方向(方位)が300°、影方向が305°とすると、角度θ1を5°と算出する。また、誤検出判定部35は、例えば、対象パッチP4~P6のパッチラインを示す線分L2の方向(方位)が0°、影方向が305°とすると、角度θ2を55°と算出する。
誤検出判定部35は、角度θに基づいて、パッチラインが示すひび割れの検出が誤検出か否かを判定する(ステップS108)。例えば、角度θが所定の閾値を10°とすると、上述した図9の例では、線分L1と線分S1との角度θ1が5°なので、誤検出判定部35は、検出したひび割れが構造物の影である可能性が高いと判断し、当該ひび割れの検出を誤検出と判定する。また、上述した図9の例では、線分L2と線分S1との角度θ2が55°なので、誤検出判定部35は、検出したひび割れが構造物の影である可能性が低いと判断し、当該ひび割れの検出を誤検出ではないと判定する。
表示制御部36は、道路劣化検出部33が検出したひび割れと、その検出したひび割れに関する判定結果と、を表示装置に表示する(ステップS109)。表示制御部36は、オペレータへの注意を促すために、例えば、誤検出と判定されたひび割れについて、当該ひび割れを示す対象パッチを点滅させるようにしてもよい。
以上により、第1の実施形態の動作が完了する。
本実施の形態では、図9に示すような、パッチラインを示す線分や影方向を示す線分を計算処理で算出して、当該線分間の角度から、検出したひび割れが誤検出か否かを判定しているが、解析画像上に、これらの線分を表示し、画像上の線分間の角度を判定することで、検出したひび割れが誤検出か否かを判定してもよい。この場合、表示制御部36は、パッチラインを示す線分を表示し、影方向算出部34から影方向を取得し、当該線分に対して影方向を示す線分を重畳してもよい。そうすることにより、誤検出判定部35は、表示制御部36が表示する画像から、角度θを判定することができる。
図10は、第1の実施形態における、画像認識技術による道路劣化(ひび割れ)に対して検出されたパッチラインの方向を示す線分に、影方向を示す線分を重畳した例である。図10を参照すると、検出されたひび割れを示す複数の対象パッチの方向(方位)を示す線分L1に、影方向を示す線分S1が、重畳されている。
このように表示することにより、誤検出判定部35が、両線分間の角度θを認識し易くなる。また、上述した説明では、線分により影方向を示したが、影方向を示すのであれば、どのような表示方法でもよい。
次に、第1の実施形態の効果を説明する。
第1の実施形態によれば、安価で容易に、構造物の影による道路劣化の誤検出を防ぐことができる。その理由は、道路劣化診断装置30が、道路を撮影した画像と、画像を撮影した、日付、位置、時刻、及び、方向とを含む画像情報を取得し、取得した画像の路面上の劣化を検出し、画像情報を用いて、画像の路面上で構造物の影ができ得る方向を算出し、路面上の劣化の方向と、影ができ得る方向と、が形成する角度に基づいて、影による路面上の劣化の誤検出の可能性を判定するためである。
(第2の実施形態)
第2の実施形態について説明する。
第2の実施形態は、構造物の影ができ得る方向に加えて、検出したひび割れの付近に位置する構造物からの影であるか否かを判定する点で、第1の実施形態とは異なる。
第2の実施形態における道路劣化診断システムの構成を説明する。図11は、第2の実施形態における道路劣化診断システム100の構成の一例を示すブロック図である。第2の実施形態において、第1の実施形態と同様の部分については、同じ符号を付して、説明を省略し、異なる部分についてのみ説明する。
(道路劣化診断装置の構成)
道路劣化診断装置300は、記憶部31、画像情報取得部32、道路劣化検出部33、影方向算出部34、誤検出判定部35、表示制御部36、及び、構造物認識部37を含む。構造物認識部37は、本開示における、構造物認識手段の一実施形態である。
構造物認識部37は、道路劣化検出部33が解析している画像において、道路周辺の構造物を認識する。構造物認識部37は、例えば、太陽の位置及び影方向から、抽出された道路領域の路面に、影を落とす可能性がある構造物を認識することが好ましい。このような構造物として、例えば、電柱、標識、電線、街灯、及び、樹木等が挙げられる。構造物認識部37は、例えば、画像認識技術を用いて、上述したような構造物を認識する。この場合、画像認識技術として、例えば、電柱、標識、電線、街灯、及び、樹木等の構造物の画像を機械学習やディープラーニングにより学習させたAIが用いられてもよい。
構造物認識部37が認識した構造物と路面との接点を起点とする影方向(以下、構造物起点の影方向とも記載)と、パッチラインの方向と、が形成する角度θ、及び、構造物と路面との接点を起点とする影の長さ(以下、構造物起点の影の長さとも記載)とパッチラインの長さと、を比較した結果に応じて、検出したひび割れの誤検出を判定する。誤検出判定部35は、構造物起点の影方向と、パッチラインの方向と、が形成する角度が、所定の閾値以下で、さらに、構造物起点の影の長さと、パッチラインの長さとの差異が、所定の閾値以下の場合、検出したひび割れを誤検出と判定する。また、誤検出判定部35は、構造物起点の影方向と、パッチラインの方向とが形成する角度θが、所定の閾値より大きく、さらに、構造物起点の影の長さと、パッチラインの長さとの差異が、所定の閾値より大きい場合、検出したひび割れを誤検出でないと判定する。
表示制御部36は、第1の実施形態と同様に、道道路劣化の検出結果を、図示しない表示装置、例えばディスプレイに表示する。
次に、第2の実施形態の動作について説明する。
(道路劣化診断処理)
図12は、第2の実施形態の道路劣化診断処理のフローチャートである。第2の実施形態の道路劣化診断処理における、画像情報取得から影方向推定までの処理(ステップS201~ステップS206)は、第1の実施形態の道路劣化診断処理における、ステップS101~ステップS106と同じである。
次いで、構造物認識部37は、道路劣化検出部33が解析している画像において、道路周辺の構造物を認識する(ステップS207)。図13は、第2の実施形態における、道路周辺の構造物が認識された例を示す図である。図13には、構造物認識部37が道路わきの街灯を構造物と認識し、当該街灯の周囲が構造物の領域として矩形で囲まれている。また、図13では、道路劣化検出部33が道路領域を抽出し、路面上のひび割れと検出した箇所に、複数の対象パッチが表示されている。
道路周辺の構造物を認識できた場合(ステップS207/Yes)、構造物認識部37は、当該構造物の高さを算出する(ステップS208)。構造物認識部37は、例えば、画像認識技術を用いて、認識した構造物の高さを算出する。この場合、画像認識技術として、例えば、電柱、標識、電線、街灯、及び、樹木等の構造物の画像とそれらの高さを機械学習やディープラーニングにより学習させたAIが用いられてもよい。
構造物認識部37は、構造物の影の長さを算出する(ステップS209)。構造物認識部37は、太陽高度と、構造物の高さを用いて、構造物の影の長さを算出する。構造物認識部37は、検出されたひび割れの並びの方向、すなわちパッチラインの方向と、構造物起点の影方向と、を比較する(ステップS210)。さらに、構造物認識部37は、パッチラインの長さと、構造物起点の影の長さとを比較する(ステップS211)。図13を参照すると、構造物起点の影方向及び影の長さを示す線分S1と、パッチラインの方向及び長さを示す線分L1とが、示されている。誤検出判定部35は、比較結果として、図13に示すような、線分L1と線分S1とが形成する角度θを取得する。角度θは、例えば、画像上の線分の傾きを算出することで取得できる。また、誤検出判定部35は、比較結果として、線分S1の長さと、線分L1の長さの差分(以下、長さの差分とも記載)を取得する。
誤検出判定部35は、取得した角度および長さの差分に応じて、検出したひび割れの誤検出を判定する(ステップS212)。角度θの閾値を10°、長さの差分の閾値を2mとすると、図13を参照し、例えば、角度θが7°、長さの差分が0.5mである場合、角度θも長さの差分も所定の閾値以下なので、誤検出判定部35は、検出されたひび割れを、誤検出と判定する。
道路周辺の構造物を認識できなかった場合(ステップS207/No)、誤検出判定部35は、パッチラインの方向(方位)と、影方向と、を比較して、これらの方向(方位)の角度θを算出する(ステップS213)。なお、方向の比較処理(ステップ213)は、第1の実施形態における、方向の比較処理(ステップS107)と同じである。また、ステップS207において、構造物認識部37が構造物を認識できない場合とは、例えば、構造物が画像に収まり切れない場合等が挙げられる。
誤検出判定部35は、角度θに基づいて、パッチラインが示すひび割れの検出が誤検出か否かを判定する(ステップ214)。なお、誤検出の判定処理(ステップ214)は、第1の実施形態における、誤検出の判定処理(ステップS108)と同じである。
表示制御部36は、道路劣化検出部33が検出したひび割れと、その検出したひび割れに関する判定結果と、を表示装置に表示する(ステップS215)。表示制御部36は、オペレータへの注意を促すために、例えば、検出の判定結果が誤検出となったひび割れを示す対象パッチを、点滅させるようにしてもよい。
以上により、第2の実施形態の動作が完了する。
次に、第2の実施形態の効果を説明する。
第2の実施形態によれば、第1の実施形態に比べて、より精度良く構造物の影によるひび割れの誤検出を低減できる。その理由は、道路劣化診断装置300が、道路周辺の構造物を認識し、当該構造物からの影の位置及び方向を算出して、検出したひび割れと比較するためである。これにより、第1の実施形態において、実際に影が無いにもかかわらず、検出したひび割れの方向と、太陽方位角に基づく影方向との差が小さいことにより誤検出と判定されることを除外できる。
(第3の実施形態)
第3の実施形態について説明する。
第3の実施形態は、さらに、ひび割れの検出の信頼度を算出する点で、第1の実施形態とは異なる。
第3の実施形態における道路劣化診断システムの構成を説明する。図14は、第3の実施形態における道路劣化診断システム110の構成の一例を示すブロック図である。第3の実施形態において、第1の実施形態及び第2の実施形態と同様の部分については、同じ符号を付して、説明を省略し、異なる部分についてのみ説明する。
(道路劣化診断装置の構成)
道路劣化診断装置300は、記憶部31、画像情報取得部32、道路劣化検出部33、影方向算出部34、誤検出判定部35、表示制御部36、構造物認識部37、及び、信頼度算出部38を含む。信頼度算出部38は、本開示における、信頼度算出手段の一実施形態である。
信頼度算出部38は、影方向と、パッチラインの方向と、が形成する角度θに基づく信頼度と、道路劣化検出部33における画像認識技術によるひび割れ検出の信頼度と、構造物起点の影の長さと、パッチラインの長さと、の差分に基づく信頼度と、の信頼度の平均を、対象パッチごとに算出する。ここでは、影方向と、パッチラインの方向と、が形成する角度θに基づく信頼度を信頼度α1、画像認識技術によるひび割れ検出の信頼度を信頼度α2、構造物起点の影の長さと、パッチラインの長さと、の差分に基づく信頼度を信頼度α3とする。そして、信頼度α1~信頼度α3の平均を信頼度αとする。また、信頼度α1~信頼度α3のそれぞれに重みづけして合計することにより信頼度αを算出してもよく、信頼度α1~信頼度α3の平均以外の値を用いてもよい。なお、信頼度αは、信頼度α1~信頼度α3のうち1以上を使用してればよく、また信頼度α1~信頼度α3の定義と異なる他の信頼度を使用してもよい。
信頼度α1は、例えば、角度θに応じて、次のように定義されてもよい。
Figure 0007480838000001
AI等を用いた画像処理技術では、例えば、ひび割れを検出するときに、その検出箇所における画像が、ひび割れの画像である確率を算出している。そして、その確率に応じて、ひび割れであるか否かの判定が行われる。信頼度α2には、ひび割れの画像である確率が用いられる。信頼度α2は、ひび割れの画像である確率が高いほど、信頼度の値が高くなるように定義される。信頼度α2は、0以上1以下の値である。
信頼度α3は、構造物起点の影の長さと、パッチラインの長さと、の差分に基づく信頼度と定義される。信頼度α3は、0以上1以下の値である。
信頼度αは、これら3つの信頼度α1~α3を足し合わせ、3で割った値である。
表示制御部36は、信頼度算出部38から各対象パッチの信頼度αを取得する。表示制御部36は、取得した信頼度αの値に応じて、対象パッチの表示法方を変更する。例えば、表示制御部36は、信頼度αの値に応じて、対象パッチの色、または点滅等の表示を変更してもよい。
次に、第3の実施形態の動作について説明する。
(信頼度算出処理)
図15は、第3の実施形態における、信頼度算出処理のフローチャートである。信頼度算出処理は、例えば、オペレータ等により、信頼度算出の実行指示が入力された場合に実行される。実行指示の入力では、例えば、信頼度のレベル数が指定される。レベル数が3と入力されれば、信頼度は、例えば、0.8及び0.5を境界として、大中小に設定されてもよい。この場合、レベル分けの境界となる値は、任意に設定されてもよい。
信頼度算出部38は、対象パッチごとに、信頼度α1~α3を算出する(ステップS301)。信頼度算出部38は、対象パッチごとに、信頼度α1~α3の平均値を算出し、それを信頼度αとする(ステップS302)。ここで、対象パッチP10について、例えば、影方向と、パッチラインの方向と、が形成する角度θが5°だとすると、信頼度α1が0.1となる。また、ひび割れ検出時の対象パッチP10のひび割れ確率が0.3だとすると、信頼度α2も0.3となる。また、構造物起点の影の長さと、パッチラインの長さと、の差分が0.2だとすると、信頼度α3も0.2となる。そうすると、信頼度αは、(0.1+0.3+0.2)/3で、0.2となる。なお、信頼度算出部38は、ここで、算出した信頼度αの値を、各対象パッチに出力してもよい。
信頼度算出部38は、算出した信頼度αと、所定の閾値とを比較する(ステップS303)。算出した信頼度αが、所定の閾値よりも小さい場合(ステップS303/No)、所定の閾値よりも小さい信頼度αの対象パッチを表示装置に表示しない(ステップS305)。算出した信頼度αが、所定の閾値よりも大きい場合(ステップS303/Yes)、信頼度αのレベルに応じて、対象パッチの表示を変更する。例えば、信頼度αが0.8及び0.5を境界として、大中小にレベル分けされているとする。この場合、信頼度算出部38は、例えば、信頼度αのレベルが「大」であれば、当該信頼度αの対象パッチの表示色を「青色」とし、信頼度αのレベルが「中」であれば、対象パッチの表示色を「黄色」とし、信頼度αのレベルが「低」であれば、対象パッチの表示色を「赤色」としてもよい。また、例えば、信頼度αのレベルが「小」の対象パッチを点滅させるようにしてもよい。
信頼度算出部38は、道路領域における全ての対象パッチについて、ステップS301~S305の処理を実行したか否かを判定する(ステップS306)。全ての対象パッチについて、ステップS301~S305の処理が実行されていない場合(ステップS306/No)、ステップS301からの処理を繰り返す。全てのパッチについて、ステップS301~S305の処理が実行された場合(ステップS306/Yes)、信頼度算出部38は、道路劣化診断処理を終了する。
以上により、第3の実施形態の動作が完了する。
本実施の形態では、信頼度算出部38は、信頼度を計算したが、信頼度算出部38は、さらに、信頼度を用いたひび割れ率も算出してもよい。この場合、信頼度算出部38は、次式に従って、ひび割れ率を算出してもよい。
Figure 0007480838000002
ここで、道路領域の面積と、各対象パッチの面積とは、例えば、画像上にて、それぞれの領域のドット数またはピクセル数を数えることで算出される。
次に、第3の実施形態の効果を説明する。
第3の実施形態によれば、オペレータが、検出されたひび割れの信頼度を判定できる。その理由は、道路劣化診断装置300が、検出されたひび割れについて、複数の指標に基づく信頼度を算出しているためである。
(第4の実施形態)
第4の実施形態について説明する。
図16は、第4の実施形態における、道路劣化診断装置1の構成を示すブロック図である。
図16を参照すると、道路劣化診断装置1は、取得部2、検出部3、算出部4、及び、判定部5を含む。取得部2、検出部3、算出部4、及び、判定部5は、それぞれ、取得手段、検出手段、算出手段、及び、判定手段の一実施形態である。
取得部2は、道路を撮影した画像と、画像を撮影した、日付、位置、時刻、及び、方向とを取得する。検出部3は、取得した画像の路面上の劣化を検出する。算出部4は、日付、位置、時刻、及び、方向を用いて、画像の路面上で構造物の影ができうる方向を、算出する。判定部5は、路面上の劣化の方向と、影ができうる方向と、に基づいて、劣化の誤検出の可能性を判定する。
次に、第4の実施形態の効果を説明する。
第4の実施形態によれば、安価で容易に、構造物の影による道路劣化の誤検出を防ぐことができる。その理由は、道路劣化診断装置1が、道路を撮影した画像と、画像を撮影した、日付、位置、時刻、及び、方向とを取得し、取得した画像の路面上の劣化を検出し、日付、位置、時刻、及び、方向を用いて、画像の路面上で構造物の影ができ得る方向を算出し、路面上の劣化の方向と、影ができ得る方向と、に基づいて、劣化の誤検出の可能性を判定するためである。
(ハードウェア構成)
上述した各実施形態において、各装置(撮像装置20、道路劣化診断装置30、300、310等)の各構成要素は、機能単位のブロックを示している。各装置の各構成要素の一部又は全部は、コンピュータ500とプログラムとの任意の組み合わせにより実現されてもよい。
図17は、コンピュータ500のハードウェア構成の例を示すブロック図である。図17を参照すると、コンピュータ500は、例えば、CPU(Central Processing Unit)501、ROM(Read Only Memory)502、RAM(Random Access Memory)503、プログラム504、記憶装置505、ドライブ装置507、通信インタフェース508、入力装置509、出力装置510、入出力インタフェース511、及び、バス512を含む。
プログラム504は、各装置の各機能を実現するための命令(instruction)を含む。プログラム504は、予め、ROM502やRAM503、記憶装置505に格納される。CPU501は、プログラム504に含まれる命令を実行することにより、各装置の各機能を実現する。例えば、道路劣化診断装置310のCPU501がプログラム504に含まれる命令を実行することにより、画像情報取得部32、道路劣化検出部33、影方向算出部34、誤検出判定部35、表示制御部36、構造物認識部37及び、信頼度算出部38等の機能を実現する。また、例えば、道路劣化診断装置310のRAM503が、記憶部31のデータを記憶してもよい。
ドライブ装置507は、記録媒体506の読み書きを行う。通信インタフェース508は、通信ネットワークとのインタフェースを提供する。入力装置509は、例えば、マウスやキーボード等であり、オペレータ等からの情報の入力を受け付ける。出力装置510は、例えば、ディスプレイであり、オペレータ等へ情報を出力(表示)する。入出力インタフェース511は、周辺機器とのインタフェースを提供する。バス512は、これらハードウェアの各構成要素を接続する。なお、プログラム504は、通信ネットワークを介してCPU501に供給されてもよいし、予め、記録媒体506に格納され、ドライブ装置507により読み出され、CPU501に供給されてもよい。
なお、図17に示されているハードウェア構成は例示であり、これら以外の構成要素が追加されていてもよく、一部の構成要素を含まなくてもよい。
各装置の実現方法には、様々な変形例がある。例えば、各装置は、構成要素毎にそれぞれ異なるコンピュータとプログラムとの任意の組み合わせにより実現されてもよい。また、各装置が備える複数の構成要素が、一つのコンピュータとプログラムとの任意の組み合わせにより実現されてもよい。
また、各装置の各構成要素の一部または全部は、プロセッサ等を含む汎用または専用の回路(circuitry)や、これらの組み合わせによって実現されてもよい。これらの回路は、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。各装置の各構成要素の一部又は全部は、上述した回路等とプログラムとの組み合わせによって実現されてもよい。
また、各装置の各構成要素の一部又は全部が複数のコンピュータや回路等により実現される場合、複数のコンピュータや回路等は、集中配置されてもよいし、分散配置されてもよい。
また、道路劣化診断装置30、300、310は車両40に配置されてもよいし、車両40とは異なる場所に配置され、通信ネットワークを介して撮像装置20と接続されてもよい。
以上、実施形態を参照して本開示を説明したが、本開示は上記実施形態に限定されるものではない。本開示の構成や詳細には、本開示のスコープ内で当業者が理解し得る様々な変更をすることができる。また、各実施形態における構成は、本開示のスコープを逸脱しない限りにおいて、互いに組み合わせることが可能である。
例えば、上述の各実施形態では、道路劣化がひび割れの場合を例に説明したが、上述のパッチラインのように、直線状に検出される劣化であれば、道路劣化はひび割れ以外でもよい。
この出願は、2020年3月31日に出願された日本出願特願2020-062852を基礎とする優先権を主張し、その開示のすべてをここに取り込む。
1、30、300、310 道路劣化診断装置
2 取得部
3 検出部
4 算出部
5 判定部
10、100、110 道路劣化診断システム
20 撮像装置
21 撮像部
22 時刻取得部
23 地点取得部
24 撮影方向取得部
25、31 記憶部
26 送信部
32 画像情報取得部
33 道路劣化検出部
34 影方向算出部
35 誤検出判定部
36 表示制御部
37 構造物認識部
38 信頼度算出部
40 車両
500 コンピュータ
501 CPU
502 ROM
503 RAM
504 プログラム
505 記憶装置
506 記録媒体
507 ドライブ装置
508 通信インタフェース
509 入力装置
510 出力装置
511 入出力インタフェース
512 バス

Claims (10)

  1. 道路を撮影した画像と、前記画像を撮影し日付、位置、時刻、及び、方向とを取得
    する取得手段と、
    取得した前記画像の路面上の劣化を検出し、当該路面上の劣化の方向を算出する検出手段と、
    前記画像を撮影した日付、位置、時刻、及び、方向を用いて、前記画像の路面上で構造物の影ができ得る方向を算出する算出手段と、
    算出された前記路面上の劣化の方向と、前記影ができ得る方向と、が形成する角度が所定の閾値以下の場合に、前記劣化が誤検出であると判定する判定手段と、
    を含む道路劣化診断装置。
  2. 取得した前記画像から、前記構造物を認識する構造物認識手段を更に含み、
    前記算出手段が、前記構造物認識手段により認識された前記構造物の影ができ得る方向
    及び長さを算出し、
    前記判定手段が、前記路面上の劣化の方向及び長さと、前記構造物の影ができ得る方向
    及び長さとの差異が、所定の閾値以下の場合に、前記劣化が誤検出であると判定する
    請求項1に記載の道路劣化診断装置。
  3. 前記路面上の劣化が線状である
    請求項1または2に記載の道路劣化診断装置。
  4. 前記構造物は、電柱、標識、電線、街灯、及び、樹木のうちのいずれかである
    請求項1乃至3のいずれか1項に記載の道路劣化診断装置。
  5. 前記検出手段は、前記画像において前記劣化が検出された複数の部分領域が並ぶ方向と、前記画像を撮影した方向と、を用いて、前記劣化の方向を算出する
    請求項1乃至4のいずれか1項に記載の道路劣化診断装置。
  6. 検出された前記劣化について、前記角度に基づく信頼度、前記検出手段による前記劣化の検出信頼度、及び、前記差異に基づく信頼度、のうち少なくとも1つを用いて、当該劣化の信頼度を算出する信頼度算出手段を備え、
    前記信頼度算出手段は、前記信頼度を出力する
    請求項に記載の道路劣化診断装置。
  7. 前記画像において検出された前記劣化を表示装置に表示する表示制御手段を更に含み、
    前記表示制御手段は、前記路面上の劣化を示す線分および前記影ができ得る方向を示す線分を前記画像上に重畳して表示する
    請求項1乃至6のいずれか1項に記載の道路劣化診断装置。
  8. 前記表示制御手段は、前記画像において誤検出であると判定された前記劣化を、誤検出であると判定されていない前記劣化と異なる態様で表示装置に表示する
    請求項7に記載の道路劣化診断装置。
  9. コンピュータが、
    路面を撮影した画像と、前記画像を撮影し日付、位置、時刻、及び、方向とを取得し、
    取得した前記画像の路面上の劣化を検出し、当該路面上の劣化の方向を算出し、
    前記画像を撮影した日付、位置、時刻、及び、方向に基づいて、前記画像の路面上で構造物の影ができ得る方向を算出し、
    算出された前記路面上の劣化の方向と、前記影ができ得る方向と、が形成する角度が所定の閾値以下の場合に、前記劣化が誤検出であると判定する、
    道路劣化診断方法。
  10. コンピュータに、
    路面を撮影した画像と、前記画像を撮影し日付、位置、時刻、及び、方向とを取得し、
    取得した前記画像の路面上の劣化を検出し、当該路面上の劣化の方向を算出し、
    前記画像を撮影した日付、位置、時刻、及び、方向に基づいて、前記画像の路面上で構造物の影ができ得る方向を算出し、
    算出された前記路面上の劣化の方向と、前記影ができ得る方向と、が形成する角度が所定の閾値以下の場合に、前記劣化が誤検出であると判定する、
    処理を実行させるプログラム。
JP2022511769A 2020-03-31 2021-03-12 道路劣化診断装置、道路劣化診断方法、及び、プログラム Active JP7480838B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020062852 2020-03-31
JP2020062852 2020-03-31
PCT/JP2021/010099 WO2021200038A1 (ja) 2020-03-31 2021-03-12 道路劣化診断装置、道路劣化診断方法、及び、記録媒体

Publications (3)

Publication Number Publication Date
JPWO2021200038A1 JPWO2021200038A1 (ja) 2021-10-07
JPWO2021200038A5 JPWO2021200038A5 (ja) 2022-11-11
JP7480838B2 true JP7480838B2 (ja) 2024-05-10

Family

ID=77927228

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022511769A Active JP7480838B2 (ja) 2020-03-31 2021-03-12 道路劣化診断装置、道路劣化診断方法、及び、プログラム

Country Status (3)

Country Link
US (1) US20230135985A1 (ja)
JP (1) JP7480838B2 (ja)
WO (1) WO2021200038A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6947316B2 (ja) * 2019-01-30 2021-10-13 日本電気株式会社 劣化診断装置、劣化診断システム、劣化診断方法、プログラム
WO2023228239A1 (ja) * 2022-05-23 2023-11-30 三菱電機株式会社 道路状態検出装置および道路状態検出方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018021375A (ja) 2016-08-03 2018-02-08 株式会社東芝 舗装ひび割れ解析装置、舗装ひび割れ解析方法及び舗装ひび割れ解析プログラム
JP2018036769A (ja) 2016-08-30 2018-03-08 株式会社トプコン 画像処理装置、画像処理方法および画像処理用プログラム
JP2018087484A (ja) 2015-07-21 2018-06-07 株式会社東芝 ひび割れ解析装置、ひび割れ解析方法及びひび割れ解析プログラム
WO2018131165A1 (ja) 2017-01-16 2018-07-19 富士通株式会社 情報処理プログラム、情報処理方法および情報処理装置
JP2019144608A (ja) 2018-02-15 2019-08-29 阪神高速技術株式会社 解析装置、ひび割れ検出処理装置、および解析プログラム
JP2019154017A (ja) 2018-03-06 2019-09-12 東芝インフラシステムズ株式会社 撮影画像事前確認システム及び撮影画像事前確認方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018087484A (ja) 2015-07-21 2018-06-07 株式会社東芝 ひび割れ解析装置、ひび割れ解析方法及びひび割れ解析プログラム
JP2018021375A (ja) 2016-08-03 2018-02-08 株式会社東芝 舗装ひび割れ解析装置、舗装ひび割れ解析方法及び舗装ひび割れ解析プログラム
JP2018036769A (ja) 2016-08-30 2018-03-08 株式会社トプコン 画像処理装置、画像処理方法および画像処理用プログラム
WO2018131165A1 (ja) 2017-01-16 2018-07-19 富士通株式会社 情報処理プログラム、情報処理方法および情報処理装置
JP2019144608A (ja) 2018-02-15 2019-08-29 阪神高速技術株式会社 解析装置、ひび割れ検出処理装置、および解析プログラム
JP2019154017A (ja) 2018-03-06 2019-09-12 東芝インフラシステムズ株式会社 撮影画像事前確認システム及び撮影画像事前確認方法

Also Published As

Publication number Publication date
JPWO2021200038A1 (ja) 2021-10-07
WO2021200038A1 (ja) 2021-10-07
US20230135985A1 (en) 2023-05-04

Similar Documents

Publication Publication Date Title
EP3581890B1 (en) Method and device for positioning
CN106446873B (zh) 人脸检测方法及装置
US10628890B2 (en) Visual analytics based vehicle insurance anti-fraud detection
JP6444835B2 (ja) 画像処理装置、画像処理プログラムおよび画像処理システム
JP7480838B2 (ja) 道路劣化診断装置、道路劣化診断方法、及び、プログラム
US20120257056A1 (en) Image processing apparatus, image processing method, and image processing program
JP2009064410A (ja) 車両の死角における移動物体を検知するための方法、および死角検知装置
US10872246B2 (en) Vehicle lane detection system
KR20200110120A (ko) 3d-vr 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템 및 그 방법
CN111967396A (zh) 障碍物检测的处理方法、装置、设备及存储介质
Petrovai et al. A stereovision based approach for detecting and tracking lane and forward obstacles on mobile devices
CN115496923A (zh) 一种基于不确定性感知的多模态融合目标检测方法及装置
CN113743163A (zh) 交通目标识别模型训练方法、交通目标定位方法、装置
CN111652915A (zh) 一种遥感图像的重叠区域计算方法、装置及电子设备
CN112990169B (zh) 煤岩界面的识别方法、割煤轨迹的确定方法及装置
CN114779276A (zh) 一种障碍物检测方法和装置
US20230108779A1 (en) Road deterioration diagnostic device, road deterioration diagnostic system, roaddeterioration diagnostic method, and recording medium
CN108090425B (zh) 一种车道线检测方法、装置及终端
KR20190134303A (ko) 영상 인식 장치 및 그 방법
CN112639822B (zh) 一种数据处理方法及装置
JP2008269218A (ja) 画像処理装置、画像処理方法および画像処理プログラム
KR102259981B1 (ko) 영상 분석 기반 가시거리 측정 및 경보 시스템 및 방법
CN113496163A (zh) 障碍物识别方法和装置
CN116311205A (zh) 车牌识别方法、车牌识别装置、电子设备及存储介质
CN112241717B (zh) 前车检测方法、前车检测模型的训练获取方法及装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220818

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220818

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230627

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230823

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231121

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240105

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240326

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240408

R150 Certificate of patent or registration of utility model

Ref document number: 7480838

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150