JP7480838B2 - 道路劣化診断装置、道路劣化診断方法、及び、プログラム - Google Patents
道路劣化診断装置、道路劣化診断方法、及び、プログラム Download PDFInfo
- Publication number
- JP7480838B2 JP7480838B2 JP2022511769A JP2022511769A JP7480838B2 JP 7480838 B2 JP7480838 B2 JP 7480838B2 JP 2022511769 A JP2022511769 A JP 2022511769A JP 2022511769 A JP2022511769 A JP 2022511769A JP 7480838 B2 JP7480838 B2 JP 7480838B2
- Authority
- JP
- Japan
- Prior art keywords
- deterioration
- image
- road
- shadow
- road surface
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000006866 deterioration Effects 0.000 title claims description 171
- 238000003745 diagnosis Methods 0.000 title claims description 75
- 238000000034 method Methods 0.000 title claims description 38
- 238000001514 detection method Methods 0.000 claims description 124
- 238000004364 calculation method Methods 0.000 claims description 50
- 230000008569 process Effects 0.000 claims description 20
- 230000015556 catabolic process Effects 0.000 claims 1
- 238000006731 degradation reaction Methods 0.000 claims 1
- 238000003384 imaging method Methods 0.000 description 32
- 238000010586 diagram Methods 0.000 description 20
- 238000005516 engineering process Methods 0.000 description 18
- 238000012545 processing Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 10
- 238000013473 artificial intelligence Methods 0.000 description 6
- 238000010191 image analysis Methods 0.000 description 6
- 238000013507 mapping Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000007429 general method Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000004397 blinking Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
- B60W40/06—Road conditions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30256—Lane; Road marking
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Automation & Control Theory (AREA)
- Mathematical Physics (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Description
第1の実施形態について説明する。
(撮像装置の構成)
撮像装置20は、図2に示すように、撮像部21、時刻取得部22、地点取得部23、撮影方向取得部24、記憶部25、及び、送信部26を含む。
(道路劣化診断装置の構成)
道路劣化診断装置30は、記憶部31、画像情報取得部32、道路劣化検出部33、影方向算出部34、誤検出判定部35、及び、表示制御部36を含む。画像情報取得部32、道路劣化検出部33、影方向算出部34、及び、誤検出判定部35は、本開示における、それぞれ、取得手段、検出手段、算出手段、及び、判定手段の一実施形態である。道路劣化診断装置30の構成要素の一部又は全部が、上述のように、クラウドコンピューティングシステムにより実現されてもよい。例えば、記憶部31、画像情報取得部32、道路劣化検出部33、影方向算出部34、及び、誤検出判定部35がクラウド上に配置され、表示制御部36が、道路管理部門に配置されてもよい。
(道路劣化診断処理)
道路劣化診断装置30における、道路劣化診断処理について説明する。
第2の実施形態について説明する。
(道路劣化診断装置の構成)
道路劣化診断装置300は、記憶部31、画像情報取得部32、道路劣化検出部33、影方向算出部34、誤検出判定部35、表示制御部36、及び、構造物認識部37を含む。構造物認識部37は、本開示における、構造物認識手段の一実施形態である。
(道路劣化診断処理)
図12は、第2の実施形態の道路劣化診断処理のフローチャートである。第2の実施形態の道路劣化診断処理における、画像情報取得から影方向推定までの処理(ステップS201~ステップS206)は、第1の実施形態の道路劣化診断処理における、ステップS101~ステップS106と同じである。
第3の実施形態について説明する。
(道路劣化診断装置の構成)
道路劣化診断装置300は、記憶部31、画像情報取得部32、道路劣化検出部33、影方向算出部34、誤検出判定部35、表示制御部36、構造物認識部37、及び、信頼度算出部38を含む。信頼度算出部38は、本開示における、信頼度算出手段の一実施形態である。
(信頼度算出処理)
図15は、第3の実施形態における、信頼度算出処理のフローチャートである。信頼度算出処理は、例えば、オペレータ等により、信頼度算出の実行指示が入力された場合に実行される。実行指示の入力では、例えば、信頼度のレベル数が指定される。レベル数が3と入力されれば、信頼度は、例えば、0.8及び0.5を境界として、大中小に設定されてもよい。この場合、レベル分けの境界となる値は、任意に設定されてもよい。
第4の実施形態について説明する。
上述した各実施形態において、各装置(撮像装置20、道路劣化診断装置30、300、310等)の各構成要素は、機能単位のブロックを示している。各装置の各構成要素の一部又は全部は、コンピュータ500とプログラムとの任意の組み合わせにより実現されてもよい。
2 取得部
3 検出部
4 算出部
5 判定部
10、100、110 道路劣化診断システム
20 撮像装置
21 撮像部
22 時刻取得部
23 地点取得部
24 撮影方向取得部
25、31 記憶部
26 送信部
32 画像情報取得部
33 道路劣化検出部
34 影方向算出部
35 誤検出判定部
36 表示制御部
37 構造物認識部
38 信頼度算出部
40 車両
500 コンピュータ
501 CPU
502 ROM
503 RAM
504 プログラム
505 記憶装置
506 記録媒体
507 ドライブ装置
508 通信インタフェース
509 入力装置
510 出力装置
511 入出力インタフェース
512 バス
Claims (10)
- 道路を撮影した画像と、前記画像を撮影した日付、位置、時刻、及び、方向とを取得
する取得手段と、
取得した前記画像の路面上の劣化を検出し、当該路面上の劣化の方向を算出する検出手段と、
前記画像を撮影した日付、位置、時刻、及び、方向を用いて、前記画像の路面上で構造物の影ができ得る方向を算出する算出手段と、
算出された前記路面上の劣化の方向と、前記影ができ得る方向と、が形成する角度が所定の閾値以下の場合に、前記劣化が誤検出であると判定する判定手段と、
を含む道路劣化診断装置。 - 取得した前記画像から、前記構造物を認識する構造物認識手段を更に含み、
前記算出手段が、前記構造物認識手段により認識された前記構造物の影ができ得る方向
及び長さを算出し、
前記判定手段が、前記路面上の劣化の方向及び長さと、前記構造物の影ができ得る方向
及び長さとの差異が、所定の閾値以下の場合に、前記劣化が誤検出であると判定する
請求項1に記載の道路劣化診断装置。 - 前記路面上の劣化が線状である
請求項1または2に記載の道路劣化診断装置。 - 前記構造物は、電柱、標識、電線、街灯、及び、樹木のうちのいずれかである
請求項1乃至3のいずれか1項に記載の道路劣化診断装置。 - 前記検出手段は、前記画像において前記劣化が検出された複数の部分領域が並ぶ方向と、前記画像を撮影した方向と、を用いて、前記劣化の方向を算出する
請求項1乃至4のいずれか1項に記載の道路劣化診断装置。 - 検出された前記劣化について、前記角度に基づく信頼度、前記検出手段による前記劣化の検出信頼度、及び、前記差異に基づく信頼度、のうち少なくとも1つを用いて、当該劣化の信頼度を算出する信頼度算出手段を備え、
前記信頼度算出手段は、前記信頼度を出力する
請求項2に記載の道路劣化診断装置。 - 前記画像において検出された前記劣化を表示装置に表示する表示制御手段を更に含み、
前記表示制御手段は、前記路面上の劣化を示す線分および前記影ができ得る方向を示す線分を前記画像上に重畳して表示する
請求項1乃至6のいずれか1項に記載の道路劣化診断装置。 - 前記表示制御手段は、前記画像において誤検出であると判定された前記劣化を、誤検出であると判定されていない前記劣化と異なる態様で表示装置に表示する
請求項7に記載の道路劣化診断装置。 - コンピュータが、
路面を撮影した画像と、前記画像を撮影した日付、位置、時刻、及び、方向とを取得し、
取得した前記画像の路面上の劣化を検出し、当該路面上の劣化の方向を算出し、
前記画像を撮影した日付、位置、時刻、及び、方向に基づいて、前記画像の路面上で構造物の影ができ得る方向を算出し、
算出された前記路面上の劣化の方向と、前記影ができ得る方向と、が形成する角度が所定の閾値以下の場合に、前記劣化が誤検出であると判定する、
道路劣化診断方法。 - コンピュータに、
路面を撮影した画像と、前記画像を撮影した日付、位置、時刻、及び、方向とを取得し、
取得した前記画像の路面上の劣化を検出し、当該路面上の劣化の方向を算出し、
前記画像を撮影した日付、位置、時刻、及び、方向に基づいて、前記画像の路面上で構造物の影ができ得る方向を算出し、
算出された前記路面上の劣化の方向と、前記影ができ得る方向と、が形成する角度が所定の閾値以下の場合に、前記劣化が誤検出であると判定する、
処理を実行させるプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020062852 | 2020-03-31 | ||
JP2020062852 | 2020-03-31 | ||
PCT/JP2021/010099 WO2021200038A1 (ja) | 2020-03-31 | 2021-03-12 | 道路劣化診断装置、道路劣化診断方法、及び、記録媒体 |
Publications (3)
Publication Number | Publication Date |
---|---|
JPWO2021200038A1 JPWO2021200038A1 (ja) | 2021-10-07 |
JPWO2021200038A5 JPWO2021200038A5 (ja) | 2022-11-11 |
JP7480838B2 true JP7480838B2 (ja) | 2024-05-10 |
Family
ID=77927228
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022511769A Active JP7480838B2 (ja) | 2020-03-31 | 2021-03-12 | 道路劣化診断装置、道路劣化診断方法、及び、プログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20230135985A1 (ja) |
JP (1) | JP7480838B2 (ja) |
WO (1) | WO2021200038A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6947316B2 (ja) * | 2019-01-30 | 2021-10-13 | 日本電気株式会社 | 劣化診断装置、劣化診断システム、劣化診断方法、プログラム |
WO2023228239A1 (ja) * | 2022-05-23 | 2023-11-30 | 三菱電機株式会社 | 道路状態検出装置および道路状態検出方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018021375A (ja) | 2016-08-03 | 2018-02-08 | 株式会社東芝 | 舗装ひび割れ解析装置、舗装ひび割れ解析方法及び舗装ひび割れ解析プログラム |
JP2018036769A (ja) | 2016-08-30 | 2018-03-08 | 株式会社トプコン | 画像処理装置、画像処理方法および画像処理用プログラム |
JP2018087484A (ja) | 2015-07-21 | 2018-06-07 | 株式会社東芝 | ひび割れ解析装置、ひび割れ解析方法及びひび割れ解析プログラム |
WO2018131165A1 (ja) | 2017-01-16 | 2018-07-19 | 富士通株式会社 | 情報処理プログラム、情報処理方法および情報処理装置 |
JP2019144608A (ja) | 2018-02-15 | 2019-08-29 | 阪神高速技術株式会社 | 解析装置、ひび割れ検出処理装置、および解析プログラム |
JP2019154017A (ja) | 2018-03-06 | 2019-09-12 | 東芝インフラシステムズ株式会社 | 撮影画像事前確認システム及び撮影画像事前確認方法 |
-
2021
- 2021-03-12 US US17/910,610 patent/US20230135985A1/en active Pending
- 2021-03-12 WO PCT/JP2021/010099 patent/WO2021200038A1/ja active Application Filing
- 2021-03-12 JP JP2022511769A patent/JP7480838B2/ja active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018087484A (ja) | 2015-07-21 | 2018-06-07 | 株式会社東芝 | ひび割れ解析装置、ひび割れ解析方法及びひび割れ解析プログラム |
JP2018021375A (ja) | 2016-08-03 | 2018-02-08 | 株式会社東芝 | 舗装ひび割れ解析装置、舗装ひび割れ解析方法及び舗装ひび割れ解析プログラム |
JP2018036769A (ja) | 2016-08-30 | 2018-03-08 | 株式会社トプコン | 画像処理装置、画像処理方法および画像処理用プログラム |
WO2018131165A1 (ja) | 2017-01-16 | 2018-07-19 | 富士通株式会社 | 情報処理プログラム、情報処理方法および情報処理装置 |
JP2019144608A (ja) | 2018-02-15 | 2019-08-29 | 阪神高速技術株式会社 | 解析装置、ひび割れ検出処理装置、および解析プログラム |
JP2019154017A (ja) | 2018-03-06 | 2019-09-12 | 東芝インフラシステムズ株式会社 | 撮影画像事前確認システム及び撮影画像事前確認方法 |
Also Published As
Publication number | Publication date |
---|---|
JPWO2021200038A1 (ja) | 2021-10-07 |
WO2021200038A1 (ja) | 2021-10-07 |
US20230135985A1 (en) | 2023-05-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3581890B1 (en) | Method and device for positioning | |
CN106446873B (zh) | 人脸检测方法及装置 | |
US10628890B2 (en) | Visual analytics based vehicle insurance anti-fraud detection | |
JP6444835B2 (ja) | 画像処理装置、画像処理プログラムおよび画像処理システム | |
JP7480838B2 (ja) | 道路劣化診断装置、道路劣化診断方法、及び、プログラム | |
US20120257056A1 (en) | Image processing apparatus, image processing method, and image processing program | |
JP2009064410A (ja) | 車両の死角における移動物体を検知するための方法、および死角検知装置 | |
US10872246B2 (en) | Vehicle lane detection system | |
KR20200110120A (ko) | 3d-vr 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템 및 그 방법 | |
CN111967396A (zh) | 障碍物检测的处理方法、装置、设备及存储介质 | |
Petrovai et al. | A stereovision based approach for detecting and tracking lane and forward obstacles on mobile devices | |
CN115496923A (zh) | 一种基于不确定性感知的多模态融合目标检测方法及装置 | |
CN113743163A (zh) | 交通目标识别模型训练方法、交通目标定位方法、装置 | |
CN111652915A (zh) | 一种遥感图像的重叠区域计算方法、装置及电子设备 | |
CN112990169B (zh) | 煤岩界面的识别方法、割煤轨迹的确定方法及装置 | |
CN114779276A (zh) | 一种障碍物检测方法和装置 | |
US20230108779A1 (en) | Road deterioration diagnostic device, road deterioration diagnostic system, roaddeterioration diagnostic method, and recording medium | |
CN108090425B (zh) | 一种车道线检测方法、装置及终端 | |
KR20190134303A (ko) | 영상 인식 장치 및 그 방법 | |
CN112639822B (zh) | 一种数据处理方法及装置 | |
JP2008269218A (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
KR102259981B1 (ko) | 영상 분석 기반 가시거리 측정 및 경보 시스템 및 방법 | |
CN113496163A (zh) | 障碍物识别方法和装置 | |
CN116311205A (zh) | 车牌识别方法、车牌识别装置、电子设备及存储介质 | |
CN112241717B (zh) | 前车检测方法、前车检测模型的训练获取方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220818 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220818 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230627 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230823 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231121 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240105 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240326 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240408 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7480838 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |