JP7333511B2 - Road maintenance management system, pavement type determination device, repair priority determination device, road maintenance management method, pavement type determination method, repair priority determination method - Google Patents

Road maintenance management system, pavement type determination device, repair priority determination device, road maintenance management method, pavement type determination method, repair priority determination method Download PDF

Info

Publication number
JP7333511B2
JP7333511B2 JP2019045206A JP2019045206A JP7333511B2 JP 7333511 B2 JP7333511 B2 JP 7333511B2 JP 2019045206 A JP2019045206 A JP 2019045206A JP 2019045206 A JP2019045206 A JP 2019045206A JP 7333511 B2 JP7333511 B2 JP 7333511B2
Authority
JP
Japan
Prior art keywords
pavement
road
deterioration
unit
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019045206A
Other languages
Japanese (ja)
Other versions
JP2020147961A (en
Inventor
信行 熊倉
恭彦 山崎
陽子 米川
龍一 今井
健二 中村
義典 塚田
成央 秋山
恭一 竹内
紀寿 川合
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Infrastructure Systems and Solutions Corp
Hosei University
Original Assignee
Toshiba Infrastructure Systems and Solutions Corp
Hosei University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Infrastructure Systems and Solutions Corp, Hosei University filed Critical Toshiba Infrastructure Systems and Solutions Corp
Priority to JP2019045206A priority Critical patent/JP7333511B2/en
Publication of JP2020147961A publication Critical patent/JP2020147961A/en
Application granted granted Critical
Publication of JP7333511B2 publication Critical patent/JP7333511B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

この発明の実施形態は、道路維持管理システム、舗装種別判定装置、舗装劣化判定装置、修繕優先度判定装置、道路維持管理方法、舗装種別判定方法、舗装劣化判定方法、修繕優先度判定方法に関する。 The embodiments of the present invention relate to a road maintenance management system, a pavement type determination device, a pavement deterioration determination device, a repair priority determination device, a road maintenance management method, a pavement type determination method, a pavement deterioration determination method, and a repair priority determination method.

従来、道路舗装の点検では、専用の測定車両を用いた路面性状の調査が行われてきた。一方で、市町村で管理している膨大な道路を点検する場合には、従来の調査ではコストがかかるため、市販のビデオカメラやスマートフォンを利用して走行車両で道路を撮影し、撮影された道路画像を画像処理してひび割れ、はがれ等の路面の劣化状況を判定するという、簡易な手法による点検技術の検討が進められている。 Conventionally, road pavement inspections have been carried out to investigate road surface properties using dedicated measurement vehicles. On the other hand, when inspecting the vast number of roads managed by municipalities, conventional surveys are costly. Inspection technology using a simple method of image processing to determine road surface deterioration conditions such as cracks and peeling is being studied.

ただし、道路の路面は均一ではなく、舗装の種別によって路面の映り方が異なり、しかも劣化の進み具合が異なる。それにも関わらず、従来では同じ基準で劣化を判定しているため、現状の路面性状調査においても点検結果が実態と乖離するケースがある。また、舗装の種別については、正確な管理ができていないため、実態が不明あるいは不一致のケースが多々ある。正確な管理には膨大なコストがかかるため、道路画像と位置情報から舗装の種別を容易に分類し、種別ごとに劣化の度合いを判定することができ、さらには修繕の優先度を判定する技術が求められている。 However, the surface of the road is not uniform, and the appearance of the road surface differs depending on the type of pavement, and the progress of deterioration also differs. In spite of this, deterioration is judged based on the same standard in the past, so there are cases where the inspection results differ from the actual situation even in the current road surface condition survey. In addition, since the type of pavement is not accurately managed, there are many cases where the actual situation is unknown or inconsistent. Accurate management costs a huge amount of money, so technology that can easily classify pavement types from road images and location information, determine the degree of deterioration for each type, and determine the priority of repairs. is required.

特開2018-087484号公報JP 2018-087484 A

この発明の実施形態の課題は、道路画像と位置情報から舗装の種別を容易に分類することができ、舗装の種別ごとに劣化の度合いを判定することができ、さらには修繕の優先度を判定することのできる道路維持管理システム、舗装種別判定装置、舗装劣化判定装置、修繕優先度判定装置、道路維持管理方法、舗装種別判定方法、舗装劣化判定方法、修繕優先度判定方法を提供することにある。 The problems of the embodiments of the present invention are that it is possible to easily classify the type of pavement from road images and position information, determine the degree of deterioration for each type of pavement, and determine the priority of repair. To provide a road maintenance management system, a pavement type determination device, a pavement deterioration determination device, a repair priority determination device, a road maintenance management method, a pavement type determination method, a pavement deterioration determination method, and a repair priority determination method be.

実施形態によれば、道路維持管理システムは、舗装種別判定装置と、舗装劣化判定装置と、修繕優先度判定装置とを備える。舗装種別判定装置は、道路を撮影した道路画像及び前記道路画像の撮影位置情報を入力する入力部と、前記入力部に入力された前記道路画像から路面部分の画像を抽出する抽出部と、予め舗装種別毎に与えられる路面部分の舗装種別画像を、属性単位で分類される教師データで学習して生成された複数の学習モデルを用いて、前記道路画像の路面部分の舗装種別を判定する舗装種別判定部とを有する。舗装劣化判定装置は、前記舗装種別判定装置で舗装種別が判定された前記道路画像の路面部分における舗装のひび割れまたは剥がれの箇所を検出して舗装劣化の状態を解析する画像解析部と、前記画像解析部で得られた前記舗装のひび割れまたは剥がれの箇所の検出結果と前記舗装の劣化状態の解析結果に基づいて、前記舗装種別毎に舗装劣化の度合いを判定する舗装劣化判定部とを有する。修繕優先度判定装置は、前記道路画像、前記撮影位置情報、前記舗装種別の判定結果、前記舗装劣化の判定結果、前記道路の区間単位で登録された管理情報を含む区間登録データの入力情報を対応つけて登録するデータ登録部と、前記舗装種別の判定結果、前記舗装劣化の判定結果及び前記区間登録データをもとに、回帰分析を用いて将来の劣化程度を予測する劣化予測式を作成する劣化予測式作成部と、前記舗装種別の判定結果、前記舗装劣化の判定結果、前記区間登録データ及び前記劣化予測式による予測結果をもとに、前記道路の区間単位で修繕の優先度を判定する優先度判定部と、を有する。 According to an embodiment, a road maintenance management system includes a pavement type determination device, a pavement deterioration determination device , and a repair priority determination device . The pavement type determination device includes an input unit for inputting a road image obtained by photographing a road and photographing position information of the road image, an extraction unit for extracting an image of a road surface portion from the road image input to the input unit, Paving that determines the pavement type of the road surface portion of the road image using a plurality of learning models generated by learning the pavement type image of the road surface portion given for each pavement type with teacher data classified by attribute unit. and a type determination unit. The pavement deterioration determination device includes an image analysis unit that detects cracks or peeling of the pavement in the road surface portion of the road image whose pavement type has been determined by the pavement type determination device and analyzes the state of pavement deterioration; a pavement deterioration determination unit that determines the degree of pavement deterioration for each pavement type based on the detection result of the pavement crack or peeling location obtained by the analysis unit and the analysis result of the deterioration state of the pavement. The repair priority determination device receives input information of section registration data including the road image, the shooting position information, the pavement type determination result, the pavement deterioration determination result, and management information registered for each section of the road. Create a deterioration prediction formula that predicts the degree of future deterioration using regression analysis based on the data registration unit registered in correspondence, the pavement type determination result, the pavement deterioration determination result, and the section registration data. Based on the deterioration prediction formula creation unit, the judgment result of the pavement type, the judgment result of the pavement deterioration, the section registration data, and the prediction result by the deterioration prediction formula, repair priority is determined for each section of the road. and a priority determination unit for determining.

図1は、実施形態に係る道路維持管理システムの全体構成を示すブロック図。1 is a block diagram showing the overall configuration of a road maintenance system according to an embodiment; FIG. 図2は、図1に示すシステムに用いられる調査用車両と撮影された道路画像データの例を示す図。2 is a diagram showing an example of a research vehicle used in the system shown in FIG. 1 and photographed road image data; FIG. 図3は、図1に示すシステムにおいて管理対象となる道路の舗装種別として、アスファルト混合物の種類を示す図。3 is a diagram showing types of asphalt mixtures as road pavement types to be managed in the system shown in FIG. 1; FIG. 図4は、実施形態のシステムに用いられる舗装種別判定装置の構成を示すブロック図。FIG. 4 is a block diagram showing the configuration of a pavement type determination device used in the system of the embodiment; 図5は、図4に示す舗装種別判定装置に適用されるAIの教師データの作成方法を説明するための図。5 is a diagram for explaining a method of creating teacher data for AI applied to the pavement type determination apparatus shown in FIG. 4; FIG. 図6は、図4に示す舗装種別判定装置の処理の流れを示すフローチャート。6 is a flowchart showing the flow of processing of the pavement type determination device shown in FIG. 4; FIG. 図7は、図4に示す舗装種別判定処理による判定結果の表示例を示す図。7 is a diagram showing a display example of a determination result by the pavement type determination process shown in FIG. 4; FIG. 図8は、図1に示すシステムに用いられる舗装劣化判定装置の構成を示すブロック図。8 is a block diagram showing the configuration of a pavement deterioration determining device used in the system shown in FIG. 1; FIG. 図9は、図8に示す舗装劣化判定装置の処理の流れを示すフローチャート。9 is a flowchart showing the flow of processing of the pavement deterioration determination device shown in FIG. 8; FIG. 図10は、図9に示す舗装劣化判定処理による判定結果の表示例を示す図。10 is a diagram showing a display example of a determination result by the pavement deterioration determination process shown in FIG. 9; FIG. 図11は、図1に示すシステムに用いられる修繕優先度判定装置の構成を示すブロック図。11 is a block diagram showing a configuration of a repair priority determination device used in the system shown in FIG. 1; FIG. 図12は、図11に示す修繕優先度判定装置の処理の流れを示すフローチャート。12 is a flowchart showing the flow of processing of the repair priority determination device shown in FIG. 11; FIG. 図13は、図12に示す修繕優先度判定処理による判定結果の地図による表示例を示す図。FIG. 13 is a diagram showing an example of a map display of determination results of the repair priority determination process shown in FIG. 12 ; 図14は、図12に示す修繕優先度判定処理による判定結果の一覧表(帳票)による表示例を示す図。14 is a diagram showing a display example of a list (form) of determination results of the repair priority determination process shown in FIG. 12; FIG.

以下、図面を参照しながら、種々の実施形態について説明する。
(第1の実施形態)
図1は、第1の実施形態に係る道路管理システムの概略構成を示すブロック図である。図1に示す道路維持管理システム1は、カメラで撮影された道路画像データ、撮影時のカメラ位置情報から道路の舗装種別を自動判定する舗装種別判定装置11と、道路画像データ、カメラ位置情報、舗装種別判定結果に基づいて道路の舗装種別毎に劣化の度合いを自動判定する舗装劣化判定装置12と、道路画像データ、カメラ位置情報、舗装種別判定結果、舗装劣化判定結果に基づいて修繕の優先度を判定する修繕優先度判定装置13とを備える。
Various embodiments will be described below with reference to the drawings.
(First embodiment)
FIG. 1 is a block diagram showing a schematic configuration of a road management system according to the first embodiment. The road maintenance management system 1 shown in FIG. A pavement deterioration determination device 12 that automatically determines the degree of deterioration for each pavement type based on the pavement type determination result, and priority of repair based on road image data, camera position information, pavement type determination result, and pavement deterioration determination result. and a repair priority determination device 13 that determines the degree of repair.

図2は図1に示すシステム1に用いられる調査用車両と撮影された道路画像データの例を示す図である。道路画像は、動画像または静止画像でもよいものとする。本システム1では、図2(a)に示すように、道路を撮影するカメラ101、撮影の位置データを収集する測位装置102を搭載する調査用車両10を用いる。ただし、この車両自体は専用である必要はない。 FIG. 2 is a diagram showing an example of survey vehicles used in the system 1 shown in FIG. 1 and photographed road image data. A road image may be a moving image or a still image. As shown in FIG. 2(a), the system 1 uses a research vehicle 10 equipped with a camera 101 for photographing a road and a positioning device 102 for collecting position data of photographing. However, the vehicle itself need not be exclusive.

上記カメラ101は、例えば車両100のルーフに、進行方向に対して後方の道路が撮影されるように視野を向けて装着される。これによって、図2(b)に示すような道路画像が得られる。道路画像は、斜め上から撮影した画像とするが、真上から撮影した画像を用いてもよい。カメラ101は、撮影方向の向き、視野角、路面からの高さ、機種等の情報を撮影された画像データに付加して出力するものとする。カメラ101は市販のビデオカメラ、スマートフォンのカメラでもよい。 The camera 101 is mounted on the roof of the vehicle 100, for example, with the field of view directed so as to photograph the road behind the vehicle in the direction of travel. As a result, a road image as shown in FIG. 2(b) is obtained. The road image is an image taken obliquely from above, but an image taken from directly above may be used. The camera 101 adds information such as the orientation of the photographing direction, the viewing angle, the height from the road surface, the model, etc., to the photographed image data and outputs the information. The camera 101 may be a commercially available video camera or a smartphone camera.

上記測位装置102は、地図データ、車載されるGPS(Global Positioning System)の利用者受信機(GPS受信機)から取得される経緯度情報を元に、カメラ101の撮影に同期して路線の区間属性情報、カメラの撮影時における位置情報を収集し、カメラ位置情報として出力する。カメラ位置情報には、経緯度の情報に加えて、高度、速度、日時等の情報を含んでいてもよい。カメラ位置情報は、GPS衛星からの電波が届きにくい山間部やトンネル内においては、カメラを搭載した車両の速度の情報や加速度の情報を用いて補正されてもよい。 Based on map data and latitude and longitude information obtained from a user receiver (GPS receiver) of a GPS (Global Positioning System) installed in the vehicle, the positioning device 102 detects the section of the route in synchronization with the photographing of the camera 101. Attribute information and position information of the camera at the time of shooting are collected and output as camera position information. The camera position information may include information such as altitude, speed, date and time, in addition to latitude and longitude information. The camera position information may be corrected using the speed information and acceleration information of the vehicle equipped with the camera in mountainous areas or tunnels where radio waves from GPS satellites are difficult to reach.

ここで、上記道路の舗装は、高い路面性能が確保できるが使用材料の特性に起因して劣化の進行速度のばらつきが大きい「アスファルト舗装」と、目地部が構造的な弱点ではあるものの極めて長期間に亘って使用し続けることが期待できる「コンクリート舗装」に大別される。アスファルト舗装は、雨水を路面下に円滑に浸透させることができる構造かどうかによって2種類に大別することができる。このうち、表層に密粒度アスファルト混合物などの不透水性材料を用い路面で排水する構造のものを「密粒度系アスファルト舗装」と呼び、表層あるいは表層・基層に透水性のあるポーラスアスファルト混合物を使用したものを「ポーラスアスファルト舗装」と呼ぶ。これ以外のコンクリート舗装、反たわみ性舗装などは「その他の舗装」に分類する。 Here, the pavement of the above road can ensure high road surface performance, but due to the characteristics of the material used, there is a large variation in the progress rate of deterioration due to the characteristics of the material used. It is roughly classified into "concrete pavement" that can be expected to continue to be used over a period of time. Asphalt pavement can be broadly classified into two types depending on whether or not it has a structure that allows rainwater to smoothly permeate under the road surface. Of these, the one that uses an impermeable material such as a dense-grained asphalt mixture on the surface layer and drains water on the road surface is called "dense-grained asphalt pavement" and uses a porous asphalt mixture with water permeability on the surface layer or surface layer / base layer. This pavement is called "porous asphalt pavement". Concrete pavement, anti-flexible pavement, etc. are classified as "Other pavement".

図3は、参考として、アスファルト混合物の種類を例示している(詳細は一般社団法人の日本アスファルト協会HP(http://www.askyo.jp/knowledge/06-3.html)を参照)。
道路の路面は均一ではなく、舗装の種別によって劣化の仕方や劣化の進み具合が異なる。それにも関わらず、同じ基準で劣化を判定しているため、現状の路面性状調査においても点検結果が実態と乖離するケースがある。このため、舗装種別を把握しておく必要がある。本来、舗装種別は各道路管理者にて工事履歴とともに台帳管理されているはずであるが、都道府県道の一部や市町村道の大部分においては台帳が満足に整備されていないのが実態である。そこで、市販ビデオカメラで撮影した映像をもとに、舗装種別を自動判定する手法を提案する。
FIG. 3 exemplifies types of asphalt mixtures for reference (for details, see the website of the Japan Asphalt Association (http://www.askyo.jp/knowledge/06-3.html)).
The surface of the road is not uniform, and the manner and progress of deterioration differ depending on the type of pavement. In spite of this, since the same criteria are used to determine deterioration, there are cases where the inspection results differ from the actual situation even in the current road surface condition surveys. Therefore, it is necessary to grasp the pavement type. Originally, the type of pavement should be managed in a ledger along with the construction history by each road administrator, but the reality is that the ledger is not satisfactorily maintained for some prefectural roads and most municipal roads. be. Therefore, we propose a method to automatically determine the pavement type based on images taken with a commercially available video camera.

図4は、上記道路維持管理システム1に用いられる舗装種別判定装置11の具体的な構成を示すブロック図である。
図1に示すシステム1において、上記カメラ101で得られた道路画像データと測位装置102で収集されたカメラ位置情報は、舗装種別判定装置11に入力される。この舗装種別判定装置11は、図4に示すように、入力部111、入力情報記憶部112、画像処理部113、舗装種別判定部114、判定結果記憶部115、編集・補完処理部116、判定結果出力部117、表示制御部118、表示部119を備える。
FIG. 4 is a block diagram showing a specific configuration of the pavement type determination device 11 used in the road maintenance management system 1. As shown in FIG.
In the system 1 shown in FIG. 1 , the road image data obtained by the camera 101 and the camera position information collected by the positioning device 102 are input to the pavement type determination device 11 . As shown in FIG. 4, the pavement type determination device 11 includes an input unit 111, an input information storage unit 112, an image processing unit 113, a pavement type determination unit 114, a determination result storage unit 115, an editing/complementation processing unit 116, a determination A result output unit 117 , a display control unit 118 and a display unit 119 are provided.

上記入力部111は、道路画像データ、カメラ位置情報を入力し、道路画像データとカメラ位置情報とを対応付ける。
上記入力情報記憶部112は道路画像データ、カメラ位置情報を記録する。
上記画像処理部113は、道路画像データを入力情報記憶部112に記録しつつ画像処理して道路画像の路面部分を抽出する。
The input unit 111 inputs road image data and camera position information, and associates the road image data with the camera position information.
The input information storage unit 112 records road image data and camera position information.
The image processing unit 113 performs image processing while recording the road image data in the input information storage unit 112 to extract the road surface portion of the road image.

上記舗装種別判定部114は、画像処理部113で得られた道路画像の路面部分から舗装種別(ここではポーラスアスファルト舗装/密粒度系アスファルト舗装/その他の舗装(半たわみ性舗装、コンクリート舗装など)3種類とする)のいずれであるかを自動判定する。
その判定処理では、AI(Artificial Intelligence:人工知能)技術を利用したニューラルネットワーク、または機械学習、画像処理などにより、予め教師データとして与えられる舗装種別画像(「密粒度系アスファルト舗装」「ポーラスアスファルト舗装」「その他の舗装」の画像)に基づいて入力道路画像が最も近いと認識される画像の舗装種別を判定出力する。
The pavement type determination unit 114 determines the pavement type (here, porous asphalt pavement/dense-grained asphalt pavement/other pavement (semi-flexible pavement, concrete pavement, etc.) from the road surface portion of the road image obtained by the image processing unit 113. 3 types) is automatically determined.
In the judgment process, a neural network using AI (Artificial Intelligence) technology, machine learning, image processing, etc., pavement type images ("dense-grained asphalt pavement", "porous asphalt pavement") given in advance as training data ” and “Other pavement” images) , the pavement type of the image recognized as closest to the input road image is determined and output.

図5は、上記舗装種別判定部114に適用されるAIの教師データ作成方法を説明するための図である。
舗装種別を自動判別するAIの教師データは、元画像(1920×1080画素)1枚から、複数の画像データ(768×768画素、1080×1080画素、96×96画素など)に加工して用いる。また、サイズの加工方法は、図5(a)に示すような両端の削除や図5(b)に示すような舗装部分の切り出しなど、自由に選択できるものとする。
FIG. 5 is a diagram for explaining a teaching data creation method for AI applied to the pavement type determination unit 114. As shown in FIG.
The AI training data that automatically distinguishes the pavement type is processed from one original image (1920 x 1080 pixels) into multiple image data (768 x 768 pixels, 1080 x 1080 pixels, 96 x 96 pixels, etc.) and used. . Also, the size processing method can be freely selected, such as deleting both ends as shown in FIG. 5A or cutting out the pavement portion as shown in FIG. 5B.

舗装種別を自動判別するAIの教師データは、天候(晴れ、曇り、雨)、影の有無、ひび割れの有無、形状などの属性単位に分類しておく。その属性を考慮して、適用対象となる条件に適応した画像を採用する。
学習モデルの生成に際して、教師データを全て用いる場合や、そのいずれかの教師データを選択して一つの学習モデルを生成するようにしてもよい。また、学習モデルを画像の特性毎に複数生成し、それらを組み合わせて一つの入力データの舗装種別を判別するようにしてもよい。
The AI training data that automatically distinguishes pavement types is classified by attributes such as the weather (clear, cloudy, rain), the presence or absence of shadows, the presence or absence of cracks , and shape. Considering the attribute, an image suitable for the conditions to be applied is adopted.
When generating a learning model, all of the teacher data may be used, or one of the teacher data may be selected to generate one learning model. Alternatively, a plurality of learning models may be generated for each image characteristic, and the pavement type of one piece of input data may be determined by combining them.

舗装種別の判定には、学習モデルを生成した教師データと同様の環境(機材、機材設置位置、撮影方向など)以外においても対応可能であるように汎用性を持たせることが望ましい。例えば、ビデオカメラにて撮影した動画で生成した学習モデルを用いて、アクション対応カメラやドライブレコーダーにて撮影した画像を判定できるようにするとよい。また、ビデオカメラの画像であっても、異なる機種で撮影した画像を判定できるようにするとよい。ただし、これらの場合は、それぞれの機材に依存しない条件(舗装部分のみなど)を考慮した教師データを生成する必要がある。 It is desirable to provide versatility so that pavement type determination can be handled in environments other than the same environment (equipment, equipment installation position, shooting direction, etc.) as the training data that generated the learning model. For example, it is preferable to use a learning model generated from moving images captured by a video camera to determine images captured by an action camera or a drive recorder. In addition, it is preferable that even images captured by a video camera can be determined using a different model. However, in these cases, it is necessary to generate training data that takes into account conditions that do not depend on the equipment (eg, pavement only).

ポーラスアスファルト舗装/密粒度系アスファルト舗装/その他の舗装を分類する際には、アスファルト舗装やその他の舗装を色と質感の違いなどを考慮して、識別する学習モデルを用いて判定する。また、アスファルト舗装とその他の舗装を色などの情報に基づき識別する学習モデルにて判定したのち、アスファルト舗装の質感の違いなどを考慮して識別する学習モデルを用いて段階的に判定するようにしてもよい。 When classifying porous asphalt pavement/dense-grained asphalt pavement/other pavement, a learning model that distinguishes asphalt pavement and other pavement by considering differences in color and texture is used. In addition, after a learning model that distinguishes between asphalt pavement and other pavements based on information such as color is used, a learning model that distinguishes between asphalt pavements by taking into consideration differences in texture is used to make step-by-step judgments. may

道路では、ある程度の区間(以下、区間A)、同様の舗装種別が継続する傾向があるため、区間Aを一定距離毎に判定し、その判定結果を統合して、区間Aの最終的な舗装種別を出力するようにしてもよい。
上記判定結果記憶部115は、被判定画像と共に舗装種別の判定結果を記録する。
On roads, the same pavement type tends to continue for a certain amount of section (hereinafter referred to as section A), so section A is judged at regular intervals, and the judgment results are integrated to determine the final pavement of section A. The type may be output.
The determination result storage unit 115 records the determination result of the pavement type together with the image to be determined.

上記編集・補完処理部116は、判定結果記憶部115の記録情報について、目視あるいは他のシステム(道路台帳システム等)との連携により編集・補完する。また、道路管理データベースの登録情報と照合し、相違する情報、不足している情報があれば道路管理データベースの登録情報を編集・補完する。 The editing/complementing processing unit 116 edits/complements the information recorded in the determination result storage unit 115 visually or in cooperation with another system (road ledger system, etc.). Also, the registered information in the road management database is collated, and if there is different information or missing information, the registered information in the road management database is edited and supplemented.

上記判定結果出力部117は、判定結果記憶部115に記録された判定結果を順次または要求に応じて読み出し、例えばテキストファイルに変換して出力する。
上記表示制御部118は、指定された位置の道路画像データと舗装種別判定結果を処理結果記憶部115から読み出して表示画像に変換する。
The determination result output unit 117 reads out the determination results recorded in the determination result storage unit 115 sequentially or upon request, converts them into, for example, a text file and outputs them.
The display control unit 118 reads the road image data of the designated position and the pavement type determination result from the processing result storage unit 115 and converts them into a display image.

上記表示部119は、表示制御部118で変換された道路画像データ及び舗装種別判定結果の表示画像を表示する。画面表示データは、要求に応じて外部出力される。
図6は、図4に示す舗装種別判定装置11の処理の流れを示すフローチャートである。
すなわち、この舗装種別判定装置11では、道路画像データ及びカメラ位置情報の入力を判断する(ステップS11)。
入力があった場合には、道路画像データにカメラ位置情報を対応付けた後(ステップS12)、その道路画像データを入力情報記憶部112に記録する(ステップS13)。
続いて、記録された道路画像データから道路の路面部分を抽出する(ステップS14)。抽出した路面部分は、AIによって舗装種別の教師データである舗装種別画像と比較照合してポーラスアスファルト舗装/密粒度系アスファルト舗装/その他の舗装のいずれであるかを自動判定し(ステップS15)、その判定結果を被判定画像と共に判定結果記憶部115に記録する(ステップS16)。
The display unit 119 displays the road image data converted by the display control unit 118 and the display image of the pavement type determination result. The screen display data is output externally upon request.
FIG. 6 is a flow chart showing the flow of processing of the pavement type determination device 11 shown in FIG.
That is , the pavement type determination device 11 determines whether the road image data and the camera position information have been input (step S11).
If there is an input , the camera position information is associated with the road image data (step S12), and then the road image data is recorded in the input information storage unit 112 (step S13).
Subsequently , the road surface portion is extracted from the recorded road image data (step S14). The extracted road surface portion is compared and collated with the pavement type image, which is pavement type training data, by AI to automatically determine whether it is porous asphalt pavement, dense-grained asphalt pavement, or other pavement (step S15). The determination result is recorded in the determination result storage unit 115 together with the image to be determined (step S16).

記録された舗装種別判定結果の出力要求があると(ステップS17)、記憶部115から判定結果を読み出して、例えばテキストファイルに変換して出力する(ステップS18)。また、表示要求があると(ステップS19)、指定された位置の道路画像と舗装種別判定結果を表示部119に表示する(ステップS1A)。 When there is an output request for the recorded pavement type determination result (step S17), the determination result is read from the storage unit 115, converted into, for example, a text file and output (step S18). Also, when there is a display request (step S19), the road image of the specified position and the pavement type determination result are displayed on the display unit 119 (step S1A).

判定結果の記録情報については、出力要求、表示要求により判定結果をモニタし、編集・補完が必要な場合には(ステップS1B)、目視あるいは他のシステムとの連携により編集・補完する(ステップS1C)。
図7は舗装種別の判定結果の例を示しており、図7(a)はポーラスアスファルト舗装、図(b)は密粒度系アスファルト舗装、図(c)はその他の舗装の判定結果を示している。
Regarding the record information of the judgment result, the judgment result is monitored by the output request and the display request, and if editing/complementing is necessary (step S1B), it is edited/complemented visually or in cooperation with another system (step S1C). ).
Fig. 7 shows examples of pavement type determination results. Fig. 7 (a) shows porous asphalt pavement, Fig. 7 (b) shows dense-grained asphalt pavement, and Fig. 7 (c) shows other pavement judgment results. showing.

図8は、上記道路維持管理システムに用いられる舗装劣化判定装置12の具体的な構成を示すブロック図である。
上記舗装種別判定装置11の種別判定結果ファイルは、道路画像データ及びカメラ位置情報と共に、舗装劣化判定装置12に送られる。
図8に示すように、この舗装劣化判定装置12は、入力部121、入力情報記憶部122、画像処理部123、舗装劣化判定部124、判定結果記憶部125、判定結果出力部126、表示制御部127、表示部128を備える。
FIG. 8 is a block diagram showing a specific configuration of the pavement deterioration determining device 12 used in the road maintenance management system.
The type determination result file of the pavement type determination device 11 is sent to the pavement deterioration determination device 12 together with the road image data and the camera position information.
As shown in FIG. 8, the pavement deterioration determination device 12 includes an input unit 121, an input information storage unit 122, an image processing unit 123, a pavement deterioration determination unit 124, a determination result storage unit 125, a determination result output unit 126, and a display control unit. A unit 127 and a display unit 128 are provided.

上記入力部121は、道路画像データ、カメラ位置情報と共に舗装種別判定装置11で判定された種別判定結果ファイルを入力し、道路画像データにカメラ位置情報、舗装種別判定結果を対応付ける。
上記入力情報記憶部122は、カメラ位置情報及び舗装種別判定結果が対応付けられた道路画像データを記録する。
The input unit 121 inputs a type determination result file determined by the pavement type determination device 11 together with road image data and camera position information, and associates the road image data with the camera position information and the pavement type determination result.
The input information storage unit 122 records road image data in which the camera position information and the pavement type determination result are associated with each other.

上記画像処理部123は、道路画像データを入力情報記憶部122に記録しつつ画像処理して道路画像の路面部分を抽出し、ひび割れ、剥がれの箇所を解析する。
上記舗装劣化判定部124は、舗装種別毎の判定部、すなわち排水性劣化判定部124A、密粒系劣化判定部124B、その他劣化判定部124Cを備える。それぞれの判定部124A,124B,124Cは、画像処理部123で得られた道路画像の路面部分の舗装劣化の度合いを、舗装種別毎に自動判定する。
この舗装劣化判定処理も、AI技術を利用したニューラルネットワーク、または機械学習、画像処理などにより、予め教師データとして与えられる舗装種別毎の劣化画像に基づいて、入力道路画像が最も近いと認識される画像の舗装劣化の度合いを判定出力する。
The image processing unit 123 performs image processing while recording the road image data in the input information storage unit 122, extracts the road surface portion of the road image, and analyzes the locations of cracks and peeling.
The pavement deterioration determination unit 124 includes a determination unit for each pavement type, that is, a drainage deterioration determination unit 124A, a dense grain system deterioration determination unit 124B, and an other deterioration determination unit 124C. Each determination unit 124A, 124B, 124C automatically determines the degree of pavement deterioration of the road surface portion of the road image obtained by the image processing unit 123 for each pavement type .
This pavement deterioration determination process also uses a neural network using AI technology, machine learning, image processing, etc., based on the deterioration image for each pavement type given in advance as teacher data, and recognizes the input road image as the closest. The degree of pavement deterioration in the image is determined and output.

具体的には、ポーラスアスファルト舗装、密粒度系アスファルト舗装、その他の舗装の劣化判定は、例えば、路面の輝度情報を基に舗装のひび割れを検出し、検出したひび割れの形状データをカメラ101で撮影された道路画像に重畳したひび割れ重畳画像(舗装ひび割れ入り画像)を生成し、所定の面積に占めるひび割れの面積の割合を示すひび割れ率を自動算出し、そのひび割れ率を参考にして、劣化度を3段階程度(大/中/小)に分類する。あるいは路面の状態(骨材飛散、沈下、穴ぼこなど)から舗装の劣化の度合いを自動判定してもよい。 Specifically, deterioration determination of porous asphalt pavement, dense-grained asphalt pavement, and other pavements is performed by, for example, detecting cracks in the pavement based on the brightness information of the road surface, and photographing the shape data of the detected cracks with the camera 101. A crack superimposed image (image with cracks in the pavement) is superimposed on the road image, and the crack rate, which indicates the ratio of the crack area to a predetermined area, is automatically calculated. It is classified into three levels (large/medium/small). Alternatively, the degree of pavement deterioration may be determined automatically from the road surface conditions (aggregate scattering, subsidence, potholes, etc.).

上記判定結果記憶部125は、被判定画像データ、ひび割れ形状データ、舗装種別毎の劣化判定結果を記録する。
上記判定結果出力部126は、判定結果記憶部125に記録された判定結果を順次または要求に応じて読み出し、例えばテキストファイルに変換して出力する。
The determination result storage unit 125 records the image data to be determined, the crack shape data, and the deterioration determination result for each pavement type.
The determination result output unit 126 reads out the determination results recorded in the determination result storage unit 125 sequentially or upon request, converts them into, for example, a text file and outputs them.

上記表示制御部127は、指定された位置の道路画像データ、ひび割れ形状データ、舗装種別判定結果を処理結果記憶部125から読み出し、道路画像にひび割れ形状の画像を重ね合わせ、判定結果を含む表示画像に変換する。
上記表示部128は、表示制御部127で変換されたひび割れが示される道路画像及び舗装種別判定結果の表示画像を表示する。画面表示データは、要求に応じて外部出力される。
The display control unit 127 reads out the road image data, the crack shape data, and the pavement type determination result at the designated position from the processing result storage unit 125, superimposes the crack shape image on the road image, and displays a display image including the determination result. Convert to
The display unit 128 displays the road image showing the cracks converted by the display control unit 127 and the display image of the pavement type determination result. The screen display data is output externally upon request.

図9は、図7に示す舗装劣化判定装置12の処理の流れを示すフローチャートである。すなわち、この舗装劣化判定装置12では、道路画像データ、カメラ位置情報及び種別判定結果ファイルの入力を判断する(ステップS21)。そして、入力があった場合には、道路画像データにカメラ位置情報及び舗装種別判定結果を対応付けた後(ステップS22)、その道路画像データを入力情報記憶部122に記録する(ステップS23)。 FIG. 9 is a flow chart showing the flow of processing of the pavement deterioration determination device 12 shown in FIG. That is, the pavement deterioration determination device 12 determines whether the road image data, the camera position information, and the type determination result file are input (step S21). When there is an input, the road image data is associated with the camera position information and pavement type determination result (step S22), and then the road image data is recorded in the input information storage unit 122 (step S23).

続いて、記録された道路画像データから道路の路面部分を抽出し(ステップS24)、ポーラスアスファルト舗装/密粒度系アスファルト舗装/その他の舗装の種別に振り分ける(ステップS25)。
道路画像の路面部分からひび割れを検出してその形状を計測する(ステップS26)。
そして、ひび割れ率を計算し(ステップS27)、舗装種別それぞれの劣化の度合いを例えば3段階で自動判定する(ステップS28)。
そして、その判定結果を被判定画像と共に判定結果記憶部125に記録する(ステップS29)。
Subsequently, the road surface portion is extracted from the recorded road image data (step S24), and sorted into porous asphalt pavement/dense-grade asphalt pavement/other pavement types (step S25).
A crack is detected from the road surface portion of the road image and its shape is measured (step S26).
Then , the crack rate is calculated (step S27), and the degree of deterioration for each pavement type is automatically judged, for example, in three stages (step S28).
Then , the determination result is recorded in the determination result storage unit 125 together with the image to be determined (step S29).

記録された舗装劣化判定結果の出力要求があると(ステップS2A)、記憶部125から判定結果を読み出して、例えばテキストファイルに変換して出力する(ステップS2B)。また、表示要求があると(ステップS2C)、指定された位置の道路画像、ひび割れ形状と舗装劣化判定結果を表示部128に表示する(ステップS2D)。 When there is an output request for the recorded pavement deterioration determination result (step S2A), the determination result is read from the storage unit 125, converted into a text file, for example, and output (step S2B). Also, when there is a display request (step S2C), the road image at the designated position, the shape of the crack, and the pavement deterioration determination result are displayed on the display unit 128 (step S2D).

図10は、舗装劣化の判定結果の例を示している。図10(a)はポーラスアスファルト舗装の劣化判定結果、図10(b)は密粒度系アスファルト舗装の劣化判定結果を示している。
図11は、上記道路維持管理システムに用いられる修繕優先度判定装置13の具体的な構成を示すブロック図である。
FIG. 10 shows an example of pavement deterioration determination results. FIG. 10(a) shows the deterioration determination result of porous asphalt pavement, and FIG. 10(b) shows the deterioration determination result of dense-grained asphalt pavement.
FIG. 11 is a block diagram showing a specific configuration of the repair priority determination device 13 used in the road maintenance management system.

上記舗装劣化判定装置12の判定結果は、道路画像データ、カメラ位置情報、種別判定結果ファイル、劣化判定結果ファイルと共に、修繕優先度判定装置13に送られる。
この修繕優先度判定装置13は、図11に示すように、入力部131、入力情報記憶部132、区間毎データ登録部133、劣化予測式作成部134、優先度評価部135、修繕計画作成部136、処理結果記憶部137、処理結果出力部138、表示制御部139、表示部13Aを備える。
The determination result of the pavement deterioration determination device 12 is sent to the repair priority determination device 13 together with the road image data, the camera position information, the type determination result file, and the deterioration determination result file.
As shown in FIG. 11, the repair priority determination device 13 includes an input unit 131, an input information storage unit 132, a section data registration unit 133, a deterioration prediction formula creation unit 134, a priority evaluation unit 135, and a repair plan creation unit. 136, a processing result storage unit 137, a processing result output unit 138, a display control unit 139, and a display unit 13A.

上記入力部131は、道路画像データ、カメラ位置情報、種別判定結果ファイル、劣化判定結果ファイルに加え、区間登録データ(修繕履歴、交通量、路線種別、使われ方など)の情報も入力し、それぞれのデータを対応付ける。
上記区間毎データ登録部133は、入力部131で対応付けられた入力情報を区間毎に区切って入力情報記憶部132に記録する。
In addition to the road image data, camera position information, type determination result file, deterioration determination result file, the input unit 131 also inputs information on section registration data (repair history, traffic volume, route type, usage, etc.), Associate each data.
The section-by-section data registration section 133 divides the input information associated by the input section 131 into sections and records them in the input information storage section 132 .

上記劣化予測式作成部134は、入力情報記録部132に記録された種別判定結果ファイル、劣化判定結果ファイルおよび区間登録データをもとに、回帰分析を用いて劣化予測式を作成する。
上記優先度評価部135は、種別判定結果ファイル、劣化判定結果ファイル、区間登録データおよび劣化予測式による予測結果をもとに対策の優先度評価を行う。
The deterioration prediction formula creation unit 134 creates a degradation prediction formula using regression analysis based on the type determination result file, degradation determination result file, and section registration data recorded in the input information recording unit 132 .
The priority evaluation unit 135 performs priority evaluation of countermeasures based on the type determination result file, the deterioration determination result file, the section registration data, and the prediction result by the deterioration prediction formula.

上記修繕計画作成部136は、種別判定結果ファイル、劣化判定結果ファイル、区間登録データ、劣化予測式による予測結果および優先度評価結果をもとに修繕計画を作成する。
上記処理結果記憶部137は、劣化予測式作成結果、優先度評価結果、修繕計画作成結果を記録する。
The repair plan creation unit 136 creates a repair plan based on the type determination result file, the deterioration determination result file, the section registration data, the prediction result by the deterioration prediction formula, and the priority evaluation result.
The processing result storage unit 137 records the deterioration prediction formula creation result, the priority evaluation result, and the repair plan creation result.

上記判定結果出力部138は、要求に応じて、処理結果記憶部137に記録された処理結果を読み出し、例えばテキストファイルとして出力する。
上記表示制御部は、要求に応じて、処理結果記憶部137に記録された処理結果を読み出し、画面表示可能なデータ形式に変換処理する。上記表示部13Aは、表示制御部139で生成された画像を表示する。
The determination result output unit 138 reads the processing result recorded in the processing result storage unit 137 in response to a request, and outputs it as a text file, for example.
In response to a request, the display control unit reads the processing result recorded in the processing result storage unit 137 and converts it into a data format that can be displayed on the screen. The display section 13A displays an image generated by the display control section 139. FIG.

図12は、図11に示す修繕優先度判定装置13の処理の流れを示すフローチャートである。
すなわち、この修繕優先度判定装置13では、道路画像データ、カメラ位置情報、種別判定結果ファイル、劣化判定結果ファイル、区間登録データの情報の入力を判断する(ステップS31)。
FIG. 12 is a flow chart showing the flow of processing of the repair priority determination device 13 shown in FIG.
That is, the repair priority determination device 13 determines input of road image data, camera position information, type determination result file, deterioration determination result file, and section registration data (step S31).

ここで、入力があった場合には、入力情報の対応付けを行い(ステップS32)、入力情報を区間毎に区切って(ステップS33)、入力情報記憶部132に記録する(ステップS34)。
続いて、記録された種別判定結果ファイル、劣化判定結果ファイルおよび区間登録データをもとに、回帰分析を用いて劣化予測式を作成する(ステップS35)。
Here, if there is an input, the input information is associated (step S32), the input information is divided into sections (step S33), and recorded in the input information storage unit 132 (step S34).
Subsequently, based on the recorded type determination result file, deterioration determination result file, and section registration data, a deterioration prediction formula is created using regression analysis (step S35).

このように作成された、種別判定結果ファイル、劣化判定結果ファイル、区間登録データおよび劣化予測式による予測結果をもとに、修繕を優先的に行う区間を決定するための対策の優先度評価を行う(ステップS36)。種別判定結果ファイル、劣化判定結果ファイル、区間登録データ、劣化予測式による予測結果および優先度評価結果をもとに、修繕計画を作成して(ステップS37)、処理結果記憶部137に記録する(ステップS38)。 Based on the type determination result file, deterioration determination result file, section registration data, and prediction results from the deterioration prediction formula created in this way, priority evaluation of measures to determine sections where repairs should be given priority. (step S36). Based on the type determination result file, the deterioration determination result file, the section registration data, the prediction result by the deterioration prediction formula, and the priority evaluation result, a repair plan is created (step S37) and recorded in the processing result storage unit 137 ( step S38).

そして、記録された処理結果の出力要求があると(ステップS39)、記憶部137から処理結果を読み出して、例えばテキストファイルに変換して出力する(ステップS3A)。また、表示要求があると(ステップS3B)、指定された位置の道路画像、ひび割れ形状と舗装劣化判定結果、修繕優先度情報を表示部13Aに表示する(ステップS3C)。 When there is an output request for the recorded processing result (step S39), the processing result is read from the storage unit 137, converted into a text file, for example, and output (step S3A). Also, when there is a display request (step S3B), the road image at the specified position, the shape of the crack, the pavement deterioration determination result, and the repair priority information are displayed on the display unit 13A (step S3C).

すなわち、上記修繕優先度判定処理において、評価対象路線の一定区間ごとに区間特性に関するデータを登録することにより、それらの情報及び上記により判定された一定区間ごとの劣化程度を含めた一覧表(ロングリスト)を作成することができる。ここで、区間ごとの登録データは、修繕履歴、交通量、路線種別、使われ方(バス路線、緊急輸送道路等)などである。 That is, in the repair priority determination process, by registering data on section characteristics for each fixed section of the evaluation target route, a list (long list) can be created. Here, the registration data for each section includes repair history, traffic volume, route type, usage (bus routes, emergency transportation roads, etc.), and the like.

一定区間毎のデータについて、修繕からの経過年数と劣化程度との関係を回帰分析することにより、舗装種別ごとに、経過年数に応じた将来の劣化程度を予測するための劣化予測式を作成することができる。そこで、劣化予測式に基づいて判定・予測された劣化程度と当該区間の重要度に応じた対策の優先度を評価する。区間の重要度は、区間毎の登録データを利用し、評価対象とする項目を選択し、項目間の重み付けを行うことによって評価する。対象項目や項目間の重みは任意で設定できるようにするとよい。 Create a deterioration prediction formula for predicting the future degree of deterioration according to the number of years elapsed for each pavement type by performing regression analysis on the relationship between the number of years since repair and the degree of deterioration for data for each fixed section. be able to. Therefore, the degree of deterioration determined/predicted based on the deterioration prediction formula and the priority of countermeasures according to the importance of the section are evaluated. The importance of a section is evaluated by using registered data for each section, selecting items to be evaluated, and weighting the items. Target items and weights between items should be arbitrarily set.

一定区間の現時点の劣化程度(調査による判定結果)及び将来の劣化程度(劣化予測式による予測)と、区間毎の優先度評価結果に基づき、今後の長期にわたる修繕計画を作成する。なお、修繕を実施する基準(劣化程度)や劣化程度に応じた修繕工法・費用、各年度の予算制約は計画策定時に登録するデータである。 A long-term repair plan will be created based on the current degree of deterioration (determined by survey) and the future degree of deterioration (predicted by a deterioration prediction formula) in a certain section, and the results of priority evaluation for each section. In addition, the standards for repair (degree of deterioration), the repair method and cost according to the degree of deterioration, and budget constraints for each fiscal year are data to be registered at the time of planning.

図13は、修繕優先度判定処理による判定結果の地図による表示例を示している。
この表示例では、GIS(Geographic Information System:地図情報システム)を利用して、地図上の指定道路に一定区間毎の○印を表示し、○印の色を舗装種別の判定結果に基づいて赤(排水性)、黄(密粒系)、青(その他)などで色分けする。この例では、任意の○印を指定(クリック)すると、その地点の道路画像がポップアップして表示される様子を示している。詳細は図示しないが、合わせて劣化の度合い、修繕優先度が表示されると効果的である。
FIG. 13 shows a map display example of the determination result of the repair priority determination process.
In this display example, a GIS (Geographic Information System) is used to display a circle mark for each fixed section on the specified road on the map, and the color of the circle mark is red based on the pavement type judgment result. (drainage), yellow (dense grain type), blue (others), etc. In this example, when an arbitrary ○ mark is designated (clicked), a pop-up road image of that point is displayed. Although details are not shown, it is effective if the degree of deterioration and repair priority are also displayed.

図14は、修繕優先度判定処理による判定結果の一覧表(帳票)による表示例を示している。この例では、評価対象路線の一定区間ごとに、種別判定結果、劣化判定結果(ひび割れ率)および区間登録データ(交通量、路線種別、バス路線)に基づき、修繕優先度を評価している。区間登録データに基づき区間の重要度を評価し、劣化判定結果および区間重要度により修繕の優先度を判定している。 FIG. 14 shows a display example of a list (form) of determination results of the repair priority determination process. In this example, the repair priority is evaluated based on the type determination result, deterioration determination result (crack rate), and section registration data (traffic volume, route type, bus route) for each fixed section of the evaluation target route. The importance of the section is evaluated based on the section registration data, and the priority of repair is determined based on the deterioration judgment result and the section importance.

以上のように、本実施形態に係る道路維持管理システムによれば、道路画像とカメラ位置情報から舗装の種別を容易に判定することができる。この判定結果から、舗装の種別ごとに劣化の度合いを判定することができ、さらには修繕の優先度まで判定することができる。 As described above, according to the road maintenance management system according to the present embodiment, it is possible to easily determine the type of pavement from the road image and the camera position information. From this determination result, it is possible to determine the degree of deterioration for each type of pavement, and even determine the priority of repair.

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。 It should be noted that the present invention is not limited to the above-described embodiments as they are, and can be embodied by modifying constituent elements without departing from the scope of the present invention at the implementation stage. Further, various inventions can be formed by appropriate combinations of the plurality of constituent elements disclosed in the above embodiments. For example, some components may be omitted from all components shown in the embodiments. Furthermore, components across different embodiments may be combined as appropriate.

1…道路維持管理システム、
10…調査用車両、101…カメラ、102…測位装置、
11…舗装種別判定装置、111…入力部、112…入力情報記憶部、113…画像処理部、114…舗装種別判定部、115…判定結果記憶部、116…編集・補完処理部、117…判定結果出力部、118…表示制御部、119…表示部、
12…舗装劣化判定装置、121…入力部、122…入力情報記憶部、123…画像処理部、124…舗装劣化判定部、125…判定結果記憶部、126…判定結果出力部、127…表示制御部、128…表示部、
13…修繕優先度判定装置、131…入力部、132…入力情報記憶部、133…区間毎データ登録部、134…劣化予測式作成部、135…優先度評価部、136…修繕計画作成部、137…処理結果記憶部、138…処理結果出力部、139…表示制御部、13A…表示部。
1... road maintenance system,
10... Survey vehicle, 101... Camera, 102... Positioning device,
11... pavement type determination device, 111... input unit, 112... input information storage unit, 113... image processing unit, 114... pavement type determination unit, 115... determination result storage unit, 116... edit/complement processing unit, 117... determination result output unit, 118... display control unit, 119... display unit,
12 Pavement deterioration determination device 121 Input unit 122 Input information storage unit 123 Image processing unit 124 Pavement deterioration determination unit 125 Determination result storage unit 126 Determination result output unit 127 Display control part, 128 ... display part,
13... repair priority determination device, 131... input unit, 132... input information storage unit, 133... section data registration unit, 134... deterioration prediction formula creation unit, 135... priority evaluation unit, 136... repair plan creation unit, 137... Processing result storage unit, 138... Processing result output unit, 139... Display control unit, 13A... Display unit.

Claims (12)

道路を撮影した道路画像及び前記道路画像の撮影位置情報を入力する入力部と、前記入力部に入力された前記道路画像から路面部分を抽出する抽出部と、予め舗装種別毎に与えられる路面部分の舗装種別画像を、属性単位で分類される教師データで学習して生成された複数の学習モデルを用いて、前記道路画像の路面部分の舗装種別を判定する舗装種別判定部と、を有する舗装種別判定装置と、
前記舗装種別判定装置で舗装種別が判定された前記道路画像の路面部分における舗装のひび割れまたは剥がれの箇所を検出して舗装の劣化状態を解析する画像解析部と、前記画像解析部で得られた前記舗装のひび割れまたは剥がれの箇所の検出結果と前記舗装の劣化状態の解析結果に基づいて、前記舗装種別毎に舗装劣化の度合いを判定する舗装劣化判定部と、を有する舗装劣化判定装置と
前記道路画像、前記撮影位置情報、前記舗装種別の判定結果、前記舗装劣化の判定結果、前記道路の区間単位で登録された管理情報を含む区間登録データの入力情報を対応つけて登録するデータ登録部と、前記舗装種別の判定結果、前記舗装劣化の判定結果及び前記区間登録データをもとに、回帰分析を用いて将来の劣化程度を予測する劣化予測式を作成する劣化予測式作成部と、前記舗装種別の判定結果、前記舗装劣化の判定結果、前記区間登録データ及び前記劣化予測式による予測結果をもとに、前記道路の区間単位で修繕の優先度を判定する優先度判定部と、を有する修繕優先度判定装置と、
具備する道路維持管理システム。
An input unit for inputting a road image obtained by photographing a road and photographing position information of the road image , an extracting unit for extracting a road surface portion from the road image input to the input unit , and an extracting unit provided in advance for each pavement type. a pavement type determination unit that determines the pavement type of the road surface portion of the road image using a plurality of learning models generated by learning the pavement type image of the road surface portion with teacher data classified by attribute unit; a pavement type determination device having
An image analysis unit that detects cracks or peeling of the pavement in the road surface portion of the road image whose pavement type is determined by the pavement type determination device and analyzes the deterioration state of the pavement , and the image analysis unit. a pavement deterioration determination unit that determines the degree of pavement deterioration for each pavement type based on the detection result of the crack or peeling location of the pavement and the analysis result of the deterioration state of the pavement; and ,
Data registration for registering the road image, the shooting position information, the pavement type determination result, the pavement deterioration determination result, and input information of section registration data including management information registered for each section of the road in association with each other. and a deterioration prediction formula creation unit that creates a degradation prediction formula that predicts the degree of future deterioration using regression analysis based on the pavement type determination result, the pavement degradation determination result, and the section registration data. , a priority determination unit that determines the priority of repair for each section of the road based on the determination result of the pavement type, the determination result of the pavement deterioration, the section registration data, and the prediction result by the deterioration prediction formula; , a repair priority determination device having
A road maintenance system comprising :
道路を撮影した道路画像及び前記道路画像の撮影位置情報を入力する入力部と、
前記入力部に入力された前記道路画像から路面部分を抽出する抽出部と、
予め舗装種別毎に与えられる路面部分の舗装種別画像を、天候、影の有無の何れかを含む属性単位で分類される教師データで学習して生成された複数の学習モデルを用いて、前記道路画像の路面部分の舗装種別を判定する判定部と
具備する舗装種別判定装置。
an input unit for inputting a road image obtained by photographing a road and photographing position information of the road image;
an extraction unit for extracting a road surface portion from the road image input to the input unit;
Using a plurality of learning models generated by learning a pavement type image of a road surface portion, which is given in advance for each pavement type, with teacher data classified by attribute unit including weather and presence or absence of shadow, the road a determination unit that determines the pavement type of the road surface portion of the image ;
A pavement type determination device comprising .
道路を撮影した道路画像及び前記道路画像の撮影位置情報を入力する入力部と、
前記入力部に入力された前記道路画像から路面部分を抽出する抽出部と、
予め舗装種別毎に与えられる路面部分の舗装種別画像を、属性単位で分類される教師データで学習して生成された複数の学習モデルを用いて、前記道路の区間について一定の距離毎に舗装種別を判定し、前記距離毎の判定結果を統合して、当該区間の最終的な舗装種別を判定する判定部と
具備する舗装種別判定装置。
an input unit for inputting a road image obtained by photographing a road and photographing position information of the road image;
an extraction unit for extracting a road surface portion from the road image input to the input unit;
Using a plurality of learning models generated by learning a pavement type image of a road surface portion, which is given in advance for each pavement type, with teacher data classified by attribute unit, the pavement type is determined for each fixed distance for the section of the road. A determination unit that determines the final pavement type of the section by integrating the determination results for each distance ,
A pavement type determination device comprising .
前記判定部は、前記道路画像の路面部分の舗装種別について、ポーラスアスファルト舗装、密粒度系アスファルト舗装、その他の舗装のいずれであるかを判定する
求項2または3記載の舗装種別判定装置。
The determination unit determines whether the pavement type of the road surface portion of the road image is porous asphalt pavement, dense-grained asphalt pavement, or other pavement .
The pavement type determination device according to claim 2 or 3 .
道路を撮影した道路画像、前記道路画像の撮影位置情報、前記道路画像の路面部分に対する舗装種別の判定結果、前記道路画像の路面部分に対する舗装種別毎の舗装劣化の判定結果、前記道路の区間単位で登録された管理情報を含む区間登録データの入力情報を対応つけて登録するデータ登録部と、
前記舗装種別の判定結果、前記舗装劣化の判定結果及び前記区間登録データをもとに、回帰分析を用いて将来の劣化の程度を予測する劣化予測式を作成する劣化予測式作成部と、
前記舗装種別の判定結果、前記舗装劣化の判定結果、前記区間登録データ及び前記劣化予測式による予測結果をもとに、前記道路の区間単位で修繕の優先度を判定する優先度判定部と
具備する修繕優先度判定装置。
Road image obtained by photographing the road, photographing position information of the road image, pavement type determination result for the road surface portion of the road image, pavement deterioration determination result for each pavement type for the road surface portion of the road image, section unit of the road A data registration unit that registers in association with input information of section registration data including management information registered in
A deterioration prediction formula creation unit that creates a deterioration prediction formula for predicting the degree of future deterioration using regression analysis based on the pavement type determination result, the pavement deterioration determination result, and the section registration data;
A priority determination unit that determines the priority of repair for each section of the road based on the determination result of the pavement type, the determination result of the pavement deterioration, the section registration data, and the prediction result by the deterioration prediction formula ;
A repair priority determination device comprising :
前記舗装種別の判定結果、前記舗装劣化の判定結果、前記区間登録データ、前記劣化予測式による予測結果及び前記修繕の優先度の判定結果をもとに、前記道路の修繕計画を作成する修繕計画作成部を
らに備える請求項記載の修繕優先度判定装置。
A repair plan for creating a repair plan for the road based on the pavement type determination result, the pavement deterioration determination result, the section registration data, the prediction result by the deterioration prediction formula, and the repair priority determination result. the creation department ,
The repair priority determination device according to claim 5 , further comprising.
舗装種別判定装置が、道路を撮影した道路画像及び前記道路画像の撮影位置情報を入力し、
前記舗装種別判定装置が、入力された前記道路画像から路面部分を抽出し、
前記舗装種別判定装置が、予め舗装種別毎に与えられる路面部分の舗装種別画像を、属性単位で分類される教師データで学習して生成された複数の学習モデルを用いて、前記道路画像の路面部分の舗装種別を判定し、
舗装劣化判定装置が、前記舗装種別が判定された前記道路画像の路面部分における舗装のひび割れまたは剥がれの箇所を検出して舗装の劣化状態を解析し、
前記舗装劣化判定装置が、前記道路画像、前記撮影位置情報及び前記舗装のひび割れまたは剥がれの箇所の検出結果と前記舗装の劣化状態の解析結果に基づいて、前記舗装種別毎に舗装劣化の度合いを判定し、
修繕優先度判定装置が、前記舗装種別の判定結果、前記舗装劣化の判定結果、前記道路の区間単位で登録された管理情報を含む区間登録データをもとに、回帰分析を用いて将来の劣化程度を予測する劣化予測式を作成し、
前記修繕優先度判定装置が、前記舗装種別の判定結果、前記舗装劣化の判定結果、前記区間登録データ及び前記劣化予測式による予測結果をもとに、前記道路の区間単位で修繕の優先度を判定する
路維持管理方法。
A pavement type determination device inputs a road image of a road and the shooting position information of the road image,
The pavement type determination device extracts a road surface portion from the input road image,
The pavement type determination device uses a plurality of learning models generated by learning a pavement type image of a road surface portion, which is given for each pavement type in advance, with teacher data classified by attribute unit, to determine the road surface of the road image. Judge the pavement type of the part,
A pavement deterioration determination device analyzes the deterioration state of the pavement by detecting cracks or peeling of the pavement in the road surface portion of the road image for which the pavement type has been determined,
The pavement deterioration determination device determines the degree of pavement deterioration for each pavement type based on the road image, the imaging position information, the detection result of cracks or peeling of the pavement, and the analysis result of the deterioration state of the pavement. judge ,
A repair priority determination device uses regression analysis based on section registration data including the determination result of the pavement type, the determination result of the pavement deterioration, and the management information registered for each section of the road to predict future deterioration. Create a deterioration prediction formula that predicts the degree of
The repair priority determination device determines the repair priority for each section of the road based on the pavement type determination result, the pavement deterioration determination result, the section registration data, and the prediction result by the deterioration prediction formula. judge ,
Road maintenance method.
入力部から、道路が撮影された道路画像及び前記道路画像の撮影位置情報を入力し、
抽出部が、前記道路画像から路面部分を抽出し、
判定部が、予め舗装種別毎に与えられる路面部分の舗装種別画像を、天候、影の有無の何れかを含む属性単位に分類された教師データとして学習させた学習モデルにより、前記道路画像の路面部分の舗装種別を判定する
装種別判定方法。
Inputting a road image in which a road is photographed and photographing position information of the road image from an input unit ,
An extraction unit extracts a road surface portion from the road image,
The determination unit uses a learning model that learns a pavement type image of a road surface portion , which is given in advance for each pavement type, as teacher data classified into attribute units including weather and the presence or absence of shadows, and determines the road surface of the road image. determine the pavement type of the part ,
Pavement type determination method.
入力部から、道路が撮影された道路画像及び前記道路画像の撮影位置情報を入力し、
抽出部が、前記道路画像から路面部分を抽出し、
判定部が、予め舗装種別毎に与えられる路面部分の舗装種別画像を、属性単位に分類された教師データとして学習させた学習モデルにより、前記道路の区間について一定の距離毎に舗装種別の判定し、前記距離毎の判定結果を統合して、当該区間の最終的な舗装種別を判定する
装種別判定方法。
Inputting a road image in which a road is photographed and photographing position information of the road image from an input unit,
An extraction unit extracts a road surface portion from the road image,
The judging unit judges the pavement type for each fixed distance for each section of the road by using a learning model in which the pavement type image of the road surface portion given in advance for each pavement type is learned as teacher data classified by attribute unit. , integrating the determination results for each distance to determine the final pavement type of the section ,
Pavement type determination method.
前記舗装種別の判定は、
前記判定部が、前記道路画像の路面部分の舗装種別について、ポーラスアスファルト舗装、密粒度系アスファルト舗装、その他の舗装のいずれかであるかを判定する
求項8または9記載の舗装種別判定方法。
Determination of the pavement type,
The determination unit determines whether the pavement type of the road surface portion of the road image is porous asphalt pavement, dense-grained asphalt pavement, or other pavement .
The pavement type determination method according to claim 8 or 9 .
データ登録部が、道路を撮影した道路画像、前記道路画像の撮影位置情報、前記道路画像の路面部分に対する舗装種別の判定結果、前記道路画像の路面部分に対する舗装種別毎の舗装劣化の判定結果、前記道路の区間単位で登録された管理情報を含む区間登録データの入力情報を対応つけて登録し、
劣化予測式作成部が、前記舗装種別の判定結果、前記舗装劣化の判定結果及び前記区間登録データをもとに、回帰分析を用いて将来の劣化の程度を予測する劣化予測式を作成し、
判定部が、前記舗装種別の判定結果、前記舗装劣化の判定結果、前記区間登録データ及び前記劣化予測式による予測結果をもとに、前記道路の区間単位で修繕の優先度を判定する
繕優先度判定方法。
A data registration unit provides a road image obtained by photographing a road, photographing position information of the road image, pavement type determination result for the road surface portion of the road image, pavement deterioration determination result for each pavement type for the road surface portion of the road image, registering the input information of the section registration data containing the management information registered for each section of the road in association with each other;
A degradation prediction formula creation unit creates a degradation prediction formula for predicting the degree of future degradation using regression analysis based on the pavement type determination result, the pavement degradation determination result, and the section registration data,
A determination unit determines the priority of repair for each section of the road based on the determination result of the pavement type, the determination result of the pavement deterioration, the section registration data, and the prediction result by the deterioration prediction formula .
Repair priority determination method.
さらに、
修繕計画作成部が、前記舗装種別の判定結果、前記舗装劣化の判定結果、前記区間登録データ、前記劣化予測式による予測結果及び前記修繕の優先度の判定結果をもとに、前記道路の修繕計画を作成する
求項11記載の修繕優先度判定方法。
moreover,
The repair plan creation unit repairs the road based on the determination result of the pavement type, the determination result of the pavement deterioration, the section registration data, the prediction result by the deterioration prediction formula, and the determination result of the priority of repair. create a plan ,
The repair priority determination method according to claim 11 .
JP2019045206A 2019-03-12 2019-03-12 Road maintenance management system, pavement type determination device, repair priority determination device, road maintenance management method, pavement type determination method, repair priority determination method Active JP7333511B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019045206A JP7333511B2 (en) 2019-03-12 2019-03-12 Road maintenance management system, pavement type determination device, repair priority determination device, road maintenance management method, pavement type determination method, repair priority determination method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019045206A JP7333511B2 (en) 2019-03-12 2019-03-12 Road maintenance management system, pavement type determination device, repair priority determination device, road maintenance management method, pavement type determination method, repair priority determination method

Publications (2)

Publication Number Publication Date
JP2020147961A JP2020147961A (en) 2020-09-17
JP7333511B2 true JP7333511B2 (en) 2023-08-25

Family

ID=72431870

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019045206A Active JP7333511B2 (en) 2019-03-12 2019-03-12 Road maintenance management system, pavement type determination device, repair priority determination device, road maintenance management method, pavement type determination method, repair priority determination method

Country Status (1)

Country Link
JP (1) JP7333511B2 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022091327A1 (en) * 2020-10-30 2022-05-05 三菱電機株式会社 Crack detection device, crack detection method, and crack detection program
US20230419687A1 (en) * 2020-11-20 2023-12-28 Nec Corporation State determination device, state determination method and recording medium
WO2022168223A1 (en) * 2021-02-04 2022-08-11 日本電気株式会社 Instruction data generation device, condition determination device, condition determination system, instruction data generation method, condition determination method, and storage media
WO2023042238A1 (en) * 2021-09-14 2023-03-23 日本電気株式会社 Image generation system, image generation method, and recording medium
KR102412082B1 (en) * 2022-01-12 2022-06-22 (주)한국포장기술 Road management platform using ict

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005115687A (en) 2003-10-08 2005-04-28 Hitachi Ltd Road maintenance support system
JP2008187347A (en) 2007-01-29 2008-08-14 Toshiba Corp On-vehicle navigation system, road marking identifying program and road marking identifying method
JP2008250687A (en) 2007-03-30 2008-10-16 Aisin Aw Co Ltd Feature information collection device and feature information collection method
JP2011179874A (en) 2010-02-26 2011-09-15 East Nippon Expressway Co Ltd Method for extracting surface cracks of paved road and evaluating surface damage level of paved road
JP2016089593A (en) 2014-11-11 2016-05-23 株式会社東芝 Road maintenance management system, control method and computer program
WO2017094846A1 (en) 2015-12-03 2017-06-08 日本電気株式会社 Device, method, and recording medium
JP2018021375A (en) 2016-08-03 2018-02-08 株式会社東芝 Pavement crack analyzer, pavement crack analysis method, and pavement crack analysis program
JP2018031664A (en) 2016-08-24 2018-03-01 株式会社東芝 Information processor, information processing method, and program
JP2018120409A (en) 2017-01-25 2018-08-02 株式会社ユピテル Data collection device, road status evaluation support device, and program
JP2018156317A (en) 2017-03-16 2018-10-04 阪神高速技術株式会社 Crack detection processing device, and crack detection processing program
JP2019036182A (en) 2017-08-18 2019-03-07 国際航業株式会社 Pavement management support system

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09196647A (en) * 1996-01-23 1997-07-31 Mitsubishi Heavy Ind Ltd Measured data analyzer for road-surface-property measuring apparatus

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005115687A (en) 2003-10-08 2005-04-28 Hitachi Ltd Road maintenance support system
JP2008187347A (en) 2007-01-29 2008-08-14 Toshiba Corp On-vehicle navigation system, road marking identifying program and road marking identifying method
JP2008250687A (en) 2007-03-30 2008-10-16 Aisin Aw Co Ltd Feature information collection device and feature information collection method
JP2011179874A (en) 2010-02-26 2011-09-15 East Nippon Expressway Co Ltd Method for extracting surface cracks of paved road and evaluating surface damage level of paved road
JP2016089593A (en) 2014-11-11 2016-05-23 株式会社東芝 Road maintenance management system, control method and computer program
WO2017094846A1 (en) 2015-12-03 2017-06-08 日本電気株式会社 Device, method, and recording medium
JP2018021375A (en) 2016-08-03 2018-02-08 株式会社東芝 Pavement crack analyzer, pavement crack analysis method, and pavement crack analysis program
JP2018031664A (en) 2016-08-24 2018-03-01 株式会社東芝 Information processor, information processing method, and program
JP2018120409A (en) 2017-01-25 2018-08-02 株式会社ユピテル Data collection device, road status evaluation support device, and program
JP2018156317A (en) 2017-03-16 2018-10-04 阪神高速技術株式会社 Crack detection processing device, and crack detection processing program
JP2019036182A (en) 2017-08-18 2019-03-07 国際航業株式会社 Pavement management support system

Also Published As

Publication number Publication date
JP2020147961A (en) 2020-09-17

Similar Documents

Publication Publication Date Title
JP7333511B2 (en) Road maintenance management system, pavement type determination device, repair priority determination device, road maintenance management method, pavement type determination method, repair priority determination method
JP6713505B2 (en) Pavement information collection and inspection system, pavement information collection and inspection method, and program
CN107923132B (en) Crack analysis device, crack analysis method, and recording medium
US10032267B2 (en) Automating the assessment of damage to infrastructure assets
Omer et al. An automatic image recognition system for winter road surface condition classification
CN101275841A (en) Feature information collecting apparatus and feature information collecting method
JP7314693B2 (en) Road surface condition investigation system, road surface condition investigation method, and road surface condition investigation program
JP6647171B2 (en) Information processing apparatus, information processing method, and program
Aydın et al. The use of smart phones to estimate road roughness: A case study in turkey
Shaghlil et al. Automating highway infrastructure maintenance using unmanned aerial vehicles
Fendi et al. An approach to produce a gis database for Road Surface Monitoring
CN116246181A (en) Extra-high voltage dense channel drift monitoring method based on satellite remote sensing technology
KR101659433B1 (en) System for pollution management of river-water and method of the same
JP2018206014A (en) Traffic information acquisition device, traffic information acquisition system, traffic information acquisition method, and traffic information acquisition program
JP2021148606A (en) Evaluation system, state inspection system, evaluation method and program
US20210150692A1 (en) System and method for early identification and monitoring of defects in transportation infrastructure
JP6892197B1 (en) Deterioration display system, deterioration display method, and program
Ekpenyong et al. Comparative study of the road roughness measurement of roadlab pro and roadroid applicatons for IRI data collection in Nigeria
Exner et al. Monitoring Street Infrastructures with Artificial Intelligence
JP2003287573A (en) Method for estimating earthquake damage
JP7440855B1 (en) Inspection support system, photographing position identification system, and program
Abdullah et al. A methodology for processing raw LiDAR data to support urban flood modelling framework: Case Study—Kuala Lumpur Malaysia
TWI597405B (en) System and method for monitoring slope with tree displacement
Buchari et al. Prompt analysis of condition priority for road improvement planning
TWI813118B (en) System and method for automatically updating visual landmark image database

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20200917

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20200917

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201102

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20201102

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20211105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20211105

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220224

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221122

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230113

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230404

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230531

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230704

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230802

R150 Certificate of patent or registration of utility model

Ref document number: 7333511

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150