JP6965536B2 - Information processing system, evaluation system, information processing method and program - Google Patents
Information processing system, evaluation system, information processing method and program Download PDFInfo
- Publication number
- JP6965536B2 JP6965536B2 JP2017050795A JP2017050795A JP6965536B2 JP 6965536 B2 JP6965536 B2 JP 6965536B2 JP 2017050795 A JP2017050795 A JP 2017050795A JP 2017050795 A JP2017050795 A JP 2017050795A JP 6965536 B2 JP6965536 B2 JP 6965536B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- evaluation
- distance
- vehicle
- mileage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Road Repair (AREA)
- Traffic Control Systems (AREA)
Description
本発明は、評価対象の評価区間を推定する情報処理システム、評価システム、情報処理方法および該評価区間を推定する処理をコンピュータに実行させるためのプログラムに関する。 The present invention relates to an information processing system for estimating an evaluation interval to be evaluated, an evaluation system, an information processing method, and a program for causing a computer to execute a process for estimating the evaluation interval.
道路、線路、トンネル等は、車両の通行、気候、外部からの圧力等によって損傷し、その損傷が拡大すると、重大な事故等の発生に繋がることから、その評価を行うために定期的な点検が必要とされている。道路路面については、代表的な損傷点検項目として、ひび割れ、わだち掘れ(道路の幅方向の凹凸)、平坦性(車両進行方向の凹凸)等がある。 Roads, railroad tracks, tunnels, etc. are damaged by vehicle traffic, climate, external pressure, etc., and if the damage spreads, it will lead to serious accidents, etc., so regular inspections will be conducted to evaluate it. Is needed. As for the road surface, typical damage inspection items include cracks, rutting (unevenness in the width direction of the road), flatness (unevenness in the vehicle traveling direction), and the like.
これらの項目を点検する際、ひび割れについては路面の撮影画像の取得、わだち掘れ、平坦性については三次元形状計測データの取得が必要とされている。このことから、ひび割れ撮影用のカメラ機材と、対象をレーザ照射し、カメラ撮影することで三次元形状計測を行う光切断計測機材と、車両の前後2箇所以上に設置した路面高さセンサとを備えたシステムが一般的に利用されている。 When inspecting these items, it is necessary to acquire captured images of the road surface for cracks, rutting, and three-dimensional shape measurement data for flatness. For this reason, camera equipment for crack photography, optical cutting measurement equipment that measures the three-dimensional shape by irradiating the target with a laser and taking a camera image, and road surface height sensors installed at two or more locations in front of and behind the vehicle are used. The equipped system is generally used.
道路の点検は年に一度、特定の路線を対象に行われ、上記のシステムを利用した撮影、計測に先立ち、事前調査が実施される。事前調査では、評価対象(路面)の評価区間(点検区間)の開始位置および終了位置、市町村の境界、車線構成、道路構造物(橋梁、トンネル、高架橋)等の位置、ルートの確認を行う。点検区間の開始位置および終了位置には、撮影画像から確認することができるように、路面にマーキングを施すことが必要とされている。この路面のマーキングは、検査コストを増加させ、検査の工数を増加させる。 Road inspections are conducted once a year for specific routes, and a preliminary survey is conducted prior to photography and measurement using the above system. In the preliminary survey, the start position and end position of the evaluation section (inspection section) of the evaluation target (road surface), the boundary of the municipality, the lane composition, the position of the road structure (bridge, tunnel, viaduct), etc., and the route are confirmed. It is necessary to mark the road surface at the start position and the end position of the inspection section so that they can be confirmed from the photographed image. This road surface marking increases the inspection cost and the inspection man-hours.
そこで、取得した位置データと加速度データに基づいて路面性状を示す路面指標を算出し、その路面指標と類似する事前測定路面指標に対応する車線を車両が走行した車線として特定する技術が提案されている(特許文献1参照)。 Therefore, a technique has been proposed in which a road surface index indicating road surface properties is calculated based on the acquired position data and acceleration data, and a lane corresponding to a pre-measured road surface index similar to the road surface index is specified as the lane in which the vehicle has traveled. (See Patent Document 1).
しかしながら、上記の技術では、路面の状態や経時的変化等によって、対応する区間であるにも関わらず、類似する事前測定路面指標と判断されない場合があるという問題があった。 However, the above technique has a problem that it may not be determined as a similar pre-measured road surface index even though it is a corresponding section, depending on the condition of the road surface, changes over time, and the like.
本発明は、上記の問題に鑑みてなされたものであり、評価対象の状態が異なる場合や、評価対象に経時的変化が生じた場合でも、高い精度で評価区間を推定することができるシステム、方法およびプログラムを提供することを目的とする。 The present invention has been made in view of the above problems, and is a system capable of estimating an evaluation interval with high accuracy even when the state of the evaluation target is different or the evaluation target changes with time. The purpose is to provide methods and programs.
上述した課題を解決するために、発明の一実施形態では、評価対象の評価区間を推定する情報処理システムであって、
評価対象上を走行する車両に搭載された撮像装置により撮像された評価対象を含む画像を取得する画像取得手段と、
画像取得手段により取得された画像を参照し、指定された特徴を有する基準物体を検知する検知手段と、
検知手段により基準物体が検知されたことを受けて、車両に搭載された距離計測装置に対して該車両の走行距離の計測を指示する指示手段と、
距離計測装置により計測された走行距離を取得する距離取得手段と、
評価区間の一端と他端とにつき距離取得手段により取得された各走行距離がそれぞれ指定された距離に達した位置に基づき、評価区間の一端と他端の位置を推定する位置推定手段とを含む、情報処理システムを提供する。
In order to solve the above-mentioned problems, in one embodiment of the invention, it is an information processing system that estimates an evaluation interval to be evaluated.
An image acquisition means for acquiring an image including an evaluation target imaged by an image pickup device mounted on a vehicle traveling on the evaluation target, and an image acquisition means.
A detection means that refers to an image acquired by an image acquisition means and detects a reference object having a specified feature, and a detection means.
In response to the detection of the reference object by the detection means, the instruction means for instructing the distance measuring device mounted on the vehicle to measure the mileage of the vehicle, and
A distance acquisition means for acquiring the mileage measured by the distance measuring device, and
Includes a position estimation means that estimates the positions of one end and the other end of the evaluation section based on the position where each mileage acquired by the distance acquisition means has reached the specified distance for one end and the other end of the evaluation section. , Provides an information processing system.
本発明によれば、評価対象の状態が異なる場合や、評価対象に経時的変化が生じた場合でも、高い精度で評価区間を推定することが可能となる。 According to the present invention, it is possible to estimate the evaluation interval with high accuracy even when the state of the evaluation target is different or the evaluation target changes with time.
図1は、評価システムの構成例を示した図である。評価システムは、評価対象の評価区間を推定し、推定した評価区間の表面性状を評価するシステムである。評価対象は、路面、線路、トンネルの内面等の一方に長く延びる構造物であれば、いかなる構造物であってもよい。この評価システムは、このような一方に長く延びる構造物を一定の区間に区切ってその表面性状を評価する場合に利用される。以下、評価対象を路面とし、評価区間を路面の点検区間とし、評価システムをその路面の点検を行い、損傷の有無やその程度を評価する路面点検システムとして説明する。 FIG. 1 is a diagram showing a configuration example of an evaluation system. The evaluation system is a system that estimates the evaluation section to be evaluated and evaluates the surface texture of the estimated evaluation section. The evaluation target may be any structure as long as it extends long to one of the road surface, the railroad track, the inner surface of the tunnel, and the like. This evaluation system is used to evaluate the surface properties of such a structure that extends long on one side by dividing it into certain sections. Hereinafter, the evaluation target will be the road surface, the evaluation section will be the road surface inspection section, and the evaluation system will be described as a road surface inspection system that inspects the road surface and evaluates the presence or absence of damage and its degree.
路面点検システムは、車両10に搭載され、路面11を撮像する撮像装置としての路面カメラ12と、路面11を含む路面11の周辺を撮像する撮像装置としての周辺カメラ13と、各種の情報を格納し、処理を行う情報処理装置14とを備えている。また、路面点検システムは、車両10に搭載され、車両10の位置を計測する位置計測装置としてのGPS(Global Positioning System)センサ15と、車両10の走行距離を計測する距離計測装置16とをさらに備えている。
The road surface inspection system stores various information such as a
路面11は、多数の車両の通行等により、ひび割れやわだち掘れが発生し、平坦性が損なわれる。これらは、路面11の損傷として損傷点検項目に入れられている。わだち掘れは、道路の幅方向の凹凸である。平坦性が損なわれるとは、車両の進行方向の凹凸が発生したことを意味する。
The flatness of the
路面カメラ12は、図1および図2(a)に示すように車両10の後方側に設置され、図2(b)に示すように2以上のカメラが斜め下方の路面11に向くように一列に並べて配置されたステレオカメラである。路面カメラ12は、図2(a)、(b)に示すように各カメラで評価対象の路面11の所定範囲17を撮像する。ステレオカメラは、例えば左右に並べた2つのカメラの視差情報を利用し、評価対象の路面11に形成された凹凸等の奥行き情報を得るためのカメラである。
The
視差は、対象とする点(対象点)が見える方向で異なることをいい、視差を利用することで、三角測量の原理により対象点との距離を求めることができる。この距離がどの対象点でも一定であれば、路面11に凹凸がなく、一定でない場合、凹凸が存在することを検知することができる。また、その距離に応じて、どの程度の高さの山や深さの溝が存在するかを検出することができる。
Parallax means that the target point (target point) differs in the visible direction, and by using the parallax, the distance to the target point can be obtained by the principle of triangulation. If this distance is constant at any target point, the
この路面点検システムでは、図2に示すように、車両10で路面11上を走行しながら、路面カメラ12で路面11の所定範囲17を、進行方向にその一部が重なるように撮像していく。そして、撮像した各画像から路面11の凹凸等の表面性状を計測し、計測した表面性状に基づき、路面11の損傷の有無、損傷の度合いを評価する。なお、撮像した画像から上記の表面性状を計測し、その表面性状に基づき、損傷の有無を検出し、損傷の度合いを評価する処理は、情報処理装置14により行うことができる。
In this road surface inspection system, as shown in FIG. 2, while the
図1および図2に示す例では、路面11の表面性状を計測するための情報を取得するために、路面カメラ12を用いているが、これに限られるものではない。例えば、レーザ照射装置とカメラから構成される光切断計測機材や、距離認識が可能な単眼カメラ等であってもよい。
In the examples shown in FIGS. 1 and 2, the
周辺カメラ13は、車両10に設置され、車両10の前方の路面11およびその周辺の、予め指定された特徴を有する基準物体を撮像する。基準物体は、点検区間の一端および他端をそれぞれ推定する際の基準となる物体であればいかなる物体であってもよい。基準物体としては、例えば信号機、標識、縁石、停止線、横断歩道線、マンホール、交差点中央瀬、郵便ポスト等を挙げることができる。
The
情報処理装置14は、タブレット端末やノートPC等とされ、上記の表面性状の計測、評価のほか、周辺カメラ13で撮像された画像に基づき、路面11の点検区間の一端および他端を推定する処理を実行する。
The
GPSセンサ15は、GPS受信機を備え、複数のGPS衛星から発信された信号を受信し、その信号の到達時間の時間差から、GPS受信機の位置を緯度、経度の情報として測定する。したがって、GPSセンサ15でも車両10の現在位置を測定することができる。しかしながら、GPSセンサ15は、GPS受信機の位置を数mの精度で測定するため、測定誤差が数m程度あることを意味し、その精度が低い。
The
距離計測装置16は、走行距離メータ等とされ、例えば車両10の車輪の円周の長さの情報を保持し、回転数を計測することで、走行距離を算出する。走行距離は、車輪の円周の長さと計測した回転数との積により算出することができる。これは一例であるため、その他の方法により距離を計測してもよい。
The
路面点検システムは、周辺カメラ13と情報処理装置14とGPSセンサ15と距離計測装置16とを用いて、路面11の点検区間の一端および他端を、GPSセンサ15の位置測定精度より高い精度で推定する。一端は、点検区間の開始位置(開始点)であり、他端は、点検区間の終了位置(終了点)である。
The road surface inspection system uses a
車両10は、前方のエンジン部分と、それに連続する客室部分の2つの箱(ボックス)からなる2ボックス型、または1つの箱からなる1ボックス型の車体形式のものすることができる。そして、路面カメラ12および周辺カメラ13は、その車両10の屋根(ルーフ)上に取り付けることができ、車両10の後方の路面11および車両10の前方の周辺を撮像することができる。周辺カメラ13は、車内のフロントガラス付近に取り付けられてもよい。情報処理装置14は、車両10の室内に配置され、GPSセンサ15、距離計測装置は、車両10の室内、室外のいずれに設置されていてもよい。
The
図1に示す例では、表面性状の計測、評価、点検区間の推定を、情報処理装置14という1つの機器で行っているが、これに限られるものではなく、2以上の機器で各処理を実行する構成であってもよい。その際、各機器は、ケーブル等の有線で接続されていてもよいし、無線で接続されていてもよい。また、各機器は、機器同士が直接接続されていてもよいし、LAN(Local Area Network)やWAN(Wide Area Network)等のネットワークを介して接続されていてもよい。
In the example shown in FIG. 1, the surface texture is measured, evaluated, and the inspection section is estimated by one device called the
ネットワークを介して接続される場合、そのネットワークは、1つのネットワークであってもよいし、ルータやプロキシサーバ等の中継装置により接続された2以上からなるネットワークであってもよい。このため、1つの機器から構成される情報処理装置14や、2以上の機器から構成されるシステムのいずれをも含む情報処理システムを、上記処理を実行するシステムとして採用することができる。なお、情報処理システムは、1以上の機器から構成されるものに限らず、集積回路等の電子部品(モジュール)で構成されるものであってもよい。
When connected via a network, the network may be one network or a network consisting of two or more connected by a relay device such as a router or a proxy server. Therefore, an information processing system including any of an
路面カメラ12は、車両10の後方側に、進行方向とは反対の方向に向けて設置されることに限られるものではなく、車両10の前方側に、進行方向に向けて設置されてもよい。周辺カメラ13も、路面カメラ12と同様、車両10の前方側に、進行方向に向けて設置されることに限らず、車両10の後方側に、進行方向とは反対の方向に向けて設置されていてもよい。
The
図3を参照して、路面カメラ12のハードウェア構成について説明する。路面カメラ12は、2以上の撮像手段から構成されている。図3に示す例では、路面カメラ12は、左右2つのカメラ20、21から構成され、カメラ20は、レンズ22、画像センサ23、センサコントローラ24を備え、カメラ21も、レンズ25、画像センサ26、センサコントローラ27を備えている。なお、レンズ22とレンズ25、画像センサ23と画像センサ26、センサコントローラ24とセンサコントローラ27は同一のものである。
The hardware configuration of the
左右の2つのカメラ20、21は、平行に組み付けられて構成されており、路面11を2つのカメラ20、21で同時に撮像する。撮像して得られた2つの画像上の物体は、各画像上での位置が異なるため、その位置の違い(視差)から、その物体の位置や立体的な形状を求めることができる。その方法については良く知られているため、ここでは詳述しない。
The two left and
画像センサ23は、レンズ22を通して入射された光を電気信号に変換し、画像データとして出力する。画像センサ23としては、例えばCCD(Charge Coupled Device)やCMOS(Complementary Metal-Oxide Semiconductor)で構成されるイメージセンサを用いることができる。
The
センサコントローラ24は、画像センサ23の露光制御、画像の読み出し制御、外部機器との通信および画像データの送信制御等を行う。露光とは、レンズ22を通した入射された光に画像センサ23をさらすことをいう。露光制御は、例えばシャッターの開閉により露光時間を制御することにより実現することができる。センサコントローラ24は、外部機器としての情報処理装置14と通信を行い、情報処理装置14に対して撮像した画像の画像データを送信する。
The
周辺カメラ13は、路面カメラ12を構成する左右2つのカメラ20、21のうちの1つのカメラと同様の構成を採用することができる。また、周辺カメラ13は、路面カメラ12と同様、左右2つのカメラから構成されるステレオカメラとすることもできる。なお、路面カメラ12および周辺カメラ13は、1台ずつに限られるものではなく、複数台であってもよい。
The
図4を参照して、情報処理装置14のハードウェア構成について説明する。情報処理装置14は、ハードウェアとして、CPU(Central Processing Unit)30、ROM(Read Only Memory)31、RAM(Random Access Memory)32、HDD(Hard Disk Drive)33、通信I/F34、入出力I/F35、表示装置36、入力装置37を備える。これらは、バス38に接続され、バス38を介して互いに情報のやりとりを行う。
The hardware configuration of the
CPU30は、情報処理装置14全体を制御し、路面11の損傷の有無の検出や損傷の評価等の処理を実行する。また、CPU30は、周辺カメラ13で撮像された画像に基づき、路面11の点検区間の一端および他端を推定する処理を実行する。ROM31は、情報処理装置14を起動させるためのブートプログラムや、HDD33や通信I/F34等を制御するためのファームウェア等を格納する。RAM32は、CPU30に対して作業領域を提供する。
The
HDD33は、OS(Operating System)、受信した画像、上記の処理を実行させるためのプログラム等を格納する。通信I/F34は、路面カメラ12、周辺カメラ13、GPSセンサ15、距離計測装置16と接続し、それらの機器との間で通信を行う。
The
入出力I/F35は、表示装置36および入力装置37をバス38に接続し、CPU30で処理した情報を表示装置36に表示させ、入力装置37から入力された情報をCPU30に対して提供し、情報の入出力を制御する。表示装置36は、液晶ディスプレイ等の情報を表示する機器で、入力装置37は、マウスやキーボード等の情報の入力を受け付けるための機器である。
The input / output I /
情報処理装置14は、これらのほか、外付けHDD等の外部記憶装置と接続し、外部記憶装置への情報の格納や読み出しを制御するための外部記憶I/F、音声入力装置、音声出力装置、カメラ等の撮像装置等を備えることもできる。
In addition to these, the
図5を参照して、情報処理装置14の機能構成について説明する。情報処理装置14は、CPU30がHDD33に格納されたプログラムを実行することにより1以上の機能部を生成し、それらの機能部を備えることができる。
The functional configuration of the
情報処理装置14は、機能部として、路面カメラ12により同時に撮像された2つの画像を取得する路面画像取得部40と、路面画像取得部40により取得された2つの画像を画像データとして格納する格納部41を備える。また、情報処理装置14は、格納部41により格納された2つの画像を用いて、路面カメラ12から路面11の各位置までの距離を計算して表面性状を計測し、そのデータを路面性状計測データとして出力する計測部42を備える。さらに、情報処理装置14は、計測部42が計測した表面性状、すなわち計測部42が出力した路面性状計測データに基づき、路面11の損傷の有無を検出し、損傷の度合いを評価した評価結果を出力する評価部43とを備える。この例では、計測部42が出力した路面性状計測データは一旦、格納部41に格納され、評価部43が格納部41から路面性状計測データを取得する構成とされている。
As a functional unit, the
情報処理装置14は、点検区間を推定する機能を有し、そのための機能部として、周辺画像取得部44と、物体検知部45と、指示部46と、距離取得部47と、位置推定部48とを備える。周辺画像取得部44は、周辺カメラ13により撮像された画像を、周辺カメラ13から取得する。
The
物体検知部45は、周辺画像取得部44により取得された画像を参照し、指定された特徴を有する基準物体、すなわち点検区間の開始点または終了点を推定する際の基準となる基準被写体を検知する。物体検知部45は、周辺画像取得部44により取得された画像を順に参照し、その画像内に基準被写体が存在するかどうかを確認する。
The
指示部46は、物体検知部45により基準被写体が検知されたことを受けて、車両10に搭載された距離計測装置16に対して車両10の走行距離の計測開始を指示する。距離計測装置16は、この指示を受けて、車両10の走行距離の計測を開始する。距離取得部47は、指示部46から走行距離の計測を開始した旨の通知を受け、距離計測装置16から計測された走行距離を取得する。距離取得部47は、上記の通知を受けた後、一定の時間間隔で走行距離を取得することができる。
In response to the detection of the reference subject by the
位置推定部48は、距離取得部47により取得された走行距離が予め計測され指定された距離に達したかどうかを確認し、その距離に達した場合、その距離に達した位置に基づき、点検区間の開始点を推定する。位置推定部48は、終了点についても同様にして推定する。
The
なお、物体検知部45により最初の基準被写体を検知し、走行距離を計測して推定した位置が開始点である。その開始点を通過し、次に物体検知部45により基準被写体を検知し、走行距離を計測して推定した位置が終了点である。開始点および終了点の推定は、指定された距離に達した位置を開始点および終了点として推定してもよいし、指定された距離に達した位置から予め決められた距離だけ離れた位置を開始点および終了点として推定してもよい。また、開始点および終了点のいずれか一方を、指定された距離に達した位置とし、他方を指定された距離に達した位置から予め決められた距離だけ離れた位置としてもよい。
The starting point is a position estimated by detecting the first reference subject by the
情報処理装置14は、GPSセンサ15から車両10の位置情報を取得する位置情報取得部49を備えることができる。また、情報処理装置14は、位置情報取得部49により取得された位置情報に基づき、車両10の進行方向の、点検区間の開始点または終了点の手前または奥側に存在する目標物体としての交差点を検知する交差点検知部50を備えることができる。目標物体としては、基準被写体を特定するための目標となる物体であればいかなる物体であってもよく、交差点のほか、T字路等を挙げることができる。以下、目標物体を交差点として説明する。
The
交差点検知部50は、GPSセンサ15と交差点との距離が一定距離内となった場合に、交差点を検知する。交差点検知部50は、交差点を検知する際、交差点の位置情報を用いる。交差点の位置情報は、例えば交差点の中心位置のGPS位置情報とし、予め設定しておくことができる。交差点の中心位置は、一方に延びる路面の中心線(センターライン)と、それに対して垂直に延びる路面のセンターラインとの交点となる位置である。
The
指示部46は、交差点検知部50により交差点を検知したことを受けて、周辺カメラ13に対して撮像を開始するように指示することができる。そして、指示部46は、周辺画像取得部44に対して周辺カメラ13による撮像を開始した旨を通知することができる。
Upon receiving the detection of the intersection by the
図6を参照して、路面点検システムにより実行される路面の点検処理について説明する。点検処理は、ステップ600から開始し、ステップ605で、点検区間の概要情報を設定する。概要情報は、点検区間の始終点に関するGPS位置情報である。GPS位置情報は、精度数m〜10mといった精度の低い情報である。GPS位置情報は、点検区間の開始点、終了点の手前に存在する交差点の位置情報である。 The road surface inspection process executed by the road surface inspection system will be described with reference to FIG. The inspection process starts from step 600, and in step 605, the outline information of the inspection section is set. The summary information is GPS position information regarding the start and end points of the inspection section. GPS position information is low-precision information with an accuracy of several meters to 10 m. The GPS position information is the position information of the intersection existing before the start point and the end point of the inspection section.
ステップ610では、点検区間の開始点を設定する。開始点は、基準被写体の付近にある交差点を検知した後、基準被写体を検知したところで、距離計測を開始し、指定された距離に達した位置に基づき推定される。その詳細については後述する。 In step 610, the start point of the inspection section is set. The starting point is estimated based on the position where the distance measurement is started when the reference subject is detected after detecting the intersection near the reference subject and the distance is reached. The details will be described later.
ステップ615で、点検区間の開始点を設定した位置から走行撮影を行い、撮像した路面画像の記録を開始する。路面画像は、車両10の進行方向に対して画像の一部が重なり合うタイミングで撮像が繰り返し行われる。路面カメラ12は、路面11の幅方向全体を撮像可能なように複数台設置されるため、幅方向に対しても画像の一部が重なり合うように複数台が同時に撮像を行う。このようにして路面画像の撮像を行い、ステップ620で、点検区間の終了点を設定する。終了点は、開始点と同様の方法により推定される。これも、詳細については後述する。
In step 615, traveling photography is performed from the position where the start point of the inspection section is set, and recording of the captured road surface image is started. The road surface image is repeatedly imaged at a timing when a part of the image overlaps with respect to the traveling direction of the
ステップ625で、点検区間の開始点から終了点まで計測した走行距離を、区間長として設定する。ステップ630では、設定した区間長について、最長100mの細分区間に区切り、ひび割れ率、わだち掘れ量、平坦性、MCI(Maintenance Control Index)を求め、それらを付記した帳票を区間評価結果として出力する。MCIは、舗装の維持管理指数で、ひび割れ率、わだち掘れ量、平坦性の3つの要因を組み合わせて舗装の破損程度を点数で表したものである。各細分区間について区間評価結果を出力したところで、ステップ635で処理を終了する。 In step 625, the mileage measured from the start point to the end point of the inspection section is set as the section length. In step 630, the set section length is divided into subdivided sections with a maximum length of 100 m, the crack rate, rutting amount, flatness, and MCI (Maintenance Control Index) are obtained, and the form with these is output as the section evaluation result. MCI is a pavement maintenance index that expresses the degree of pavement damage by combining three factors: crack rate, rutting amount, and flatness. When the section evaluation result is output for each subdivision section, the process ends in step 635.
区間評価結果は、上記の他、ひび割れの本数、部分的に補修した部分(パッチ)の面積、へこみ量を含むことができる。このようにして、区間位置設定を自動で行うことができ、一定期間経過後の再評価走行においても、概ね同一位置での評価と路面性状の時間経過に伴うモニタリングが可能となる。このモニタリングを実現するために、情報処理装置14は、表示部をさらに備えることができ、表示部に評価結果や路面カメラ12により撮像された画像等を表示させることができる。
In addition to the above, the section evaluation result can include the number of cracks, the area of the partially repaired part (patch), and the amount of dents. In this way, the section position can be set automatically, and even in the re-evaluation run after a certain period of time, it is possible to evaluate at almost the same position and monitor the road surface condition with the passage of time. In order to realize this monitoring, the
図7および図8を参照して、図6に示すステップ610の点検区間の開始点を設定する処理について説明する。図7に示すステップ700から開始し、この段階では、GPSセンサ15が既に車両10の位置の計測を開始しており、路面カメラ12、周辺カメラ13および距離計測装置16は、動作待機中(待機状態)である。
The process of setting the start point of the inspection section of step 610 shown in FIG. 6 will be described with reference to FIGS. 7 and 8. Starting from step 700 shown in FIG. 7, at this stage, the
ステップ705では、位置情報取得部49がGPSセンサ15から車両10の位置情報を取得し、ステップ710で、交差点検知部50が、取得した位置情報に基づき、交差点を検知したかどうかを確認する。このときの状況は、図8(a)に示すような、車両10が交差点60に向けてその周辺を走行中である。交差点検知部50は、GPSセンサ15を中心として、例えば10m内に交差点60の中心位置が入っているかを確認する。
In step 705, the position
GPSセンサ15の検知範囲は、GPSセンサ15の位置検出精度と、GPSセンサ15の設置位置から路面カメラ12の撮像範囲の中央位置までの距離との和より長くなるように設定することが望ましい。なお、路面カメラ12の撮像範囲の中央位置については後述する。
It is desirable that the detection range of the
交差点を検知していない場合、ステップ705へ戻り、交差点を検知した場合、ステップ715へ進む。ステップ715では、指示部46が、周辺カメラ13に対して撮像を開始するように指示し、動作を開始した周辺カメラ13が、路面11とその路面11の周辺とを含む画像の撮像を開始する。このときに撮像された画像は、図8(b)に示すような、車両10の進行方向へ一方に延びる路面11の画像である。
If no intersection is detected, the process returns to step 705, and if an intersection is detected, the process proceeds to step 715. In step 715, the
ステップ720では、周辺画像取得部44が周辺カメラ13から画像を取得し、ステップ725で、物体検知部45が、その画像を参照し、まず、画像内に交差点が含まれているかを確認する。このため、物体検知部45は、物体として画像内の目標物体である交差点も検知することができる。含まれていない場合、ステップ720へ戻り、含まれている場合、交差点60を検知したとして、ステップ730へ進む。
In step 720, the peripheral
交差点60を検知したときの画像は、図8(c)に示すような画像である。この画像では、一方にほぼ同じ車幅で延びる路面11が交差点60に差し掛かることで、交差点60の部分だけ、車幅が左右に広がった形になり、それが画像の左右の端部にまで延びている。なお、左右に延びる道路は、建物等で隠れ、画像の左右の端部にまで延びていないこともあるため、車幅が一定の長さ以上に左右に広がった部分を検知することで、交差点60を検知することができる。交差点60を検知した段階で、指示部46が、路面カメラ12に対して指示し、動作を開始した路面カメラ12が、路面11の撮像を開始する。
The image when the
ステップ730では、物体検知部45が、画像を参照し、その画像内に基準被写体が含まれているかを確認する。含まれていない場合、ステップ720へ戻り、含まれている場合、基準被写体を検知したとして、ステップ735へ進む。基準被写体を検知したときの画像は、図8(d)に示すような画像である。画像内に基準被写体61の少なくとも一部が含まれ、目的とする基準被写体61であると認識できる場合に、基準被写体61を検知することができる。この間、路面カメラ12による撮像は継続される。ただし、撮像された画像の記録は行われない。
In step 730, the
ステップ735では、指示部46が、距離計測装置16に対して指示し、距離計測装置16が車両10の走行距離の計測を開始する。このときの状況は、図8(e)に示すような車両10に搭載された路面カメラ12の位置、詳細には路面カメラ12の撮像範囲の中央位置と、基準被写体61の、車両10に対向する最も近い端部との距離が、距離[D_1]である。このため、走行距離値[D_C1]=0として走行距離の計測を開始し、距離[D_1]に達するまで走行距離を計測する。
In step 735, the
ステップ740では、距離取得部47が距離計測装置16から計測された走行距離を取得する。ステップ745では、位置推定部48が、取得された走行距離に基づき、予め指定された距離に達したかを確認する。すなわち、図8(e)に示す距離[D_1]に達したかを確認する。達していない場合、ステップ740へ戻り、達した場合、ステップ750へ進む。距離[D_1]に達したとき、図8(f)に示すような、車両10に搭載された路面カメラ12の位置、詳細には路面カメラ12の撮像範囲の中央位置と、基準被写体61の上記端部とが、進行方向に対して一致した位置となる。
In step 740, the
ステップ750では、指定された距離に達した位置から点検区間の開始点を推定する。ここでは、指定された距離に達した位置を、点検区間の開始点と推定する。そして、ステップ755で、指定された距離に達した位置までに計測された走行距離の距離値と時刻とを記録し、点検区間の開始点を設定する。また、その時刻での撮像画像を撮像フレームとして記録し、路面カメラ12で撮像された画像の記録を開始する。
In step 750, the start point of the inspection section is estimated from the position where the designated distance is reached. Here, the position where the specified distance is reached is estimated as the start point of the inspection section. Then, in step 755, the distance value and the time of the mileage measured up to the position where the designated distance is reached are recorded, and the start point of the inspection section is set. Further, the captured image at that time is recorded as an imaging frame, and the recording of the image captured by the
点検区間の開始点を設定したところで、指示部46が、周辺カメラ13に対して撮像を終了するように指示し、周辺カメラ13が待機状態に戻る。待機状態に戻ったところで、ステップ760で、開始点を設定する処理を終了する。このとき、指示部46は、距離計測装置16による走行距離の計測も終了するように指示することができる。
When the start point of the inspection section is set, the
点検区間内は、図6のステップ615の処理が行われ、路面カメラ12による路面11の同時撮像、同時撮像された画像の記録が行われる。また、距離の計測も実施される。距離の計測は、別途設けられる距離計測装置により行うことができる。なお、距離の計測は、距離計測装置16により点検区間の開始点の設定に引き続いて行うことも可能である。
In the inspection section, the process of step 615 of FIG. 6 is performed, and the
図9および図10を参照して、図6に示すステップ620の点検区間の終了点を設定する処理について説明する。ステップ900から開始し、このとき、路面カメラ12で撮像された画像の記録を継続している。また、距離の計測も継続している。ステップ905では、位置情報取得部49がGPSセンサ15から車両10の位置情報を取得し、ステップ910で、交差点検知部50が、取得した位置情報に基づき、交差点を検知したかどうかを確認する。この交差点は、点検区間の終了点付近の交差点であり、上記の開始点付近の交差点60とは違う交差点62である。
A process of setting the end point of the inspection section of step 620 shown in FIG. 6 will be described with reference to FIGS. 9 and 10. Starting from step 900, the recording of the image captured by the
このときの状況は、図10(a)に示すような、車両10が交差点62に向けてその周辺を走行中である。交差点検知部50は、GPSセンサ15を中心として、例えば10m内に交差点62の中心位置が入っているかを確認する。この中心位置の位置情報も、GPS位置情報として予め設定されている。
At this time, as shown in FIG. 10A, the
ステップ910において交差点を検知していない場合、ステップ905へ戻り、交差点を検知した場合、ステップ915へ進む。ステップ915では、指示部46が、周辺カメラ13に対して撮像を開始するように指示し、動作を開始した周辺カメラ13が、路面11とその路面11の周辺とを含む画像を撮像する。このときに撮像された画像は、図10(b)に示すような、車両10の進行方向へ一方に延びる路面11の画像である。
If the intersection is not detected in step 910, the process returns to step 905, and if the intersection is detected, the process proceeds to step 915. In step 915, the
ステップ920では、周辺画像取得部44が周辺カメラ13から画像を取得し、ステップ925で、物体検知部45が、その画像を参照し、まず、画像内に交差点が含まれているかを確認する。含まれていない場合、ステップ920へ戻り、含まれている場合、交差点62を検知したとして、ステップ930へ進む。
In step 920, the peripheral
交差点62を検知したときの画像は、図10(c)に示すような画像である。この画像では、一方にほぼ同じ車幅で延びる路面11が交差点62に差し掛かることで、交差点62の部分だけ、車幅が左右に広がった形になり、それが画像の左右の端部にまで延びている。なお、左右に延びる道路は、建物等で隠れ、画像の左右の端部にまで延びていないこともあるため、車幅が一定の長さだけ左右に広がった部分を検知することで、交差点62を検知することができる。交差点62を検知した段階で、指示部46が、路面カメラ12に対して指示し、動作を開始した路面カメラ12が、路面11の撮像を開始する。
The image when the
ステップ930では、物体検知部45が、画像を参照し、その画像内に基準被写体が含まれているかを確認する。含まれていない場合、ステップ920へ戻り、含まれている場合、基準被写体を検知したとして、ステップ935へ進む。基準被写体を検知したときの画像は、図10(d)に示すような画像である。画像内に基準被写体63の少なくとも一部が含まれ、目的とする基準被写体63であると認識できる場合に、基準被写体63を検知することができる。この間、路面カメラ12による撮像および撮像画像の記録は継続される。
In step 930, the
ステップ935では、指示部46が、距離計測装置16に対して指示し、距離計測装置16が車両10の走行距離の計測を開始する。既に点検区間の走行距離の計測を行っている場合、距離の計測を引き続き実施し、計測を開始する走行距離の位置を記録しておく。ステップ940では、距離取得部47が距離計測装置16から計測された走行距離を取得する。基準被写体63を検知したときの状況は、図10(e)に示すような車両10に設置された路面カメラ12の位置、詳細には路面カメラ12の撮像範囲の中央位置と、基準被写体63の、車両10に対向する最も近い端部との距離が、距離[D_2]である。このため、現在の走行距離値[D_C2]を0とし、そこから距離[D_2]に達するまでの走行距離を計測する。
In step 935, the
ステップ945では、位置推定部48が、取得された走行距離に基づき、予め指定された距離に達したかを確認する。すなわち、図10(e)に示す距離[D_2]に達したかを確認する。達していない場合、ステップ940へ戻り、達した場合、ステップ950へ進む。距離[D_2]に達したとき、図10(f)に示すような、車両10に設置された路面カメラ12の位置、詳細には路面カメラ12の撮像範囲の中央位置と、基準被写体63の上記端部とが、進行方向に対して一致した位置となる。
In step 945, the
ステップ950では、指定された距離に達した位置から点検区間の終了点を推定する。ここでは、指定された距離に達した位置を、点検区間の終了点と推定する。そして、ステップ955で、指定された距離に達した位置までに計測された走行距離の距離値と時刻とを記録し、点検区間の終了点を設定する。また、その時刻での撮像画像をこの点検区間の最後の撮像フレームとして記録する。 In step 950, the end point of the inspection section is estimated from the position where the designated distance is reached. Here, the position where the specified distance is reached is estimated as the end point of the inspection section. Then, in step 955, the distance value and the time of the mileage measured up to the position where the designated distance is reached are recorded, and the end point of the inspection section is set. In addition, the captured image at that time is recorded as the last imaging frame of this inspection section.
点検区間の終了点を検出したところで、指示部46が、周辺カメラ13に対して撮像を終了するように指示し、周辺カメラ13が待機状態に戻る。また、指示部46が、距離計測装置16に対して走行距離の計測を終了するように指示し、距離計測装置16が待機状態に戻る。さらに、指示部46が、路面カメラ12に対して撮像を終了するように指示し、路面カメラ12が待機状態に戻る。これらが待機状態に戻ったところで、ステップ960で、終了点を推定する処理を終了する。
When the end point of the inspection section is detected, the
ここで、事前に計測し、設定しておくべき概要情報について説明する。概要情報としては、目標物体としての交差点60、62のGPS位置情報がある。GPS位置情報は、緯度経度検出精度が数m〜10mと低く、精度が低い位置情報である。また、概要情報としては、開始点と終了点との間の距離の情報もあるが、この情報もGPS位置情報であるため、精度が低い距離情報である。
Here, the outline information that should be measured and set in advance will be described. As the summary information, there is GPS position information of
概要情報としては、図11に示す基準被写体61と、周辺カメラ13との間の距離[D_CS]がある。距離[D_CS]は、上記の距離[D_1]である。基準被写体63の場合も同様であり、この場合、距離[D_CS]は、上記の距離[D_2]である。距離[D_CS]は、周辺カメラ13、詳細には周辺カメラ13の画像センサの位置と、周辺カメラ13の撮像範囲内に基準被写体61の一部でも入るときの基準被写体61の位置との間の距離として決定することができる。なお、これに限られるものではなく、基準被写体61の全体が入るときの距離として決定してもよい。
As the summary information, there is a distance [D_CS] between the reference subject 61 shown in FIG. 11 and the
また、概要情報としては、周辺カメラ13の画像センサの位置と、路面カメラ12の撮像範囲の中央位置との距離としての距離[D_CC]もある。撮像範囲の中央位置は、撮像された画像の中央位置となる路面11上の位置である。これらの距離の計測から、基準被写体61の位置と、路面カメラ12の撮像範囲の中央位置との距離を加算し、その距離を距離[D_*]として得ることができる。基準被写体63の場合も同様にして、距離[D_*]を求めることができる。
Further, as the outline information, there is also a distance [D_CC] as a distance between the position of the image sensor of the
これらの概要情報を予め設定しておき、図7および図9に示した処理を実行することで、点検区間の開始点および終了点の位置精度を、GPS情報の数m〜10mから0.05m〜0.1mに向上させることができる。 By setting these summary information in advance and executing the processes shown in FIGS. 7 and 9, the position accuracy of the start point and the end point of the inspection section can be adjusted from several meters to 0.05 m of GPS information. It can be improved to ~ 0.1 m.
図12を参照して、基準被写体61、63について説明する。基準被写体61、63は、図12(a)の信号機や標識ポール70、図12(b)の縁石71、図12(c)の白線停止線72、図12(d)の横断歩道線73、図12(e)のマンホール74、図12(f)の交差点中央瀬75等を採用することができる。なお、図12(f)の交差点中央瀬75等の路面標識は消失する可能性があるため、経年において破損や移動、消失する可能性が低い、図12(a)〜(e)に示すものが望ましい。図12(a)〜(e)の中で、基準被写体61、63として使用することが望ましい優先順位は、破損や移動、消失の可能性が低い順に、信号機や標識ポール70、マンホール74、縁石71、白線停止線72、横断歩道線73とすることができる。
Reference subjects 61 and 63 will be described with reference to FIG. Reference subjects 61 and 63 include a traffic light and a
これらの基準被写体61、63を採用し、走行距離を計測する上で、下記の点に留意することが望ましい。すなわち、走行距離の計測精度を確保するために、信号機や標識ポール70では、進行方向の、車両10に対向する曲面の最も車両10に近い側の端部や、最も車両10から遠い曲面の端部を基準とすることが望ましい。縁石71、白線停止線72、横断歩道線73、マンホール74については、進行方向の、車両10に最も近い側の端部や車両10から最も遠い側の端部を基準とすることが望ましい。
It is desirable to pay attention to the following points when measuring the mileage by adopting these
また、距離計測装置16により計測を開始し、指定された距離に達した位置を、点検区間の開始点または終了点として推定しているが、その計測は、基準被写体61、63に充分に近づいた状態から開始することが望ましい。すなわち、指定された距離が短い方が望ましい。距離が長くなればなるほど、距離計測装置16による計測誤差が大きくなるからである。図12に示した距離[D_CS]は、例えば3m未満であることが望ましい。
Further, the
点検区間によっては、被写体が2以上存在する場合がある。その場合、上記の優先順位に従って被写体を選択することができる。基準被写体61、63は、交差点60、62の手前側にあってもよいし、奥側にあってもよいし、交差点60、62内にあってもよい。図12に示した例では、図12(c)の白線停止線72が手前側にあり、図12(f)の交差点中央瀬75が交差点60、62内にあり、それ以外が奥側にある。
Depending on the inspection section, there may be two or more subjects. In that case, the subject can be selected according to the above priority. The reference subjects 61 and 63 may be on the front side of the
図12に示したような被写体が存在しない場合や、存在しても、他の車両に被写体が隠れる等して被写体の検知精度が充分でない場合、図13(a)、(b)に示す交差点60の路面端76を、基準被写体61として採用してもよい。路面端76は、進行方向に延びる路面11aではなく、路面11aに対してほぼ垂直方向に延びる路面11bの手前側または奥側のいずれか一方の路面端部である。図13(a)、(b)では、奥側の路面端76を採用している。ちなみに、図13(a)は、撮像した画像で、図13(b)は、上空から路面11を見た場合の図である。基準被写体63も同様に、路面端76を採用することができる。
If the subject as shown in FIG. 12 does not exist, or if the subject is hidden by another vehicle and the detection accuracy of the subject is not sufficient, the intersection shown in FIGS. 13 (a) and 13 (b). The
これまでは、点検区間の開始点および終了点を、基準被写体61、63の位置、詳細には基準被写体61、63の車両10に近い側の端部とし、その端部と同一の位置とし、その位置を推定している。しかしながら、開始点および終了点と、基準被写体61、63の位置とは異なっていてもよく、例えば基準被写体61、63の位置から予め決められた距離だけ離間した位置を開始点、終了点とすることも可能である。
Until now, the start and end points of the inspection section were set to the positions of the reference subjects 61 and 63, specifically, the ends of the reference subjects 61 and 63 on the side closer to the
これは、図14(a)に示すような交差点60の奥側の路面端76から基準被写体61の車両10に最も近い側の端部までの距離が3mを超えている場合や、検出精度が充分に得られない場合(精度0.1mより大きい場合)に有効である。
This is because the distance from the
この場合、例えば交差点検知部50が交差点60を検知したところで、指示部46が距離計測装置16に対して指示して距離の計測を開始させ、路面カメラ12に対して指示して路面11の撮像を開始させる。その後、物体検知部45が基準被写体61を検知したところで、図14(b)に示すように、概要情報として設定された距離[D_SS]を使用し、交差点60の路面端76から3m未満の任意の位置を、仮想の開始点として推定し、その位置を開始点として設定することができる。終了点も同様に、概要情報として設定された距離[D_SE]を使用して推定し、その位置を終了点として設定することができる。なお、路面端76から3m未満であれば、路面端76から1mや2m等、いかなる距離であってもよい。
In this case, for example, when the
以上のようにして、点検区間の開始点および終了点を推定し、開始点から終了点までの距離を区間長として設定することができる。区間長は、距離取得部47が、別途設けられる距離計測装置により計測された開始点から終了点までの距離から、あるいは距離計測装置16により計測された計測開始位置から開始点および終了点までの走行距離の情報を用いて計算することにより得ることができる。
As described above, the start point and end point of the inspection section can be estimated, and the distance from the start point to the end point can be set as the section length. The section length is from the distance from the start point to the end point measured by the
点検区間の区間長は、道路の幅や形状、車両10が走行する位置によって変化する。このため、これらの条件を考慮した上で、区間長を設定することが望ましい。
The section length of the inspection section changes depending on the width and shape of the road and the position where the
図15は、上記の条件を考慮して区間長を推定する処理の一例を示したフローチャートである。上記の方法により点検区間の開始点を推定し、記録することにより設定した後、ステップ1500から開始する。ステップ1505では、周辺画像取得部44が、周辺カメラ13から車道の幅方向の一端から他端までを含むように撮像された画像を取得する。ここでは、周辺カメラ13を路面11の幅を計測する幅計測装置として用い、周辺画像取得部44を路面11の幅情報を取得する幅情報取得部として用いているが、これに限られるものではなく、別途幅計測装置や幅情報取得部を設けてもよい。
FIG. 15 is a flowchart showing an example of a process of estimating the section length in consideration of the above conditions. After setting the start point of the inspection section by estimating and recording it by the above method, the process starts from step 1500. In step 1505, the peripheral
ステップ1510では、別途設けられる間隔推定部は、取得された画像に基づき、対向車線を含めた車道幅とセンターラインの位置(車道幅中央位置)を推定する。また、間隔推定部は、取得された画像に基づき、走行位置とセンターラインとの間隔を推定する。例えば、画像を構成する画素の画素数から車道幅、センターラインの位置、間隔を計算することができる。なお、位置推定部48を使用し、これらの推定処理を実行してもよい。
In step 1510, the separately provided interval estimation unit estimates the width of the road including the oncoming lane and the position of the center line (center position of the width of the road) based on the acquired image. In addition, the interval estimation unit estimates the interval between the traveling position and the center line based on the acquired image. For example, the width of the road, the position of the center line, and the interval can be calculated from the number of pixels constituting the image. The
路面点検システムは、車両10に走行経路の曲率半径を計測する曲率半径計測装置をさらに含む。ステップ1515では、指示部46が曲率半径計測装置に対して指示し、曲率半径計測装置が走行経路の曲率半径を計測する。曲率半径計測装置としては、GPSセンサ15等の計測器を用いることができる。そして、別途設けられる曲率半径取得部が、計測された曲率半径情報(曲率半径の値)を取得する。
The road surface inspection system further includes a radius of curvature measuring device for measuring the radius of curvature of the traveling path in the
ここでは、走行経路の曲率半径を、曲率半径計測装置により計測するものとして説明しているが、これに限られるものではなく、路面カメラ12により撮像された画像に基づき得られる路面性状計測データから求めてもよい。具体的には、路面性状計測データを使用し、路面11の進行方向に合成接続した三次元データの曲率から推定することができる。
Here, the radius of curvature of the traveling path is described as being measured by the radius of curvature measuring device, but the present invention is not limited to this, and the road surface property measurement data obtained based on the image captured by the
ステップ1520では、ステップ1510で推定された走行位置とセンターラインとの間隔値と、ステップ1515で計測された曲率半径の値とを用い、センターラインの区間長を推定する。この区間長の推定は、別途設けられる区間長推定部により行うことができる。この計算が終了したところで、ステップ1525へ進み、区間長を推定する処理を終了する。このような処理により、道路幅やカーブ状況に対しても、高い精度で区間長を設定することが可能となる。 In step 1520, the section length of the center line is estimated using the distance value between the traveling position and the center line estimated in step 1510 and the value of the radius of curvature measured in step 1515. This section length can be estimated by a separately provided section length estimation unit. When this calculation is completed, the process proceeds to step 1525 and the process of estimating the section length is completed. By such processing, it is possible to set the section length with high accuracy even for the road width and the curve condition.
区間長を設定した後、ひび割れ率等を求め、それらを付記した帳票を出力することができるが、区間長を正しく計算できていない場合や路面11の画像を正しく取得できていない場合、正しい区間評価結果を出力することができない。そこで、区間長を設定した後であって、区間評価結果を出力する前に、区間長を計算するために使用される開始点や終了点の推定結果等の良否判定を行うことが望ましい。この良否判定処理について、図16を参照して説明する。
After setting the section length, the crack rate etc. can be calculated and the form with them can be output, but if the section length cannot be calculated correctly or the image of the
区間長を設定した後、ステップ1600からこの良否判定処理を開始する。ステップ1605では、周辺カメラ13により撮像された画像において、物体検知部45が交差点を検知できているかを判定する。この判定処理は、別途設けられる判定部により行うことができる。交差点を検知できている場合は、ステップ1610へ進み、交差点を検知できていない場合は、ステップ1630へ進む。
After setting the section length, this pass / fail determination process is started from step 1600. In step 1605, it is determined whether or not the
交差点を検知できていない例としては、路端に他の車両等の障害物があってその障害物を回避蛇行する必要があり、交差点の、進行方向に対して左右の一方に広がる路面の画像を撮像しきれていない場合が挙げられる。すなわち、交差点と判定するのに必要な画像部分に欠損がある場合である。 As an example where the intersection cannot be detected, there is an obstacle such as another vehicle on the roadside, and it is necessary to meander to avoid the obstacle. There is a case where the image is not completely captured. That is, there is a defect in the image portion necessary for determining the intersection.
このことから、交差点を検知できているか否かは、その欠損割合が閾値以下かどうかにより判定することができる。欠損割合は、障害物が存在しないときの交差点の左右に広がる路面部分の面積を予め計測しておき、その面積に対する、周辺カメラ13により撮像された画像におけるその路面部分のうちの障害物で隠された部分の面積の比として算出することができる。
From this, whether or not the intersection can be detected can be determined by whether or not the defect ratio is equal to or less than the threshold value. The defect ratio is determined by measuring in advance the area of the road surface portion extending to the left and right of the intersection when there is no obstacle, and hiding the area with an obstacle in the road surface portion in the image captured by the
ステップ1610では、周辺カメラ13により撮像された画像において、物体検知部45が基準被写体を検知できているかを判定する。基準被写体は、信号機、マンホール、縁石、横断歩道線、白線停止線等である。基準被写体を検知できている場合は、ステップ1615へ進み、基準被写体を検知できていない場合は、ステップ1630へ進む。
In step 1610, it is determined whether or not the
基準被写体を検知できていない例としては、交差点の場合と同様の、路端に他の車両が駐車している場合や、路上に異物が存在し、基準被写体の一部を覆っている場合が挙げられる。この基準被写体も、交差点と同様、基準被写体を検知できているか否かは、その欠損割合が閾値以下かどうかにより判定することができる。 Examples of cases where the reference subject cannot be detected include the case where another vehicle is parked on the roadside or the case where a foreign object is present on the road and covers a part of the reference subject, as in the case of an intersection. Can be mentioned. Similar to the intersection, whether or not the reference subject can be detected can be determined by whether or not the defect ratio is equal to or less than the threshold value.
物体検知部45は、交差点や基準被写体の検知のほか、路端に駐車されている他の車両等の障害物、路上の異物、水溜まり、積雪等を検知することができる。路上の異物としては、落ち葉や土砂、落下物等を挙げることができる。
In addition to detecting intersections and reference subjects, the
ステップ1615では、路面カメラ12により撮像された画像において、物体検知部45が路上の異物や障害物等を検知したかを判定する。検知した場合、ステップ1620で、設定した区間長の路面11の面積に対する、その路面11を覆う異物や障害物等の面積(評価が無効となる領域(無効領域)の面積)の比が、閾値以下かどうかを判定する。閾値以下と判定された場合、ステップ1625へ進み、良と判定し、ステップ1635でこの良否判定処理を終了する。ステップ1615で異物等を検知していない場合も同様に、ステップ1625へ進み、良と判定する。なお、良と判定された場合、設定された区間長でひび割れ率等を求め、区間評価結果を出力することができる。
In step 1615, it is determined whether the
一方、ステップ1605、ステップ1610で検知できていないと判定された場合、ステップ1620で閾値を超えると判定された場合、ステップ1630で、否と判定し、ステップ1635でこの良否判定処理を終了する。なお、否と判定された場合、区間評価は行わない。 On the other hand, if it is determined that the detection has not been performed in steps 1605 and 1610, and if it is determined that the threshold value is exceeded in step 1620, it is determined in step 1630 that the quality is not detected, and the quality determination process is terminated in step 1635. If it is determined to be negative, the section evaluation will not be performed.
上記の各閾値は、それぞれ異なる値であってもよいし、同じ値であってもよい。各閾値は、例えば許容閾値として同じ値とし、3/100(3%)とすることができる。これにより、人の手を介さない自動判断が可能となる。 Each of the above threshold values may have a different value or may have the same value. Each threshold value can be set to, for example, the same value as the allowable threshold value, and can be set to 3/100 (3%). This enables automatic judgment without human intervention.
このような良否判定処理を行う機能をもつことで、撮像と同時に、もしくは数秒後または数分後に即時に判定を行い、再走行を行う等、評価作業における手戻りを最小限に抑えることができる。 By having a function to perform such a pass / fail judgment process, it is possible to minimize rework in the evaluation work, such as making a judgment at the same time as imaging, or immediately after a few seconds or minutes, and re-running. ..
これまで本発明を、情報処理システム、評価システム、情報処理方法およびプログラムとして上述した実施の形態をもって説明してきた。しかしながら、本発明は上述した実施の形態に限定されるものではなく、他の実施の形態、追加、変更、削除など、当業者が想到することができる範囲内で変更することができるものである。また、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。 So far, the present invention has been described with the above-described embodiments as an information processing system, an evaluation system, an information processing method, and a program. However, the present invention is not limited to the above-described embodiment, and can be modified within the range conceivable by those skilled in the art, such as other embodiments, additions, changes, and deletions. .. Further, any aspect is included in the scope of the present invention as long as the action / effect of the present invention is exhibited.
したがって、上記プログラムが記録された記録媒体、上記プログラムを提供する外部機器等も提供することができるものである。 Therefore, a recording medium on which the program is recorded, an external device that provides the program, and the like can also be provided.
10…車両、11、11a、11b…路面、12…路面カメラ、13…周辺カメラ、14…情報処理装置、15…GPSセンサ、16…距離計測装置、20、21…カメラ、22、25…レンズ、23、26…画像センサ、24、27…センサコントローラ、30…CPU、31…ROM、32…RAM、33…HDD、34…通信I/F、35…入出力I/F、36…表示装置、37…入力装置、38…バス、40…路面画像取得部、41…格納部、42…計測部、43…評価部、44…周辺画像取得部、45…物体検知部、46…指示部、47…距離取得部、48…位置推定部、49…位置情報取得部、50…交差点検知部、60、62…交差点、61、63…基準被写体、70…信号機や標識ポール、71…縁石、72…白線停止線、73…横断歩道線、74…マンホール、75…交差点中央瀬、76…路面端 10 ... Vehicle, 11, 11a, 11b ... Road surface, 12 ... Road surface camera, 13 ... Peripheral camera, 14 ... Information processing device, 15 ... GPS sensor, 16 ... Distance measuring device, 20, 21 ... Camera, 22, 25 ... Lens , 23, 26 ... Image sensor, 24, 27 ... Sensor controller, 30 ... CPU, 31 ... ROM, 32 ... RAM, 33 ... HDD, 34 ... Communication I / F, 35 ... Input / output I / F, 36 ... Display device , 37 ... Input device, 38 ... Bus, 40 ... Road surface image acquisition unit, 41 ... Storage unit, 42 ... Measurement unit, 43 ... Evaluation unit, 44 ... Peripheral image acquisition unit, 45 ... Object detection unit, 46 ... Indicator unit, 47 ... Distance acquisition unit, 48 ... Position estimation unit, 49 ... Position information acquisition unit, 50 ... Intersection detection unit, 60, 62 ... Intersection, 61, 63 ... Reference subject, 70 ... Signals and sign poles, 71 ... Edge stone, 72 ... white line stop line, 73 ... crossing pedestrian line, 74 ... manhole, 75 ... intersection Chuose, 76 ... roadside
Claims (10)
前記評価対象上を走行する車両に搭載された撮像装置により撮像された前記評価対象を含む画像を取得する画像取得手段と、
前記画像取得手段により取得された前記画像を参照し、指定された特徴を有する基準物体を検知する検知手段と、
前記検知手段により前記基準物体が検知されたことを受けて、前記車両に搭載された距離計測装置に対して該車両の走行距離の計測を指示する指示手段と、
前記距離計測装置により計測された前記走行距離を取得する距離取得手段と、
前記評価区間の一端と他端とにつき前記距離取得手段により取得された前記指示手段から指示を受けてからの各走行距離がそれぞれ指定された距離に達した位置に基づき、前記評価区間の一端と他端の位置を推定する位置推定手段とを含む、情報処理システム。 An information processing system that estimates the evaluation section to be evaluated.
An image acquisition means for acquiring an image including the evaluation target captured by an image pickup device mounted on a vehicle traveling on the evaluation target, and an image acquisition means.
A detection means for detecting a reference object having a specified feature by referring to the image acquired by the image acquisition means, and
Upon receiving the detection of the reference object by the detection means, the instruction means for instructing the distance measuring device mounted on the vehicle to measure the mileage of the vehicle, and
A distance acquisition means for acquiring the mileage measured by the distance measuring device, and
With respect to one end and the other end of the evaluation section , based on the position where each mileage after receiving an instruction from the instruction means acquired by the distance acquisition means reaches a designated distance, the one end of the evaluation section and the other end. An information processing system including a position estimating means for estimating the position of the other end.
前記位置情報取得手段により取得された前記位置情報に基づき、指定された目標物体を検知する第2の検知手段とを含み、
前記指示手段は、前記第2の検知手段により前記目標物体が検知されたことを受けて、前記撮像装置に対して撮像を開始するように指示する、請求項1に記載の情報処理システム。 A position information acquisition means for acquiring the position information of the vehicle measured by the position measurement device mounted on the vehicle, and
Including a second detecting means for detecting a designated target object based on the position information acquired by the position information acquiring means.
The information processing system according to claim 1, wherein the instruction means instructs the image pickup apparatus to start imaging in response to the detection of the target object by the second detection means.
前記評価対象の曲率半径を計測する曲率半径計測装置により計測された曲率半径を取得する曲率半径取得手段と、
前記幅情報取得手段により計測された幅情報と前記曲率半径取得手段により計測された曲率半径とを用いて、前記位置推定手段により推定された前記評価区間の前記一端の位置と他端の位置とにより決定される区間長を推定する区間長推定手段とを含む、請求項1〜3のいずれか1項に記載の情報処理システム。 Width information acquisition means for acquiring width information measured by the width measuring device for measuring the width of the evaluation target, and
A radius of curvature acquisition means for acquiring the radius of curvature measured by the radius of curvature measuring device for measuring the radius of curvature of the evaluation target, and
Using the width information measured by the width information acquisition means and the radius of curvature measured by the radius of curvature acquisition means, the position of one end and the position of the other end of the evaluation section estimated by the position estimation means. The information processing system according to any one of claims 1 to 3, further comprising a section length estimating means for estimating the section length determined by.
前記情報処理システムは、
前記第2の撮像装置により撮像された画像を取得する第2の画像取得手段と、
前記第2の画像取得手段により取得された画像を用いて、前記評価区間内の前記評価対象の表面性状を計測する計測手段と、
前記計測手段により計測された前記表面性状に基づき、前記評価区間内の前記評価対象を評価する評価手段とを含む、請求項1〜4のいずれか1項に記載の情報処理システム。 The vehicle is equipped with a second imaging device that images the evaluation target.
The information processing system
A second image acquisition means for acquiring an image captured by the second image pickup device, and
Using the image acquired by the second image acquisition means, a measuring means for measuring the surface texture of the evaluation target in the evaluation section, and a measuring means.
The information processing system according to any one of claims 1 to 4, which includes an evaluation means for evaluating the evaluation target in the evaluation section based on the surface texture measured by the measuring means.
前記情報処理システムが、
前記第1の撮像装置により撮像された前記評価対象を含む画像を取得する第1の画像取得手段と、
前記第1の画像取得手段により取得された前記画像を参照し、指定された特徴を有する基準物体を検知する検知手段と、
前記検知手段により前記基準物体が検知されたことを受けて、前記距離計測装置に対して前記車両の走行距離の計測を指示する指示手段と、
前記距離計測装置により計測された前記走行距離を取得する距離取得手段と、
前記評価区間の一端と他端とにつき前記距離取得手段により取得された前記指示手段から指示を受けてからの各走行距離がそれぞれ指定された距離に達した位置に基づき、前記評価区間の一端と他端の位置を推定する位置推定手段と、
前記第2の撮像装置により撮像された画像を取得する第2の画像取得手段と、
前記第2の画像取得手段により取得された画像を用いて、前記評価区間内の前記評価対象の表面性状を計測する計測手段と、
前記計測手段により計測された前記表面性状に基づき、前記評価区間内の前記評価対象を評価する評価手段とを含む、評価システム。 A first imaging device mounted on a vehicle traveling on an evaluation target, a distance measuring device mounted on the vehicle and measuring the mileage of the vehicle, and an information processing system for estimating an evaluation section of the evaluation target. An evaluation system including a second imaging device that images the evaluation target.
The information processing system
A first image acquisition means for acquiring an image including the evaluation target captured by the first image pickup apparatus, and
A detection means for detecting a reference object having a specified feature by referring to the image acquired by the first image acquisition means, and
Upon receiving the detection of the reference object by the detection means, the instruction means for instructing the distance measuring device to measure the mileage of the vehicle, and
A distance acquisition means for acquiring the mileage measured by the distance measuring device, and
With respect to one end and the other end of the evaluation section , based on the position where each mileage after receiving an instruction from the instruction means acquired by the distance acquisition means reaches a designated distance, the one end of the evaluation section and the other end. A position estimating means for estimating the position of the other end,
A second image acquisition means for acquiring an image captured by the second image pickup device, and
Using the image acquired by the second image acquisition means, a measuring means for measuring the surface texture of the evaluation target in the evaluation section, and a measuring means.
An evaluation system including an evaluation means for evaluating the evaluation target in the evaluation section based on the surface texture measured by the measuring means.
前記評価対象上を走行する車両に搭載された撮像装置により撮像された前記評価対象の画像を取得するステップと、
取得された前記画像を参照し、指定された特徴を有する基準物体を検知するステップと、
前記基準物体が検知されたことを受けて、前記車両に搭載された距離計測装置に対して該車両の走行距離の計測を指示するステップと、
前記距離計測装置により計測された前記走行距離を取得するステップと、
前記評価区間の一端と他端とにつき取得された計測の指示を受けてからの各走行距離がそれぞれ指定された距離に達した位置に基づき、前記評価区間の一端と他端の位置を推定するステップとを含む、情報処理方法。 An information processing method that estimates the evaluation section to be evaluated.
A step of acquiring an image of the evaluation target captured by an imaging device mounted on a vehicle traveling on the evaluation target, and a step of acquiring the image of the evaluation target.
A step of detecting a reference object having a specified feature by referring to the acquired image, and
In response to the detection of the reference object, a step of instructing the distance measuring device mounted on the vehicle to measure the mileage of the vehicle, and
A step of acquiring the mileage measured by the distance measuring device, and
The positions of one end and the other end of the evaluation section are estimated based on the positions where each mileage after receiving the measurement instruction acquired for one end and the other end of the evaluation section reaches the specified distance. Information processing methods, including steps.
前記評価対象上を走行する車両に搭載された撮像装置により撮像された前記評価対象を含む画像を取得するステップと、
取得された前記画像を参照し、指定された特徴を有する基準物体を検知するステップと、
前記基準物体が検知されたことを受けて、前記車両に搭載された距離計測装置に対して該車両の走行距離の計測を指示するステップと、
前記距離計測装置により計測された前記走行距離を取得するステップと、
前記評価区間の一端と他端とにつき取得された計測の指示を受けてからの各走行距離がそれぞれ指定された距離に達した位置に基づき、前記評価区間の一端と他端の位置を推定するステップとを実行させる、プログラム。 A program for causing a computer to execute a process of estimating an evaluation interval to be evaluated.
A step of acquiring an image including the evaluation target captured by an imaging device mounted on a vehicle traveling on the evaluation target, and a step of acquiring the image including the evaluation target.
A step of detecting a reference object having a specified feature by referring to the acquired image, and
In response to the detection of the reference object, a step of instructing the distance measuring device mounted on the vehicle to measure the mileage of the vehicle, and
A step of acquiring the mileage measured by the distance measuring device, and
The positions of one end and the other end of the evaluation section are estimated based on the positions where each mileage after receiving the measurement instruction acquired for one end and the other end of the evaluation section reaches the specified distance. A program that executes steps and.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017050795A JP6965536B2 (en) | 2017-03-16 | 2017-03-16 | Information processing system, evaluation system, information processing method and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017050795A JP6965536B2 (en) | 2017-03-16 | 2017-03-16 | Information processing system, evaluation system, information processing method and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018154979A JP2018154979A (en) | 2018-10-04 |
JP6965536B2 true JP6965536B2 (en) | 2021-11-10 |
Family
ID=63715615
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017050795A Active JP6965536B2 (en) | 2017-03-16 | 2017-03-16 | Information processing system, evaluation system, information processing method and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6965536B2 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7115263B2 (en) * | 2018-11-30 | 2022-08-09 | 株式会社リコー | Evaluation device, investigation system, evaluation method and program |
US20220254169A1 (en) * | 2019-06-28 | 2022-08-11 | Nec Corporation | Road surface inspection apparatus, road surface inspection method, and program |
JP7067852B1 (en) | 2022-02-01 | 2022-05-16 | 株式会社ファンクリエイト | Calculation method of road surface damage position |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10260141A (en) * | 1997-03-18 | 1998-09-29 | Hitachi Denshi Ltd | Defect inspection apparatus |
JP5014464B2 (en) * | 2010-05-19 | 2012-08-29 | 阪神高速技術株式会社 | Road inspection method and road inspection vehicle |
JP5803723B2 (en) * | 2012-02-14 | 2015-11-04 | 富士通株式会社 | Structure inspection support method, structure inspection support program, and structure inspection support device |
JP2015162228A (en) * | 2014-02-28 | 2015-09-07 | スズキ株式会社 | vehicle control device |
JP6349814B2 (en) * | 2014-03-18 | 2018-07-04 | 富士通株式会社 | Road surface state measuring method, road surface deterioration point identifying method, information processing apparatus, and program |
-
2017
- 2017-03-16 JP JP2017050795A patent/JP6965536B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018154979A (en) | 2018-10-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6713505B2 (en) | Pavement information collection and inspection system, pavement information collection and inspection method, and program | |
KR101032160B1 (en) | System and method for road visibility measurement using camera | |
JP2014528063A (en) | A method using a 3D camera for determining whether a vehicle can pass through an object | |
JP2023036624A (en) | Data collection device, road status evaluation support device, and program | |
US20210073557A1 (en) | Systems and methods for augmenting upright object detection | |
CN111932901B (en) | Road vehicle tracking detection apparatus, method and storage medium | |
JP5602324B1 (en) | Road measurement system | |
US20130173208A1 (en) | Road surface inspection device and recording medium | |
JP6965536B2 (en) | Information processing system, evaluation system, information processing method and program | |
JP7314693B2 (en) | Road surface condition investigation system, road surface condition investigation method, and road surface condition investigation program | |
US20240167962A1 (en) | System and method for automatic monitoring of pavement condition | |
CN109074727A (en) | Safe driving assistant system, vehicle and program | |
JP5433525B2 (en) | Vehicle travel support device and road marking creation method | |
CN102663352A (en) | Track identification method | |
JP4940177B2 (en) | Traffic flow measuring device | |
EP3315998B1 (en) | Apparatus and method for determining a speed of a vehicle | |
JP2022155303A (en) | Measurement method of damage of road surface | |
CN114729806A (en) | System and method for detecting vehicle wheel slip | |
JP5677281B2 (en) | Vehicle detection device | |
JP6419260B1 (en) | Traffic information acquisition device, traffic information acquisition system, traffic information acquisition method, and traffic information acquisition program | |
KR20200002257A (en) | Corner detection-based road sign detecting method and apparatus | |
JP2016085105A (en) | Moving entity speed estimation system, method, and program | |
JP2018055715A (en) | Lane recognition apparatus, lane recognition method | |
BR112018071020B1 (en) | MOBILE BODY SURROUNDINGS DISPLAY METHOD AND MOVABLE SURROUNDINGS DISPLAY DEVICE | |
CN112334357B (en) | Travel control device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200116 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210202 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210402 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210921 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211004 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6965536 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |