JP7272546B2 - 路面評価システム、路面評価方法、および路面評価プログラム - Google Patents
路面評価システム、路面評価方法、および路面評価プログラム Download PDFInfo
- Publication number
- JP7272546B2 JP7272546B2 JP2019082313A JP2019082313A JP7272546B2 JP 7272546 B2 JP7272546 B2 JP 7272546B2 JP 2019082313 A JP2019082313 A JP 2019082313A JP 2019082313 A JP2019082313 A JP 2019082313A JP 7272546 B2 JP7272546 B2 JP 7272546B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- imaging
- road surface
- unit
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Road Repair (AREA)
- Traffic Control Systems (AREA)
Description
このような路面評価システムとして、下記特許文献1には、車両の走行時の振動を加速度センサで検出し、路面の状態を判定する構成が開示されている。
本発明の一実施形態に係る路面評価システム1について、図面を参照して説明する。
図1に示すように、本実施形態に係る路面評価システム1は、検査車両100が走行する路面において、検査車両100の前方に位置する部分の状態を撮像し、路面に生じた窪み、段差、ひび割れ等を検出し、その程度に基づいて路面状態を評価(判定)するシステムである。
図1は、本発明の路面評価システム1の概略を説明する図である。
そして、データ補正部25が、比較先撮像データに対して幾何補正を行うことで、比較元撮像データと比較先撮像データとを比較しやすい状態にし、表示部26に表示する。これらの各処理については別途詳述する。
具体的には、通信手段は、ワイヤレスLAN(wireless LAN:WLAN)や広域ネットワーク(wide area network:WAN)、ISDNs(integrated service digital networks)、無線LANs、LTE(long term evolution)、LTE-Advanced、第4世代(4G)、第5世代(5G)、CDMA(code division multiple access)、WCDMA(登録商標)、イーサネット(登録商標)などである。
例えば、通信手段は、LTEによる無線ネットワークと、閉域網であるイントラネットなどの有線ネットワークとを含むものであってもよい。
図2に示すように、路面評価システム1は、アクションカメラ10と操作端末20とを備えている。アクションカメラ10は、撮像部11と、測位システム12と、送信部13と、を備えている。
アクションカメラ10は、検査車両100の前方における左右方向の中央部に、検査車両100の前方を向くように配置されている。
具体的には、撮像部11の前方において、撮像範囲の上下方向の中央部に撮像される地点と、撮像部11の直下と、の間の水平距離が所定距離となるように、撮像部11の仰俯角が設定されている。
本実施形態では、前述のとおり、所定距離は5mとなっている。この場合には、図3に示すように、撮像部11から5mの地点が、撮像範囲の上下方向の中央部に位置している。ここで、図3は、図1に示す撮像部11による撮像範囲を説明する図である。
測位システム12が取得する位置データは、少なくとも、経度情報および緯度情報を含んでいる。なお、位置データは、標高情報を含んでいてもよい。
記憶部21は、路面評価システム1が動作するうえで必要とする各種の制御プログラムを記憶する機能を有する。記憶部21は、例えば、HDD、SSD、フラッシュメモリなど各種の記憶媒体により実現される。
撮影時間は、動画を構成する各フレームを撮像した時間を指している。本実施形態では、1秒あたりに60フレームの撮像を行っている。このため、撮影時間は0.16秒毎になっている。なお、1秒あたりのフレーム数については、任意に変更することができる。
移動距離は、対応する撮影時間において、撮影開始地点からの移動距離を指しており、位置情報を基に算出される値である。
進行ベクトルは、対応する撮影時間における検査車両100の走行する向きを示している。進行ベクトルは、基準となる撮影時間(例えばss.032)における位置情報と、この撮影時間(例えばss.032)から所定時間後(例えば0.64秒後)における撮影時間(ss.096)における位置情報と、を比較することで求められる。なお、所定時間については、0.64秒でなくてもよく、任意に設定することができる。
図5は、図2に示す表示部26による表示内容の一例を示す図である。図6は、図2に示す表示部26による表示内容の他の例を示す図である。
撮像データは、検査者が任意に操作して、順送りや逆送りをしたり、所定の撮影時間における撮像データを選択したりすることができる。
検査車両100の位置を示すアイコンは、動画表示部26Aに表示されている撮像データが進むに従って地図上を移動する。このときの位置情報である緯度、経度が地図表示部26Bの下側に表示されている。
この際、マーキングを施した部分は、地図上で確認することができる。これにより、地図全体を見ることで、損傷個所を容易に確認することができる。
データ検索部23は、撮像データおよび位置データを、記憶部21から読み込んで、表示部26に表示させる。データ検索部23は、例えばユーザが操作端末20に入力した検査路線の識別番号や撮影日時等を入力することで、記憶部21に記憶された撮像データを検索することができる。
進行ベクトルは、検査車両100が向く方向を示している。そして、アクションカメラ10が検査車両100の前方を向いているので、進行ベクトルが特定されることで、撮像部11が撮像している方向が特定されることとなる。
そしてデータ検索部23は、撮像データと関連付けられた位置データ、および進行ベクトルを参照して、比較元撮像データおよび比較先撮像データを、記憶部21から読み込む。
比較元撮像データとは、基準となる時期における撮像データを指す。基準となる時期とは、現在であってもよいし、過去の所定の日時であってもよい。
比較先撮像データとは、比較元撮像と比較される撮像であって、比較元撮像データにおいて特に観察したい部分が写っているデータを指す。比較先撮像データは、比較元撮像データよりも過去のデータであってもよいし、将来のデータであってもよい。
そして、データ検索部23は、記憶部21に記憶された撮像データのうち、位置閾値内の位置データ、および角度閾値内の進行ベクトルを有する撮像データを、比較元撮像データと類似性の高い比較先撮像データとして、記憶部21から読み込む。
これにより、比較元撮像データと同じ観察点から定点観察したように、損傷個所の識別性の高い補正比較先撮像データを取得することができる。データ補正部25による幾何補正処理について、図7および図8を用いて詳述する。図7(a)は、撮像部11の仰俯角を説明する図、図7(b)は、3次元仮想領域を説明する図である。図8は、撮像部11のキャリブレーションを説明する図である。
そして、データ補正部25は、撮像データに3次元仮想領域を設定する。3次元仮想領域とは、検査車両100の前方に画定される領域であって、図7(b)において白抜きにされている領域を指す。
3次元仮想領域は、第1頂点、第2頂点、第3頂点、および第4頂点により画定されている。第1頂点と第2頂点との間の距離は5m(所定距離)になっている。第1頂点と第4頂点との間の距離は4mであり、第1頂点と原点との間の距離は2mとなっている。なお、第1頂点と第2頂点との間の所定距離は、5mでなくてもよいし、第1頂点と原点との間の距離は2mでなくてもよい。すなわち、3次元仮想領域の大きさは、任意に変更することができる。
具体的には、撮像データにおける画素座標と、実際の撮像部11を原点として求められる空間座標と、の関係を確認する。この際、後方に位置する第1頂点および第4頂点は、撮像されていなくてもよい。
この処理では、データ補正部25は、比較元撮像データに対して、3次元仮想領域の各頂点の座標情報を用いて視点情報(視点座標と視線方向)を算出する。次に、データ補正部25は、比較先撮像データに対して、3次元仮想領域の各頂点の座標情報を用いて、視点情報(視点座標と視線方向)を算出する。
次に、データ補正部25は、比較先撮像データの視点情報と、比較元撮像データの視点情報と、を用いて、比較先撮像データの視点を比較元撮像データの視点と一致させるための射影変換行列を算出する。
このように補正された比較先補正撮像データは、比較元データと視点情報が一致しているので、例えば重ね合わせ処理をすることで、経年変化の様子を正確に把握することができる。
次に、図9および図10を用いて路面評価システム1の処理フローについて説明する。図9は、記憶部21に記憶されたデータを、データ検索部23が読み込む処理を示すフロー図であり、図10は、データ補正部25が幾何補正を行う処理を示すフロー図である。まず、記憶部21に記憶されたデータを、データ検索部23が読み込む処理について説明する。
評価路線を走行しながら撮像部11により前方の路面の状態を撮像することで、撮像データを取得することができる。なお、アクションカメラ10は、走行前に予めカメラ位置や仰俯角が前述した構成に設定されている。
データ処理部22は、撮像データと位置情報とを記憶部21に記憶させる(S105:記憶ステップ)。この際、位置情報は属性情報として、撮影時間毎に記憶される。
比較元撮像データは、例えば最新の撮像データであってもよいし、過去の撮像データであってもよい。比較元撮像データとしては、例えば、路面に形成されたポットホールと呼ばれる窪み等の路面の機能に対して悪影響がある箇所を含む撮像データである。そして、比較元撮像データと、比較先撮像データと、を比較することで、このポットホールの経年変化の様子を確認することができる。
データ検索部23は、位置閾値内の位置データ、および角度閾値内の進行ベクトルを有する撮像データを、比較元撮像データと類似性の高い比較先撮像データとして、記憶部21から読み込む。これにより、比較元撮像データと位置が近く、かつ撮影する方向の近い撮像データが取得できる。
図10に示すように、まず、データ補正部25が比較元撮像データに3次元仮想領域を設定する(S201)。3次元仮想領域は、予め撮像データにおける画素座標と、実際の撮像部11を原点として求められる空間座標と、の関係により、画定される。
次に、データ補正部25が視点情報を算出する(S202)。視点情報の算出に際しては、3次元仮想領域の各頂点の座標を用いて計算を行う。計算された各座標は、属性データの一部として記憶部21に記憶される(図4参照)。
次に、データ補正部25が視点情報を算出する(S204)。視点情報の算出に際しては、3次元仮想領域の各頂点の座標を用いて計算を行う。
そして、データ補正部25が、射影変換行列を算出する(S205)。射影変換行列は、比較先撮像データおよび比較元撮像データそれぞれから算出した2つの視点情報を用いて算出する。
これにより、データ検索部23は、同一箇所の路面が撮像された比較元撮像データおよび比較先撮像データを、記憶部21から読み込むことができる。このため、比較元撮像データと比較先撮像データとを確認して比較することで、例えば、比較先撮像データを比較元撮像データよりも後で撮像したデータとした場合には、時間の経過とともに路面が経年変化する様子を把握することができる。
これにより、比較元撮像データと仮に撮影地点が近い撮像データであっても、撮像部11が撮像している方向が大きく異なる撮像データを除外することで、データ検索部23の検索処理からノイズを除去することができる。
これにより、視点情報を予め算出し、全ての画素データに対して適用することで、例えば、比較先撮像データを構成する各画素に対して視点情報を算出して幾何補正を行うような手法と比較して、幾何補正に係る計算負荷を大幅に低減することができる。これにより、路面評価システム1を汎用のパソコン等の計算機により安価に実現することができるとともに、処理速度を確保することができる。
また、上記実施形態で示した操作端末20における表示部26での表示内容は、あくまで例示である。表示部26での表示内容は任意に変更することができる。
また、上記実施形態では、データ補正部25が、射影変換行列を算出し、この行列を用いて幾何補正を行う態様について説明したが、このような態様に限られない。データ補正部25は、射影変換行列を算出することなく、単純に基準となる座標を一致させる補正を行ってもよい。
記憶媒体は、HDDやSDDなどの任意の適切な記憶媒体、またはこれらの2つ以上の適切な組合せを含むことができる。記憶媒体は、揮発性、不揮発性、または揮発性と不揮発性の組合せでよい。なお、記憶媒体はこれらの例に限られず、制御プログラムを記憶可能であれば、どのようなデバイスまたは媒体であってもよい。
10 アクションカメラ
11 撮像部
12 測位システム
20 操作端末
21 記憶部
22 データ処理部
23 データ検索部
24 パラメータ算出部
25 データ補正部
100 検査車両
Claims (6)
- 検査対象路面を走行する検査車両に搭載され、かつ前記検査車両の周辺における路面の状態を撮像する撮像部から取得した撮像データを、前記検査車両の位置を示す位置データを特定する測位システムから取得した位置データと関連付けて記憶する記憶部と、
前記撮像データおよび前記位置データを、前記記憶部から読み込むデータ処理部と、を備え、
前記データ処理部は、前記位置データの所定時間毎の変化量から、前記撮像データが撮像された時点での前記検査車両の進行方向を示す進行ベクトルを算出するパラメータ算出部と、
前記記憶部に記憶された複数の前記撮像データと関連付けられた位置データ、および前記進行ベクトルを参照し、それぞれの類似性を判断し、同一箇所の路面が撮像された比較元撮像データおよび比較先撮像データを、前記記憶部から読み込むデータ検索部と、を備えている路面評価システム。 - 前記パラメータ算出部は、
前記比較元撮像データと関連付けられた位置データに対して、所定の位置の範囲を付加した位置閾値を設定し、
前記進行ベクトルに対して、所定の角度の範囲を付加した角度閾値を設定し、
前記データ検索部は、前記撮像データのうち、前記位置閾値内の位置データ、および前記角度閾値内の前記進行ベクトルを有する撮像データを、前記比較元撮像データと類似性の高い前記比較先撮像データとして、前記記憶部から読み込むことを特徴とする請求項1に記載の路面評価システム。 - 前記撮像部は、検査車両の前方における左右方向の中央部に、前記検査車両の前方を向くように配置されていることを特徴とする請求項1又は2に記載の路面評価システム。
- 前記データ処理部は、前記データ検索部が読み込んだ前記撮像データを補正するデータ補正部を備え、
前記データ補正部は、前記撮像データに、前記撮像部の位置から前方に所定距離まで、かつ、道路の左右方向の両端部までの領域であって、前記撮像部の位置と前記撮像データの画素座標との関係により画定される3次元仮想領域を設定し、
前記3次元仮想領域を区画する各頂点の座標を用いて、前記撮像データを撮像した撮像部の位置である視点位置と、当該撮像部からの撮像方向である視線方向とを示す視点情報を算出し、
前記視点情報を用いて、前記比較先撮像データに対して、前記比較元撮像データの視点になるように幾何補正を行うことで、前記比較元撮像データと比較する比較先補正データを生成することを特徴とする請求項3に記載の路面評価システム。 - コンピュータが、
検査対象路面を走行する検査車両に搭載され、かつ前記検査車両の周辺における路面の状態を撮像する撮像部から取得した撮像データを、前記検査車両の位置を示す位置データを特定する測位システムから取得した位置データと関連付けて記憶部に記憶する記憶ステップと、
前記撮像データおよび前記位置データを、前記記憶部から読み込むデータ処理ステップと、を実行し、
前記データ処理ステップは、前記位置データの所定時間毎の変化量から、前記撮像データが撮像された時点での前記検査車両の進行方向を示す進行ベクトルを算出するパラメータ算出ステップと、
前記記憶部に記憶された複数の前記撮像データと関連付けられた位置データ、および前記進行ベクトルを参照し、それぞれの類似性を判断し、同一箇所の路面が撮像された比較元撮像データおよび比較先撮像データを、前記記憶部から読み込むデータ検索ステップと、を備えている路面評価方法。 - コンピュータに、
検査対象路面を走行する検査車両に搭載され、かつ前記検査車両の周辺における路面の状態を撮像する撮像部から取得した撮像データを、前記検査車両の位置を示す位置データを特定する測位システムから取得した位置データと関連付けて記憶部に記憶する記憶機能と、
前記撮像データおよび前記位置データを、前記記憶部から読み込むデータ処理機能と、
を実現させ、
前記データ処理機能は、前記位置データの所定時間毎の変化量から、前記撮像データが撮像された時点での前記検査車両の進行方向を示す進行ベクトルを算出するパラメータ算出機能と、
前記記憶部に記憶された複数の前記撮像データと関連付けられた位置データ、および前記進行ベクトルを参照し、それぞれの類似性を判断し、同一箇所の路面が撮像された比較元撮像データおよび比較先撮像データを、前記記憶部から読み込むデータ検索機能と、を備えている路面評価プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019082313A JP7272546B2 (ja) | 2019-04-23 | 2019-04-23 | 路面評価システム、路面評価方法、および路面評価プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019082313A JP7272546B2 (ja) | 2019-04-23 | 2019-04-23 | 路面評価システム、路面評価方法、および路面評価プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020180437A JP2020180437A (ja) | 2020-11-05 |
JP7272546B2 true JP7272546B2 (ja) | 2023-05-12 |
Family
ID=73023338
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019082313A Active JP7272546B2 (ja) | 2019-04-23 | 2019-04-23 | 路面評価システム、路面評価方法、および路面評価プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7272546B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022162855A1 (ja) * | 2021-01-29 | 2022-08-04 | 日本電気株式会社 | 車載装置、路面画像の送信方法及びプログラム記録媒体 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011113339A (ja) | 2009-11-27 | 2011-06-09 | Daihatsu Motor Co Ltd | 画像処理装置 |
JP2011242293A (ja) | 2010-05-19 | 2011-12-01 | Hanshin Expressway Engineering Co Ltd | 道路検査方法及び道路検査車両 |
US20180188046A1 (en) | 2017-01-03 | 2018-07-05 | Ionroad Technologies Ltd. | Creation and use of enhanced maps |
-
2019
- 2019-04-23 JP JP2019082313A patent/JP7272546B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011113339A (ja) | 2009-11-27 | 2011-06-09 | Daihatsu Motor Co Ltd | 画像処理装置 |
JP2011242293A (ja) | 2010-05-19 | 2011-12-01 | Hanshin Expressway Engineering Co Ltd | 道路検査方法及び道路検査車両 |
US20180188046A1 (en) | 2017-01-03 | 2018-07-05 | Ionroad Technologies Ltd. | Creation and use of enhanced maps |
Also Published As
Publication number | Publication date |
---|---|
JP2020180437A (ja) | 2020-11-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102085228B1 (ko) | 깊이 센서의 깊이 보정을 위한 이미지 처리방법 및 그 장치 | |
JP4889351B2 (ja) | 画像処理装置及びその処理方法 | |
JP6351238B2 (ja) | 画像処理装置、撮像装置および距離補正方法 | |
JP5736526B2 (ja) | 電子マップに基づく位置検索方法及び装置 | |
AU2019301133B2 (en) | Image registration to a 3D point set | |
CA2776881C (en) | Image processing device, image processing method, image processing program, and recording medium | |
CN110349086B (zh) | 一种非同心成像条件的图像拼接方法 | |
KR102141290B1 (ko) | 화상 처리 장치, 화상 처리 방법, 화상 처리 프로그램 및 기억 매체 | |
KR101453143B1 (ko) | 스테레오 매칭 처리 시스템, 스테레오 매칭 처리 방법, 및 기록 매체 | |
JP2015138428A (ja) | 付加情報表示装置および付加情報表示プログラム | |
JP2022509329A (ja) | 点群融合方法及び装置、電子機器、コンピュータ記憶媒体並びにプログラム | |
CN115829843B (zh) | 图像拼接方法、装置、计算机设备及存储介质 | |
JP7272546B2 (ja) | 路面評価システム、路面評価方法、および路面評価プログラム | |
JP2001141452A (ja) | 航空写真撮影計画シミュレーション方法 | |
JP6991700B2 (ja) | 情報処理装置、情報処理方法、プログラム | |
CN113034347A (zh) | 倾斜摄影图像处理方法、装置、处理设备及存储介质 | |
JP2010128575A (ja) | ステレオ画像処理装置、ステレオ画像処理方法、および、プログラム | |
JP2004028811A (ja) | 監視システムの距離補正装置および距離補正方法 | |
CN113645456B (zh) | 投影图像校正方法、投影系统及可读存储介质 | |
US20220254035A1 (en) | Image processing apparatus, head-mounted display, and method for acquiring space information | |
KR101415145B1 (ko) | 항공기 탑재용 eo/ir 장비 자동임무 수행을 위한 촬영표적좌표 생성방법 | |
JP2013061204A (ja) | 空中写真画像データの対応点設定方法及び対応点設定装置並びに対応点設定プログラム | |
WO2021035703A1 (zh) | 跟踪方法和可移动平台 | |
JP3851483B2 (ja) | 像点対応付け装置、像点対応付け方法、および像点対応付けプログラムを格納した記録媒体 | |
CN110866535A (zh) | 视差图的获取方法、装置、计算机设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220128 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221021 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221025 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221212 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230328 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230414 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7272546 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |