JP7358762B2 - 道路異常検知装置、道路異常検知方法および道路異常検知プログラム - Google Patents
道路異常検知装置、道路異常検知方法および道路異常検知プログラム Download PDFInfo
- Publication number
- JP7358762B2 JP7358762B2 JP2019070776A JP2019070776A JP7358762B2 JP 7358762 B2 JP7358762 B2 JP 7358762B2 JP 2019070776 A JP2019070776 A JP 2019070776A JP 2019070776 A JP2019070776 A JP 2019070776A JP 7358762 B2 JP7358762 B2 JP 7358762B2
- Authority
- JP
- Japan
- Prior art keywords
- road
- equipment
- image
- abnormality
- detection device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims description 66
- 230000005856 abnormality Effects 0.000 claims description 156
- 238000003384 imaging method Methods 0.000 claims description 22
- 230000002159 abnormal effect Effects 0.000 claims description 13
- 238000004891 communication Methods 0.000 description 13
- 238000000034 method Methods 0.000 description 11
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000008439 repair process Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 240000004050 Pentaglottis sempervirens Species 0.000 description 1
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
- B60W40/06—Road conditions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
- B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2552/00—Input parameters relating to infrastructure
- B60W2552/53—Road markings, e.g. lane marker or crosswalk
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2556/00—Input parameters relating to data
- B60W2556/10—Historical data
Description
本発明は、道路異常検知装置、道路異常検知方法および道路異常検知プログラムに関する。
特許文献１には、路面に施工された道路標示を斜め上方から撮影し、撮影した画像をホモグラフィ変換により俯瞰図状に補正し、その補正画像から道路標示の劣化状態を判別する方法が開示されている。
ここで、例えば自動運転時や白線等を検知する必要のある走行（例えば同一車線走行）において、白線が薄くなっていたり消えていたりすると、走行の正確性が低下する。そのため、白線等の道路設備に異常がある場合、早期に検知して補修を行う必要がある。しかしながら、特許文献１で開示された技術では、道路設備の異常を早期に検知することが困難であった。
本発明は、上記に鑑みてなされたものであって、道路設備の異常を早期に検知することができる道路異常検知装置、道路異常検知方法および道路異常検知プログラムを提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明に係る道路異常検知装置は、メモリと、ハードウェアを有するプロセッサと、を備え、前記プロセッサが、走行中の車両から、道路上または道路周辺の画像を示す道路画像と、前記道路画像が撮像された位置を示す撮像位置情報とを受信し、前記道路画像および前記撮像位置情報に基づいて、前記道路画像に含まれる道路設備と、前記道路設備の位置とを認識し、前記道路画像に含まれる道路設備と、予め用意した正解情報とを比較することにより、前記道路設備の異常の有無を判定し、前記道路設備の異常があると判定した場合、異常のあった道路設備の位置を示す設備位置情報を前記メモリに蓄積する。
これにより、道路異常検知装置は、走行中の車両から受信した道路画像を画像認識処理することにより、道路設備の異常の有無を早期に検知することができる。
また、本発明に係る道路異常検知装置は、上記発明において、前記プロセッサが、前記道路画像において、隣接する画素同士の画素値を比較することにより、前記道路画像に含まれる道路設備を認識してもよい。
これにより、道路異常検知装置は、道路画像の画像処理を行う際に、隣接する画素同士の画素値、例えば各画素の輝度値を比較することにより、道路画像に含まれる道路設備を認識することができる。
また、本発明に係る道路異常検知装置は、上記発明において、前記プロセッサが、前記道路設備の異常があると判定した場合、異常のあった道路設備の設備位置情報に加えて、異常のあった道路設備を含む道路画像を前記メモリに蓄積してもよい。
これにより、道路異常検知装置は、異常のあった道路設備の位置に加えて、道路設備の画像を収集することにより、道路設備に発生している異常の詳細を確認することができる。
また、本発明に係る道路異常検知装置は、上記発明において、前記プロセッサが、同一の道路設備についての前記設備位置情報が、前記メモリに所定量以上蓄積された場合、前記設備位置情報を、道路管理者が管理するサーバに送信してもよい。
これにより、道路異常検知装置は、異常のあった道路設備の位置を道路管理者側に通知することにより、当該道路設備を早期に補修することができる。
また、本発明に係る道路異常検知装置は、上記発明において、前前記道路設備が、道路上に表示された道路標示と、道路上または道路周辺に設けられた構造物とを含んでもよい。
これにより、道路異常検知装置は、道路上に表示された道路標示および道路上または道路周辺に設けられた構造物に発生した異常を早期に検知することができる。
上述した課題を解決し、目的を達成するために、本発明に係る道路異常検知方法は、道路異常検知装置が実行する道路異常検知方法であって、前記道路異常検知装置のプロセッサが、走行中の車両から、道路上または道路周辺の画像を示す道路画像と、前記道路画像が撮像された位置を示す撮像位置情報とを受信し、前記道路画像および前記撮像位置情報に基づいて、前記道路画像に含まれる道路設備と、前記道路設備の位置とを認識し、前記道路画像に含まれる道路設備と、予め用意した正解情報とを比較することにより、前記道路設備の異常の有無を判定し、前記道路設備の異常があると判定した場合、異常のあった道路設備の位置を示す設備位置情報を前記道路異常検知装置のメモリに蓄積する。
これにより、道路異常検知方法は、走行中の車両から受信した道路画像を画像認識処理することにより、道路設備の異常の有無を早期に検知することができる。
上述した課題を解決し、目的を達成するために、本発明に係る道路異常検知プログラムは、道路異常検知装置に実行させる道路異常検知プログラムであって、走行中の車両から、道路上または道路周辺の画像を示す道路画像と、前記道路画像が撮像された位置を示す撮像位置情報とを受信し、前記道路画像および前記撮像位置情報に基づいて、前記道路画像に含まれる道路設備と、前記道路設備の位置とを認識し、前記道路画像に含まれる道路設備と、予め用意した正解情報とを比較することにより、前記道路設備の異常の有無を判定し、前記道路設備の異常があると判定した場合、異常のあった道路設備の位置を示す設備位置情報を前記道路異常検知装置のメモリに蓄積する。
これにより、道路異常検知プログラムは、走行中の車両から受信した道路画像を画像認識処理することにより、道路設備の異常の有無を早期に検知することができる。
本発明によれば、走行中の車両から収集した道路画像に基づいて、道路設備の異常を早期に検知することができる。
実施形態に係る道路異常検知装置、道路異常検知方法および道路異常検知プログラムについて、図面を参照しながら説明する。なお、下記実施形態における構成要素には、当業者が置換可能かつ容易なもの、あるいは実質的に同一のものが含まれる。
（道路異常検知システム）
まず、実施形態に係る道路異常検知装置を適用可能な道路異常検知システムについて、図１を参照しながら説明する。道路異常検知システムは、処理サーバ１と、車両２と、道路管理者サーバ３と、を有している。本実施形態に係る道路異常検知装置は、具体的には処理サーバ１によって構成されている。また、車両２は、道路を走行している一台の車両２でもよく、あるいは複数台の車両２であってもよい。
まず、実施形態に係る道路異常検知装置を適用可能な道路異常検知システムについて、図１を参照しながら説明する。道路異常検知システムは、処理サーバ１と、車両２と、道路管理者サーバ３と、を有している。本実施形態に係る道路異常検知装置は、具体的には処理サーバ１によって構成されている。また、車両２は、道路を走行している一台の車両２でもよく、あるいは複数台の車両２であってもよい。
処理サーバ１、車両２および道路管理者サーバ３は、ネットワークＮＷを通じて相互に通信可能である。このネットワークＮＷは、例えばインターネット回線網や携帯電話回線網等から構成される。
（処理サーバ）
次に、処理サーバ１の構成について、図１および図２を参照しながら説明する。処理サーバ１は、車両２から受信した画像（道路画像）を処理するものであり、制御部１１と、通信部１２と、記憶部１３と、を備えている。
次に、処理サーバ１の構成について、図１および図２を参照しながら説明する。処理サーバ１は、車両２から受信した画像（道路画像）を処理するものであり、制御部１１と、通信部１２と、記憶部１３と、を備えている。
制御部１１は、具体的には、ＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＦＰＧＡ（Field-Programmable Gate Array）等からなるプロセッサと、ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）等からなるメモリ（主記憶部）と、を備えている（いずれも図示省略）。
制御部１１は、記憶部１３に格納されたプログラムを主記憶部の作業領域にロードして実行し、プログラムの実行を通じて各構成部等を制御することにより、所定の目的に合致した機能を実現する。制御部１１は、プログラムの実行を通じて、画像認識部１１１として機能する。なお、画像認識部１１１の詳細については後記する。
通信部１２は、例えばＬＡＮ（Local Area Network）インターフェースボード、無線通信のための無線通信回路等から構成される。通信部１２は、公衆通信網であるインターネット等のネットワークＮＷに接続されている。そして、通信部１２は、当該ネットワークＮＷに接続することにより、処理サーバ１および道路管理者サーバ３との間で通信を行う。
記憶部１３は、ＥＰＲＯＭ（Erasable Programmable ROM）、ハードディスクドライブ（ＨＤＤ、Hard Disk Drive）およびリムーバブルメディア等の記録媒体から構成される。リムーバブルメディアとしては、例えばＵＳＢ（Universal Serial Bus）メモリ、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-ray（登録商標） Disc）のようなディスク記録媒体が挙げられる。また、記憶部１３には、オペレーティングシステム（Operating System：ＯＳ）、各種プログラム、各種テーブル、各種データベース等が格納可能である。
記憶部１３は、正解情報ＤＢ１３１と、異常情報ＤＢ１３２と、を備えている。これらのデータベース（ＤＢ）は、前記したプロセッサによって実行されるデータベース管理システム（Database Management System：ＤＢＭＳ）のプログラムが、記憶部１３に記憶されるデータを管理することによって構築される。
正解情報ＤＢ１３１は、例えば、複数の正解情報が索出可能に格納されたリレーショナルデータベースによって構成されている。この正解情報は、車両２から送信される道路画像に含まれている道路設備に異常があるかないかを判定するための基準となる情報である。
ここで、「道路画像」とは、道路上または道路周辺を撮像した画像を示している。また、「道路設備」とは、道路上に表示された道路標示と、道路上または道路周辺に設けられた構造物と、を含んでいる。
前記した「道路標示」としては、例えば図２に示すように、実線からなる中央線Ｒｓ１、破線からなる中央線Ｒｓ２、外側線Ｒｓ３、停止線Ｒｓ４、横断歩道Ｒｓ５、横断歩道予告標示Ｒｓ６、速度規制標示Ｒｓ７、右折矢印Ｒｓ８等や、外国の道路に設けられているボッツドッツ等の道路区画線等が挙げられる。
前記した「構造物」としては、例えば道路周辺に設けられたガードレールＲｓ９や、案内標識、警戒標識、規制標識および指示標識等の道路標識が挙げられる。なお、道路標示および建造物は、同図に示したものには限定されず、交通法規等に基づいて道路上または道路周辺に設置されるもの全てが含まれる。
正解情報ＤＢ１３１に格納された正解情報は、例えばその場所にあるべき道路設備の種類や、当該道路設備の形状等を含む情報であり、地図情報や画像データ等の種々の情報として格納されている。これらの正解情報は、制御部１１によって、ネットワークＮＷを通じて外部から収集されたり、あるいは作業者によって手動で入力されたりすることにより、正解情報ＤＢ１３１として構築される。なお、正解情報の収集方法は、これらの方法に限定されない。
異常情報ＤＢ１３２は、例えば、複数の異常情報が索出可能に格納されたリレーショナルデータベースによって構成されている。この異常情報は、異常のあった道路設備に関する情報であり、例えば後記するように、異常のあった道路設備の位置を示す設備位置情報と、当該道路設備を含む道路画像と、当該道路設備の異常の原因と、が含まれる。
（車両）
次に、車両２の構成について、図１を参照しながら説明する。車両２は、外部と通信可能な移動体であり、制御部２１と、通信部２２と、記憶部２３と、測位部２４と、撮像部２５と、を備えている。制御部２１および記憶部２３は、物理的には前記した制御部１１および記憶部１３と同様である。
次に、車両２の構成について、図１を参照しながら説明する。車両２は、外部と通信可能な移動体であり、制御部２１と、通信部２２と、記憶部２３と、測位部２４と、撮像部２５と、を備えている。制御部２１および記憶部２３は、物理的には前記した制御部１１および記憶部１３と同様である。
制御部２１は、車両２に搭載される各種構成要素の動作を統括的に制御する。また、制御部２１は、撮像部２５から入力された道路画像に対して、測位部２４から入力された車両２の位置情報を関連付けて記憶部２３に格納する。すなわち、制御部２１は、撮像部２５が撮像した道路画像に対して、当該道路画像が撮像された位置を示す撮像位置情報を関連付けて記憶部２３に格納する。
通信部２２は、例えばＤＣＭ（Data Communication Module）等から構成され、ネットワークＮＷを介した無線通信により、処理サーバ１との間で通信を行う。記憶部２３は、道路画像ＤＢ２３１を備えている。道路画像ＤＢ２３１は、撮像部２５によって撮像された道路画像が索出可能に格納された例えばリレーショナルデータベース（ＲＤＢ）である。なお、これらの道路画像には、撮像位置情報が関連付けられている。
測位部２４は、ＧＰＳ（Global Positioning System）衛星（図示せず）からの電波を受信して、車両２の現在の位置を検出する。そして、測位部２４は、検出した現在の車両２の位置に関する情報（以下、「車両位置情報」という）を、制御部２１に対して出力する。なお、車両２の現在の位置を検出する方法として、例えばＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）と３次元デジタル地図とを組み合わせた方法を利用してもよい。
撮像部２５は、例えば車両２の車体前方に取り付けられた撮像カメラ等であり、車両２の走行中に車両２の前方の道路画像を撮像し、撮像した道路画像を制御部２１に対して出力する。なお、「道路画像」は、静止画データであっても、動画データであってもよく、あるいは時間的に連続した静止画データを複数用いて生成された動画データであってもよい。
（道路管理者サーバ）
次に、道路管理者サーバ３の構成について、図１を参照しながら説明する。道路管理者サーバ３は、道路管理者が管理するサーバである。この道路管理者は、道路設備の補修義務を負っている者であり、例えば東京２３区、都道府県、市町村等の地方公共団体や、公安委員会等が含まれる。
次に、道路管理者サーバ３の構成について、図１を参照しながら説明する。道路管理者サーバ３は、道路管理者が管理するサーバである。この道路管理者は、道路設備の補修義務を負っている者であり、例えば東京２３区、都道府県、市町村等の地方公共団体や、公安委員会等が含まれる。
（道路異常検知方法）
次に、道路異常検知装置が実行する道路異常検知方法について、図３を参照しながら説明する。
次に、道路異常検知装置が実行する道路異常検知方法について、図３を参照しながら説明する。
まず、車両２は、撮像部２５によって走行中の道路を撮像する（ステップＳ１）。続いて、車両２は、撮像した道路画像と、当該道路画像の撮像位置情報とを、処理サーバ１に対して所定のタイミングで定期的に送信する（ステップＳ２）。なお、所定のタイミングとしては、例えば所定時間間隔の周期的なタイミングや、車両２が所定位置を通過するタイミング等の、種々のタイミングを設定可能である。
続いて、処理サーバ１は、車両２から道路画像および撮像位置情報を受信した後、画像認識部１１１によって道路画像の画像認識処理を行う（ステップＳ３）。画像認識部１１１は、道路画像および撮像位置情報に基づいて、公知の画像認識処理技術を利用して、道路画像に含まれる道路設備と、当該道路設備の位置を認識する。なお、「道路設備の位置」とは、当該道路設備が設置されている座標（経度、緯度）のことを示している。
画像認識部１１１は、具体的には、道路画像において、隣接する画素同士の画素値、例えば各画素の輝度値を比較することにより、道路画像に含まれている道路設備の種類を認識する。また、画像認識部１１１は、例えば道路画像に含まれる道路設備の奥行距離を推定する等の方法により、道路設備の位置を認識する。
続いて、画像認識部１１１は、道路設備の異常の有無を判定する（ステップＳ４）。画像認識部１１１は、具体的には、道路画像に含まれる道路設備と、予め用意され、かつ正解情報ＤＢ１３１に格納された正解情報とを比較することにより、道路設備の異常の有無を判定する。
ステップＳ４において、道路設備に異常なしと判定した場合（ステップＳ４でＮｏ）、画像認識部１１１は、ステップＳ３に戻る。一方、ステップＳ４において、道路設備に異常ありと判定した場合（ステップＳ４でＹｅｓ）、画像認識部１１１は、異常の原因を特定する（ステップＳ５）。
ここで、道路設備の異常としては、破損、摩耗、泥による汚れ、枯葉やゴミ等の体積等が考えられる。例えば道路設備が道路中央に引かれた中央線Ｒｓ１（図２参照）である場合を考える。この場合、画像認識部１１１は、中央線Ｒｓ１が欠損しており、ステップＳ４で「異常あり」と判定した場合、公知の画像認識処理技術を利用して、例えばその異常が破損、摩耗、泥による汚れ、枯葉やゴミ等の、いずれの理由によるものなのかを特定する。
続いて、処理サーバ１の制御部１１は、画像認識処理結果のデータを蓄積する（ステップＳ６）。本ステップにおいて、制御部１１は、少なくとも異常のあった道路設備の位置を示す設備位置情報を、異常情報として記憶部１３の異常情報ＤＢ１３２に格納する。また、本ステップにおいて、制御部１１は、異常のあった道路設備の設備位置情報に加えて、異常のあった道路設備を含む道路画像と、当該道路設備の異常の原因とを、異常情報として異常情報ＤＢ１３２に格納してもよい。このように、異常のあった道路設備の位置に加えて、道路設備の画像や異常の原因を収集することにより、道路設備に発生している異常の詳細を確認することができる。
続いて、制御部１１は、道路設備の異常の発生を道路管理者に通知する（ステップＳ７）。制御部１１は、具体的には、異常情報ＤＢ１３２に蓄積した異常情報を道路管理者サーバ３に送信することにより、道路設備の異常の発生を道路管理者に通知する。なお、道路管理者サーバ３に送信する異常情報は、少なくとも異常のあった道路設備の設備位置情報を含み、好ましくは異常のあった道路設備を含む道路画像と、当該道路設備の異常の原因とを含む。このように、異常のあった道路設備の位置を道路管理者側に通知することにより、当該道路設備を早期に補修することができる。
なお、制御部１１は、同一の道路設備についての異常情報が異常情報ＤＢ１３２に所定量蓄積された場合に、異常情報を道路管理者サーバ３に送信してもよい。すなわち、制御部１１は、例えば複数の車両２によって撮像された同一の道路設備を含む道路画像についてそれぞれ画像認識処理（ステップＳ４参照）を行った結果、いずれも「異常あり」と判定した場合にのみ、道路設備の異常の発生を道路管理者に通知してもよい。これにより、道路設備に異常が発生した可能性が高い場合にのみ、道路設備の異常の発生を道路管理者に通知することができる。
以上説明したような実施形態に係る道路異常検知装置、道路異常検知方法および道路異常検知プログラムによれば、走行中の車両２から受信した道路画像を画像認識処理することにより、道路設備の異常の有無を早期に検知することができる。また、実施形態に係る道路異常検知装置、道路異常検知方法および道路異常検知プログラムによれば、複数の車両２から道路画像を収集し、当該道路画像に含まれる道路設備の異常の有無を判定することができるため、広範囲に設置された道路設備の異常の有無を検知することができる。また、実施形態に係る道路異常検知装置、道路異常検知方法および道路異常検知プログラムによれば、例えば道路設備の異常情報を、道路の補修を担う道路管理者（地方公共団体や公安委員会等）に販売することもできる。
（変形例）
ここで、図３で説明した道路異常検知方法では、車両２側で道路画像の撮像のみを行い、処理サーバ１側で画像認識処理を行っていたが、車両２側で画像認識処理までを行ってもよい。以下、実施形態に係る道路異常検知方法の変形例について、図４を参照しながら説明する。なお、同図のステップＳ１，Ｓ６，Ｓ７の内容は、図３に示した道路異常検知方法のステップＳ１，Ｓ６，Ｓ７の内容と同様であるため、説明を省略する。
ここで、図３で説明した道路異常検知方法では、車両２側で道路画像の撮像のみを行い、処理サーバ１側で画像認識処理を行っていたが、車両２側で画像認識処理までを行ってもよい。以下、実施形態に係る道路異常検知方法の変形例について、図４を参照しながら説明する。なお、同図のステップＳ１，Ｓ６，Ｓ７の内容は、図３に示した道路異常検知方法のステップＳ１，Ｓ６，Ｓ７の内容と同様であるため、説明を省略する。
車両２の制御部２１は、ステップＳ１に続いて、道路画像の画像認識処理を行う（ステップＳ１３）。制御部２１は、道路画像および撮像位置情報に基づいて、公知の画像認識処理技術を利用して、道路画像に含まれる道路設備と、当該道路設備の位置を認識する。
制御部２１は、具体的には、道路画像において、隣接する画素同士の画素値、例えば各画素の輝度値を比較することにより、道路画像に含まれている道路設備の種類を認識する。また、制御部２１は、例えば道路画像に含まれる道路設備の奥行距離を推定する等の方法により、道路設備の位置を認識する。
続いて、制御部２１は、道路設備の異常の有無を判定する（ステップＳ１４）。制御部２１は、具体的には、道路画像に含まれる道路設備と、予め用意された正解情報とを比較することにより、道路設備の異常の有無を判定する。なお、前記した正解情報は、車両２の記憶部２３に予め格納しておいてもよく、あるいは処理サーバ１の正解情報ＤＢ１３１からその都度取得してもよい。
ステップＳ１４において、道路設備に異常なしと判定した場合（ステップＳ１４でＮｏ）、制御部２１は、ステップＳ１３に戻る。一方、ステップＳ１４において、道路設備に異常ありと判定した場合（ステップＳ１４でＹｅｓ）、制御部２１は、異常の原因を特定する（ステップＳ１５）。
続いて、制御部２１は、画像認識処理結果のデータを処理サーバ１に送信する（ステップＳ１６）。本ステップにおいて、制御部２１は、少なくとも異常のあった道路設備の位置を示す設備位置情報を、異常情報として処理サーバ１に送信する。また、本ステップにおいて、制御部２１は、異常のあった道路設備の設備位置情報に加えて、異常のあった道路設備を含む道路画像と、当該道路設備の異常の原因とを、異常情報として処理サーバ１に送信してもよい。
以上説明したような実施形態に係る道路異常検知装置、道路異常検知方法および道路異常検知プログラムの変形例によれば、車両２側で画像認識処理を行うことにより、処理サーバ１側の負担を減らすことができる。
以上、本発明に係る道路異常検知装置、道路異常検知方法および道路異常検知プログラムについて、発明を実施するための形態により具体的に説明したが、本発明の趣旨はこれらの記載に限定されるものではなく、特許請求の範囲の記載に基づいて広く解釈されなければならない。また、これらの記載に基づいて種々変更、改変等したものも本発明の趣旨に含まれることはいうまでもない。
さらなる効果や変形例は、当業者によって容易に導き出すことができる。よって、本発明のより広範な態様は、以上のように表わしかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付のクレームおよびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。
１ 処理サーバ
１１ 制御部
１１１ 画像認識部
１２ 通信部
１３ 記憶部
１３１ 正解情報ＤＢ
１３２ 異常情報ＤＢ
２ 車両
２１ 制御部
２２ 通信部
２３ 記憶部
２３１ 道路画像ＤＢ
２４ 測位部
２５ 撮像部
３ 道路管理者サーバ
ＮＷ ネットワーク
Ｒｓ１，Ｒｓ２ 中央線
Ｒｓ３ 外側線
Ｒｓ４ 停止線
Ｒｓ５ 横断歩道
Ｒｓ６ 横断歩道予告標示
Ｒｓ７ 速度規制標示
Ｒｓ８ 右折矢印
Ｒｓ９ ガードレール
１１ 制御部
１１１ 画像認識部
１２ 通信部
１３ 記憶部
１３１ 正解情報ＤＢ
１３２ 異常情報ＤＢ
２ 車両
２１ 制御部
２２ 通信部
２３ 記憶部
２３１ 道路画像ＤＢ
２４ 測位部
２５ 撮像部
３ 道路管理者サーバ
ＮＷ ネットワーク
Ｒｓ１，Ｒｓ２ 中央線
Ｒｓ３ 外側線
Ｒｓ４ 停止線
Ｒｓ５ 横断歩道
Ｒｓ６ 横断歩道予告標示
Ｒｓ７ 速度規制標示
Ｒｓ８ 右折矢印
Ｒｓ９ ガードレール
Claims (6)
- メモリと、
ハードウェアを有するプロセッサと、
を備え、
前記プロセッサは、
走行中の車両から、道路上または道路周辺の画像を示す道路画像と、前記道路画像が撮像された位置を示す撮像位置情報とを受信し、
前記道路画像および前記撮像位置情報に基づいて、前記道路画像に含まれる道路設備と、前記道路設備の位置とを認識し、
前記道路画像に含まれる道路設備と、予め用意した正解情報とを比較することにより、前記道路設備の異常の有無を判定し、
前記道路設備の異常があると判定した場合、異常のあった道路設備の位置を示す設備位置情報と、異常のあった道路設備を含む道路画像と、異常のあった道路設備の異常の原因と、を前記メモリに蓄積し、
複数の車両によって撮像された同一の道路設備を含む道路画像のいずれについても、異常が発生したと判定した場合にのみ、前記設備位置情報を、道路管理者が管理するサーバに送信する、
道路異常検知装置。 - 前記プロセッサは、前記道路画像において、隣接する画素同士の画素値を比較することにより、前記道路画像に含まれる道路設備を認識する請求項１に記載の道路異常検知装置。
- 前記プロセッサは、同一の道路設備についての前記設備位置情報が、前記メモリに所定量以上蓄積された場合、前記設備位置情報を、道路管理者が管理するサーバに送信する請求項１に記載の道路異常検知装置。
- 前記道路設備は、道路上に表示された道路標示と、道路上または道路周辺に設けられた構造物とを含む請求項１から請求項３のいずれか一項に記載の道路異常検知装置。
- 道路異常検知装置が実行する道路異常検知方法であって、
前記道路異常検知装置のプロセッサが、
走行中の車両から、道路上または道路周辺の画像を示す道路画像と、前記道路画像が撮像された位置を示す撮像位置情報とを受信し、
前記道路画像および前記撮像位置情報に基づいて、前記道路画像に含まれる道路設備と、前記道路設備の位置とを認識し、
前記道路画像に含まれる道路設備と、予め用意した正解情報とを比較することにより、前記道路設備の異常の有無を判定し、
前記道路設備の異常があると判定した場合、異常のあった道路設備の位置を示す設備位置情報と、異常のあった道路設備を含む道路画像と、異常のあった道路設備の異常の原因と、を前記道路異常検知装置のメモリに蓄積し、
複数の車両によって撮像された同一の道路設備を含む道路画像のいずれについても、異常が発生したと判定した場合にのみ、前記設備位置情報を、道路管理者が管理するサーバに送信する、
道路異常検知方法。 - 道路異常検知装置に実行させる道路異常検知プログラムであって、
走行中の車両から、道路上または道路周辺の画像を示す道路画像と、前記道路画像が撮像された位置を示す撮像位置情報とを受信し、
前記道路画像および前記撮像位置情報に基づいて、前記道路画像に含まれる道路設備と、前記道路設備の位置とを認識し、
前記道路画像に含まれる道路設備と、予め用意した正解情報とを比較することにより、前記道路設備の異常の有無を判定し、
前記道路設備の異常があると判定した場合、異常のあった道路設備の位置を示す設備位置情報と、異常のあった道路設備を含む道路画像と、異常のあった道路設備の異常の原因と、を前記道路異常検知装置のメモリに蓄積し、
複数の車両によって撮像された同一の道路設備を含む道路画像のいずれについても、異常が発生したと判定した場合にのみ、前記設備位置情報を、道路管理者が管理するサーバに送信する、
道路異常検知プログラム。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019070776A JP7358762B2 (ja) | 2019-04-02 | 2019-04-02 | 道路異常検知装置、道路異常検知方法および道路異常検知プログラム |
| US16/812,483 US11491992B2 (en) | 2019-04-02 | 2020-03-09 | Road abnormality detection apparatus, road abnormality detection method and road abnormality detection program |
| CN202010192489.2A CN111797669A (zh) | 2019-04-02 | 2020-03-18 | 道路异常检测设备、道路异常检测方法和计算机可读介质 |
| US17/961,296 US11827228B2 (en) | 2019-04-02 | 2022-10-06 | Road abnormality detection apparatus, road abnormality detection method and road abnormality detection program |
| US18/378,489 US20240034327A1 (en) | 2019-04-02 | 2023-10-10 | Road abnormality detection apparatus, road abnormality detection method and road abnormality detection program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019070776A JP7358762B2 (ja) | 2019-04-02 | 2019-04-02 | 道路異常検知装置、道路異常検知方法および道路異常検知プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020170314A JP2020170314A (ja) | 2020-10-15 |
| JP7358762B2 true JP7358762B2 (ja) | 2023-10-11 |
Family
ID=72662877
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019070776A Active JP7358762B2 (ja) | 2019-04-02 | 2019-04-02 | 道路異常検知装置、道路異常検知方法および道路異常検知プログラム |
Country Status (3)
| Country | Link |
|---|---|
| US (3) | US11491992B2 (ja) |
| JP (1) | JP7358762B2 (ja) |
| CN (1) | CN111797669A (ja) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7315909B2 (ja) | 2020-12-07 | 2023-07-27 | 宮川興業株式会社 | 横断歩道標示の健全度可視化コンピュータシステム |
| CN112702568B (zh) * | 2020-12-14 | 2023-11-24 | 广东荣文科技集团有限公司 | 异常检测方法及相关装置 |
| CN117098893A (zh) * | 2021-04-07 | 2023-11-21 | 三菱电机株式会社 | 路面信息收集装置、路面劣化检测系统及路面信息收集方法 |
| CN113223295B (zh) * | 2021-05-11 | 2024-01-12 | 深圳聚瑞云控科技有限公司 | 一种基于互联网的自动报警监控装置及方法 |
| CN117413308A (zh) * | 2021-06-03 | 2024-01-16 | 株式会社电装 | 地图更新系统、地图更新装置以及存储介质 |
| JP7241834B1 (ja) | 2021-09-27 | 2023-03-17 | 三菱電機株式会社 | 道路情報収集装置、および道路情報収集システム |
| CN114170301B (zh) * | 2022-02-09 | 2022-05-17 | 城云科技（中国）有限公司 | 异常市政设施的定位方法、装置及其应用 |
| WO2023166555A1 (ja) * | 2022-03-01 | 2023-09-07 | 日本電気株式会社 | 路面標示劣化分析装置、方法、及びコンピュータ可読媒体 |
| CN114758322B (zh) * | 2022-05-13 | 2022-11-22 | 安徽省路通公路工程检测有限公司 | 基于机器识别的道路质量检测系统 |
| CN115984806B (zh) * | 2023-03-20 | 2023-06-13 | 四川京炜数字科技有限公司 | 道路标线破损动态检测系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002357557A (ja) | 2001-06-04 | 2002-12-13 | Riosu Corp:Kk | 道路や周辺施設等の管理システム |
| JP2013156835A (ja) | 2012-01-30 | 2013-08-15 | Kajima Corp | 運搬車両運行支援システム及び運搬車両運行支援方法 |
| JP2014164492A (ja) | 2013-02-25 | 2014-09-08 | Denso Corp | 区画線認識装置 |
| JP2016151967A (ja) | 2015-02-18 | 2016-08-22 | 株式会社東芝 | 情報処理装置、道路構造物管理システム、及び道路構造物管理方法 |
| JP2017181168A (ja) | 2016-03-29 | 2017-10-05 | 株式会社デンソー | 路面状態検出システム |
| JP2018072893A (ja) | 2016-10-24 | 2018-05-10 | 株式会社日立製作所 | 画像処理装置、警告装置、画像処理システム、画像処理方法 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4820712B2 (ja) * | 2005-08-05 | 2011-11-24 | アイシン・エィ・ダブリュ株式会社 | 路面標示認識システム |
| US9092981B2 (en) * | 2010-03-03 | 2015-07-28 | Panasonic Intellectual Property Management Co., Ltd. | Road condition management system and road condition management method |
| JP6408434B2 (ja) | 2015-07-14 | 2018-10-17 | 株式会社キクテック | 道路標示体劣化検出方法 |
| JP6369654B2 (ja) * | 2016-02-25 | 2018-08-08 | 株式会社村田製作所 | 検知装置および路面情報システム、並びに車両 |
| CN107392139B (zh) * | 2017-07-18 | 2020-10-20 | 海信集团有限公司 | 一种基于霍夫变换的车道线检测方法及终端设备 |
| CN107895151A (zh) * | 2017-11-23 | 2018-04-10 | 长安大学 | 一种强光照条件下基于机器视觉的车道线检测方法 |
-
2019
- 2019-04-02 JP JP2019070776A patent/JP7358762B2/ja active Active
-
2020
- 2020-03-09 US US16/812,483 patent/US11491992B2/en active Active
- 2020-03-18 CN CN202010192489.2A patent/CN111797669A/zh active Pending
-
2022
- 2022-10-06 US US17/961,296 patent/US11827228B2/en active Active
-
2023
- 2023-10-10 US US18/378,489 patent/US20240034327A1/en active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002357557A (ja) | 2001-06-04 | 2002-12-13 | Riosu Corp:Kk | 道路や周辺施設等の管理システム |
| JP2013156835A (ja) | 2012-01-30 | 2013-08-15 | Kajima Corp | 運搬車両運行支援システム及び運搬車両運行支援方法 |
| JP2014164492A (ja) | 2013-02-25 | 2014-09-08 | Denso Corp | 区画線認識装置 |
| JP2016151967A (ja) | 2015-02-18 | 2016-08-22 | 株式会社東芝 | 情報処理装置、道路構造物管理システム、及び道路構造物管理方法 |
| JP2017181168A (ja) | 2016-03-29 | 2017-10-05 | 株式会社デンソー | 路面状態検出システム |
| JP2018072893A (ja) | 2016-10-24 | 2018-05-10 | 株式会社日立製作所 | 画像処理装置、警告装置、画像処理システム、画像処理方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2020170314A (ja) | 2020-10-15 |
| US11827228B2 (en) | 2023-11-28 |
| US20200317201A1 (en) | 2020-10-08 |
| US20230026281A1 (en) | 2023-01-26 |
| US11491992B2 (en) | 2022-11-08 |
| US20240034327A1 (en) | 2024-02-01 |
| CN111797669A (zh) | 2020-10-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7358762B2 (ja) | 道路異常検知装置、道路異常検知方法および道路異常検知プログラム | |
| CN106647776B (zh) | 车辆变道趋势的判断方法、判断装置和计算机存储介质 | |
| CN103824452B (zh) | 一种轻量级的基于全景视觉的违章停车检测装置 | |
| EP3026880B1 (en) | Damage recognition assist system | |
| US9846823B2 (en) | Traffic lane boundary line extraction apparatus and method of extracting traffic lane boundary line | |
| US20190295241A1 (en) | Inspection device, control method and control apparatus for the same | |
| US11361556B2 (en) | Deterioration diagnosis device, deterioration diagnosis system, deterioration diagnosis method, and storage medium for storing program | |
| JP4858761B2 (ja) | 衝突危険性判定システム及び警告システム | |
| CN101469985A (zh) | 交叉路口车辆排队长度的单帧图像检测装置及其工作方法 | |
| JP6392735B2 (ja) | 情報処理装置、情報処理方法、車両の制御装置及び車両の制御方法 | |
| JP2007323117A (ja) | 道路通信システム、移動体装置、および、移動体装置の情報処理方法 | |
| WO2021227586A1 (zh) | 交通事故分析方法、装置及设备 | |
| CN111932901A (zh) | 道路车辆跟踪检测设备、方法及存储介质 | |
| JP2015090679A (ja) | 車両軌跡抽出方法、車両領域抽出方法、車両速度推定方法、車両軌跡抽出プログラム、車両領域抽出プログラム、車両速度推定プログラム、車両軌跡抽出システム、車両領域抽出システム、及び、車両速度推定システム | |
| CN111967396A (zh) | 障碍物检测的处理方法、装置、设备及存储介质 | |
| CN103886753A (zh) | 一种信号灯控制路口异常停车原因快速确认系统及方法 | |
| JP2022014432A (ja) | 劣化診断システム、劣化診断装置、劣化診断方法、及び、プログラム | |
| JP2007066003A (ja) | 停止線検出装置 | |
| CN107458308A (zh) | 一种辅助驾驶方法及系统 | |
| JP4446254B2 (ja) | 路上障害回避方法提示システム | |
| CN115761668A (zh) | 摄像头的污渍识别方法、装置、车辆及存储介质 | |
| CN116152753A (zh) | 车辆信息识别方法和系统、存储介质和电子装置 | |
| WO2023166555A1 (ja) | 路面標示劣化分析装置、方法、及びコンピュータ可読媒体 | |
| CN108257408B (zh) | 协作式停车位监控系统 | |
| JP2002049989A (ja) | 駐車違反検出方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210729 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220609 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220621 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220729 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221213 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221222 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230418 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230427 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230829 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230911 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 7358762 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |