JP7204988B2 - ひび割れ検出装置、ひび割れ検出方法及びひび割れ検出プログラム - Google Patents

ひび割れ検出装置、ひび割れ検出方法及びひび割れ検出プログラム Download PDF

Info

Publication number
JP7204988B2
JP7204988B2 JP2022504856A JP2022504856A JP7204988B2 JP 7204988 B2 JP7204988 B2 JP 7204988B2 JP 2022504856 A JP2022504856 A JP 2022504856A JP 2022504856 A JP2022504856 A JP 2022504856A JP 7204988 B2 JP7204988 B2 JP 7204988B2
Authority
JP
Japan
Prior art keywords
data
image
crack detection
image data
detection device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022504856A
Other languages
English (en)
Other versions
JPWO2021176613A1 (ja
JPWO2021176613A5 (ja
Inventor
光伸 吉田
田城 近藤
太地 石藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of JPWO2021176613A1 publication Critical patent/JPWO2021176613A1/ja
Publication of JPWO2021176613A5 publication Critical patent/JPWO2021176613A5/ja
Application granted granted Critical
Publication of JP7204988B2 publication Critical patent/JP7204988B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • EFIXED CONSTRUCTIONS
    • E01CONSTRUCTION OF ROADS, RAILWAYS, OR BRIDGES
    • E01CCONSTRUCTION OF, OR SURFACES FOR, ROADS, SPORTS GROUNDS, OR THE LIKE; MACHINES OR AUXILIARY TOOLS FOR CONSTRUCTION OR REPAIR
    • E01C23/00Auxiliary devices or arrangements for constructing, repairing, reconditioning, or taking-up road or like surfaces
    • E01C23/01Devices or auxiliary means for setting-out or checking the configuration of new surfacing, e.g. templates, screed or reference line supports; Applications of apparatus for measuring, indicating, or recording the surface configuration of existing surfacing, e.g. profilographs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/96Management of image or video recognition tasks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/98Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993Evaluation of the quality of the acquired pattern
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8896Circuits specially adapted for system specific signal conditioning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20024Filtering details
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Immunology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Signal Processing (AREA)
  • Architecture (AREA)
  • Civil Engineering (AREA)
  • Structural Engineering (AREA)
  • Image Processing (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Description

本開示は、路面を撮像して得られた画像データから路面のひび割れを検出する技術に関する。
道路の路面のわだちぼれとひび割れと平滑性とに基づき、路面の健全性が計測されている。わだちぼれとひび割れと平滑性とのうち、ひび割れは、路面の画像データから目視又はコンピュータにより検出される。そして、例えば、一定範囲におけるひび割れの数によって路面の健全性が判定される。
路面の画像データは、車両に搭載されたカメラによって、車両を走行させながら撮像して得られる。
ひび割れを検出する際に用いられる画像データは、路面を真上から撮像して得られたオルソ画像である。オルソ画像を得るためには、撮像装置を車両の外側にはみ出させて設置する必要がある。そのため、オルソ画像を得るためには、オルソ画像を得るための専用の装置が必要になる。
車両の上部に斜めに設置されたカメラを用いて、斜めから路面を撮像することが考えられる。車両の上部に設置されたカメラを用いる場合には、道路周辺を撮像する装置を流用して、路面を撮像することが可能である。しかし、この場合には、得られる画像データはオルソ画像ではなくなってしまう。
斜めから撮像して得られた画像データを変換してオルソ画像を生成した上で、路面のひび割れを検出することが行われている(特許文献1参照)。
特開2018-21375号公報
斜めから撮像して得られた画像データは、位置によって解像度が異なる。そのため、斜めから撮像して得られた画像データを単純に用いてひび割れを検出すると、適切にひび割れを検出することができない可能性がある。
本開示は、路面を斜めから撮像して得られた画像データを用いて、路面のひび割れを適切に検出可能にすることを目的とする。
本開示に係るひび割れ検出装置は、
移動体に搭載された撮像装置により路面に対して斜めの方向から前記路面を撮像して得られた画像データを取得する画像取得部と、
前記画像取得部によって取得された前記画像データを、解像度が基準値よりも高い許容範囲と、解像度が前記基準値以下の非許容範囲とに分類する画像分類部と、
前記画像分類部によって前記許容範囲に分類された部分の画像データである許容データを前記路面のひび割れを検出するためのデータとして出力するデータ出力部と
前記撮像装置のシャッタースピードと、前記移動体の移動速度とに応じて、検出するひび割れ幅の下限値である判定幅と設定する幅設定部と
を備える。
本開示では、路面に対して斜めの方向から路面を撮像して得られた画像データのうち、解像度が基準値よりも高い許容範囲の部分の画像データを路面のひび割れを検出するためのデータとして出力する。これにより、ひび割れの検出が困難な画像データに基づき、ひび割れの検出が行われることが防止される。その結果、路面のひび割れを適切に検出可能である。
実施の形態1に係るひび割れ検出装置10の構成図。 実施の形態1に係る撮像装置30の構成図。 実施の形態1に係るひび割れ検出装置10の動作を示すフローチャート。 実施の形態1に係る画像分類処理の説明図。 実施の形態1に係る画像分類処理の説明図。 実施の形態1に係る画像分類処理の説明図。 実施の形態1に係る画像表示処理の説明図。 変形例1に係るひび割れ検出装置10の構成図。 変形例2に係るひび割れ検出装置10の構成図。 実施の形態2に係るひび割れ検出装置10の構成図。 実施の形態2に係るひび割れ検出装置10の動作を示すフローチャート。 実施の形態2に係る画像抽出処理の説明図。 実施の形態2に係る画像抽出処理の説明図。 変形例5に係る画像表示処理の説明図。 実施の形態3に係るひび割れ検出装置10の構成図。 実施の形態3に係るひび割れ検出装置10の動作を示すフローチャート。 実施の形態3に係る画像表示処理の説明図。 実施の形態4に係るひび割れ検出装置10の動作を示すフローチャート。 実施の形態4に係る画像表示処理の説明図。 実施の形態5に係る撮像装置30の構成図。 実施の形態5に係る撮像装置30の構成図。 実施の形態5に係る撮像装置30が路面32を撮像する場合の説明図。 実施の形態5に係る撮像装置30が後方を撮像する場合の説明図。
実施の形態1.
***構成の説明***
図1を参照して、実施の形態1に係るひび割れ検出装置10の構成を説明する。
ひび割れ検出装置10は、コンピュータである。ひび割れ検出装置10は、路面に対して斜めの方向から路面を撮像して得られた画像データから、路面のひび割れを検出する。
ひび割れ検出装置10は、プロセッサ11と、メモリ12と、ストレージ13と、通信インタフェース14とのハードウェアを備える。プロセッサ11は、信号線を介して他のハードウェアと接続され、これら他のハードウェアを制御する。
プロセッサ11は、プロセッシングを行うIC(Integrated Circuit)である。プロセッサ11は、具体例としては、CPU(Central Processing Unit)、DSP(Digital Signal Processor)、GPU(Graphics Processing Unit)である。
メモリ12は、データを一時的に記憶する記憶装置である。メモリ12は、具体例としては、SRAM(Static Random Access Memory)、DRAM(Dynamic Random Access Memory)である。
ストレージ13は、データを保管する記憶装置である。ストレージ13は、具体例としては、HDD(Hard Disk Drive)である。また、ストレージ13は、SD(登録商標,Secure Digital)メモリカード、CF(CompactFlash,登録商標)、NANDフラッシュ、フレキシブルディスク、光ディスク、コンパクトディスク、ブルーレイ(登録商標)ディスク、DVD(Digital Versatile Disk)といった可搬記録媒体であってもよい。
通信インタフェース14は、外部の装置と通信するためのインタフェースである。通信インタフェース14は、具体例としては、Ethernet(登録商標)、USB(Universal Serial Bus)、HDMI(登録商標,High-Definition Multimedia Interface)のポートである。
ひび割れ検出装置10は、機能構成要素として、画像取得部21と、画像分類部22と、データ出力部23と、画像表示部24とを備える。ひび割れ検出装置10の各機能構成要素の機能はソフトウェアにより実現される。
ストレージ13には、ひび割れ検出装置10の各機能構成要素の機能を実現するプログラムが格納されている。このプログラムは、プロセッサ11によりメモリ12に読み込まれ、プロセッサ11によって実行される。これにより、ひび割れ検出装置10の各機能構成要素の機能が実現される。
図1では、プロセッサ11は、1つだけ示されていた。しかし、プロセッサ11は、複数であってもよく、複数のプロセッサ11が、各機能を実現するプログラムを連携して実行してもよい。
図2を参照して、路面に対して斜めの方向から路面を撮像する撮像装置30の構成を説明する。
撮像装置30は、移動体である車両31の上部に搭載されている。図2では、撮像装置30は、車両31の上部から、車両31の後方の路面32を撮像する。これにより、撮像装置30によって撮像されて得られた画像データは、路面32に対して斜めの方向から路面32が撮像されて画像データになる。
***動作の説明***
図3から図7を参照して、実施の形態1に係るひび割れ検出装置10の動作を説明する。
実施の形態1に係るひび割れ検出装置10の動作手順は、実施の形態1に係るひび割れ検出方法に相当する。また、実施の形態1に係るひび割れ検出装置10の動作を実現するプログラムは、実施の形態1に係るひび割れ検出プログラムに相当する。
(図3のステップS11:画像取得処理)
画像取得部21は、撮像装置30によって路面32に対して斜めの方向から路面32を撮像して得られた画像データを取得する。
(図3のステップS12:画像分類処理)
画像分類部22は、ステップS11で取得された画像データを、解像度が基準値よりも高い許容範囲と、解像度が前記基準値以下の非許容範囲とに分類する。
具体的には、図4に示すように、画像分類部22は、撮像装置30からの距離に応じて、画像データを許容範囲と非許容範囲とに分類する。撮像装置30からの距離が近いほど解像度は高くなり、撮像装置30からの距離が遠いほど解像度は低くなる。したがって、画像分類部22は、撮像装置30からの距離が近い一部の範囲を許容範囲に分類し、その他を非許容範囲に分類する。
図5に示すように、撮像装置30の設置の仕方によっては、画像データの一部に撮像装置30を搭載した車両31が映り込む。この場合には、車両31が映り込んだ範囲は、解像度は高いものの、路面32が映っていないため、路面32のひび割れの検出には利用できない。したがって、画像分類部22は、車両31が映り込んだ範囲についても非許容範囲に分類する。
路面32を規定サイズの矩形領域に分割し、各矩形領域に含まれるひび割れの数に基づき路面32の健全性を判定する場合がある。この場合には、図6に示すように、画像分類部22は、解像度が基準値よりも高く、かつ、車両31が映り込んでおらず、かつ、規定サイズの矩形領域を切り出し可能な範囲を許容範囲に分類し、その他を非許容範囲に分類する。
(図3のステップS13:データ出力処理)
データ出力部23は、ステップS12で許容範囲に分類された部分の画像データである許容データを路面32のひび割れを検出するためのデータとして出力する。実施の形態1では、データ出力部23は、許容データを画像表示部24に出力する。
(図3のステップS14:画像表示処理)
画像表示部24は、ステップS13で出力されたデータである許容データを表示装置に表示する。
路面32を規定サイズの矩形領域に分割し、各矩形領域に含まれるひび割れの数に基づき路面32の健全性を判定する場合には、図7に示すように、データ出力部23は、許容データに矩形領域の分割線33を示した上で表示する。
目視によりひび割れを検出する作業者は、ステップS14で表示された許容データから、ひび割れを検出する。
***実施の形態1の効果***
以上のように、実施の形態1に係るひび割れ検出装置10は、路面に対して斜めの方向から路面を撮像して得られた画像データのうち、解像度が基準値よりも高い許容範囲の部分の画像データを路面のひび割れを検出するためのデータとして表示する。
これにより、ひび割れの検出が困難な画像データに基づき、ひび割れの検出が行われることが防止される。つまり、実際にはひび割れがあっても、画像データではひび割れの有無が判別困難な画像データに基づき、ひび割れの検出が行われることが防止される。その結果、路面32のひび割れを適切に検出可能である。
***他の構成***
<変形例1>
実施の形態1では、目視によりひび割れの検出が行われた。しかし、画像データからひび割れを自動検出してもよい。この場合には、図8に示すように、ひび割れ検出装置10は、画像表示部24に代えてひび割れ検出部25を備える。ひび割れ検出部25は、ステップS13で出力されたデータである許容データを入力として、ひび割れを検出する。
ひび割れを自動検出する場合にも、実施の形態1と同様に、実際にはひび割れがあっても、画像データではひび割れの有無が判別困難な画像データに基づき、ひび割れの検出が行われることが防止される。その結果、路面のひび割れを適切に検出可能である。
<変形例2>
実施の形態1では、各機能構成要素がソフトウェアで実現された。しかし、変形例2として、各機能構成要素はハードウェアで実現されてもよい。この変形例2について、実施の形態1と異なる点を説明する。
図9を参照して、変形例2に係るひび割れ検出装置10の構成を説明する。
各機能構成要素がハードウェアで実現される場合には、ひび割れ検出装置10は、プロセッサ11とメモリ12とストレージ13とに代えて、電子回路15を備える。電子回路15は、各機能構成要素と、メモリ12と、ストレージ13との機能とを実現する専用の回路である。
電子回路15としては、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ロジックIC、GA(Gate Array)、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)が想定される。
各機能構成要素を1つの電子回路15で実現してもよいし、各機能構成要素を複数の電子回路15に分散させて実現してもよい。
<変形例3>
変形例3として、一部の各機能構成要素がハードウェアで実現され、他の各機能構成要素がソフトウェアで実現されてもよい。
プロセッサ11とメモリ12とストレージ13と電子回路15とを処理回路という。つまり、各機能構成要素の機能は、処理回路により実現される。
実施の形態2.
実施の形態2は、許容データから有効データを抽出し、有効データを路面32のひび割れを検出するためのデータとして出力する点が実施の形態1と異なる。実施の形態2では、この異なる点を説明し、同一の点については説明を省略する。
***構成の説明***
図10を参照して、実施の形態2に係るひび割れ検出装置10の構成を説明する。
ひび割れ検出装置10は、機能構成要素として、画像抽出部26を備える点が図1に示すひび割れ検出装置10と異なる。画像抽出部26は、他の機能構成要素と同様に、ソフトウェア又はハードウェアによって実現される。
***動作の説明***
図11から図13を参照して、実施の形態2に係るひび割れ検出装置10の動作を説明する。
実施の形態2に係るひび割れ検出装置10の動作手順は、実施の形態2に係るひび割れ検出方法に相当する。また、実施の形態2に係るひび割れ検出装置10の動作を実現するプログラムは、実施の形態2に係るひび割れ検出プログラムに相当する。
ステップS22の処理は、図3のステップS12の処理と同じである。ステップS25の処理は、図3のステップS14の処理と同じである。
(図11のステップS21:画像取得処理)
実施の形態2では、画像取得部21は、移動体である車両31に搭載された撮像装置30によって、車両31が道路を移動している際に繰り返し撮像されて得られた複数の画像データを取得する。
(図11のステップS23:画像抽出処理)
画像抽出部26は、繰り返し得られた複数の画像データそれぞれから得られる許容データから、他の許容データと重複する重複エリア34について解像度が高い許容データを残すことにより有効データを抽出する。
具体的には、図12に示すように、複数の画像データは、撮像間隔によっては重複する領域を撮像して得られる。そして、各画像データについての許容範囲についても重複している場合がある。この許容範囲が重複するエリアが重複エリア34である。許容範囲に分類された範囲であっても、撮像装置30に近いほど解像度が高い。そのため、重複エリア34については、先に取得された画像データにおける許容データの方が、後に取得された画像データにおける許容データよりも解像度が高い。そこで、画像抽出部26は、重複エリア34については、先に取得された画像データにおける許容データを残し、後に取得された画像データにおける許容データを削除する。そして、画像抽出部26は、残った許容データを有効データに設定する。
例えば、図13に示すように、画像データ1、画像データ2、画像データ3、画像データ4の順に画像データが取得されたとする。
このとき、画像データ1の許容データには、領域Aのデータ及び領域Bのデータが含まれている。また、画像データ2の許容データには、領域Bのデータ及び領域Cのデータが含まれている。つまり、領域Bは、重複エリア34である。画像データ1では、画像データ2よりも、領域Bは撮像装置30に近い。したがって、領域Bについては、先に取得された画像データ1の許容データを残し、画像データ2の許容データを削除する。
同様に、画像データ2の許容データには、領域Bのデータ及び領域Cのデータが含まれている。また、画像データ3の許容データには、領域Cのデータ及び領域Dのデータが含まれている。つまり、領域Cは、重複エリア34である。画像データ2では、画像データ3よりも、領域Cは撮像装置30に近い。したがって、領域Cについては、先に取得された画像データ2の許容データを残し、画像データ3の許容データを削除する。
同様に、画像データ3の許容データには、領域Cのデータ及び領域Dのデータが含まれている。また、画像データ4の許容データには、領域Dのデータ及び領域Eのデータが含まれている。つまり、領域Dは、重複エリア34である。画像データ3では、画像データ4よりも、領域Dは撮像装置30に近い。したがって、領域Dについては、先に取得された画像データ3の許容データを残し、画像データ4の許容データを削除する。
その結果、有効データとしては、画像データ1の許容データである領域Aのデータ及び領域Bのデータと、画像データ2の許容データである領域Cのデータと、画像データ3の許容データである領域Dのデータと、画像データ4の許容データである領域Eのデータとが含まれる。
なお、重複エリア34のうち一部分については、重複したままにしてもよい。図13の例であれば、画像データ2の許容データのうち、領域Cに近い領域Bの一部は削除せず残しておいてもよい。同様に、画像データ3の許容データのうち、領域Dに近い領域Cの一部は削除せず残しておいてもよい。同様に、画像データ4の許容データのうち、領域Eに近い領域Dの一部は削除せず残しておいてもよい。これにより、各画像データの有効データは、前後の画像データの有効データと少しだけ重複する状態になる。
(図11のステップS24:データ出力処理)
データ出力部23は、ステップS23で抽出された有効データを路面のひび割れを検出するためのデータとして出力する。
***実施の形態2の効果***
以上のように、実施の形態2に係るひび割れ検出装置10は、複数の画像データそれぞれから得られる許容データから、他の許容データと重複する重複エリア34について解像度が高い許容データを残すことにより有効データを抽出する。そして、ひび割れ検出装置10は、有効データを路面32のひび割れを検出するためのデータとして出力する。
これにより、実施の形態1に比べ、より解像度が高い画像データからひび割れを検出できる。その結果、路面32のひび割れを適切に検出可能である。
***他の構成***
<変形例4>
変形例1と同様に、目視によりひび割れの検出を行うのではなく、画像データからひび割れを自動検出してもよい。
<変形例5>
図11のステップS25では、画像表示部24は、ステップS24で出力されたデータである有効データを表示する。この際、画像表示部24は、図14に示すように、複数の画像データそれぞれから抽出された有効データを、複数の画像データが得られた順に並べて一度に表示してもよい。
目視によりひび割れの検出を行う場合には、一度に広範囲の画像データを確認できるため、効率的にひび割れを検出することが可能である。
<変形例6>
撮像装置30は、撮像可能な撮像領域のうち、解像度が基準値よりも高いデータが得られる部分領域であって、撮像装置30からの距離が基準範囲である部分領域だけを撮像してもよい。つまり、撮像装置30は、撮像領域のうち、有効データとして抽出される領域だけを撮像してもよい。
実施の形態2では、撮像装置30が撮像可能な撮像領域全体を撮像し、得られた画像データから有効データを抽出することを想定した。しかし、一定の距離だけ車両31が移動する度に撮像装置30のシャッターが切られる場合、又は、車両31が一定速度で移動しており、一定時間毎にシャッターが切られる場合には、撮像領域全体を撮像して得られた画像データから有効データとして抽出される領域は事前に特定可能である。また、撮像装置30には、撮像領域のうち指定された領域だけを撮像する機能を有する装置がある。そこで、事前に有効データとして抽出される領域を指定しておき、撮像装置30は、有効データとして抽出される領域だけを撮像する。
例えば、60km/h(キロメートル/時間)で車両31が移動し、撮像装置30が68FPS(Frames Per Second)で撮像するとする。この場合には、理論的には車両31の進行方向に25cm(センチメートル)幅だけ撮像すればよい。
但し、車両31の移動速度が多少変化する場合等を考慮して、少し余裕をもった幅を撮像するようにしてもよい。例えば、2倍の幅である50cm幅だけ撮像してもよい。
このように、撮像する領域を絞ることにより、無駄な画像データを記憶する必要がなくなる。そのため、画像データのデータサイズを小さくなる。
画像データを記憶装置に書き込む速度が限界に達しているために、1秒間に取得可能な画像データの数が制限されている場合がある。この場合には、画像データのサイズが小さくなることで、1秒間に取得する画像データの数を増やすことができる。1秒間に取得する画像データの数を増やせば、各画像データからはより撮像装置30に近い部分だけが有効データとして抽出されることになる。その結果、より解像度が高い画像データからひび割れを検出することが可能になる。
実施の形態3.
実施の形態3は、撮像装置30のシャッタースピードと、車両31の移動速度とに基づき、検出するひび割れ幅の下限値である判定幅を設定する点が実施の形態1,2と異なる。実施の形態3では、この異なる点を説明し、同一の点については説明を省略する。
実施の形態3では、実施の形態1に機能を加えた場合を説明する。しかし、実施の形態2に機能を加えることも可能である。
***構成の説明***
図15を参照して、実施の形態3に係るひび割れ検出装置10の構成を説明する。
ひび割れ検出装置10は、機能構成要素として、幅設定部27と、参照情報表示部28とを備える点が図1に示すひび割れ検出装置10と異なる。幅設定部27と、参照情報表示部28とは、他の機能構成要素と同様に、ソフトウェア又はハードウェアによって実現される。
***動作の説明***
図16及び図17を参照して、実施の形態3に係るひび割れ検出装置10の動作を説明する。
実施の形態3に係るひび割れ検出装置10の動作手順は、実施の形態3に係るひび割れ検出方法に相当する。また、実施の形態3に係るひび割れ検出装置10の動作を実現するプログラムは、実施の形態3に係るひび割れ検出プログラムに相当する。
ステップS31からステップS33の処理は、図3のステップS11からステップS13の処理と同じである。
(図16のステップS34:幅設定処理)
幅設定部27は、ステップS31で取得された画像データを取得した際の、撮像装置30のシャッタースピードと、車両31の移動速度とを示す情報を取得する。具体的には、撮像装置30が撮像した画像データを記憶する際、シャッタースピードと、車両31の速度とを合わせて記憶する。幅設定部27は、画像データとともに記憶されたシャッタースピードと、車両31の速度とを示す情報を読み出す。
幅設定部27は、取得された情報が示すシャッタースピードと移動速度とに応じて、検出するひび割れ幅の下限値である判定幅を設定する。
車両31が移動しながら撮像装置30が撮像する場合、シャッタースピードの分だけ画像が進行方向に伸びてしまう。そのため、路面32にひび割れがある場合には、ひび割れも進行方向に伸びてしまう
例えば、60km/hで車両31が移動し、撮像装置30がシャッタースピード0.05msec(ミリ秒)で撮像するとする。この場合には、シャッター開口時に車両31は0.83mm(ミリメートル)進む。したがって、ひび割れ幅は、車両31の進行方向に0.83mm伸びてしまう。例えば、1mm幅のひび割れは、1.83mm幅のひび割れとして画像データには示される。
そこで、幅設定部27は、伸びてしまう分の幅を考慮して、ひび割れ幅の下限値である判定幅を設定する。
例えば、60km/hで車両31が移動し、撮像装置30がシャッタースピード0.05msec(ミリ秒)で撮像するとする。また、1mm以上の幅のひび割れを検出するとする。この場合には、判定幅を1.83mmにする。
(図16のステップS35:画像表示処理)
画像表示部24は、ステップS33で出力されたデータを表示する。この際、参照情報表示部28は、ステップS34で設定された判定幅を示す参考情報を表示する。
具体例としては、図17に示すように、参照情報表示部28は、ステップS33で出力されたデータの付近に、判定幅の線35を参考情報として表示する。図17では、車両31の進行方向に平行な線35Aと、進行方向に垂直な線35Bとが示されている。線35Aと線35Bとは幅が異なる。これは、判定幅は車両31の進行方向に伸びているため、線35Bの幅は伸びているが線35Aの幅は伸びていないためである。
***実施の形態3の効果***
以上のように、実施の形態3に係るひび割れ検出装置10は、撮像装置30のシャッタースピードと、車両31の移動速度とに基づき、判定幅を設定する。これにより、適切な判定幅が設定される。その結果、路面32のひび割れを適切に検出可能である。
***他の構成***
<変形例7>
変形例1と同様に、目視によりひび割れの検出を行うのではなく、画像データからひび割れを自動検出してもよい。この場合には、ひび割れ検出部25は、データ出力部23によって出力されたデータから、判定幅よりも幅が広いひび割れを検出すればよい。
なお、判定幅は車両31の進行方向に伸びるので、ひび割れの方向に応じた判定幅に基づきひび割れを検出する必要がある。
実施の形態4.
実施の形態4は、画像データにおける位置に応じて、検出するひび割れ幅の下限値である判定幅を設定する点が実施の形態3と異なる。実施の形態4では、この異なる点を説明して、同一の点については説明を省略する。
実施の形態4では、実施の形態1に対して実施の形態3の機能が追加された構成に対して、さらに機能を追加する場合を説明する。しかし、実施の形態2に対して実施の形態3の機能が追加された構成に対して、さらに機能を追加することも可能である。
***動作の説明***
図18及び図19を参照して、実施の形態4に係るひび割れ検出装置10の動作を説明する。
実施の形態4に係るひび割れ検出装置10の動作手順は、実施の形態4に係るひび割れ検出方法に相当する。また、実施の形態4に係るひび割れ検出装置10の動作を実現するプログラムは、実施の形態4に係るひび割れ検出プログラムに相当する。
ステップS41からステップS43の処理は、図16のステップS31からステップS33の処理と同じである。
(図18のステップS44:第1幅設定処理)
幅設定部27は、画像データにおける位置に応じて、検出するひび割れ幅の下限値である判定幅を設定する。
具体的には、幅設定部27は、ステップS43で出力されたデータである許容データを分割して得られる領域毎に、その領域の位置に応じて判定幅を設定する。斜めから撮像して得られた画像データでは、位置によって解像度が異なり、同じ幅のひび割れでも画像データでは位置によって異なる幅で表されている。つまり、同じ幅のひび割れでも画像データでは位置によって異なる画素数で表される。具体的には、同じ幅のひび割れでも、撮像装置30から離れた位置ほど狭い幅で表される。そこで、幅設定部27は、撮像装置30から離れた位置ほど判定幅を狭く設定する。
例えば、0.5mm/画素で撮像された画像データから1mm以上の幅のひび割れを検出する場合には、2画素以上の幅のひびを検出すればよい。しかし、斜めから撮像して得られた画像データでは、位置によって解像度が異なり、撮像装置30の付近では、0.25mm/画素であるのに対して、撮像装置30から遠い位置では、1mm/画素となる場合がある。この場合には、1mm以上の幅のひび割れを検出するには、撮像装置30の付近では、4画素以上の幅のひび割れを検出し、撮像装置30から遠い位置では、1画素以上の幅のひび割れを検出すればよい。つまり、幅設定部27は、撮像装置30の付近については、判定幅を4画素とし、撮像装置30から遠い位置については、判定幅を1画素とする。
(図18のステップS45:第2幅設定処理)
幅設定部27は、ステップS44で設定された判定幅を、シャッタースピードと移動速度とに応じて変更する。つまり、幅設定部27は、ステップS44で設定された判定幅を、シャッタースピードと移動速度とに応じて進行方向に伸ばす。
(図18のステップS46:画像表示処理)
画像表示部24は、ステップS43で出力されたデータを表示する。この際、参照情報表示部28は、ステップS45で設定された判定幅を示す参考情報を表示する。
具体例としては、図19に示すように、参照情報表示部28は、ステップS43で出力されたデータの付近に、位置毎の判定幅の線35を参考情報として表示する。図19では、ステップS43で出力されたデータである許容データが複数の矩形領域に分割されている。そして、各矩形領域について、撮像装置30からの距離に応じて判定幅が設定され、撮像装置30からの距離毎に判定幅の線35が参考情報として表示されている。
***実施の形態4の効果***
以上のように、実施の形態4に係るひび割れ検出装置10は、画像データにおける位置に応じて、検出するひび割れ幅の下限値である判定幅を設定する。これにより、適切な判定幅が設定される。その結果、路面32のひび割れを適切に検出可能である。
なお、オルソ画像では、どの位置であっても同じ幅のひび割れは同じ幅で表される。したがって、斜めから撮像して得られた画像データを用いてひび割れを検出する場合に、実施の形態4で説明した方法は有効である。
***他の構成***
<変形例8>
実施の形態4では、実施の形態3で説明したシャッタースピードと移動速度とに応じて判定幅を設定する技術も用いた。しかし、シャッタースピードと移動速度とに応じて判定幅を設定する技術を用いず、単に位置に基づき判定幅を設定するだけでもよい。
この場合には、判定幅の正確性が悪くなる。しかし、画像データ全体について同じ判定幅を用いる場合に比べると、判定幅の正確性は高い。
実施の形態5.
実施の形態5では、撮像装置30の構成を説明する。実施の形態5では、実施の形態1~4と異なる点を説明し、同一の点については説明を省略する。
***構成の説明***
図20から図23を参照して、実施の形態5に係る撮像装置30の構成を説明する。
図20に示すように、実施の形態5では、撮像装置30は、車両31の前方を撮像する既存の計測ユニット40に取り付けられる構成である。具体的には、計測ユニット40に搭載された部品41を取り外して、撮像装置30の取付板42(図21参照)を計測ユニット40に置き、部品41を取付板42の上から計測ユニット40に取り付ける。これにより、撮像装置30の取付板42が計測ユニット40に取り付けられる。実施の形態5では、撮像装置30は、2台のカメラから構成されている。
図21に示すように、撮像装置30は、鉛直方向及び水平方向に撮像方向を移動できるようになっている。そのため、図22に示すように、2台のカメラを斜め下向きにし、道路全体が撮像されるように、2台のカメラをそれぞれ少し外側に向ける。これにより、道路の路面32全体が撮像される。また、図23に示すように、2台のカメラを水平に向ける。これにより、車両31の後方を撮像することができる。
このように、鉛直方向及び水平方向に撮像方向を移動できるため、撮像装置30を路面32を撮像するためだけでなく、車両31の周囲を撮像するためにも用いることが可能である。そのため、撮像装置30を路面32を撮像するための専用装置とする必要がない。
以上のように、本開示に係るひび割れ検出装置10は、路面に対して斜めの方向から路面を撮像して得られた画像データを用いて、路面32のひび割れを適切に検出可能である。そのため、画像データをオルソ変換する必要がない。
斜めから撮像して得られた画像データをオルソ画像に変換するには複雑な演算が必要になる。また、ひび割れを検出する際には、解像度の高い画像データを用いる必要がある。そのため、路面を撮像して得られた大量の、解像度の高い画像データをオルソ画像に変換するには、長い処理時間が必要になってしまう。しかし、本開示に係るひび割れ検出装置10を用いることにより、ひび割れを検出するための処理時間を短くすることが可能である。
以上、本開示の実施の形態及び変形例について説明した。これらの実施の形態及び変形例のうち、いくつかを組み合わせて実施してもよい。また、いずれか1つ又はいくつかを部分的に実施してもよい。なお、本開示は、以上の実施の形態及び変形例に限定されるものではなく、必要に応じて種々の変更が可能である。
10 ひび割れ検出装置、11 プロセッサ、12 メモリ、13 ストレージ、14 通信インタフェース、15 電子回路、21 画像取得部、22 画像分類部、23 データ出力部、24 画像表示部、25 ひび割れ検出部、26 画像抽出部、27 幅設定部、28 参照情報表示部、30 撮像装置、31 車両、32 路面、33 分割線、34 重複エリア、35 線、40 計測ユニット、41 部品、42 取付板。

Claims (11)

  1. 移動体に搭載された撮像装置により路面に対して斜めの方向から前記路面を撮像して得られた画像データを取得する画像取得部と、
    前記画像取得部によって取得された前記画像データを、解像度が基準値よりも高い許容範囲と、改造度が前記基準値以下の非許容範囲とに分類する画像分類部と、
    前記画像分類部によって前記許容範囲に分類された部分の画像データである許容データを前記路面のひび割れを検出するためのデータとして出力するデータ出力部と
    前記撮像装置のシャッタースピードと、前記移動体の移動速度とに応じて、検出するひび割れ幅の下限値である判定幅を設定する幅設定部と
    を備えるひび割れ検出装置。
  2. 前記画像分類部は、前記画像データのうち車両が映り込んだ範囲については前記非許容範囲に分類する
    請求項1に記載のひび割れ検出装置。
  3. 前記画像データは、前記撮像装置によって、前記移動体が移動しながら繰り返し得られ、
    前記ひび割れ検出装置は、さらに、
    繰り返し得られた複数の画像データそれぞれから得られる許容データから、他の許容データと重複する重複エリアについて解像度が高い許容データを残すことにより有効データを抽出する画像抽出部
    を備え、
    前記データ出力部は、前記画像抽出部によって抽出された前記有効データを前記路面のひび割れを検出するためのデータとして出力する
    請求項1又は2に記載のひび割れ検出装置。
  4. 前記ひび割れ検出装置は、さらに、
    前記データ出力部によって出力されたデータを表示装置に表示する画像表示部
    を備える請求項3に記載のひび割れ検出装置。
  5. 前記画像表示部は、前記複数の画像データそれぞれから抽出された前記有効データを、前記複数の画像データから得られた順に並べて一度に表示する
    請求項4に記載のひび割れ検出装置。
  6. 前記幅設定部は、前記画像データにおける位置に応じて、前記判定幅を設定する請求項1から5のいずれか1項に記載のひび割れ検出装置。
  7. 前記ひび割れ検出装置は、さらに、
    前記幅設定部によって設定された前記判定幅を示す参考情報を表示する参照情報表示部を備える請求項1から6までのいずれか1項に記載のひび割れ検出装置。
  8. 前記ひび割れ検出装置は、さらに、
    前記データ出力部によって出力されたデータから、前記判定幅よりも幅が広いひび割れを検出するひび割れ検出部
    を備える請求項からまでのいずれか1項に記載のひび割れ検出装置。
  9. 前記画像データは、前記撮像装置が撮像可能な撮像領域のうち、解像度が基準値よりも高いデータが得られる部分領域であって、前記撮像装置からの距離が基準範囲である部分領域だけが撮像されて得られた
    請求項1からまでのいずれか1項に記載のひび割れ検出装置。
  10. 画像取得部が、移動体に搭載された撮像装置により路面に対して斜めの方向から前記路面を撮像して得られた画像データを取得し、
    画像分類部が、前記画像データを、解像度が基準値よりも高い許容範囲と、解像度が前記基準値以下の非許容範囲とに分類し、
    データ出力部が、前記許容範囲に分類された部分の画像データである許容データを前記路面のひび割れを検出するためのデータとして出力し、
    幅設定部が、前記撮像装置のシャッタースピードと、前記移動体の移動速度とに応じて、検出するひび割れ幅の下限値である判定幅を設定するひび割れ検出方法。
  11. 移動体に搭載された撮像装置により路面に対して斜めの方向から前記路面を撮像して得られた画像データを取得する画像取得処理と、
    前記画像取得処理によって取得された前記画像データを、解像度が基準値よりも高い許容範囲と、解像度が前記基準値以下の非許容範囲とに分類する画像分類処理と、
    前記画像分類処理によって前記許容範囲に分類された部分の画像データである許容データを前記路面のひび割れを検出するためのデータとして出力するデータ出力処理と、
    前記撮像装置のシャッタースピードと、前記移動体の移動速度とに応じて、検出するひび割れ幅の下限値である判定幅の設定をする幅設定処理と
    を行うひび割れ検出装置としてコンピュータを機能させるひび割れ検出プログラム。
JP2022504856A 2020-03-04 2020-03-04 ひび割れ検出装置、ひび割れ検出方法及びひび割れ検出プログラム Active JP7204988B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/009246 WO2021176613A1 (ja) 2020-03-04 2020-03-04 ひび割れ検出装置、ひび割れ検出方法及びひび割れ検出プログラム

Publications (3)

Publication Number Publication Date
JPWO2021176613A1 JPWO2021176613A1 (ja) 2021-09-10
JPWO2021176613A5 JPWO2021176613A5 (ja) 2022-05-18
JP7204988B2 true JP7204988B2 (ja) 2023-01-16

Family

ID=77613158

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022504856A Active JP7204988B2 (ja) 2020-03-04 2020-03-04 ひび割れ検出装置、ひび割れ検出方法及びひび割れ検出プログラム

Country Status (3)

Country Link
US (1) US20230051683A1 (ja)
JP (1) JP7204988B2 (ja)
WO (1) WO2021176613A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117517175B (zh) * 2024-01-02 2024-03-12 中交基础设施养护集团工程有限公司 一种路面渗水性能检测装置及检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013140448A (ja) 2011-12-28 2013-07-18 Fujitsu Ltd 路面調査プログラム及び路面調査装置
JP2016218762A (ja) 2015-05-20 2016-12-22 株式会社東芝 画像処理装置、方法及びプログラム
JP2018018461A (ja) 2016-07-29 2018-02-01 エヌ・ティ・ティ・コムウェア株式会社 情報処理装置、表示装置、情報処理方法、及びプログラム
JP2019191095A (ja) 2018-04-27 2019-10-31 福田道路株式会社 舗装損傷診断システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013140448A (ja) 2011-12-28 2013-07-18 Fujitsu Ltd 路面調査プログラム及び路面調査装置
JP2016218762A (ja) 2015-05-20 2016-12-22 株式会社東芝 画像処理装置、方法及びプログラム
JP2018018461A (ja) 2016-07-29 2018-02-01 エヌ・ティ・ティ・コムウェア株式会社 情報処理装置、表示装置、情報処理方法、及びプログラム
JP2019191095A (ja) 2018-04-27 2019-10-31 福田道路株式会社 舗装損傷診断システム

Also Published As

Publication number Publication date
US20230051683A1 (en) 2023-02-16
JPWO2021176613A1 (ja) 2021-09-10
WO2021176613A1 (ja) 2021-09-10

Similar Documents

Publication Publication Date Title
US9846823B2 (en) Traffic lane boundary line extraction apparatus and method of extracting traffic lane boundary line
JP5943084B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
CN100419373C (zh) 用于检测位于铁路车辆的集电弓周围的障碍的装置和方法
JP7204988B2 (ja) ひび割れ検出装置、ひび割れ検出方法及びひび割れ検出プログラム
US9094617B2 (en) Methods and systems for real-time image-capture feedback
WO2012014972A1 (ja) 車両挙動解析装置及び車両挙動解析プログラム
US11688173B2 (en) Road shape determination method
CN109479118A (zh) 对象检测方法、对象检测装置以及电子设备
JP6932758B2 (ja) 物体検出装置、物体検出方法、物体検出プログラム、学習装置、学習方法及び学習プログラム
JP2010066186A (ja) 検査装置および検査方法
JP3244850B2 (ja) ナンバープレート読み取り装置
TWI658431B (zh) 影像處理方法、影像處理裝置及電腦可讀取記錄媒體
JP7237671B2 (ja) 画像処理装置、および、画像処理方法
KR101585326B1 (ko) 선별된 프레임을 고해상도로 저장하는 비디오 레코딩 시스템 및 동작 방법
CN113469970A (zh) 一种涡激振动监测方法、系统、设备及存储介质
JP7185740B1 (ja) 領域特定装置、領域特定方法及び領域特定プログラム
KR100902389B1 (ko) 진동 측정 시스템, 진동 측정 방법, 진동 측정 프로그램을기록한 컴퓨터로 읽을 수 있는 매체
JP6877501B2 (ja) 滞留検知装置、滞留検知方法及び滞留検知プログラム
JP2022185883A (ja) 情報処理装置、情報処理方法及びプログラム
JP2814315B2 (ja) 車両動態計測装置
TWI841054B (zh) 道路散落物警報系統及方法
WO2024116509A1 (ja) 物体検出装置、物体検出方法及びプログラム
TW202422501A (zh) 道路散落物警報系統及方法
JPH09191390A (ja) 画像処理装置及びその方法
JPH0129643Y2 (ja)

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220228

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221004

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221122

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221228

R150 Certificate of patent or registration of utility model

Ref document number: 7204988

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150