JP7348575B2 - 劣化検出装置、劣化検出システム、劣化検出方法、およびプログラム - Google Patents

劣化検出装置、劣化検出システム、劣化検出方法、およびプログラム Download PDF

Info

Publication number
JP7348575B2
JP7348575B2 JP2022507931A JP2022507931A JP7348575B2 JP 7348575 B2 JP7348575 B2 JP 7348575B2 JP 2022507931 A JP2022507931 A JP 2022507931A JP 2022507931 A JP2022507931 A JP 2022507931A JP 7348575 B2 JP7348575 B2 JP 7348575B2
Authority
JP
Japan
Prior art keywords
area
equipment
score
rectangular
rectangular area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022507931A
Other languages
English (en)
Other versions
JPWO2021186640A1 (ja
Inventor
勇臣 濱野
大輔 内堀
一旭 渡邉
雅史 中川
淳 荒武
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Publication of JPWO2021186640A1 publication Critical patent/JPWO2021186640A1/ja
Application granted granted Critical
Publication of JP7348575B2 publication Critical patent/JP7348575B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30136—Metal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30184—Infrastructure

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)

Description

特許法第３０条第２項適用 ２０１９年８月１日付で、濱野勇臣、内堀大輔、中川雅史、柳秀一が、土木学会全国大会 第７４回年次学術講演会 講演概要集にて、濱野勇臣、内堀大輔、渡邉一旭、中川雅史、荒武淳が発明した「劣化検出装置、劣化検出システム、劣化検出方法、およびプログラム」に関する技術について公開。
本開示は、劣化検出装置、劣化検出システム、劣化検出方法、およびプログラムに関する。
屋外に設置される橋梁などの構造物における側面又は裏面には、液体、気体、通信ケーブルなどを通過させる目的で、管路などのインフラ設備が添架されている。インフラ設備を保有している企業又は自治体は、管路又は管路を橋梁に添架するための添架部材の点検を定期的に実施しており、それらに発生した錆などの劣化を確認している。
従来、上述の構造物に点検用の足場などを設置し、作業者が設備に近づいて設備を点検する近接目視による点検が行われていた。しかし、近接目視による点検は、足場を設置するためのコストがかかること、高所作業に伴う作業者の安全性を確保し難いことなどが懸念されていた。そこで、近年では、無人飛行機が設備を撮影し、画像処理技術を用いて、撮影画像に基づいて設備の劣化を効率的に検出する点検方法が提案されている。例えば、非特許文献１には、深層学習による画像分類手法（ＣＮＮ：Convolution Neural Network）を用いて、撮影画像を矩形領域に分割し、分割された矩形領域のそれぞれにおける劣化の有無を自動的に判定する技術が開示されている。
田畑佑, 他５名,「ＵＡＶ撮影と深層学習を用いた橋梁損傷の自動検知に関する検証」,土木学会論文集, F4, Vol.74, No.2, I_62-I_74, 2018年
しかしながら、無人飛行機が設備を撮影した撮影画像には、木、河川、車両、歩行者、標識、道路、建物などのような点検対象である設備以外の要素が写り込んでしまう。このため、従来の技術では、このような撮影画像に基づいて対象設備に着目した劣化を高精度に検出することは困難であるという問題があった。
かかる事情に鑑みてなされた本開示の目的は、撮影画像に基づいて設備の劣化を高精度に検出することが可能な劣化検出装置、劣化検出システム、劣化検出方法、およびプログラムを提供することにある。
一実施形態に係る劣化検出装置は、構造物に添架された設備の劣化を検出する劣化検出装置であって、前記設備の撮影画像に基づいて、前記設備の存在領域を抽出する設備領域抽出部と、前記存在領域に基づいて、前記設備の劣化領域を検出する劣化領域検出部と、を備えることを特徴とする。
一実施形態に係る劣化検出システムは、構造物に添架された設備の劣化を検出する劣化検出システムであって、上記劣化検出装置と、前記設備を撮影する撮影装置と、前記劣化領域を記憶するサーバ装置と、を備えることを特徴とする。
一実施形態に係る劣化検出方法は、構造物に添架された設備の劣化を検出する劣化検出方法であって、前記設備を撮影するステップと、撮影画像に基づいて、前記設備の存在領域を抽出し、該存在領域に基づいて、前記設備の劣化領域を検出するステップと、前記劣化領域を記憶するステップと、を含むことを特徴とする。
一実施形態係るプログラムは、コンピュータを、劣化検出装置として機能させることを特徴とする。
本開示によれば、撮影画像に基づいて設備の劣化を高精度に検出することが可能な劣化検出装置、劣化検出システム、劣化検出方法、およびプログラムを提供することが可能となる。
本実施形態に係る劣化検出システムの構成の一例を示す図である。 本実施形態に係る劣化検出装置の構成の一例を示すブロック図である。 本実施形態に係る矩形領域分割部の処理の一例を説明するための図である。 本実施形態に係る矩形領域ずらし部の処理の一例を説明するための図である。 本実施形態に係る矩形領域ずらし部の処理の一例を説明するための図である。 本実施形態に係るスコア計算部の処理の一例を説明するための図である。 本実施形態に係るスコア計算部の処理の一例を説明するための図である。 本実施形態に係るスコア計算部の処理の一例を説明するための図である。 本実施形態に係る劣化検出方法の一例を示すフローチャートである。 実施例および比較例に係る判定精度の一例を示す図である。 実施例に係る検出精度の一例を示す図である。 比較例に係る検出精度の一例を示す図である。
以下、本発明を実施するための形態について、図面を参照しながら詳細に説明する。
＜劣化検出システムの構成＞
図１を参照して、本実施形態に係る劣化検出システム１の構成の一例について説明する。
劣化検出システム１は、深層学習を用いて、構造物２に添架された設備３の撮影画像（動画像、静止画像）に基づいて、設備３の劣化Ｖを検出するシステムである。構造物２としては、例えば、橋梁などが挙げられる。設備３としては、例えば、管路、管路を橋梁に添架するための添架部材などが挙げられる。
図１に示すように、劣化検出システム１は、撮影装置１００と、劣化検出装置２００と、サーバ装置３００と、を備える。撮影装置１００、劣化検出装置２００、および、サーバ装置３００は、それぞれ、有線または無線により通信可能に接続されている。各装置間で情報を送受信するための通信方法は、特に限定されない。
撮影装置１００は、例えば、無人航空機、望遠カメラなどである。撮影装置１００は、設備３を撮影する。撮影装置１００は、設備３を光学的に撮影する機能を有する装置であればよく、その構成は、特に限定されない。撮影装置１００は、撮影画像の画像データを、劣化検出装置２００へ送信する。なお、撮影画像には、設備３のみならず、木、河川、車両、歩行者、標識、道路、建物などのような点検対象である設備３以外の要素も写り込んでいる。
劣化検出装置２００は、例えば、作業者Ｕが使用するスマートフォンなどの携帯電話、タブレット端末、ノートＰＣ（personal computer）などである。劣化検出装置２００は、撮影装置１００から、撮影画像の画像データを受信する。詳細は後述するが、劣化検出装置２００は、撮影画像に基づいて、設備３の存在領域を抽出し、設備３の存在領域に基づいて、設備３の劣化領域を検出する。劣化検出装置２００は、設備３の劣化領域の検出データを、ネットワークを介してサーバ装置３００へ送信する。
サーバ装置３００は、劣化検出装置２００から、ネットワークを介して設備３の劣化領域の検出データを受信する。サーバ装置３００は、設備３の劣化領域の検出データを記憶する。
＜劣化検出装置＞
図２乃至図５Ｃを参照して、本実施形態に係る劣化検出装置２００の構成の一例について説明する。
図２に示すように、劣化検出装置２００は、入力部２１０と、制御部２２０と、記憶部２３０と、出力部２４０と、通信部２５０と、を備える。制御部２２０は、設備領域抽出部２２１と、劣化領域検出部２２２と、を備える。設備領域抽出部２２１は、矩形領域分割部２２１１と、矩形領域ずらし部２２１２と、スコア算出部２２１３と、判定部２２１４と、を備える。
入力部２１０は、各種情報の入力を受け付ける。入力部２１０は、作業者Ｕによる所定の操作が可能であればどのようなデバイスでもよく、例えば、マイク、タッチパネル、キーボード、マウスなどである。例えば、作業者Ｕが、入力部２１０を用いて所定の操作を行うことで、撮影装置１００が設備３を撮影した撮影画像の画像データが、設備領域抽出部２２１に入力される。入力部２１０は、劣化検出装置２００と一体化されていてもよいし、別々に設けられていてもよい。
制御部２２０は、専用のハードウェアによって構成されてもよいし、汎用のプロセッサ又は特定の処理に特化したプロセッサによって構成されてもよい。
設備領域抽出部２２１は、入力部２１０により入力された撮影画像の画像データに基づいて、深層学習の１つの手法であるＣＮＮによる画像分類手法を用いて、設備３の存在領域を抽出する。モデルとしては、例えば、ＶＧＧ１６などが挙げられるが、これに限定されない。設備領域抽出部２２１は、設備３の存在領域の抽出データを、劣化領域検出部２２２へ出力する。
ＶＧＧ１６の詳細については、例えば、下記の文献を参照することができる。
Karen Simonyan, Andrew Zisserman (2014), Very Deep Convolutional Networks for Large-Scale Image Recognition, arXiv:1409.1556 [cs. CV].
設備領域抽出部２２１の詳細について説明する。
矩形領域分割部２２１１は、例えば、図３に示すように、撮影画像Ｉを、複数の矩形領域Ｒに分割する。撮影画像Ｉのサイズは、例えば、縦：Ｈ（ｐｉｘｅｌ）、横：Ｗ（ｐｉｘｅｌ）のように表せる。矩形領域Ｒのサイズは、例えば、縦：ｈ（ｐｉｘｅｌ）、横：ｗ（ｐｉｘｅｌ）のように表せる。
具体的には、矩形領域分割部２２１１は、撮影画像Ｉにおいて、矩形領域Ｒを、ｘ方向にＡ（＝Ｗ／ｗ：定数）回、ｙ方向にＢ（＝Ｈ／ｈ：定数）回、移動させながら切り取ることで、撮影画像Ｉを、Ａ×Ｂ（＝（Ｗ／ｗ）×（Ｈ／ｈ））個の矩形領域Ｒに分割する。例えば、矩形領域分割部２２１１は、撮影画像Ｉにおいて、矩形領域Ｒを、ｘ方向に８回、ｙ方向に６回、移動させながら切り取ることで、撮影画像Ｉを、４８（＝８×６）個の矩形領域Ｒに分割する。なお、矩形領域Ｒのサイズ（縦：ｈ、横：ｗ）、矩形領域Ｒの個数（Ａ×Ｂ）などは、任意に設定されてよい。
矩形領域ずらし部２２１２は、例えば、図４Ａおよび図４Ｂに示すように、撮影画像Ｉに含まれる複数の矩形領域Ｒのそれぞれを、ｘｙ（２次元）方向に、一部領域を重ねながらずらすことで、矩形領域Ｒに対応するずらし矩形領域Ｒ’を生成する。これにより、矩形領域Ｒとずらし矩形領域Ｒ’とが重複する重複領域Ｘが生成される。ずらし矩形領域Ｒ’の個数は、単数であっても複数であっても構わない。ずらし矩形領域Ｒ’の個数が多い程、後述するスコア算出部２２１３における算出負荷は大きくなるが、矩形領域ずらし部２２１２が適切な位置に適切な個数のずらし矩形領域Ｒ’を生成することで、スコア算出部２２１３における算出精度、判定部２２１４における判定精度、劣化領域検出部２２２における検出精度などを高めることが可能である。
以下、本明細書において、「１／２ずらし」とは、矩形領域Ｒを、ｘ方向に所定回数、ｗ／２ずらすこと、あるいは、矩形領域Ｒを、ｙ方向に所定回数、ｈ／２ずらすこと（図４Ａの白抜き矢印参照）を意味するものとする。また、「１／３ずらし」とは、矩形領域Ｒを、ｘ方向に所定回数、ｗ／３ずらすこと、あるいは、矩形領域Ｒを、ｙ方向に所定回数、ｈ／３ずらすこと（図４Ｂの白抜き矢印参照）を意味するものとする。また、「１／ｎ（ｎは、２以上の整数）ずらし」とは、矩形領域Ｒを、ｘ方向に所定回数、ｗ／ｎずらすこと、あるいは、矩形領域Ｒを、ｙ方向に所定回数、ｈ／ｎずらすことを意味するものとする。
例えば、図４Ａに示すように、矩形領域ずらし部２２１２は、矩形領域Ｒを、ｘ方向に１回、ｗ／２ずらして、ずらし矩形領域Ｒ’１（１／２）を生成する。また、矩形領域ずらし部２２１２は、矩形領域Ｒを、ｙ方向に１回、ｈ／２ずらして、ずらし矩形領域Ｒ’２（１／２）を生成する。また、矩形領域ずらし部２２１２は、矩形領域Ｒを、ｘ方向に１回、ｗ／２ずらして、且つ、ｙ方向に１回、ｈ／２ずらして、ずらし矩形領域Ｒ’３（１／２）を生成する。
この際、矩形領域Ｒ、ずらし矩形領域Ｒ’１（１／２）、ずらし矩形領域Ｒ’２（１／２）、および、矩形領域Ｒ’３（１／２）が重複する重複領域Ｘ（１／２）が生成される。重複領域Ｘ（１／２）のサイズは、例えば、縦：ｈ／２（ｐｉｘｅｌ）、横：ｗ／２（ｐｉｘｅｌ）のように表せる。
例えば、図４Ｂに示すように、矩形領域ずらし部２２１２は、矩形領域Ｒを、ｘ方向に１回、ｗ／３ずらして、ずらし矩形領域Ｒ’１（１／３）を生成する。また、矩形領域ずらし部２２１２は、矩形領域Ｒを、ｘ方向に２回、ｗ／３ずらして、ずらし矩形領域Ｒ’２（１／３）を生成する。また、矩形領域ずらし部２２１２は、矩形領域Ｒを、ｙ方向に１回、ｈ／３ずらして、ずらし矩形領域Ｒ’３（１／３）を生成する。また、矩形領域ずらし部２２１２は、矩形領域Ｒを、ｘ方向に１回、ｗ／３ずらして、且つ、ｙ方向に１回、ｈ／３ずらして、ずらし矩形領域Ｒ’４（１／３）を生成する。また、矩形領域ずらし部２２１２は、矩形領域Ｒを、ｘ方向に２回、ｗ／３ずらして、且つ、ｙ方向に１回、ｈ／３ずらして、ずらし矩形領域Ｒ’５（１／３）を生成する。また、矩形領域ずらし部２２１２は、矩形領域Ｒを、ｙ方向に２回、ｈ／３ずらして、ずらし矩形領域Ｒ’６（１／３）を生成する。また、矩形領域ずらし部２２１２は、矩形領域Ｒを、ｘ方向に１回、ｗ／３ずらして、且つ、ｙ方向に２回、ｈ／３ずらして、ずらし矩形領域Ｒ’７（１／３）を生成する。また、矩形領域ずらし部２２１２は、矩形領域Ｒを、ｘ方向に２回、ｗ／３ずらして、且つ、ｙ方向に２回、ｗ／３ずらして、ずらし矩形領域Ｒ’８（１／３）を生成する。
この際、矩形領域Ｒ、ずらし矩形領域Ｒ’１（１／３）、ずらし矩形領域Ｒ’２（１／３）、ずらし矩形領域Ｒ’３（１／３）、ずらし矩形領域Ｒ’４（１／３）、ずらし矩形領域Ｒ’５（１／３）、ずらし矩形領域Ｒ’６（１／３）、ずらし矩形領域Ｒ’７（１／３）、および、ずらし矩形領域Ｒ’８（１／３）が重複する重複領域Ｘ（１／３）が生成される。重複領域Ｘ（１／３）のサイズは、例えば、縦：ｈ／３（ｐｉｘｅｌ）、横：ｗ／３（ｐｉｘｅｌ）のように表せる。
また、矩形領域ずらし部２２１２は、ずらし矩形領域Ｒ’を生成する際、ずらし矩形領域Ｒ’の個数、および、ずらし矩形領域Ｒ’の位置、言い換えれば、ｘｙ平面における２次元直交座標Ｐ（ｘ，ｙ）を決定する。
矩形領域Ｒの座標をＰ（ｉ，ｊ）とする場合、矩形領域Ｒを、ｘ方向にｋ回、ｗ／ｎずらして生成されたずらし矩形領域Ｒ’の座標は、Ｐ（１／ｎ）（ｉ＋ｋ，ｊ）のように表せる。また、この場合、矩形領域Ｒを、ｙ方向にｌ回、ｈ／ｎずらして生成されたずらし矩形領域Ｒ’の座標は、Ｐ（１／ｎ）（ｉ，ｊ＋ｌ）のように表せる。また、この場合、矩形領域Ｒを、ｘ方向にｋ回、ｗ／ｎ×ずらして、且つ、ｙ方向にｌ回、ｈ／ｎ×ずらして生成されたずらし矩形領域Ｒ’の座標は、Ｐ（１／ｎ）（ｉ＋ｋ，ｊ＋ｌ）のように表せる。
例えば、図４Ａに示すように、１／２ずらしの場合、矩形領域ずらし部２２１２は、ずらし矩形領域Ｒ’の個数を、例えば、３個と決定する。また、矩形領域ずらし部２２１２は、１個目のずらし矩形領域Ｒ’１（１／２）の座標を、Ｐ（１／２）（ｉ＋１，ｊ）、２個目のずらし矩形領域Ｒ’２（１／２）の座標を、Ｐ（１／２）（ｉ，ｊ＋１）、３個目のずらし矩形領域Ｒ’３（１／２）の座標を、Ｐ（１／２）（ｉ＋１，ｊ＋１）と決定する。
例えば、図４Ｂに示すように、１／３ずらしの場合、矩形領域ずらし部２２１２は、ずらし矩形領域Ｒ’の個数を、例えば、８個と決定する。また、矩形領域ずらし部２２１２は、１個目のずらし矩形領域Ｒ’１（１／３）の座標を、Ｐ（１／３）（ｉ＋１，ｊ）、２個目のずらし矩形領域Ｒ’２（１／３）の座標を、３個目のＰ（１／３）（ｉ＋２，ｊ）、ずらし矩形領域Ｒ’３（１／３）の座標を、Ｐ（１／３）（ｉ，ｊ＋１）、４個目のずらし矩形領域Ｒ’４（１／３）の座標を、Ｐ（１／３）（ｉ＋１，ｊ＋１）、５個目のずらし矩形領域Ｒ’５（１／３）の座標を、Ｐ（１／３）（ｉ＋２，ｊ＋１）、６個目のずらし矩形領域Ｒ’６（１／３）の座標を、Ｐ（１／３）（ｉ，ｊ＋２）、７個目のずらし矩形領域Ｒ’７（１／３）の座標を、Ｐ（１／３）（ｉ＋１，ｊ＋２）、８個目のずらし矩形領域Ｒ’８（１／３）の座標を、Ｐ（１／３）（ｉ＋２，ｊ＋２）と決定する。
スコア算出部２２１３は、深層学習の１つの手法であるＣＮＮによる画像分類手法を用いて、矩形領域Ｒに設備３が存在するか否かを示すスコアＳ１（第１スコア）、および、ずらし矩形領域Ｒ’に設備３が存在するか否かを示すスコアＳ２（第２スコア）を算出する。学習を行うモデルには、例えば、ＶＧＧ１６を用いる。矩形領域ＲにおけるスコアＳ１およびずらし矩形領域Ｒ’におけるスコアＳ２は、それぞれ、０から１までの数値で予測値として算出される。
そして、スコア算出部２２１３は、矩形領域ＲにおけるスコアＳ１およびずらし矩形領域Ｒ’におけるスコアＳ２に基づいて、重複領域Ｘに設備３が存在するか否かを示すスコアＳ３（第３スコア）を算出する。ずらし矩形領域Ｒ’におけるスコアＳ２の個数は、ずらし矩形領域Ｒ’の個数と一致する。例えば、矩形領域ずらし部２２１２により、ずらし矩形領域Ｒ’が３個生成された場合、スコア算出部２２１３は、矩形領域ＲにおけるスコアＳ１および３個のずらし矩形領域Ｒ’における３個のスコアＳ２の合計４個のスコアに基づいて、重複領域ＸにおけるスコアＳ３を算出する。例えば、矩形領域ずらし部２２１２により、ずらし矩形領域Ｒ’が８個生成された場合、スコア算出部２２１３は、矩形領域ＲにおけるスコアＳ１および８個のずらし矩形領域Ｒ’における８個のスコアＳ２の合計９個のスコアに基づいて、重複領域ＸにおけるスコアＳ３を算出する。
例えば、スコア算出部２２１３は、スコアＳ１およびスコアＳ２の荷重平均を算出し、当該荷重平均をスコアＳ３として算出してよい。例えば、スコア算出部２２１３は、スコアＳ１およびスコアＳ２の幾何平均を算出し、当該幾何平均をスコアＳ３として算出してよい。例えば、スコア算出部２２１３は、スコアＳ１およびスコアＳ２の最小値又は最大値を探索し、探索結果をスコアＳ３として算出してよい。なお、スコアＳ３の算出方法は、これらの算出方法に限定されるものではない。
例えば、図５Ａに示すように、１／２ずらしの場合、スコア算出部２２１３は、矩形領域Ｒ（１／２）におけるスコアＳ１（１／２）（ｉ，ｊ）を算出する。また、スコア算出部２２１３は、ずらし矩形領域Ｒ’１（１／２）におけるスコアＳ２（１／２）（ｉ＋１，ｊ）を算出する。また、スコア算出部２２１３は、ずらし矩形領域Ｒ’２（１／２）におけるスコアＳ２（１／２）（ｉ，ｊ＋１）を算出する。また、スコア算出部２２１３は、ずらし矩形領域Ｒ’３（１／２）におけるスコアＳ２（１／２）（ｉ＋１，ｊ＋１）を算出する。ここで、重複領域Ｘ（１／２）は、矩形領域Ｒ（１／２）、および、矩形領域Ｒ（１／２）に近傍する３個のずらし矩形領域Ｒ’における４個のスコアを保有することになる。
さらに、スコア算出部２２１３は、矩形領域Ｒ（１／２）におけるスコアＳ１（１／２）（ｉ，ｊ）、ずらし矩形領域Ｒ’１（１／２）におけるスコアＳ２（１／２）（ｉ＋１，ｊ）、ずらし矩形領域Ｒ’２（１／２）におけるスコアＳ２（１／２）（ｉ，ｊ＋１）、ずらし矩形領域Ｒ’３（１／２）におけるスコアＳ２（１／２）（ｉ＋１，ｊ＋１）に基づいて、次式を用いて、重複領域Ｘ（１／２）におけるスコアＳ３（１／２）を算出する。
Figure 0007348575000001
式（１）におけるＦは、例えば、荷重平均、幾何平均、最小値、最大値などの演算を示している。
Ｆが、例えば、荷重平均の演算である場合、スコア算出部２２１３は、矩形領域Ｒ（１／２）におけるスコアＳ１（１／２）（ｉ，ｊ）、ずらし矩形領域Ｒ’１（１／２）におけるスコアＳ２（１／２）（ｉ＋１，ｊ）、ずらし矩形領域Ｒ’２（１／２）におけるスコアＳ２（１／２）（ｉ，ｊ＋１）、ずらし矩形領域Ｒ’３（１／２）におけるスコアＳ２（１／２）（ｉ＋１，ｊ＋１）に基づいて、次式（２）を用いて、重複領域Ｘ（１／２）におけるスコアＳ３（１／２）を算出する。ここで、ａ，ｂ，ｃ，ｄは、重みである。
Figure 0007348575000002
ここで、矩形領域Ｒ（１／２）におけるスコアＳ１（１／２）（ｉ，ｊ）＝０．８、ずらし矩形領域Ｒ’１（１／２）におけるスコアＳ２（１／２）（ｉ＋１，ｊ）＝０．７、ずらし矩形領域Ｒ’２（１／２）におけるスコアＳ２（１／２）（ｉ，ｊ＋１）＝０．８、ずらし矩形領域Ｒ’３（１／２）におけるスコアＳ２（１／２）（ｉ＋１，ｊ＋１）＝０．７とすると、重複領域Ｘ（１／２）におけるスコアＳ３（１／２）は、次式のように表せる。
Figure 0007348575000003
Ｆが、例えば、幾何平均の演算である場合、スコア算出部２２１３は、矩形領域Ｒ（１／２）におけるスコアＳ１（１／２）（ｉ，ｊ）、ずらし矩形領域Ｒ’１（１／２）におけるスコアＳ２（１／２）（ｉ＋１，ｊ）、ずらし矩形領域Ｒ’２（１／２）におけるスコアＳ２（１／２）（ｉ，ｊ＋１）、ずらし矩形領域Ｒ’３（１／２）におけるスコアＳ２（１／２）（ｉ＋１，ｊ＋１）に基づいて、次式を用いて、重複領域Ｘ（１／２）におけるスコアＳ３（１／２）を算出する。
Figure 0007348575000004
ここで、矩形領域Ｒ（１／２）におけるスコアＳ１（１／２）（ｉ，ｊ）＝０．８、ずらし矩形領域Ｒ’１（１／２）におけるスコアＳ２（１／２）（ｉ＋１，ｊ）＝０．７、ずらし矩形領域Ｒ’２（１／２）におけるスコアＳ２（１／２）（ｉ，ｊ＋１）＝０．８、ずらし矩形領域Ｒ’３（１／２）におけるスコアＳ２（１／２）（ｉ＋１，ｊ＋１）＝０．７とすると、重複領域Ｘ（１／２）におけるスコアＳ３（１／２）は、次式のように表せる。
Figure 0007348575000005
例えば、図５に示すように、１／３ずらしの場合、スコア算出部２２１３は、矩形領域Ｒ（１／３）におけるスコアＳ１（１／３）（ｉ，ｊ）を算出する。また、スコア算出部２２１３は、ずらし矩形領域Ｒ’１（１／３）におけるスコアＳ２（１／３）（ｉ＋１，ｊ）を算出する。また、スコア算出部２２１３は、ずらし矩形領域Ｒ’２（１／３）におけるスコアＳ２（１／３）（ｉ＋２，ｊ）を算出する。また、スコア算出部２２１３は、ずらし矩形領域Ｒ’３（１／３）におけるスコアＳ２（１／３）（ｉ，ｊ＋１）を算出する。また、スコア算出部２２１３は、ずらし矩形領域Ｒ’４（１／３）におけるスコアＳ２（１／３）（ｉ＋１，ｊ＋１）を算出する。また、スコア算出部２２１３は、ずらし矩形領域Ｒ’５（１／３）におけるスコアＳ２（１／３）（ｉ＋２，ｊ＋１）を算出する。また、スコア算出部２２１３は、ずらし矩形領域Ｒ’６（１／３）におけるスコアＳ２（１／３）（ｉ，ｊ＋２）を算出する。また、スコア算出部２２１３は、ずらし矩形領域Ｒ’７（１／３）におけるスコアＳ２（１／３）（ｉ＋１，ｊ＋２）を算出する。また、スコア算出部２２１３は、ずらし矩形領域Ｒ’８（１／３）におけるスコアＳ２（１／３）（ｉ＋２，ｊ＋２）を算出する。ここで、重複領域Ｘ（１／３）は、矩形領域Ｒ（１／３）、および、矩形領域Ｒ（１／３）に近傍する８個のずらし矩形領域Ｒ’における９個のスコアを保有することになる。
さらに、スコア算出部２２１３は、矩形領域Ｒ（１／３）におけるスコアＳ１（１／３）（ｉ，ｊ）、ずらし矩形領域Ｒ’１（１／３）におけるスコアＳ２（１／３）（ｉ＋１，ｊ）、ずらし矩形領域Ｒ’２（１／３）におけるスコアＳ２（１／３）（ｉ＋２，ｊ）、ずらし矩形領域Ｒ’３（１／３）におけるスコアＳ２（１／３）（ｉ，ｊ＋１）、ずらし矩形領域Ｒ’４（１／３）におけるスコアＳ２（１／３）（ｉ＋１，ｊ＋１）、ずらし矩形領域Ｒ’５（１／３）におけるスコアＳ２（１／３）（ｉ＋２，ｊ＋１）、ずらし矩形領域Ｒ’６（１／３）におけるスコアＳ２（１／３）（ｉ，ｊ＋２）、ずらし矩形領域Ｒ’７（１／３）におけるスコアＳ２（１／３）（ｉ＋１，ｊ＋２）、ずらし矩形領域Ｒ’８（１／３）におけるスコアＳ２（１／３）（ｉ＋２，ｊ＋２）に基づいて、次式を用いて、重複領域Ｘ（１／３）におけるスコアＳ３（１／３）を算出する。
Figure 0007348575000006
式（６）におけるＦは、例えば、荷重平均、幾何平均、最小値、最大値などの演算を示している。
例えば、図５Ｃに示すように、１／ｎずらしの場合も、１／２ずらしの場合および１／３ずらしの場合と同様に、スコア算出部２２１３は、矩形領域Ｒ（１／ｎ）におけるスコアＳ１（１／ｎ）、および、ずらし矩形領域Ｒ’（１／ｎ）におけるスコアＳ２（１／ｎ）を算出する。さらに、スコア算出部２２１３は、矩形領域Ｒ（１／ｎ）におけるスコアＳ１（１／ｎ）、および、ずらし矩形領域Ｒ’（１／ｎ）におけるスコアＳ２（１／ｎ）に基づいて、重複領域Ｘ（１／ｎ）におけるスコアＳ３（１／ｎ）を算出する。
なお、スコア算出部２２１３は、重複領域ＸにおけるスコアＳ３を算出する際、必ずしも、重複領域Ｘが保有する全てのスコアを採用して上述の演算を行う必要はない。スコア算出部２２１３は、重複領域Ｘが保有する全てのスコアの中から、適宜、複数のスコアを選択して上述の演算を行ってよい。この際、スコア算出部２２１３は、例えば、矩形領域Ｒに、より近傍するずらし矩形領域Ｒ’におけるスコアを選択し、矩形領域Ｒから、より離れたずらし矩形領域Ｒ’におけるスコアを除外してよい。
判定部２２１４は、重複領域ＸにおけるスコアＳ３に基づいて、矩形領域Ｒに設備３が存在するか否かを判定する。判定部２２１４は、重複領域ＸにおけるスコアＳ３と閾値Ｖｔｈとを比較して、重複領域ＸにおけるスコアＳ３が閾値Ｖｔｈ以上である場合、矩形領域Ｒに設備３が存在すると判定し、重複領域ＸにおけるスコアＳ３が閾値Ｖｔｈより小さい場合、矩形領域Ｒに設備３が存在しないと判定する。閾値Ｖｔｈは、その値が特に限定されるものではなく、任意に設定されてもよいし、機械的に算出されてもよい。判定部２２１４は、設備３の存在領域の抽出データを、劣化領域検出部２２２へ出力する。
例えば、重複領域ＸにおけるスコアＳ３が０．８、閾値Ｖｔｈが０．７である場合、判定部２２１４は、矩形領域Ｒに設備３が存在する、すなわち、矩形領域Ｒに写っている画像が設備３であると判定する。これにより、当該矩形領域Ｒが、設備３の存在領域として抽出される。
例えば、重複領域ＸにおけるスコアＳ３が０．６、閾値Ｖｔｈが０．７である場合、判定部２２１４は、矩形領域Ｒに設備３が存在しない、すなわち、矩形領域Ｒに写っている画像が非設備（木、河川、車両、歩行者、標識、道路、建物などのような点検対象である設備３以外の要素）であると判定する。
劣化領域検出部２２２は、設備領域抽出部２２１から入力された設備３の存在領域の抽出データに基づいて、深層学習の１つの手法であるセマンティックセグメンテーション（semantic segmentation）による領域検出手法を用いて、設備３の劣化領域を検出する。設備３の劣化領域は、形状、大きさなどが千差万別で異なるため、クラス分類型での認識ではなく、画素単位での認識を行うことが好ましい。セマンティックセグメンテーションのモデルとしては、例えば、Ｕ－ｎｅｔなどが挙げられるが、これに限定されない。劣化領域検出部２２２は、設備３の劣化領域の検出データを、出力部２４０へ出力する。
U-netの詳細については、例えば、下記の文献を参照することができる。
Olaf Ronneberger et.al(2015), Convolutional Networks for Biomedical Image Segmentation, arXiv:1505.04597 [cs. CV].
記憶部２３０は、１つ以上のメモリを含み、例えば、半導体メモリ、磁気メモリ、光メモリなどを含んでよい。記憶部２３０に含まれる各メモリは、例えば、主記憶装置、補助記憶装置、又はキャッシュメモリとして機能してよい。各メモリは、必ずしも劣化検出装置２００がその内部に備える必要はなく、劣化検出装置２００の外部に備える構成としてもよい。
記憶部２３０は、劣化検出装置２００の動作に用いられる各種情報を記憶する。記憶部２３０は、例えば、撮影画像の画像データ、設備３の存在領域の抽出データ、設備３の劣化領域の検出データなどを記憶する。また、記憶部２３０は、例えば、矩形領域Ｒ、ずらし矩形領域Ｒ’、重複領域Ｘ、スコアＳ１、スコアＳ２、スコアＳ３などのデータを記憶する。この他にも、記憶部２３０は、例えば、各種のプログラム、各種のデータなどを記憶する。
出力部２４０は、各種情報を出力する。出力部２４０は、例えば、液晶ディスプレイ、有機ＥＬ（Electro－Luminescence）ディスプレイ、スピーカーなどである。例えば、出力部２４０は、劣化領域検出部２２２から入力された設備３の劣化領域の検出データに基づいて、所定の画面を表示する。出力部２４０は、劣化検出装置２００と一体化されていてもよいし、別々に設けられていてもよい。
通信部２５０は、撮影装置１００と通信する機能、および、サーバ装置３００と通信する機能を有する。通信部２５０は、例えば、撮影装置１００から、撮影画像の画像データを受信する。通信部２５０は、例えば、サーバ装置３００へ、設備３の劣化領域の検出データを送信する。
本実施形態に係る劣化検出装置２００は、撮影画像に基づいて、設備の存在領域を抽出し、設備の存在領域に基づいて、設備の劣化領域を検出する。劣化検出装置２００は、設備の存在領域を抽出する際、撮影画像が分割された１個の矩形領域に対して算出された１個のスコアを用いるのではなく、撮影画像が分割された１個の矩形領域に対して算出された複数のスコアを用いる。これにより、撮影画像に設備以外の要素が写り込んでいても、このような撮影画像から設備の画像を正確に特定することができるため、設備の劣化を高精度に検出することができる。
＜劣化検出方法＞
図６を参照して、本実施形態に係る劣化検出方法の一例について説明する。
ステップＳ１０１において、撮影装置１００は、設備３を撮影する。撮影装置１００は、撮影画像の画像データを、劣化検出装置２００へ送信する。なお、作業者Ｕは、撮影装置１００により撮影された撮影画像の画像データを、メモリカード又はＵＳＢメモリなどの電子媒体に記憶させてもよい。
ステップＳ１０２において、劣化検出装置２００は、撮影装置１００から、撮影画像の画像データを受信する。劣化検出装置２００は、撮影画像を、複数の矩形領域に分割する。
ステップＳ１０３において、劣化検出装置２００は、撮影画像に含まれる複数の矩形領域のそれぞれを、ｘｙ方向に、一部領域を重ねながらずらすことで、矩形領域に対応するずらし矩形領域を生成する。
ステップＳ１０４において、劣化検出装置２００は、深層学習の１つの手法であるＣＮＮによる画像分類手法を用いて、矩形領域に設備３が存在するか否かを示すスコアＳ１、および、ずらし矩形領域に設備３が存在するか否かを示すスコアＳ２を算出する。モデルには、例えば、ＶＧＧ１６を用いる。
ステップＳ１０５において、劣化検出装置２００は、所定の算出方法を用いて、矩形領域に設備３が存在するか否かを示すスコアＳ１、および、ずらし矩形領域に設備３が存在するか否かを示すスコアＳ２に基づいて、重複領域に設備３が存在するか否かを示すスコアＳ３を算出する。
ステップＳ１０６において、劣化検出装置２００は、重複領域に設備３が存在するか否かを示すスコアＳ３に基づいて、矩形領域に設備３が存在するか否かを判定する。劣化検出装置２００は、重複領域におけるスコアＳ３と閾値Ｖｔｈとを比較して、重複領域におけるスコアＳ３が閾値Ｖｔｈ以上である場合、矩形領域に設備３が存在すると判定し、重複領域ＸにおけるスコアＳ３が閾値Ｖｔｈより小さい場合、矩形領域に設備３が存在しないと判定する。
ステップＳ１０７において、劣化検出装置２００は、設備３の存在領域の抽出データに基づいて、深層学習の１つの手法であるセマンティックセグメンテーションによる領域検出手法を用いて、設備３の劣化領域を検出する。モデルには、例えば、Ｕ－ｎｅｔを用いる。劣化検出装置２００は、設備３の劣化領域の検出データを、サーバ装置３００へ送信する。
ステップＳ１０８において、サーバ装置３００は、劣化検出装置２００から、設備３の劣化領域の検出データを受信する。サーバ装置３００は、設備３の劣化領域の検出データを記憶する。
本実施形態に係る劣化検出方法は、従来のように、撮影画像に基づいて、設備の劣化領域を検出するという１段階の処理ではなく、撮影画像に基づいて、設備の存在領域を抽出し、設備の存在領域に基づいて、設備の劣化領域を検出するという２段階の処理を行う。これにより、撮影画像に設備以外の要素が写り込んでいても、このような撮影画像から設備の画像を正確に特定することができるため、点検対象となる設備の劣化を高精度に検出することができる。
＜判定精度の評価＞
本実施形態に係る劣化検出装置２００（設備領域抽出部を備えている）を用いた場合におけるスコアの判定精度と、従来に係る劣化検出装置（設備領域抽出部を備えていない）を用いた場合におけるスコアの判定精度と、を比較し評価した。
スコアの判定精度は、混同行列（confusion matrix）を基に算出した。スコアの判定精度の評価の指標としては、真陽性率(TPR：True Positive Rate)を用いた。なお、スコアの判定精度の評価の指標としては、真陽性率の他、例えば、正解率（Accuracy）、適合率（Precision）、偽陽性率(FPR：False Positive Rate)などを用いても構わない。
実施例として、１／２ずらしを行った。矩形領域Ｒ（１／２）のサイズは、縦：ｈ＝８０（ｐｉｘｅｌ）、横：ｗ＝８０（ｐｉｘｅｌ）とした。重複領域Ｘ（１／２）のサイズは、縦：ｈ＝４０（ｐｉｘｅｌ）、横：ｗ＝４０（ｐｉｘｅｌ）とした。矩形領域ＲにおけるスコアＳ１、ずらし矩形領域Ｒ’１（１／２）におけるスコアＳ２、ずらし矩形領域Ｒ’２（１／２）におけるスコアＳ２、ずらし矩形領域Ｒ’３（１／２）におけるスコアＳ２の平均値を、重複領域Ｘ（１／２）におけるスコアＳ３として算出した。
比較例として、矩形領域Ｒをずらさなかった。矩形領域Ｒのサイズは、縦：ｈ＝４０（ｐｉｘｅｌ）、横：ｗ＝４０（ｐｉｘｅｌ）とした。矩形領域Ｒに含まれる所定領域におけるスコアＳを算出した。所定領域のサイズは、縦：ｈ＝４０（ｐｉｘｅｌ）、横：ｗ＝４０（ｐｉｘｅｌ）とした。
図７に示すグラフ２０１から、比較例において、真陽性率は、６７％であることがわかる。図７に示すグラフ２０２から、実施例において、真陽性率は、７８％であることがわかる。すなわち、実施例におけるスコアの判定精度は、比較例におけるスコアの判定精度より、１０％程度高いことがわかる。
したがって、本実施形態に係る劣化検出装置２００は、従来に係る劣化検出装置より、スコアの判定精度が高いことが示唆される。すなわち、本実施形態に係る劣化検出装置２００は、撮影画像から設備の画像を正確に特定することができることが示唆される。
なお、上述の実施例において、１／２ずらし、１／３ずらし、…、１／ｎずらし、を行って、スコアの判定精度、演算量、および、演算時間を比較したところ、ｎが大きい程、演算量および演算時間が増大した。これらのバランスを考慮すると、１／２ずらし、１／３ずらし、…、１／ｎずらしの中で、１／２ずらしが最も好適であることがわかった。したがって、劣化検出装置２００が適切な位置に適切な個数のずらし矩形領域を生成することで、高い効果を得られることが示唆される。
＜検出精度の評価＞
本実施形態に係る劣化検出装置２００（設備領域抽出部を備えている）を用いた場合における設備３の劣化領域の検出精度と、従来に係る劣化検出装置（設備領域抽出部を備えていない）を用いた場合における設備３の劣化領域の検出精度と、を比較し評価した。
実施例として、撮影画像Ｉに基づいて、設備３の存在領域を抽出し、設備３の存在領域３００に基づいて、設備３の劣化領域を検出した。
比較例として、撮影画像Ｉに基づいて、設備３の劣化領域を検出した。
図８Ａは、実施例に係る検出精度の一例を示す図である。領域３０１は、検出領域を示している。領域３０２は、誤検出領域を示している。領域３０３は、未検出領域を示している。
図８Ｂは、比較例に係る検出精度の一例を示す図である。領域３０１は、検出領域を示している。領域３０２は、誤検出領域を示している。領域３０３は、未検出領域を示している。
図８Ａに示す領域３０１と図８Ｂに示す領域３０１とを比較すると、図８Ａに示す領域３０１は、図８Ｂに示す領域３０１より広いことがわかる。また、図８Ａに示す領域３０２と図８Ｂに示す領域３０２とを比較すると、図８Ａに示す領域３０２は、図８Ｂに示す領域３０２より狭いことがわかる。すなわち、実施例は、比較例より、設備３の劣化領域を正確に検出していることがわかる。
図８Ａに示す領域３０３と図８Ｂに示す領域３０３とを比較すると、図８Ａに示す領域３０３は、図８Ｂに示す領域３０３より狭いことがわかる。すなわち、実施例は、比較例より、設備３の劣化領域の誤検出が少ないことがわかる。
したがって、本実施形態に係る劣化検出装置２００は、従来に係る劣化検出装置より、設備３の劣化領域の検出精度が高いことが示唆される。すなわち、本実施形態に係る劣化検出装置２００は、撮影画像に基づいて設備３の劣化を高精度に検出することが可能であることが示唆される。
＜変形例＞
本発明は上記の実施形態および変形例に限定されるものではない。例えば、上述の各種の処理は、記載にしたがって時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。
＜プログラム及び記録媒体＞
上記の実施形態及び変形例として機能させるためにプログラム命令を実行可能なコンピュータを用いることも可能である。コンピュータは、各装置の機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのプロセッサによってこのプログラムを読み出して実行させることで実現することができ、これらの処理内容の少なくとも一部をハードウェアで実現することとしてもよい。ここで、コンピュータは、汎用コンピュータ、専用コンピュータ、ワークステーション、ＰＣ、電子ノートパッドなどであってよい。プログラム命令は、必要なタスクを実行するためのプログラムコード、コードセグメントなどであってもよい。プロセッサは、ＣＰＵ(Central Processing Unit)、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ(Digital Signal Processor)、ASIC(Application Specific Integrated Circuit)などのであってよい。
例えば、上述した劣化検出方法をコンピュータに実行させるためのプログラムは、図６を参照すると、構造物に添架された設備の劣化を検出する劣化検出方法であって、設備を撮影するステップ（Ｓ１０１）と、撮影画像に基づいて、設備の存在領域を抽出し（Ｓ１０２～Ｓ１０６）、設備の存在領域に基づいて、設備の劣化領域を検出するステップ（Ｓ１０７）と、劣化領域を記憶するステップ（Ｓ１０８）と、を含む。
また、このプログラムは、コンピュータが読み取り可能な記録媒体に記録されていてもよい。このような記録媒体を用いれば、プログラムをコンピュータにインストールすることが可能である。ここで、プログラムが記録された記録媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、ＣＤ（Compact Disk）－ＲＯＭ（Read-Only Memory）、ＤＶＤ（Digital Versatile Disc）－ＲＯＭ、ＢＤ（Blu-ray（登録商標） Disc）－ＲＯＭなどであってもよい。また、このプログラムは、ネットワークを介したダウンロードによって提供することもできる。
上述の実施形態は代表的な例として説明したが、本開示の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態の構成図に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。また、実施形態のフローチャートに記載の複数の工程を１つに組み合わせたり、あるいは１つの工程を分割したりすることが可能である。
１ 劣化検出システム
２ 構造物
３ 設備
１００ 撮影装置
２００ 劣化検出装置
２１０ 入力部
２２０ 制御部
２３０ 記憶部
２４０ 出力部
２５０ 通信部
２２１ 設備領域抽出部
２２２ 劣化領域検出部
３００ サーバ装置
２２１１ 矩形領域分割部
２２１２ 矩形領域ずらし部
２２１３ スコア算出部
２２１４ 判定部

Claims (6)

  1. 構造物に添架された設備の劣化を検出する劣化検出装置であって、
    前記設備の撮影画像に基づいて、前記設備の存在領域を抽出する設備領域抽出部と、
    前記存在領域に基づいて、前記設備の劣化領域を検出する劣化領域検出部と、
    を備え、
    前記設備領域抽出部は、
    前記撮影画像を、複数の矩形領域に分割する矩形領域分割部と、
    前記矩形領域をずらして、前記矩形領域に対応するずらし矩形領域を生成する矩形領域ずらし部と、
    前記矩形領域に前記設備が存在するか否かを示す第１スコア、および、前記ずらし矩形領域に前記設備が存在するか否かを示す第２スコアに基づいて、前記矩形領域と前記ずらし矩形領域との重複領域に前記設備が存在するか否かを示す第３スコアを算出するスコア算出部と、
    前記第３スコアに基づいて、前記矩形領域に前記設備が存在するか否かを判定する判定部と、
    を備える、劣化検出装置。
  2. 前記矩形領域ずらし部は、前記矩形領域のそれぞれに対して複数の前記ずらし矩形領域を生成する、請求項１に記載の劣化検出装置。
  3. 構造物に添架された設備の劣化を検出する劣化検出システムであって、
    請求項１または２に記載の劣化検出装置と、
    前記設備を撮影する撮影装置と、
    前記劣化領域を記憶するサーバ装置と、
    を備える、劣化検出システム。
  4. 構造物に添架された設備の劣化を検出する劣化検出方法であって、
    前記設備を撮影するステップと、
    撮影画像に基づいて、前記設備の存在領域を抽出し、該存在領域に基づいて、前記設備の劣化領域を検出するステップと、
    前記劣化領域を記憶するステップと、
    を含み、
    前記設備の劣化領域を検出するステップは、
    前記撮影画像を、複数の矩形領域に分割するステップと、
    前記矩形領域をずらして、前記矩形領域に対応するずらし矩形領域を生成するステップと、
    前記矩形領域に前記設備が存在するか否かを示す第１スコア、および、前記ずらし矩形領域に前記設備が存在するか否かを示す第２スコアに基づいて、前記矩形領域と前記ずらし矩形領域との重複領域に前記設備が存在するか否かを示す第３スコアを算出するステップと、
    前記第３スコアに基づいて、前記矩形領域に前記設備が存在するか否かを判定するステップと、
    を含む、劣化検出方法。
  5. 前記ずらし矩形領域を生成するステップは、
    前記矩形領域に対応する複数の前記ずらし矩形領域を生成する、
    請求項４に記載の劣化検出方法。
  6. コンピュータを、請求項１または２に記載の劣化検出装置として機能させるためのプログラム。
JP2022507931A 2020-03-18 2020-03-18 劣化検出装置、劣化検出システム、劣化検出方法、およびプログラム Active JP7348575B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/012104 WO2021186640A1 (ja) 2020-03-18 2020-03-18 劣化検出装置、劣化検出システム、劣化検出方法、およびプログラム

Publications (2)

Publication Number Publication Date
JPWO2021186640A1 JPWO2021186640A1 (ja) 2021-09-23
JP7348575B2 true JP7348575B2 (ja) 2023-09-21

Family

ID=77771732

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022507931A Active JP7348575B2 (ja) 2020-03-18 2020-03-18 劣化検出装置、劣化検出システム、劣化検出方法、およびプログラム

Country Status (3)

Country Link
US (1) US20230177666A1 (ja)
JP (1) JP7348575B2 (ja)
WO (1) WO2021186640A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023152810A1 (ja) * 2022-02-08 2023-08-17 日本電信電話株式会社 画像処理装置、画像処理方法およびプログラム
KR102588141B1 (ko) * 2022-10-13 2023-10-12 주식회사 승화기술 드론 영상정보를 이용한 딥러닝 기반 구조물 손상 점검 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005057956A (ja) 2003-08-07 2005-03-03 Central Res Inst Of Electric Power Ind 画像処理による電線異常検出方法および装置およびプログラム並びに電線点検用画像の作成方法
JP2011252746A (ja) 2010-06-01 2011-12-15 Nippon Telegr & Teleph Corp <Ntt> ケーブル位置検出装置、ケーブル位置検出方法及びケーブル位置検出プログラム
JP2016133878A (ja) 2015-01-16 2016-07-25 株式会社レイトロン 画像認識に使用するウィンドウの配置や組合せを、構成情報に従って変化させることができる画像認識装置
US20160371850A1 (en) 2015-06-18 2016-12-22 The Boeing Company Method and Apparatus for Detecting Targets
JP2018074757A (ja) 2016-10-28 2018-05-10 株式会社東芝 巡視点検システム、情報処理装置、巡視点検制御プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005057956A (ja) 2003-08-07 2005-03-03 Central Res Inst Of Electric Power Ind 画像処理による電線異常検出方法および装置およびプログラム並びに電線点検用画像の作成方法
JP2011252746A (ja) 2010-06-01 2011-12-15 Nippon Telegr & Teleph Corp <Ntt> ケーブル位置検出装置、ケーブル位置検出方法及びケーブル位置検出プログラム
JP2016133878A (ja) 2015-01-16 2016-07-25 株式会社レイトロン 画像認識に使用するウィンドウの配置や組合せを、構成情報に従って変化させることができる画像認識装置
US20160371850A1 (en) 2015-06-18 2016-12-22 The Boeing Company Method and Apparatus for Detecting Targets
JP2018074757A (ja) 2016-10-28 2018-05-10 株式会社東芝 巡視点検システム、情報処理装置、巡視点検制御プログラム

Also Published As

Publication number Publication date
US20230177666A1 (en) 2023-06-08
JPWO2021186640A1 (ja) 2021-09-23
WO2021186640A1 (ja) 2021-09-23

Similar Documents

Publication Publication Date Title
Deng et al. Imaging-based crack detection on concrete surfaces using You Only Look Once network
Ghosh Mondal et al. Deep learning‐based multi‐class damage detection for autonomous post‐disaster reconnaissance
CN110084292B (zh) 基于DenseNet和多尺度特征融合的目标检测方法
Guo et al. Dense construction vehicle detection based on orientation-aware feature fusion convolutional neural network
Spencer Jr et al. Advances in computer vision-based civil infrastructure inspection and monitoring
CN110084095B (zh) 车道线检测方法、车道线检测装置和计算机存储介质
Kim et al. Automated multiple concrete damage detection using instance segmentation deep learning model
Pal et al. Deep-learning-based visual data analytics for smart construction management
Siriborvornratanakul An automatic road distress visual inspection system using an onboard in-car camera
US9235902B2 (en) Image-based crack quantification
CN113379718B (zh) 一种目标检测方法、装置、电子设备以及可读存储介质
KR102550707B1 (ko) 딥러닝 기반 경사지 균열 감지 방법과 이를 이용한 산사태 조기 감지 방법 및 그 장치
Fang et al. A sematic and prior‐knowledge‐aided monocular localization method for construction‐related entities
JP2008046903A (ja) 対象個数検出装置および対象個数検出方法
JP7348575B2 (ja) 劣化検出装置、劣化検出システム、劣化検出方法、およびプログラム
Guo et al. Evaluation-oriented façade defects detection using rule-based deep learning method
JP5726472B2 (ja) アライメント方法及び検出装置
CN115861400B (zh) 目标对象检测方法、训练方法、装置以及电子设备
Singh et al. Vehicle detection and accident prediction in sand/dust storms
CN111815576B (zh) 金属部件腐蚀状况检测方法、装置、设备和存储介质
Zeng et al. The equipment detection and localization of large-scale construction jobsite by far-field construction surveillance video based on improving YOLOv3 and grey wolf optimizer improving extreme learning machine
Jiang et al. A robust bridge rivet identification method using deep learning and computer vision
JPWO2018025336A1 (ja) 劣化検出装置、劣化検出方法、及びプログラム
Cao Drone-assisted segmentation of tile peeling on building façades using a deep learning model
Wang et al. Instance segmentation of soft‐story buildings from street‐view images with semiautomatic annotation

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220707

A80 Written request to apply exceptions to lack of novelty of invention

Free format text: JAPANESE INTERMEDIATE CODE: A801

Effective date: 20220708

A80 Written request to apply exceptions to lack of novelty of invention

Free format text: JAPANESE INTERMEDIATE CODE: A80

Effective date: 20220708

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230530

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20230629

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230704

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230808

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230821

R150 Certificate of patent or registration of utility model

Ref document number: 7348575

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150