JP6788291B1 - 点検支援システム - Google Patents

点検支援システム Download PDF

Info

Publication number
JP6788291B1
JP6788291B1 JP2019103834A JP2019103834A JP6788291B1 JP 6788291 B1 JP6788291 B1 JP 6788291B1 JP 2019103834 A JP2019103834 A JP 2019103834A JP 2019103834 A JP2019103834 A JP 2019103834A JP 6788291 B1 JP6788291 B1 JP 6788291B1
Authority
JP
Japan
Prior art keywords
target
inspection
inspection image
image
self
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019103834A
Other languages
English (en)
Other versions
JP2020197454A (ja
Inventor
文敬 山崎
文敬 山崎
高志 狩野
高志 狩野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
IXS Co Ltd
Original Assignee
IXS Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2019103834A priority Critical patent/JP6788291B1/ja
Application filed by IXS Co Ltd filed Critical IXS Co Ltd
Priority to CA3142464A priority patent/CA3142464C/en
Priority to CN202080041197.7A priority patent/CN113994290A/zh
Priority to PCT/JP2020/008486 priority patent/WO2020246085A1/ja
Priority to AU2020287769A priority patent/AU2020287769B2/en
Priority to EP20819473.8A priority patent/EP3979031B1/en
Priority to US17/615,609 priority patent/US11869177B2/en
Priority to TW109108766A priority patent/TWI839487B/zh
Application granted granted Critical
Publication of JP6788291B1 publication Critical patent/JP6788291B1/ja
Publication of JP2020197454A publication Critical patent/JP2020197454A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • E—FIXED CONSTRUCTIONS
    • E01—CONSTRUCTION OF ROADS, RAILWAYS, OR BRIDGES
    • E01D—CONSTRUCTION OF BRIDGES, ELEVATED ROADWAYS OR VIADUCTS; ASSEMBLY OF BRIDGES
    • E01D22/00—Methods or apparatus for repairing or strengthening existing bridges ; Methods or apparatus for dismantling bridges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M5/00—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings
    • G01M5/0033—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings by determining damage, crack or wear
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M5/00—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings
    • G01M5/0091—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings by using electromagnetic excitation or detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/60—Intended control result
    • G05D1/644—Optimisation of travel parameters, e.g. of energy consumption, journey time or distance
    • G05D1/6445—Optimisation of travel parameters, e.g. of energy consumption, journey time or distance for optimising payload operation, e.g. camera or spray coverage
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Quality & Reliability (AREA)
  • Medical Informatics (AREA)
  • Electromagnetism (AREA)
  • Structural Engineering (AREA)
  • Civil Engineering (AREA)
  • Architecture (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)

Abstract

【課題】構造物の点検に係る作業効率や作業精度を向上させることができる点検支援システムを提供する。【解決手段】自走装置１００は、第一の点検画像に基づく走行コマンドに基づいて目標位置まで自走して、第一の点検画像に含まれる撮影対象を撮影して第二の点検画像を取得し、情報処理装置２００は、第二の点検画像に含まれる撮影対象の中から第一の点検画像に含まれる撮影対象に適合する適合対象を抽出し、適合対象と適合した第一の点検画像に含まれる撮影対象を識別可能に特定する特定情報を、当該適合対象に対応付ける、ことを特徴とする。【選択図】図１

Description

本発明は、点検支援システムに関する。
我が国の高度成長期において高速道路や鉄道網等の社会インフラ整備に伴い、多くの建造物が建築されたが、近年ではこれらの建造物の経年劣化が社会問題となっている。
経年劣化による事故を避けるためには、対象となる建造物を定期的に点検・メンテナンスすることが必要不可欠である。その一方で、厳しいビジネス環境や少子高齢化等の社会環境を要因として、その膨大な点検を担う作業員が年々減少傾向にある。
このような背景を鑑みて、この種の点検支援システムとして下記の特許文献１に係る発明を、本発明者が既に特許出願している。
特許文献１に係る発明は、構造物の点検に関する種々の点検データを取得するために自律的に走行する点検ロボット、及び当該点検ロボットを用いて点検データを収集する点検支援システム等に関するものである。
この発明により、作業員が移動困難な場所についても点検ロボットが自律的に点検データを収集することができるため、構造物に係る点検の効率化を図ることができる。
特開２０１５−１１１１１１号公報
特許文献１に係る点検ロボットの自走制御をするものであるところ、その精度には限界があり、点検対象となる構造物を同じアングルから繰り返し撮影すること（例えば、定期的に行われる定期点検の度に同一の箇所を撮影すること）が困難である。
これによって点検効率を下げる又は点検ミスを誘発させる要因になる可能性があり、特許文献１に係る発明は未だ改善の余地を残していた。
本発明は、上記の課題に鑑みなされたものであり、構造物の点検に係る作業効率や作業精度を向上させることができる点検支援システムを提供するものである。
本発明によれば、受信した走行コマンドに基づいて自走可能に構成され且つ構造物の点検に用いる点検画像を撮影する撮影手段が搭載されている自走装置を用いて前記点検画像を取得し、取得した前記点検画像をデータベースに格納させる点検支援システムであって、前記データベースに格納させる前記点検画像に対して、当該点検画像に撮影されている一又は複数の撮影対象を抽出し、抽出した撮影対象が前記構造物に生じた劣化部分であるか否かを判別可能である画像処理手段と、抽出された撮影対象のそれぞれを識別可能に特定する特定情報として、前記構造物における撮影対象ごとの位置情報を、それぞれの撮影対象に対応付ける特定情報処理手段と、前記データベースに格納されている前記点検画像の中から第一の点検画像を検索する検索手段と、前記検索手段によって検索された前記第一の点検画像に含まれる撮影対象を撮影可能な目標位置へ前記自走装置を自走させるための第一の走行コマンドを生成するコマンド生成手段と、を備え、前記自走装置は、受信した前記第一の走行コマンドに基づいて前記目標位置まで自走して、前記第一の点検画像に含まれる撮影対象を撮影して第二の点検画像を取得し、前記画像処理手段は、前記第二の点検画像に含まれる撮影対象の中から前記第一の点検画像に含まれる撮影対象に適合する適合対象を抽出し、前記特定情報処理手段は、前記適合対象と適合した前記第一の点検画像に含まれる撮影対象の前記特定情報を、当該適合対象に対応付け、前記第二の点検画像から抽出された撮影対象の中に第二の劣化部分が含まれる場合、前記第一の点検画像から抽出された撮影対象に含まれる第一の劣化部分と前記第二の劣化部分を、それぞれの形状、色彩及び位置について比較することによって、前記第一の劣化部分が進行して前記第二の劣化部分になったものであるか否かを推定する推定処理が前記画像処理手段によって実行され、前記推定処理が肯定される場合には、前記画像処理手段が、前記第一の劣化部分に対する前記適合対象として前記第二の劣化部分を抽出し、前記特定情報処理手段が、抽出された前記第二の劣化部分の前記特定情報として、前記第一の劣化部分の前記特定情報として与えられていた位置情報を付与し、前記推定処理が否定される場合には、前記画像処理手段が、前記第一の点検画像に対して非適合対象であるとして前記第二の劣化部分を抽出し、前記特定情報処理手段が、抽出された前記第二の劣化部分の前記特定情報として、劣化部分と判別されていない他の撮影対象の前記特定情報として与えられていた位置情報に基づいて定めた位置情報を付与する、ことを特徴とする点検支援システムが提供される。
上記発明によれば、事前に撮影されてデータベースに格納されている画像（第一の点検画像）と、事後に撮影された画像（第二の点検画像）と、を比べて、互いに適合する撮影対象が撮影されている場合には、事後に撮影された撮影対象に対して、事前に撮影された撮影対象を特定する情報（特定情報）が対応付けられる。
従って、事前に撮影された撮影対象と、事後に撮影された撮影対象と、が異なるアングルから撮影された場合であっても、撮影対象が同じものであるか否かを、点検者が判断する必要がないので、点検に係る作業効率や作業精度を向上させることができる。
本発明によれば、構造物の点検に係る作業効率や作業精度を向上させることができる点検支援システムが提供される。
本発明の実施形態における点検支援システムの構成図である。 図２（ａ）は、点検対象の構造物の平面図であり、図２（ｂ）は、構造物Ａを点検する自走装置の移動経路を示す図である。 図３は、情報処理装置によってマッピングされた三次元データを可視化した模式図である。 図４は、自走装置が点検画像を取得する処理手順を示すフローチャートである。 図５は、情報処理装置が点検画像をデータベースに格納する処理手順を示すフローチャートである。 図６（ａ）は、点検画像の撮影範囲を示す図であり、図６（ｂ）は、点検画像に撮影されている撮影対象を示す図である。 図７（ａ）は、点検画像の撮影範囲を示す図であり、図７（ｂ）は、点検画像に撮影されている撮影対象を示す図である。
以下、本発明の実施形態について、図面を用いて説明する。なお、すべての図面において、同様の構成要素には同一の符号を付し、適宜に説明を省略する。
＜点検支援システム１０のシステム構成＞
先ず、点検支援システム１０のシステム構成について説明する。
図１は、本発明の実施形態における点検支援システム１０の構成図である。
図１に示すとおり、点検支援システム１０は、自走装置１００と、情報処理装置２００と、データベース３００と、を備える。
点検支援システム１０は、自走装置１００を用いて画像データを取得し、自走装置１００が取得した画像データに対して情報処理装置２００が所定の処理を実行し、所定の処理を実行した画像データをデータベース３００に格納させるものである。
自走装置１００が取得した画像データは、構造物の点検に用いるものである。ここで構造物とは、一般的な建築物の他に、道路、橋梁、工場（プラント）、ダム、堤防などを含む。
以下の説明において、自走装置１００が取得する画像データを、便宜上「点検画像」と呼称する。
自走装置１００は、情報処理装置２００から受信した走行コマンドに基づいて自走可能に構成されている。ここで自走可能とは、作業員を搭載しないで走行可能な機構を有することをいう。
自走装置１００は、撮影手段１０１と、ジャイロセンサ１０２と、距離センサ１０３と、走行制御手段１０４と、送受信手段１０５と、を搭載している。
撮影手段１０１は、自走装置１００の周囲に存在する対象物（以下、撮影対象と称する）を撮影する装置であり、いわゆるカメラである。撮影手段１０１は、静止画像を撮影できるものに限られず、動画を撮影可能であってもよい。
ジャイロセンサ１０２は、撮影手段１０１が向いている方向、すなわち撮影可能な方向を検知する。
距離センサ１０３は、撮影手段１０１から撮影対象までの距離を測定する。
なお、図１において、撮影手段１０１は、ジャイロセンサ１０２及び距離センサ１０３と別の構成として図示したが、これらは一体の装置として実現されてもよい。
走行制御手段１０４は、自走装置１００の走行を制御するものである。
ところで、移動体を自律走行させる技術として、一般的にＳＬＡＭ（Simultaneous Localization and Mapping）が知られている。
ここでＳＬＡＭとは、画像やセンサの検知情報等から周囲の環境に対する自己（自律走行ロボット）の相対的な位置を推定することによって障害物等を回避しながら自律走行を実現する技術であり、さらに周囲環境の地図データ（三次元の点群データ）を自律走行と並行して作成することができる。
本実施形態では、自走装置１００の走行制御（走行制御手段１０４）は、ＳＬＡＭの技術を適用することを前提とするが、それ以外の技術を適用して実現されてもよい。
送受信手段１０５は、情報処理装置２００から種々のデータを受信し、情報処理装置２００に対して種々のデータを送信するものである。例えば、送受信手段１０５は、情報処理装置２００から送信される走行コマンドを受信可能であり、情報処理装置２００に対して点検画像を送信可能である。
情報処理装置２００は、自走装置１００から受信した点検画像をデータベース３００に格納させる。情報処理装置２００は、汎用的に用いられるパーソナルコンピュータによって実現されてもよいし、点検支援システム１０に特化した仕様のコンピュータによって実現されてもよい。
情報処理装置２００は、送受信手段２０１と、画像処理手段２０２と、特定情報処理手段２０３と、検索手段２０４と、コマンド生成手段２０５と、を備える。
送受信手段２０１は、自走装置１００から種々のデータを受信し、自走装置１００に対して種々のデータを送信するものである。
例えば、送受信手段２０１は、自走装置１００から送信される点検画像を受信可能であり、自走装置１００に対して走行コマンドを送信可能である。
画像処理手段２０２は、データベース３００に格納させる点検画像に対して、種々の画像処理を行う。
例えば、画像処理手段２０２は、点検画像に撮影されている一又は複数の撮影対象を抽出する画像処理や、抽出した撮影対象が構造物に生じた劣化部分であるか否かを判別する画像処理などを実行することができる。
特定情報処理手段２０３は、画像処理手段２０２によって抽出された撮影対象のそれぞれを識別可能に特定する情報（以下、特定情報と称する）を、撮影対象に対応付ける。
ここで特定情報とは、例えば、撮影対象ごとに任意に定める識別情報の他に、客観的に撮影対象を特定できるユニークな情報（例えば、撮影対象が存在する位置や範囲を示す情報）も含まれる。
検索手段２０４は、データベース３００に格納されている点検画像の中から、或る検索条件を充足する特定の点検画像を検索する。検索手段２０４の検索に用いられる検索条件は特に制限されず、ユーザが任意に指定した条件であってもよいし、あらかじめ定められている条件であってもよい。
なお、以下の説明において、自走装置１００に送信する走行コマンドの生成のために検索手段２０４によって検索される点検画像を、便宜的に「第一の点検画像」と呼称し、当該走行コマンドに基づいて走行した自走装置１００が取得する点検画像を「第二の点検画像」と呼称して、互いに区別する場合がある。
コマンド生成手段２０５は、検索手段２０４によって検索された第一の点検画像に含まれる撮影対象を撮影可能な目標位置へ自走装置を自走させるための走行コマンド（以下、第一の走行コマンド）を生成する。
ここで「第一の点検画像に含まれる撮影対象を撮影可能な目標位置」とは、例えば、第一の点検画像を撮影した時点において自走装置１００が存在した位置（厳密には、存在したものと推定される位置）であるが、必ずしも当該位置と上記の目標位置が一致しなくてもよい。
以上に説明したように、点検支援システム１０は、受信した走行コマンドに基づいて自走可能に構成され且つ構造物の点検に用いる点検画像を撮影する撮影手段１０１が搭載されている自走装置１００を用いて点検画像を取得し、取得した点検画像をデータベース３００に格納させるものと言える。
そして、点検支援システム１０は、本発明の画像処理手段２０２、特定情報処理手段２０３、検索手段２０４と、及びコマンド生成手段２０５を備えるものと言える。
＜自走装置１００による点検画像の収集について＞
次に、自走装置１００による点検画像の収集について説明する。
図２（ａ）は、点検対象の構造物Ａの平面図であり、図２（ｂ）は、構造物Ａを点検する自走装置１００の移動経路Ｃを示す図である。
なお、図２（ｂ）に示す移動経路Ｃは一具体例であり、本発明の実施において、移動経路Ｃとは異なる移動経路で自走装置１００が構造物Ａの点検画像を収集することが許容される。
図２（ａ）に示すとおり、構造物Ａは、複数の柱と、柱の間に設けられる壁と、によって３つの空間（空間Ａ１、空間Ａ２、空間Ａ３）に分けられている。
構造物Ａを点検する際、自走装置１００は壁に沿って移動しながら、その壁を網羅的に撮影し、構造物Ａの壁の全てについて点検画像を収集する。
より詳細には、自走装置１００は、或る位置Ｐ１から撮影可能な領域Ｒ１の壁を撮影した後に、次の位置Ｐ２に移動し、位置Ｐ２から撮影可能な領域Ｒ２の壁を撮影する。このとき、自走装置１００は、領域Ｒ１と領域Ｒ２の端部が連続する又は重複するように自走装置１００が移動する位置Ｐ２と、撮影手段１０１の撮影方向と、を定める。位置Ｐ２から次に位置Ｐ３に移動して位置Ｐ３から領域Ｒ３の壁を撮影する場合にも、位置Ｐ３から次の位置Ｐ４に移動して位置Ｐ４から領域Ｒ４の壁を撮影する場合にも、同様の処理を繰り返していくことによって、自走装置１００は、構造物Ａの壁について漏れなく点検画像を撮影することができる。
自走装置１００は、点検画像を撮影した際に、その時点を示す時刻情報と、その時点で推定される自己の位置を示す位置情報と、ジャイロセンサ１０２によって検知されるその点検画像の撮影方向を示すベクトル情報と、距離センサ１０３によって測定される撮影手段１０１から壁面までの距離を示す距離情報と、を当該点検画像に対応付ける。
情報処理装置２００は、自走装置１００が取得した点検画像と、当該点検画像に対応付けられている上記の情報群に基づく演算処理によって、構造物Ａの壁を三次元の点群データとしてマッピングする。当該演算処理については、既知のＳＬＡＭに係る技術のいずれを適用してもよく、その手法は特に制限されない。
図３は、情報処理装置２００によってマッピングされた三次元点群データ（構造物Ａの地図データ）を可視化した模式図である。
図３に示すように、情報処理装置２００は、上記のように三次元点群データを導出することによって、構造物Ａの構造を立体的に解析することができる。
なお、情報処理装置２００は、不図示の表示手段に対して、図３に示すような立体的な表現で、構造物Ａの構造を表示させてもよい。
図４は、自走装置１００が点検画像を取得する処理手順を示すフローチャートである。
ステップＳ１０２において、自走装置１００は、情報処理装置２００に対して走行コマンドを要求し、情報処理装置２００から走行コマンドを受け付ける。
ステップＳ１０２において受け付ける走行コマンドには、次に移動するべき目標位置を示す情報、またはその目標位置が演算可能な情報が含まれており、自走装置１００は、当該走行コマンドに基づいて次の目標位置を認識することができる。
ステップＳ１０４において、自走装置１００は、初期状態である場合（構造物Ａの地図データを有していない場合）には、構造物Ａの壁面と自己の相対的な位置を計測しながら、自己の位置を推定しつつ、次の目標位置まで自走する。或いは、自走装置１００は、既に構造物Ａの地図データを有している場合には、その地図データに基づいて次の目標位置まで自走する。
ステップＳ１０４の自走制御は、自走装置１００が次の目標位置に到達するまで（ステップＳ１０６がＮＯである間）継続して行われ、自走装置１００が次の目標位置に到達すると（ステップＳ１０６がＹＥＳになると）、ステップＳ１０８の処理に進む。
ステップＳ１０８において、自走装置１００は、撮影手段１０１の撮影方向を決定する。この処理は、上述したように、前の目標位置において撮影した領域と今回撮影する領域とが連続又は重複するように、撮影方向が決定される。
ステップＳ１１０において、自走装置１００は、ステップＳ１０８において決定した撮影方向で撮影手段１０１に撮影させる。
ステップＳ１１２において、自走装置１００は、ステップＳ１１０で撮影した点検画像に環境情報を付与する。ここで、環境情報とは、撮影した時点を示す時刻情報、撮影時点における自走装置１００の自己推定位置を示す位置情報と、撮影方向を示すベクトル情報と、撮影手段１０１から壁面までの距離を示す距離情報と、を含む情報群である。
ステップＳ１１４において、自走装置１００は、環境情報が付与された点検画像を、情報処理装置２００に送信する。
ステップＳ１１４の送信が正常であれば（ステップＳ１１６がＹＥＳの場合）、ステップＳ１１８の処理に進み、ステップＳ１１４の送信が異常（ステップＳ１１６がＮＯの場合）、ステップＳ１１４の送信をリトライする。
ここで、ステップＳ１１４の正常／異常は、例えば、情報処理装置２００からＡＣＫコマンドの応答があること等によって判別してもよい。
ステップＳ１１８の時点で、自走装置１００の自己推定位置が最終の目標位置である場合（ステップＳ１１８がＹＥＳの場合）、自走装置１００による点検画像の収集は終了する。
一方で、ステップＳ１１８の時点で、自走装置１００の自己推定位置が最終の目標位置ではない場合（ステップＳ１１８がＮＯの場合）、ステップＳ１０２に進んで、自走装置１００は、新たな目標位置を定めるための走行コマンドを情報処理装置２００に要求する。
＜情報処理装置２００による点検画像の格納について＞
次に、情報処理装置２００による点検画像の格納について説明する。
図５は、情報処理装置２００が点検画像をデータベース３００に格納する処理手順を示すフローチャートである。
ステップＳ２０２において、情報処理装置２００は、自走装置１００から受信した点検画像が、構造物Ａの地図データにおける何処の範囲を撮影したものであるかを、当該点検画像に付与されている環境情報（特に、撮影時点における自走装置１００の自己推定位置を示す位置情報、撮影方向を示すベクトル情報、及び撮影手段１０１から壁面までの距離を示す距離情報）に基づいて特定する。
ステップＳ２０４において、情報処理装置２００（画像処理手段２０２）は、自走装置１００から受信した点検画像の中から撮影対象を抽出する。ここで抽出される撮影対象とは、具体的には、画像解析において一つのまとまりとして解析される対象物（オブジェクト）であり、背景（壁面や床面）と区別される物体とも換言できる。
ステップＳ２０４において撮影対象が抽出されない場合（ステップＳ２０６がＮＯである場合）、ステップＳ２１２に進む。
一方、ステップＳ２０４において撮影対象が抽出された場合（ステップＳ２０６がＹＥＳである場合）、ステップＳ２０８に進む。
ステップＳ２０８において、情報処理装置２００（画像処理手段２０２）は、ステップＳ２０４において抽出された撮影対象が劣化部分であるか否かを判別する。ここで劣化部分とは、例えば、点検画像に撮影されているものがコンクリート壁であればクラック（ひび割れ）が該当し、点検画像に撮影されているものが金属部材であればサビが該当し、点検画像に撮影されているものが塗装壁（モルタル壁など）であれば塗装の剥がれや浮きが該当しうる。
ステップＳ２１０において、情報処理装置２００（特定情報処理手段２０３）は、ステップＳ２０４において抽出された撮影対象のそれぞれに、互いを識別可能にする特定情報を付与する。
上記のステップＳ２０２〜ステップＳ２１０の処理によって生成された種々の情報（撮影範囲の位置情報、撮影対象の有無、撮影対象が劣化部分であるか否か、撮影対象の特定情報）を点検画像及び当該点検画像に撮影されている撮影対象に対応付けて、情報処理装置２００（特定情報処理手段２０３）は、点検画像をデータベース３００に格納させる。
ここで、具体例に則して、図５を用いて説明した処理を、より詳細に説明する。
図６（ｂ）は、或る点検において位置Ｐ４から撮影された点検画像Ｔ１を示す図である。
点検画像Ｔ１の撮影範囲は、ステップＳ２０２の処理によって、図６（ａ）に図示する撮影範囲Ｒ４１として特定されたものとする。そして、情報処理装置２００（画像処理手段２０２）は、点検画像Ｔ１の中から、ステップＳ２０４の処理によって撮影対象ＯＢ１（消火栓）と、撮影対象ＯＢ２（構造物Ａの柱）と、撮影対象ＯＢ３（クラック）と、を抽出したものとする。
この場合、ステップＳ２０８の処理では、情報処理装置２００（画像処理手段２０２）は、撮影対象ＯＢ１と撮影対象ＯＢ２とは劣化部分ではないものと判別し、撮影対象ＯＢ３は劣化部分であるものと判別する。
また、ステップＳ２１０の処理では、情報処理装置２００（特定情報処理手段２０３）は、撮影対象ＯＢ１〜ＯＢ３のそれぞれに、別々の識別情報（ＩＤ番号）と、各々の位置情報と、を付与したものとする。なお、ここで付与される撮影対象の位置情報は、一点（単独の点データ）として特定されてもよいし、範囲（複数の点データ）として特定されてもよい。
次に、図６（ｂ）の点検画像Ｔ１が撮影された点検から、ある程度の時間が経過してから行われた点検において、点検画像Ｔ１と比較するための点検画像Ｔ２を撮影することを想定する。
このとき、情報処理装置２００は、自走装置１００に対して、点検画像Ｔ１に撮影されている撮影対象ＯＢ１〜ＯＢ３が撮影可能な目標位置として位置Ｐ４を指定するための走行コマンドを自走装置１００に送信する。
なお、情報処理装置２００が自走装置１００に当該走行コマンドを送信するタイミングは、位置Ｐ３まで自走して撮影を終了した自走装置１００の要求に応じて次の目標位置を指定するタイミングであってもよいし、初期状態（点検の最初の時点）において自走装置１００の要求に応じて次の目標位置を指定するタイミングであってもよい。
自走装置１００は、当該走行コマンドに基づいて位置Ｐ４まで自走して、点検画像Ｔ２を取得する。このとき、点検画像Ｔ２の撮影範囲（ステップＳ２０２で特定される範囲）は、撮影範囲Ｒ４２（図７（ａ）参照）として特定されたものとする。
図６（ａ）と図７（ａ）とを比較すれば分かるとおり、撮影範囲Ｒ４１と撮影範囲Ｒ４２とは僅かに異なる範囲になりがちである。何故ならば、自走装置１００の自走制御の精度誤差は数センチ単位で生じるものであり、自走装置１００の目標位置として指定した位置が同じであっても、実際の撮影位置が異なりうるからである。また、当該目標位置への自走装置１００の進入角度のいかんによって、撮影対象ＯＢ１〜ＯＢ３を収めるための撮影手段１０１の撮影方向も変化しうるからである。
情報処理装置２００（画像処理手段２０２）は、上記のような撮影範囲Ｒ４２を撮影した点検画像Ｔ２の中から、ステップＳ２０４の処理によって撮影対象ＯＢ４（消火栓）と、撮影対象ＯＢ５（構造物Ａの柱）と、撮影対象ＯＢ６（クラック）と、撮影対象ＯＢ７（クラック）と、を抽出したものとする。
ここで、撮影対象ＯＢ４は撮影対象ＯＢ１とほぼ同じ形状であり、撮影対象ＯＢ５は撮影対象ＯＢ２とほぼ同じ形状である為、情報処理装置２００（画像処理手段２０２）は、撮影対象ＯＢ４は撮影対象ＯＢ１に適合する（適合対象である）ものとして抽出し、撮影対象ＯＢ５は撮影対象ＯＢ２に適合する（適合対象である）ものとして抽出する。
従って、情報処理装置２００（特定情報処理手段２０３）は、撮影対象ＯＢ４には撮影対象ＯＢ１に付与した特定情報を、撮影対象ＯＢ５には撮影対象ＯＢ２に付与した特定情報を、付与する。
言い換えれば、自走装置１００は、受信した第一の走行コマンド（点検画像Ｔ１に基づく走行コマンド）に基づいて目標位置まで自走して、第一の点検画像（点検画像Ｔ１）に含まれる撮影対象を撮影して第二の点検画像（点検画像Ｔ２）を取得するものと言える。
このとき、画像処理手段２０２は、第二の点検画像に含まれる撮影対象の中から第一の点検画像に含まれる撮影対象（撮影対象ＯＢ１及び撮影対象ＯＢ２）に適合する適合対象（撮影対象ＯＢ４及び撮影対象ＯＢ５）を抽出するものと言える。そして、特定情報処理手段２０３は、適合対象と適合した第一の点検画像に含まれる撮影対象の特定情報を、当該適合対象に対応付けるものと言える。
これにより、事後に撮影された点検画像Ｔ２に撮影された撮影対象に対して、その撮影の為の自走制御の元になった点検画像Ｔ１の撮影対象を特定する情報（特定情報）が対応付けられる。
従って、事前に撮影された撮影対象と、事後に撮影された撮影対象と、が異なるアングルから撮影された場合であっても、撮影対象が同じものであるか否かを、点検者が判断する必要がないので、点検に係る作業効率や作業精度を向上させることができる。
また、撮影対象ＯＢ６は撮影対象ＯＢ３と異なる形状であるものの、撮影対象ＯＢ６は撮影対象ＯＢ３と同様にクラックであるものと形状及び色彩等から画像解析可能であり、互いの位置は概ね合致するので、情報処理装置２００（画像処理手段２０２）は、撮影対象ＯＢ６は撮影対象ＯＢ３が進行したものであると推定して、互いに適合する（適合対象である）ものとして、撮影対象ＯＢ６を抽出する。
従って、情報処理装置２００（特定情報処理手段２０３）は、撮影対象ＯＢ６には撮影対象ＯＢ３に付与した特定情報を付与する。
言い換えれば、画像処理手段２０２は、第二の点検画像（点検画像Ｔ２）に含まれる撮影対象の中から抽出された第二の劣化部分（撮影対象ＯＢ６）と、第一の点検画像（点検画像Ｔ１）に含まれる撮影対象の中から抽出された第一の劣化部分（撮影対象ＯＢ３）と、を比較して互いに適合する場合、第二の点検画像に含まれる撮影対象の中から適合対象として第二の劣化部分を抽出するものと言える。そして、特定情報処理手段２０３は、抽出された第二の劣化部分に対して、第一の劣化部分の特定情報を対応付けるものと言える。
このとき、画像処理手段２０２は、第二の劣化部分（撮影対象ＯＢ６）と第一の劣化部分（撮影対象ＯＢ３）とを比較することによって、第一の劣化部分が進行して第二の劣化部分になったものであるか否かを推定する推定処理を実行し、推定処理が肯定される場合には、第一の劣化部分に対する適合対象として第二の劣化部分を抽出するものと言える。
これにより、クラックのように経時的に進行が進む（形状や色彩が変化する）ものであっても、以前の点検時の劣化状況とその後の点検時の劣化状況を高い精度で対応付けることが可能になるので、点検に係る作業効率や作業精度を向上させることができる。
一方、撮影対象ＯＢ７は、撮影対象ＯＢ６とは異なるクラックとして画像解析可能であり、点検画像Ｔ１に撮影されている撮影対象ＯＢ１〜ＯＢ３のいずれとも適合しない。従って、情報処理装置２００（画像処理手段２０２）は、撮影対象ＯＢ７は非適合対象であるものとして抽出する。
このとき、情報処理装置２００（特定情報処理手段２０３）は、撮影対象ＯＢ７には撮影対象ＯＢ１〜ＯＢ３に付与した特定情報とは異なる特定情報を付与する。但し、撮影対象ＯＢ７に特定情報として位置情報を付与する場合、周囲の撮影対象（特に、不動の対象物と見做しうる劣化部分ではない撮影対象（撮影対象ＯＢ４や撮影対象ＯＢ５））の位置情報に基づいて、情報処理装置２００（特定情報処理手段２０３）は撮影対象ＯＢ７に付与する位置情報を定めることが好ましい。なぜならば、同一の点検画像Ｔ２に撮影されている撮影対象の位置情報は、高い精度で整合がとれていることが、点検を適正に行う観点から好ましいからである。
更に好ましくは、情報処理装置２００（特定情報処理手段２０３）は、点検画像Ｔ２の撮影時における自走装置１００の目標位置（自己推定位置の位置情報）と、点検画像Ｔ２の撮影時における撮影手段１０１の撮影方向（ベクトル情報）と、を鑑みて、撮影対象ＯＢ７に付与する位置情報を定めると良い。位置情報の演算精度を上げる為である。
言い換えれば、特定情報処理手段２０３は、第二の点検画像（点検画像Ｔ２）に含まれる撮影対象のうち適合対象に該当しない非適合対象（撮影対象ＯＢ７）に対応付ける位置情報を、第二の点検画像に含まれる適合対象（撮影対象ＯＢ４、撮影対象ＯＢ５）に対応付ける位置情報を用いて定めることが好ましい。
更に好ましくは、特定情報処理手段２０３は、第二の点検画像（点検画像Ｔ２）に含まれる撮影対象のうち非適合対象（撮影対象ＯＢ７）に対応付ける位置情報を、第二の点検画像に含まれる適合対象に対応付ける位置情報に加えて、第二の点検画像を撮影した時における目標位置と、第二の点検画像を撮影した時における撮影手段１０１の撮影方向と、を用いて定めると良い。
なお、撮影対象ＯＢ７に特定情報として識別情報（ＩＤ番号）を付与する場合には、撮影対象ＯＢ１〜ＯＢ３のいずれとも異なるものになることについては、特段説明するまでもなく明らかである。
＜変形例＞
以上に説明した本発明の実施形態は、本発明の目的と達成する範囲において、種々の変形が可能である。
以下、未だ説明していない本発明の変形例について、言及する。
図１に図示したシステム構成に含まれる構成要素のうち、一部を省いてもよく、また図示していない構成要素を追加してもよい。
また、自走装置１００が有する構成要素の一部を、情報処理装置２００が備えるように変更してもよいし、情報処理装置２００が有する構成要素の一部を、自走装置１００が備えるように変更してもよい。
図４及び図５のフローチャートに含まれる手順（ステップ）のうち、一部を省いてもよく、図示していない手順を追加してもよい。
また、図示した手順は一具体例であり、支障ない範囲で処理の順序を置換する、直列で処理されるものを並行処理に置換するなどの変更を加えてもよい。
検索手段２０４による検索の検索条件は特に制限されない旨を説明したが、点検の目的が構造物の劣化診断である場合には、劣化部分が撮影されている点検画像であることを検索条件として検索可能であることが好ましい。
言い換えれば、検索手段２０４は、データベース３００に格納されている点検画像に含まれる撮影対象が劣化部分であるものを、第一の点検画像として検索可能であり、自走装置１００は、第一の点検画像に基づく走行コマンド（第一の走行コマンド）に基づいて目標位置まで自走して、第一の点検画像に含まれる撮影対象を撮影して第二の点検画像を取得できることが好ましい。
画像処理手段２０２による種々の画像処理は、データベース３００に格納されている点検画像を教師データとして用いた機械学習に基づいて実行されてもよい。
特に、事後に撮影された点検画像の劣化部分が、事前に撮影された点検画像の劣化部分が進行したものであるか否かの推定処理については、機械学習による処理が好適である。
他にも、点検画像から抽出した撮影対象が構造物に生じた劣化部分であるか否かを判別する処理についても、機械学習による処理が好適である。
本実施形態は以下の技術思想を包含する。
（１）受信した走行コマンドに基づいて自走可能に構成され且つ構造物の点検に用いる点検画像を撮影する撮影手段が搭載されている自走装置を用いて前記点検画像を取得し、取得した前記点検画像をデータベースに格納させる点検支援システムであって、前記データベースに格納させる前記点検画像に対して、当該点検画像に撮影されている一又は複数の撮影対象を抽出する画像処理手段と、抽出された撮影対象のそれぞれを識別可能に特定する特定情報を、撮影対象に対応付ける特定情報処理手段と、前記データベースに格納されている前記点検画像の中から第一の点検画像を検索する検索手段と、前記検索手段によって検索された前記第一の点検画像に含まれる撮影対象を撮影可能な目標位置へ前記自走装置を自走させるための第一の走行コマンドを生成するコマンド生成手段と、を備え、前記自走装置は、受信した前記第一の走行コマンドに基づいて前記目標位置まで自走して、前記第一の点検画像に含まれる撮影対象を撮影して第二の点検画像を取得し、前記画像処理手段は、前記第二の点検画像に含まれる撮影対象の中から前記第一の点検画像に含まれる撮影対象に適合する適合対象を抽出し、前記特定情報処理手段は、前記適合対象と適合した前記第一の点検画像に含まれる撮影対象の前記特定情報を、当該適合対象に対応付ける、ことを特徴とする点検支援システム。
（２）前記画像処理手段は、抽出した撮影対象が前記構造物に生じた劣化部分であるか否かを判別可能であり、前記画像処理手段は、前記第二の点検画像に含まれる撮影対象の中から抽出された第二の劣化部分と、前記第一の点検画像に含まれる撮影対象の中から抽出された第一の劣化部分と、を比較して互いに適合する場合、前記第二の点検画像に含まれる撮影対象の中から前記適合対象として前記第二の劣化部分を抽出し、前記前記特定情報処理手段は、抽出された前記第二の劣化部分に対して、前記第一の劣化部分の前記特定情報を対応付ける、（１）に記載の点検支援システム。
（３）前記画像処理手段は、前記第二の劣化部分と前記第一の劣化部分とを比較することによって、前記第一の劣化部分が進行して前記第二の劣化部分になったものであるか否かを推定する推定処理を実行し、前記推定処理が肯定される場合には、前記第一の劣化部分に対する前記適合対象として前記第二の劣化部分を抽出する、（２）に記載の点検支援システム。
（４）前記画像処理手段による前記推定処理が、前記データベースに格納されている前記点検画像を教師データとして用いた機械学習に基づいて実行される、（３）に記載の点検支援システム。
（５）前記特定情報処理手段は、前記点検画像から抽出された撮影対象に、前記構造物における当該撮影対象の位置情報を前記特定情報として対応付け、前記第二の点検画像に含まれる撮影対象のうち前記適合対象に該当しない非適合対象に対応付ける位置情報を、前記第二の点検画像に含まれる前記適合対象に対応付ける位置情報を用いて定める、（１）から（４）のいずれか一つに記載の点検支援システム。
（６）前記特定情報処理手段は、前記第二の点検画像に含まれる撮影対象のうち前記非適合対象に対応付ける位置情報を、前記第二の点検画像に含まれる前記適合対象に対応付ける位置情報に加えて、前記第二の点検画像を撮影した時における前記目標位置と、前記第二の点検画像を撮影した時における前記撮影手段の撮影方向と、を用いて定める、（５）に記載の点検支援システム。
（７）前記画像処理手段は、抽出した撮影対象が前記構造物に生じた劣化部分であるか否かを判別可能であり、前記検索手段は、前記データベースに格納されている前記点検画像に含まれる撮影対象が劣化部分であるものを、前記第一の点検画像として検索可能である、（１）から（６）のいずれか一つに記載の点検支援システム。
（８）前記画像処理手段による劣化部分の判別が、前記データベースに格納されている前記点検画像を教師データとして用いた機械学習に基づいて実行される、（７）に記載の点検支援システム。
１０ 点検支援システム
１００ 自走装置
１０１ 撮影手段
１０２ ジャイロセンサ
１０３ 距離センサ
１０４ 走行制御手段
１０５ 送受信手段
２００ 情報処理装置
２０１ 送受信手段
２０２ 画像処理手段
２０３ 特定情報処理手段
２０４ 検索手段
２０５ コマンド生成手段
３００ データベース

Claims (5)

  1. 受信した走行コマンドに基づいて自走可能に構成され且つ構造物の点検に用いる点検画像を撮影する撮影手段が搭載されている自走装置を用いて前記点検画像を取得し、取得した前記点検画像をデータベースに格納させる点検支援システムであって、
    前記データベースに格納させる前記点検画像に対して、当該点検画像に撮影されている一又は複数の撮影対象を抽出し、抽出した撮影対象が前記構造物に生じた劣化部分であるか否かを判別可能である画像処理手段と、
    抽出された撮影対象のそれぞれを識別可能に特定する特定情報として、前記構造物における撮影対象ごとの位置情報を、それぞれの撮影対象に対応付ける特定情報処理手段と、
    前記データベースに格納されている前記点検画像の中から第一の点検画像を検索する検索手段と、
    前記検索手段によって検索された前記第一の点検画像に含まれる撮影対象を撮影可能な目標位置へ前記自走装置を自走させるための第一の走行コマンドを生成するコマンド生成手段と、
    を備え、
    前記自走装置は、受信した前記第一の走行コマンドに基づいて前記目標位置まで自走して、前記第一の点検画像に含まれる撮影対象を撮影して第二の点検画像を取得し、
    前記画像処理手段は、前記第二の点検画像に含まれる撮影対象の中から前記第一の点検画像に含まれる撮影対象に適合する適合対象を抽出し、
    前記特定情報処理手段は、前記適合対象と適合した前記第一の点検画像に含まれる撮影対象の前記特定情報を、当該適合対象に対応付け、
    前記第二の点検画像から抽出された撮影対象の中に第二の劣化部分が含まれる場合、前記第一の点検画像から抽出された撮影対象に含まれる第一の劣化部分と前記第二の劣化部分を、それぞれの形状、色彩及び位置について比較することによって、前記第一の劣化部分が進行して前記第二の劣化部分になったものであるか否かを推定する推定処理が前記画像処理手段によって実行され、
    前記推定処理が肯定される場合には、前記画像処理手段が、前記第一の劣化部分に対する前記適合対象として前記第二の劣化部分を抽出し、前記特定情報処理手段が、抽出された前記第二の劣化部分の前記特定情報として、前記第一の劣化部分の前記特定情報として与えられていた位置情報を付与し、
    前記推定処理が否定される場合には、前記画像処理手段が、前記第一の点検画像に対して非適合対象であるとして前記第二の劣化部分を抽出し、前記特定情報処理手段が、抽出された前記第二の劣化部分の前記特定情報として、劣化部分と判別されていない他の撮影対象の前記特定情報として与えられていた位置情報に基づいて定めた位置情報を付与する、
    ことを特徴とする点検支援システム。
  2. 前記画像処理手段による前記推定処理が、前記データベースに格納されている前記点検画像を教師データとして用いた機械学習に基づいて実行される、
    請求項１に記載の点検支援システム。
  3. 前記特定情報処理手段は、前記第二の点検画像に含まれる撮影対象のうち前記非適合対象に対応付ける位置情報を、前記第二の点検画像に含まれる前記適合対象に対応付ける位置情報に加えて、前記第二の点検画像を撮影した時における前記目標位置と、前記第二の点検画像を撮影した時における前記撮影手段の撮影方向と、を用いて定める、
    請求項１または２に記載の点検支援システム。
  4. 前記画像処理手段は、抽出した撮影対象が前記構造物に生じた劣化部分であるか否かを判別可能であり、
    前記検索手段は、前記データベースに格納されている前記点検画像に含まれる撮影対象が劣化部分であるものを、前記第一の点検画像として検索可能である、
    請求項１から３のいずれか一項に記載の点検支援システム。
  5. 前記画像処理手段による劣化部分の判別が、前記データベースに格納されている前記点検画像を教師データとして用いた機械学習に基づいて実行される、
    請求項４に記載の点検支援システム。
JP2019103834A 2019-06-03 2019-06-03 点検支援システム Active JP6788291B1 (ja)

Priority Applications (8)

Application Number Priority Date Filing Date Title
JP2019103834A JP6788291B1 (ja) 2019-06-03 2019-06-03 点検支援システム
CN202080041197.7A CN113994290A (zh) 2019-06-03 2020-02-28 检查辅助系统
PCT/JP2020/008486 WO2020246085A1 (ja) 2019-06-03 2020-02-28 点検支援システム
AU2020287769A AU2020287769B2 (en) 2019-06-03 2020-02-28 Inspection support system
CA3142464A CA3142464C (en) 2019-06-03 2020-02-28 Inspection support system
EP20819473.8A EP3979031B1 (en) 2019-06-03 2020-02-28 Inspection assistance system
US17/615,609 US11869177B2 (en) 2019-06-03 2020-02-28 Inspection support system
TW109108766A TWI839487B (zh) 2019-06-03 2020-03-17 檢查支援系統

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019103834A JP6788291B1 (ja) 2019-06-03 2019-06-03 点検支援システム

Publications (2)

Publication Number Publication Date
JP6788291B1 true JP6788291B1 (ja) 2020-11-25
JP2020197454A JP2020197454A (ja) 2020-12-10

Family

ID=73452874

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019103834A Active JP6788291B1 (ja) 2019-06-03 2019-06-03 点検支援システム

Country Status (7)

Country Link
US (1) US11869177B2 (ja)
EP (1) EP3979031B1 (ja)
JP (1) JP6788291B1 (ja)
CN (1) CN113994290A (ja)
AU (1) AU2020287769B2 (ja)
CA (1) CA3142464C (ja)
WO (1) WO2020246085A1 (ja)

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4338850A1 (de) * 1993-11-13 1995-05-18 Dornier Gmbh Einrichtung zum Überwachen der Zeitfestigkeit von Strukturen
TWI390096B (zh) * 2009-08-24 2013-03-21 Nat Applied Res Laboratories Safety Monitoring System and Method of Bridge Structure
JP5626011B2 (ja) * 2011-02-25 2014-11-19 富士通株式会社 プログラム及び画像処理装置
EP2779939B1 (en) 2011-11-15 2018-02-14 Trispera Dental Inc. Method and system for acquiring data from an individual for preparing a 3d model
JP5862344B2 (ja) * 2012-02-10 2016-02-16 富士通株式会社 画像処理装置、事前情報更新方法及びプログラム
US8718353B2 (en) * 2012-03-08 2014-05-06 Kla-Tencor Corporation Reticle defect inspection with systematic defect filter
US8983172B2 (en) * 2012-12-28 2015-03-17 Modern Technology Solutions, Inc. Visual inspection apparatus, secure one-way data transfer device and methods therefor
JP6043662B2 (ja) * 2013-03-18 2016-12-14 株式会社ニューフレアテクノロジー 検査方法および検査装置
WO2015004739A1 (ja) * 2013-07-10 2015-01-15 株式会社日立製作所 監視システム、自動巡回ロボット、および監視方法
DE102013108485B4 (de) * 2013-08-06 2015-06-25 Khs Gmbh Vorrichtung und Verfahren zum Fehlertracking bei Bandmaterialien
JP6423686B2 (ja) * 2013-10-29 2018-11-14 株式会社イクシス 劣化診断支援システムおよび劣化診断支援方法
SG2013090378A (en) 2013-11-29 2015-06-29 K One Ind Pte Ltd Flexible vision inspector
US10746900B2 (en) * 2014-11-25 2020-08-18 Cylo Technologies Incorporated System and method for pipeline management
KR101796258B1 (ko) * 2015-04-21 2017-11-13 순천대학교 산학협력단 소형 무인비행체를 이용한 비전 기반의 구조물 안정성 검사 방법
JP6572618B2 (ja) * 2015-05-08 2019-09-11 富士通株式会社 情報処理装置、情報処理プログラム、情報処理方法、端末装置、設定方法、設定プログラム
FR3037429B1 (fr) * 2015-06-15 2018-09-07 Donecle Systeme et procede d'inspection automatique de surface
JP2017009379A (ja) * 2015-06-19 2017-01-12 株式会社ニューフレアテクノロジー 検査装置および検査方法
JP6569114B2 (ja) * 2015-10-19 2019-09-04 エナジー・ソリューションズ株式会社 検査システム、及び検査方法
JP6609463B2 (ja) * 2015-11-19 2019-11-20 シャープ株式会社 自走式電子機器
JP6846897B2 (ja) * 2016-03-24 2021-03-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 位置指示方法、位置指示装置、自走式装置及びプログラム
CN107229274B (zh) 2016-03-24 2022-06-28 松下电器（美国）知识产权公司 位置指示方法、终端装置、自行式装置以及程序
JP6365799B2 (ja) * 2016-06-17 2018-08-01 三菱電機株式会社 変状進展判定装置及び変状進展判定方法
JP2017045480A (ja) * 2016-11-25 2017-03-02 シャープ株式会社 物体検索システム及び物体検索装置
CN206321575U (zh) * 2016-11-28 2017-07-11 武汉理工大学 一种无人机检查高楼外墙裂纹的装置
TWI688761B (zh) * 2017-01-18 2020-03-21 荷蘭商Ａｓｍｌ荷蘭公司 缺陷顯示方法
JP7030431B2 (ja) * 2017-06-26 2022-03-07 株式会社東芝 点検支援システム及び点検支援制御プログラム
CN109254077B (zh) * 2017-07-14 2021-04-06 财团法人工业技术研究院 结构件的劣化侦测方法
CN109387518B (zh) * 2017-08-02 2022-06-17 上海微电子装备（集团）股份有限公司 自动光学检测方法
JP6918672B2 (ja) * 2017-10-11 2021-08-11 株式会社日立システムズ 劣化診断システム
US20190114725A1 (en) * 2017-10-13 2019-04-18 Honeywell International Inc. Utility network monitoring with a device and an unmanned aircraft
US10692203B2 (en) * 2018-02-19 2020-06-23 International Business Machines Corporation Measuring defectivity by equipping model-less scatterometry with cognitive machine learning
EP3844473A4 (en) * 2018-08-30 2022-06-08 Camso Inc. SYSTEMS AND METHODS FOR MONITORING VEHICLES HAVING TIRES
CN109671119A (zh) * 2018-11-07 2019-04-23 中国科学院光电研究院 一种基于slam的室内定位方法及装置
WO2021145933A1 (en) * 2020-01-17 2021-07-22 Landmark Graphics Corporation Continuous assessment of well elements using fiber optics

Also Published As

Publication number Publication date
CA3142464A1 (en) 2020-12-10
TW202045914A (zh) 2020-12-16
US20220318978A1 (en) 2022-10-06
CA3142464C (en) 2024-02-20
EP3979031A1 (en) 2022-04-06
EP3979031B1 (en) 2024-05-29
AU2020287769A1 (en) 2021-12-23
US11869177B2 (en) 2024-01-09
CN113994290A (zh) 2022-01-28
EP3979031A4 (en) 2022-06-29
WO2020246085A1 (ja) 2020-12-10
JP2020197454A (ja) 2020-12-10
AU2020287769B2 (en) 2023-04-20

Similar Documents

Publication Publication Date Title
Yang et al. Deep concrete inspection using unmanned aerial vehicle towards cssc database
Menendez et al. Tunnel structural inspection and assessment using an autonomous robotic system
CN108051450B (zh) 一种基于无人机的桥梁健康检测系统及方法
Protopapadakis et al. Autonomous robotic inspection in tunnels
US20160133008A1 (en) Crack data collection method and crack data collection program
Yang et al. A robotic system towards concrete structure spalling and crack database
Kalaitzakis et al. Dynamic structural health monitoring using a DIC-enabled drone
JP2016090547A (ja) ひび割れ情報収集装置及びひび割れ情報を収集するためのサーバ装置
JP2017129508A (ja) 自己位置推定システム、自己位置推定方法、モバイル端末、サーバおよび自己位置推定プログラム
Watanabe et al. Robot-assisted acoustic inspection of infrastructures-cooperative hammer sounding inspection
Jiang et al. Bridge coating inspection based on two-stage automatic method and collision-tolerant unmanned aerial system
Liu et al. An approach for auto bridge inspection based on climbing robot
Montero et al. Intelligent robotic system for autonomous crack detection and caracterization in concrete tunnels
JP6788291B1 (ja) 点検支援システム
CN111898474B (zh) 基于光学传感感知的目标表面特征变化识别系统与方法
Hu et al. Augmented reality based visualization for concrete bridge deck deterioration characterized by ground penetrating radar
KR102588141B1 (ko) 드론 영상정보를 이용한 딥러닝 기반 구조물 손상 점검 방법
TWI839487B (zh) 檢查支援系統
Bartczak et al. Case Study for Uas-Assisted Bridge Inspections
KR102586815B1 (ko) 구조물 균열 측정 시스템, 방법, 및 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체
JP7314466B2 (ja) 無人航空機、画像撮像システム、及びプログラム
Subedi et al. Spatial change tracking of structural elements of a girder bridge under construction using 3D point cloud
Inoue et al. Shape Control of Variable Guide Frame for Tunnel Wall Inspection to Avoid Obstacles by Laser Range Finder
CN117806339A (zh) 基于大型设施特定观测点的无人机巡检规划方法及终端
Pan et al. A novel ropeway-based system for bridge apparent scanning

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201001

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201001

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20201001

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201020

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201023

R150 Certificate of patent or registration of utility model

Ref document number: 6788291

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20201014

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250