JP6992876B2 - 点検管理装置、点検管理方法、プログラム、点検ロボット、及び、点検ロボット管理システム - Google Patents

点検管理装置、点検管理方法、プログラム、点検ロボット、及び、点検ロボット管理システム Download PDF

Info

Publication number
JP6992876B2
JP6992876B2 JP2020507230A JP2020507230A JP6992876B2 JP 6992876 B2 JP6992876 B2 JP 6992876B2 JP 2020507230 A JP2020507230 A JP 2020507230A JP 2020507230 A JP2020507230 A JP 2020507230A JP 6992876 B2 JP6992876 B2 JP 6992876B2
Authority
JP
Japan
Prior art keywords
inspection
measurement
robot
inspection robot
plan
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020507230A
Other languages
English (en)
Other versions
JPWO2019180897A1 (ja
Inventor
宏彰 猪爪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2019180897A1 publication Critical patent/JPWO2019180897A1/ja
Application granted granted Critical
Publication of JP6992876B2 publication Critical patent/JP6992876B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • E—FIXED CONSTRUCTIONS
    • E01—CONSTRUCTION OF ROADS, RAILWAYS, OR BRIDGES
    • E01D—CONSTRUCTION OF BRIDGES, ELEVATED ROADWAYS OR VIADUCTS; ASSEMBLY OF BRIDGES
    • E01D22/00—Methods or apparatus for repairing or strengthening existing bridges ; Methods or apparatus for dismantling bridges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D21/00—Measuring or testing not otherwise provided for
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M99/00—Subject matter not provided for in other groups of this subclass
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8803—Visual inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/9515—Objects of complex shape, e.g. examined with use of a surface follower device
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/04—Analysing solids
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/102—Simultaneous control of position or course in three dimensions specially adapted for aircraft specially adapted for vertical take-off of aircraft
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/60—Intended control result
    • G05D1/69—Coordinated control of the position or course of two or more vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/25—UAVs specially adapted for particular uses or applications for manufacturing or servicing
    • B64U2101/26—UAVs specially adapted for particular uses or applications for manufacturing or servicing for manufacturing, inspections or repairs
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G01N2021/8867—Grading and classifying of flaws using sequentially two or more inspection runs, e.g. coarse and fine, or detecting then analysing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/9515—Objects of complex shape, e.g. examined with use of a surface follower device
    • G01N2021/9518—Objects of complex shape, e.g. examined with use of a surface follower device using a surface follower, e.g. robot

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Analytical Chemistry (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Software Systems (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Civil Engineering (AREA)
  • Acoustics & Sound (AREA)
  • Structural Engineering (AREA)
  • Architecture (AREA)
  • Bridges Or Land Bridges (AREA)
  • Testing Of Devices, Machine Parts, Or Other Structures Thereof (AREA)

Description

点検機器を搭載した点検ロボットによる構造物の点検管理に関する。
日本全国に７０万ある橋梁のうち建設後５０年以上のものは、２０３０年台には５３％になる。一方で、これらインフラの点検を行う技能労働者数は、減少すると予測されている。結果として、インフラ点検を行うスキルを持った労働者の将来的な不足が懸念されており、これを補うためにより効率的な点検が求められている。また、現在のインフラ点検では、点検・記録・調書作成・データベース化の各段階において、人手作業による点検精度のばらつき、あるいは、非効率性が問題となっている。
これらの問題を解消するために、点検作業の自動化による属人性の排除と、点検から調書作成まで一気通貫で自動化することが望まれている。このような点検から調書作成までの自動化と効率化を実現するため、計測機を搭載した移動ロボットを用いた計測、計算機による損傷箇所の自動検出、調書の自動作成が検討されている。このような点検ロボット、および、計算機を用いることにより、バラつきの小さい計測データとそれに基づいた点検結果の取得が期待できる。
例えば、特許文献１には、点検ロボットが、点検対象の構造物に対して予め設定された複数の計測位置を逐次移動して計測することが記載されている。また、計算機が、点検ロボットの移動経路を計画し、画像を含む計測データを解析して構造物に異常があるか判定することが記載されている。
一方、正しい判定のためには、適切な計測データを計測する必要がある。このため計測データの不備が少なくなる様々な技術が提案されている。
例えば、特許文献２には、構造物周辺の風量、風向に応じて、機体の移動量あたりの画像取得枚数を事前に変更する技術が提案されている。
また、特許文献５には、何らかの原因でデータが正しく計測できなかった場合に調査する後戻り工程を排除するため、校正ブロックを用いて計測データの信頼度を向上させる装置が記載されている。
特開２０１６－１７８７６９号公報 特開２０１６－２２５８６３号公報 特開平１１－６３９８８号公報 特許第５９１１６４５号公報 特開２００８－１１１７８０号公報
特許文献１～５では、点検ロボットが取得した計測データを信頼し、当該計測データに基づき構造物の損傷を判定している。しかし、実際には計測失敗となる計測データが発生する。持ち帰った計測データを解析して不備が見つかった場合、点検現場で再度、計測し直す必要がある。このため、点検作業の効率が向上せずに、点検コストが増加することになる。
本発明の目的は、点検ロボットによって計測失敗となる計測データの数を減らすことができる点検管理装置等を提供することにある。
本発明の点検管理装置の一態様は、計測計画及び点検経路を含む点検計画に従い構造物を点検する点検ロボットから計測の度に計測データを取得し、計測データに基づき計測の成否を判定する、データ解析部と、計測成否の判定結果に応じて、点検計画を修正して出力する点検計画部を備える。
本発明の点検管理方法の一態様は、点検計画に含まれる計測位置を計測する点検ロボットが計測の度に出力した計測データに基づいて、前記計測位置における計測成否を判定し、前記判定結果に応じて、前記計測失敗の原因を推定し、前記推定した原因に基づいて、前記点検計画を修正して出力する。
本発明の記録媒体に格納されたプログラムの一態様は、コンピュータに、点検計画に含まれる計測位置を計測する点検ロボットが計測の度に出力した計測データに基づいて、前記計測位置における計測成否を判定し、前記判定結果に応じて、前記計測失敗の原因を推定し、前記推定した原因に基づいて、前記点検計画を修正して出力する。
本発明は、点検ロボットによって計測失敗となる計測データの数を減らすことができる。
点検ロボットによる構造物の点検作業の概要を示す図である。 第１の実施形態に係る点検管理装置の構成の一例を示すブロック図である。 点検管理装置のデータ解析部の構成の一例を示すブロック図である。 打音検査の計測データの例を示す図である。 点検管理装置の点検計画部の構成の一例を示すブロック図である。 第１の実施形態に係る点検ロボットの構成の一例を示すブロック図である。 点検ロボットの制御部の構成の一例を示すブロック図である。 第１の実施形態に係る点検管理装置の動作の一例を示すフローチャートである。 第１の実施形態に係る点検ロボットの動作の一例を示すフローチャートである。 第１の実施形態に係る点検管理装置をコンピュータで実施するためのハードウエア構成を示すブロック図である。
（第１の実施形態）
第１の実施形態に係る点検管理装置、点検ロボットを有する点検管理システムを用いた構造物の点検について、図面を用いて説明する。第１の実施形態の例では、点検対象の構造物を橋梁としている。図１は、点検ロボット２００による橋梁の点検経路を示す図である。点検ロボット２００は、１つの橋脚において、壁面に設定された同じ段の高さの計測位置を移動して順次計測する。図１に示す点検経路では、図１は、最下の１段目から最上の５段目までの計測位置が設定された例である。
点検ロボット２００は、点検機器を有する移動ロボットである。移動ロボットには、空中移動体、地上移動体、水上移動体、あるいは、水中移動体が含まれる。点検ロボット２００の点検機器は、橋梁の点検のためのセンサを備え、センサで計測した計測データを出力する。
点検機器の一例は、打音検査機である。打音検査は、検査対象の壁面を叩いた打音データを打音検査機で取得し、点検管理装置１００で打音データを解析して橋梁内部の異常を判定する。図１の計測位置は、点検ロボット２００が橋梁の壁面で打音を計測する位置である。
第１の実施形態に係る点検管理装置について、図面を用いて説明する。図２は、第１の実施形態に係る点検管理装置１００の構成を示すブロック図である。図２に示すように、点検管理装置１００は、データ解析部１１０、点検計画部１２０、データ記憶部１３０、通信部１４０、入力部１５０、出力部１６０を備える。
点検管理装置１００は、構造物の点検計画を生成して点検ロボット２００に送信する。また、点検ロボット２００からの計測データを解析して、計測成否を判定し、判定結果に応じて点検計画を再度生成する。
データ解析部１１０は、点検ロボット２００が出力した計測データを解析して、計測の成否を判定する。計測失敗と判定した場合、計測失敗の原因を推定する。
点検計画部１２０は、点検ロボット２００の計測計画、及び、経路計画を生成する。計測計画には、構造物の計測位置が含まれ、経路計画には、点検ロボット２００が構造物の計測位置を順次移動して計測するための点検経路が含まれる。また、データ解析部１１０が計測失敗と判定した場合、点検計画部１２０は、点検計画のうち計測計画、又は、経路計画の少なくとも一方を修正する。
データ記憶部１３０は、取得した計測データを一時的に保持する。通信部１４０は、点検ロボット２００から計測データを受信する、あるいは、点検ロボット２００に点検計画を送信する。入力部１５０は、点検作業者による事前の点検計画、機器の計測パラメータ、点検指令等の入力または設定を受け付ける。出力部１６０は、点検作業者に対して、橋梁の３Ｄモデル、あるいは、点検の実行状況、点検ロボット２００の位置、速度、又は、バッテリ残量などの点検作業の状態を出力する。
以下、点検管理装置１００のデータ解析部１１０、及び、点検計画部１２０について詳細に説明する。図３は、データ解析部１１０の構成の一例を示すブロック図である。図３に示すデータ解析部１１０は、計測判定部１１１と原因推定部１１２を備える。
計測判定部１１１は、点検ロボット２００が計測の度に出力する計測データを取得し、取得した計測データの信頼度を生成する。計測判定部１１１は、計測データの信頼度に基づき、計測の成功、又は、失敗を判定する。
計測判定部１１１は、例えば、過去の計測データ、その計測データの判定結果、及び、計測データに基づく橋梁の異常箇所の有無の組み合わせを学習データとして、橋梁を打音検査した際の計測データの信頼度をモデル化する。信頼度のモデルは、計測データの判定結果の２クラス分類モデルを適用できる。
図４は、打音検査の計測データとその判定結果の例を示す図である。図４の（ａ）、（ｂ）、（ｃ）のデータは、いずれも打音の振幅の時間推移を表している。各グラフの縦軸は打音の振幅、横軸は時間を表している。図４の（ａ）計測成功のデータは、計測が成功した例である。図４の（ｂ）計測失敗：角度のデータは、壁面に対してハンマが垂直に当たらず計測が失敗した例である。また、図４（ｃ）計測失敗：打力のデータは、ハンマが壁面を叩く力が弱くて計測が失敗した例である。
なお、計測データと計測成否の関係を示すモデルの作成の際、計測時の点検ロボット２００の移動速度、又は、計測時に点検ロボット２００が受けた風の影響の有無を含めてもよい。例えば、点検ロボット２００に風速計を備えることで風速データに基づいて風の影響の有無を判定できる。
計測判定部１１１は、データ記憶部１３０に保持された学習データに基づくモデルと、新たに取得した計測データに基づいて、計測の成否を判定する。計測判定部１１１は、取得した計測データの信頼度が所定の閾値以上であれば計測成功と判定し、閾値未満であれば計測失敗と判定する。
なお、学習データに用いる打音検査の計測データは、過去に点検対象の構造物に限られない。例えば、点検対象と同様な構造物、もしくは、同等な試験部材であってよい。
原因推定部１１２は、計測判定部１１１の判定結果が計測失敗の場合、計測失敗の原因となる要因を推定する。原因推定部１１２は、推定された計測失敗の原因、計測計画部によって修正される点検計画を修正する際のパラメータ修正に活用する。例えば、打音データの音波の振幅が小さい場合、打音検査機と構造物の壁面との接触不良が原因と推定する。あるいは、打音検査機のハンマの打力が小さい、ハンマの速度が遅いことが原因と推定する。もしくは、点検ロボット２００の振動と風速が大きい場合は、風の影響で打音検査時に点検ロボット２００の振動が大きくなったと推定する。原因推定部１１２は、計測失敗の原因として、複数の要因を出力してもよい。
原因推定部１１２は、過去の計測データとその信頼度、計測環境（風速、点検ロボット２００の姿勢、打音検査機の姿勢など）、及び、後述する計測パラメータを含むデータセットと、計測失敗の原因を、複数のクラスタにクラスタリングしておく。原因推定部１１２は、新たに取得した計測データに当て嵌まるクラスタから失敗原因を推定してもよい。クラスタリングには、ＳＶＭ（ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅ）、Ｎｅａｒｅｓｔ Ｎｅｉｇｈｂｏｒ法を用いることができる。
図５は、点検計画部１２０の構成の一例を示すブロック図である。点検計画部１２０は、計測計画部１２１、経路計画部１２２を備える。計測計画部１２１は、最初の計測計画を示す情報として、構造物の計測位置と、計測回数と、打音検査機のハンマの打力又はハンマの速さと、点検ロボット２００の位置制御の許容値を決定する。位置制御の許容値は、例えば、ホバリング時の点検ロボット２００の位置と計測位置との差分である。
点検開始時の計測位置は、予め設定された計測位置の間隔と構造物の３次元構造図に基づき、構造物の計測位置が算出される。１つの計測位置における計測回数、位置精度の許容値は、予め設定されてもよい。また、点検対象の構造物の材質などに応じて、ハンマの打音強さが変更されてもよい。
点検計画部１２０は、原因推定部１１２の推定結果に基づき、必要に応じて計測計画と、点検経路を修正する。計測計画には、計測パラメータとして、橋梁の計測位置、計測位置の間隔、計測回数、打音強さ／速さなどの計測条件、及び、点検ドローン２００の姿勢角が含まれる。
点検計画部１２０は、点検実行時に計測が失敗した場合、原因推定部１１２の推定した原因に応じて、計測パラメータを修正する。例えば、推定した原因が、打音検査機と橋梁の壁面との接触不良の場合、接触不良を改善するために、打音検査機のハンマの速度を上げる、あるいは、ホバリング時の位置精度の許容値を狭くする。なお、計測パラメータの修正は、複数の原因に基づいて修正されてもよい。
また、計測判定部１１１は、計測データに基づき、橋梁に異常があると判定した場合、異常を検出した計測位置の周辺を複数回計測し直すよう計測位置と計測回数を修正する。この際、打音強さなどの計測パラメータ、及び、点検ロボット２００の姿勢角は変更しないこととする。
経路計画部１２２は、計測計画部１２１で決定された所定の計測位置に対して、点検ロボット２００を順次移動させる点検経路を生成する。図１に示す点検経路では、橋脚に設定された計測位置のうち、水平方向に並んだ計測位置を１つのループとして、ループ内の計測位置を点検ロボット２００が順次移動する。点検ロボット２００は、最下の１段目のループ内での計測を終えると、２段目のループへ移動し、２段目のループ内の計測位置を順次移動する。点検ロボット２００は、最上の５段目のループ内の計測位置の計測を終えると橋脚から離脱する。
点検経路は、単なる通過位置を示すデータを含むだけでなく、通過位置のうちの計測位置に、その計画位置での点検ロボット２００の姿勢、飛行速度、加速度などを関連付けた軌道データとして生成されてもよい。また、経路計画部１２２は、例えば、計測位置Ａと計測位置Ｂとの間に障害物が存在する場合は、その障害物を回避するような点検経路を生成してもよい。例えば、広角ステレオカメラによる自己位置推定と点検経路の３次元地図により、予定していた点検経路に出現した障害物の位置を検知し障害物を回避する点検経路を生成する。また、経路計画部１２２は、風などの影響により、計画した点検経路から点検ロボット２００が大きく逸脱したことを検出した場合、次の計測位置へ向かう点検経路を新たに生成してもよい。経路計画部１２２は、点検ロボット２００の逸脱を、例えば、ＧＰＳ測位による点検ロボット２００の位置変化により検知する。あるいは、点検ロボット２００の位置変化は、点検ロボット２００に備えられた加速度センサおよびジャイロから出力される加速度、角速度に基づき検知されてもよい。
次に、点検ロボット２００の構成について説明する。図６は、第１の実施形態に係る点検ロボット２００の構成の一例を示すブロック図である。点検ロボット２００は、駆動部２１０、バッテリ２２０、通信部２３０、制御部２４０、計測部２５０を備える。
駆動部２１０は、点検ロボット２００を移動させる駆動装置を備える。駆動装置は、点検ロボットが点検する環境（空中、地上、水中等）によって異なる。例えば、空中における駆動装置の一例は、回転翼と接続されたモータ機器である。
バッテリ２２０は、点検ロボット２００の各機能ブロックを動作させるための電源である。電源の一例は充電池である。
通信部２３０は、無線または有線通信により、点検管理装置１００との間で情報を送受信する。通信部２３０は、点検ロボット２００の点検作業の状態、計測データを点検管理装置１００に送信する。あるいは、通信部２３０は、点検管理装置１００から点検計画を受信する。
制御部２４０は、点検ロボット２００の移動制御、及び、点検機器の動作を制御する。制御部２４０は、点検管理装置１００から送信された点検計画に基づき、構造物の計測位置ごとに点検ロボット２００を移動させる。
図７は、点検ロボット２００の制御部２４０の構成の一例を示すブロック図である。制御部２４０は、状態推定部２４１、計測制御部２４２、移動制御部２４３を備える。
状態推定部２４１は、点検ロボット２００の位置、移動速度、姿勢、又は、バッテリ残量を含む点検ロボット２００の状態を推定する。例えば、点検ロボット２００の位置、及び、移動速度はＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）信号に基づく測位技術又は加速度センサによる加速度により取得することができる。
点検ロボット２００が橋梁の下に移動することでＧＰＳ信号の受信レベルが低下し、点検ロボット２００の位置検知の精度が低下する場合がある。このとき、状態推定部２４１は、自己位置推定技術を使って点検ロボット２００の位置を推定してもよい。自己位置推定技術の一例は、カメラ画像とＩＭＵ（Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ）情報から点検ロボット２００の位置・姿勢を推定するビジュアル・オドメトリである。
計測制御部２４２は、計測計画部１２１で算出された計測条件に従って、計測部２５０の打音検査機を制御する。移動制御部２４３は、点検ロボット２００が、経路計画部１２２で算出した点検経路に沿って移動するよう駆動部２１０の回転翼の回転を制御する。
計測部２５０は、構造物を点検するための点検機器を少なくとも備える。点検機器の一例は、打音検査機である。打音検査機は、構造物の表面を叩くハンマと、構造物から出た打音を計測し、計測データを出力する打音センサを備える。計測データは、例えば、打音の周波数、あるいは、打音の音圧（振幅）である。なお、計測部２５０に点検ロボット２００の位置を検出するＧＰＳ受信機が設置されていてもよい。なお、点検ロボット２００に搭載したデジタルカメラによって、点検ロボット２００の周囲の撮影画像を出力する。点検ロボット２００の周囲画像は、例えば、点検ロボット２００の橋梁への移動状況の確認、あるいは、計測位置の確認に利用される。あるいは、点検ロボット２００はデジタルカメラにより各計測位置における構造物の写真を撮影し、計測データと紐付けてもよい。
次に、第１の実施形態に係る点検管理装置１００と点検ロボット２００の動作について、図面を用いて説明する。図８は、第１の実施形態の点検管理装置１００の動作の一例を示すフローチャートである。
点検計画部１２０は、橋梁の点検の開始前に初版となる点検計画を生成する。点検計画部１２０は、点検ロボット２００に点検計画を出力する（ステップＳ２１）。
データ解析部１１０は、点検ロボット２００が橋梁の計測位置で計測した計測データを取得する（ステップＳ２２）。点検ロボット２００は計測位置の計測の度に計測データを出力する。
データ解析部１１０の計測判定部１１１は、取得した計測データの信頼度を生成する（ステップＳ２３）。計測判定部１１１は、計測データの信頼度に基づき、計測成否を判定する（ステップＳ２４）
計測データが計測失敗の場合（ステップＳ２５のＹｅｓ）、原因推定部１１２は、計測失敗の原因を推定する（ステップＳ２６）。
点検計画部１２０は、原因推定部１１２が推定した原因に基づいて、点検計画を修正する（ステップＳ２７）。点検計画部１２０は、修正した点検計画を点検ロボット２００に出力する。
一方、計測データが計測成功（ステップＳ２５のＮｏ）であり、最後の計測位置ならば（ステップＳ２８のＹｅｓ）、データ解析部１１０は、点検を終了する。最後の計測位置でない場合（ステップＳ２８のＮｏ）、データ解析部１１０は、次の計測位置の計測データを取得する（ステップＳ２２）。
次に、第１の実施形態に係る点検ロボット２００の動作について図面を用いて説明する。図９は、第１の実施形態に係る点検ロボット２００の動作の一例を示すフローチャートである。
点検ロボット２００の制御部２４０は、点検計画を取得する（ステップＳ３１）。制御部２４０の移動制御部２４３、及び、状態推定部２４１は、点検計画に含まれる計測位置に点検ロボット２００を移動させる（ステップＳ３２）。
計測制御部２４２は、点検計画に従い計測部２５０に計測位置での計測を指示する。計測部２５０は、点検機器で計測位置を計測し、計測データを出力する（ステップＳ３４）。
制御部２４０は、点検管理装置１００から新たな点検計画を取得するまで、所定時間待機する。所定時間内に新たな点検計画を取得した場合（ステップＳ３５のＹｅｓ）、新たな点検計画に従い制御部２４０は、計測位置に点検ロボット２００を移動させる。
所定時間内に新たな点検計画を取得しなかった場合（ステップＳ３５のＮｏ）、制御部２４０は、出力した計測データが最後の計測位置についてのものであるかを確認する。最後の計測位置の場合（ステップＳ３６）、制御部２４０は、橋梁の点検を終了する。最後の計測位置ではない場合（ステップＳ３６のＮｏ）、制御部２４０は、次の計測位置に点検ロボット２００を移動させ、橋梁の点検を継続する。
（第１の実施形態の効果）
第１の実施形態の点検管理装置１００は、点検ロボット２００から計測の度に計測データを取得し、計測データに基づき計測成否を判定する。点検計画部１２０は、計測失敗の判定によって、点検計画が修正されるため、計測失敗となる計測データの数を減らすことができる。これにより、点検ロボット２００による構造物の点検作業の効率を向上させ、点検コストを低下させることが可能となる。
また、原因推定部１１２により、計測失敗の原因を推定し、推定した原因に基づいて点検計画を修正している。これにより、計測失敗時とは異なる計測パラメータで再計測することで同様の計測失敗を抑制することができる。更に、計測失敗に対する原因に基づき、計測パラメータを変更することで、再計測時における同様の計測失敗を回避できる。
（変形例）
第１の実施形態では、橋梁の点検の例を用いて説明したが、点検対象の構造物はこれに限られない。例えば、ビル、又は、トンネル等の構造物でもよい。
さらに、第１の実施形態では、橋梁の点検内容として、打音検査の例を用いて説明したが、他の点検方式であってもよい。カメラによる構造物の３Ｄモデル生成といった別の点検方式でも適用できる。また、人による近接目視点検の代替として、例えば、点検ロボット２００に搭載されたカメラで橋梁表面を撮影し、撮影画像を解析して表面のひび割れの状態などから橋梁の損傷を判定することに適用してもよい。
また、点検ロボットとして、無人飛行体の例で説明したが、地上走行ロボット、水面移動ロボット、水中移動ロボットなど、別の形態のロボットでもよい。
点検管理装置１００に含まれるデータ解析部１１０、点検計画部１２０の機能の一方は、点検ロボット２００に搭載されてもよい。
状態推定部２４１のうち、一部は点検ロボット２００に搭載された計算機上にあってもよいし、点検ロボット２００ではなく、点検管理装置１００に搭載されていてもよい。
（ハードウエア構成）
図１０は、第１の実施形態に係る点検管理装置１００をコンピュータで実施するためのハードウエア構成を示すブロック図である。
第１の実施形態において、点検管理装置１００の各構成は、機能単位のブロックを示している。各構成の一部又は全部は、例えば、図１０に示すコンピュータ６００とプログラムとの任意の組み合わせにより実現される。コンピュータ６００は、一例として、以下のような構成を含む。
ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）６０１、
ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）６０２、
ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）６０３、
ＲＡＭ６０３にロードされるプログラム６０４、
プログラム６０４を格納する記憶装置６０５、
通信インターフェース６０６、
データの入出力を行う入出力インターフェース６０７、
点検管理装置１００の各構成は、これらの機能を実現するプログラム６０４をＣＰＵ６０１が取得して実行することで実現される。各構成の機能を実現するプログラム６０４は、例えば、予め記憶装置６０５又はＲＡＭ６０３に格納されており、必要に応じてＣＰＵ６０１が読み出す。
点検管理装置１００の実現方法には、様々な変形例がある。例えば、点検管理装置１００は、各構成にそれぞれ別個のコンピュータとプログラムとの任意の組み合わせにより実現されてもよい。
また、点検管理装置の各構成の一部又は全部は、その他の汎用または専用の回路、プロセッサ等やこれらの組み合わせによって実現される。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。また、コンピュータの代わりにＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）のようなプログラマブルロジックデバイスを用いてもよい。
さらに、点検管理装置１００の各構成の一部又は全部は、上述した回路等とプログラムとの組み合わせによって実現されてもよい。
また、点検管理装置１００の各構成の一部又は全部が複数のコンピュータや回路等により実現される場合には、複数のコンピュータや回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、コンピュータや回路等は、クライアントアンドサーバ、クラウドコンピューティング等、各々が通信ネットワークを介して接続される形態として実現されてもよい。
以上、上述した実施形態を模範的な例として本発明を説明した。しかしながら、本発明は、上述した実施形態には限定されない。即ち、本発明は、本発明のスコープ内において、当業者が理解し得る様々な態様を適用することができる。
１００ 点検管理装置
１１０ データ解析部
１１１ 計測判定部
１１２ 原因推定部
１２０ 点検計画部
１３０ データ記憶部
１４０ 通信部
１５０ 入力部
１６０ 出力部
２００ 点検ロボット
２２０ バッテリ
２３０ 通信部
２４０ 制御部
２４１ 状態推定部
２４２ 計測制御部
２４３ 移動制御部
２５０ 計測部
２６０ データ記憶部

Claims (12)

  1. 点検計画に従い構造物を点検する、点検機器を有する点検ロボットが計測し、前記点検ロボットが出力した計測データに基づいて前記構造物の計測位置における計測成否を判定し、前記判定結果に応じて前記計測失敗の原因を推定する、データ解析手段と、
    前記推定した原因に基づいて前記点検計画に含まれる、前記点検機器が前記構造物を点検するための計測条件を修正して出力する、点検計画手段と、を備える、
    点検管理装置。
  2. 前記点検計画手段は、前記点検機器が打音検査機であり、かつ前記打音検査機が、前記構造物の表面を叩くハンマと、前記構造物から出た打音を計測し、前記計測データを出力する打音センサとを備える場合に、前記計測条件として、前記ハンマの打力又は前記ハンマの速さを修正して出力する
    請求項１に記載の点検管理装置。
  3. 前記データ解析手段は、
    過去の計測データとその判定結果、及び、過去の計測データに基づく前記構造物の異常判定の結果を学習データとして、前記計測データの信頼度をモデル化し、
    前記モデルを用いて、前記点検ロボットが出力した計測データの信頼度を生成し、
    前記計測データの信頼度と所定の閾値との比較により、前記計測成否を判定する、
    請求項１又は２に記載の点検管理装置。
  4. 前記点検計画手段は、
    前記推定した原因に基づき、前記点検計画を修正する際の計測パラメータを設定する計測計画手段と、
    前記点検ロボットの点検経路を設定する経路計画手段と、を備える、
    請求項１乃至３のいずれか１つに記載の点検管理装置。
  5. 前記点検計画手段は、前記点検計画に含まれる点検経路から前記点検ロボットが逸脱した場合、または、前記点検経路上に障害物を検知した場合、前記点検経路を変更する、
    請求項１乃至４のいずれか１つに記載の点検管理装置。
  6. 前記データ解析手段は、前記判定結果が計測成功の場合、前記計測データに基づき、前記計測位置における前記構造物の異常を判定し、
    前記構造物に異常があると判定した場合、前記点検計画手段は、異常と判定された計測位置の周辺を計測するように前記点検計画を修正する、
    請求項１乃至５のいずれか１つに記載の点検管理装置。
  7. 点検計画に従い構造物を点検する、点検機器を有する点検ロボットが計測し、前記点検ロボットが出力した計測データに基づいて前記構造物の計測位置における計測成否を判定し、
    前記判定結果に応じて前記計測失敗の原因を推定し、
    前記推定した原因に基づいて前記点検計画に含まれる、前記点検機器が前記構造物を点検するための計測条件を修正して出力する、
    点検管理方法。
  8. 前記点検機器が打音検査機であり、かつ前記打音検査機が、前記構造物の表面を叩くハンマと、前記構造物から出た打音を計測し、前記計測データを出力する打音センサとを備える場合に、前記計測条件として、前記ハンマの打力又は前記ハンマの速さを修正して出力する
    請求項７に記載の点検管理方法。
  9. コンピュータに、
    点検計画に従い構造物を点検する、点検機器を有する点検ロボットが計測し、前記点検ロボットが出力した計測データに基づいて前記構造物の計測位置における計測成否を判定し、
    前記判定結果に応じて前記計測失敗の原因を推定し、
    前記推定した原因に基づいて前記点検計画に含まれる、前記点検機器が前記構造物を点検するための計測条件を修正して出力する、
    ことを実行させるプログラム。
  10. 前記点検機器が打音検査機であり、かつ前記打音検査機が、前記構造物の表面を叩くハンマと、前記構造物から出た打音を計測し、前記計測データを出力する打音センサとを備える場合に、前記計測条件として、前記ハンマの打力又は前記ハンマの速さを修正して出力する
    請求項９に記載のプログラム。
  11. 請求項１乃至６のいずれか１つに記載の点検管理装置を備える、点検ロボット。
  12. 請求項１乃至６のいずれか１つに記載の前記点検管理装置と、
    前記点検ロボットと、を備える、
    点検ロボット管理システム。
JP2020507230A 2018-03-23 2018-03-23 点検管理装置、点検管理方法、プログラム、点検ロボット、及び、点検ロボット管理システム Active JP6992876B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/011593 WO2019180897A1 (ja) 2018-03-23 2018-03-23 点検管理装置、点検管理方法、及び、プログラムを格納する記録媒体

Publications (2)

Publication Number Publication Date
JPWO2019180897A1 JPWO2019180897A1 (ja) 2021-03-11
JP6992876B2 true JP6992876B2 (ja) 2022-01-13

Family

ID=67988381

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020507230A Active JP6992876B2 (ja) 2018-03-23 2018-03-23 点検管理装置、点検管理方法、プログラム、点検ロボット、及び、点検ロボット管理システム

Country Status (3)

Country Link
US (1) US11913789B2 (ja)
JP (1) JP6992876B2 (ja)
WO (1) WO2019180897A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12045068B2 (en) * 2020-04-21 2024-07-23 T-Mobile USA, Inc Autonomous inspection system and method
CN112637553B (zh) * 2020-11-25 2021-11-23 浙江大学 一种基于监控视频的桥梁结构模态分析方法
US20220187076A1 (en) * 2020-12-11 2022-06-16 Hitachi, Ltd. Guided inspection with object recognition models and navigation planning

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS58201047A (ja) * 1982-05-20 1983-11-22 Caterpillar Mitsubishi Ltd 故障診断システムの判定方法
JPS60198610A (ja) * 1984-03-23 1985-10-08 Hitachi Ltd 移動ロボツト制御方式
JPH03194463A (ja) 1989-12-22 1991-08-26 Fuji Electric Co Ltd 探触子の走査装置
JPH04367656A (ja) 1991-06-14 1992-12-18 Hitachi Ltd 超音波診断装置
JPH0763736A (ja) 1993-08-26 1995-03-10 Toyota Motor Corp クラック検出装置
JPH1163988A (ja) 1997-08-22 1999-03-05 Oojisu Soken:Kk 構造物計測システム
JP5075394B2 (ja) 2006-10-31 2012-11-21 株式会社東芝 形状計測装置および形状計測方法
JP5422464B2 (ja) 2010-03-31 2014-02-19 中日本ハイウェイ・エンジニアリング名古屋株式会社 打撃検査装置
JPWO2013105164A1 (ja) * 2012-01-13 2015-05-11 日本電気株式会社 異常信号判定装置、異常信号判定方法、および異常信号判定プログラム
JP5911645B1 (ja) 2014-05-12 2016-04-27 三菱電機株式会社 位置決め装置
JP2016178769A (ja) 2015-03-19 2016-10-06 綜合警備保障株式会社 点検対象特定システム及び点検対象特定方法
JP2016225863A (ja) 2015-06-01 2016-12-28 株式会社Ｎｔｔファシリティーズ 撮影システム、撮影方法及びプログラム
US9740200B2 (en) * 2015-12-30 2017-08-22 Unmanned Innovation, Inc. Unmanned aerial vehicle inspection system

Also Published As

Publication number Publication date
US20210116248A1 (en) 2021-04-22
WO2019180897A1 (ja) 2019-09-26
US11913789B2 (en) 2024-02-27
JPWO2019180897A1 (ja) 2021-03-11

Similar Documents

Publication Publication Date Title
US10633093B2 (en) Three-dimensional robotic inspection system
US12116979B2 (en) Unmanned aerial vehicle wind turbine inspection systems and methods
US10452078B2 (en) Self-localized mobile sensor network for autonomous robotic inspection
US10777004B2 (en) System and method for generating three-dimensional robotic inspection plan
US10162368B2 (en) Autonomous moving machine
JP6992876B2 (ja) 点検管理装置、点検管理方法、プログラム、点検ロボット、及び、点検ロボット管理システム
JP6545279B2 (ja) 衝突は発生しないかについて、車両が辿るべき目標軌跡を監視するための方法及び装置
US20140336928A1 (en) System and Method of Automated Civil Infrastructure Metrology for Inspection, Analysis, and Information Modeling
US11886189B2 (en) Control and navigation systems, pose optimization, mapping, and localization techniques
Kalaitzakis et al. Dynamic structural health monitoring using a DIC-enabled drone
JP2017059955A (ja) 撮像システム及びコンピュータプログラム
CN109591050A (zh) 安全跟踪系统、装置、方法、存储介质及安全系统
US20230196612A1 (en) Method and system for object detection
Ramon-Soria et al. Planning system for integrated autonomous infrastructure inspection using uavs
Kanellakis et al. Autonomous visual inspection of large-scale infrastructures using aerial robots
Zhou et al. Autonomous wireless sensor deployment with unmanned aerial vehicles for structural health monitoring applications
Mao et al. Towards automated post-disaster damage assessment of critical infrastructure with small unmanned aircraft systems
GB2581403A (en) Pose optimisation, mapping, and localisation techniques
US11534915B1 (en) Determining vehicle integrity based on observed behavior during predetermined manipulations
JP2019191888A (ja) 無人飛行体、無人飛行方法及び無人飛行プログラム
Høglund Autonomous inspection of wind turbines and buildings using an UAV
KR20200051503A (ko) 무인기 시뮬레이터에 의한 무인기 품질인증 시험 시스템 및 그 방법
JP2021157706A (ja) 建設作業管理システムおよび自動巡回移動体
KR20200078073A (ko) 드론 관제 방법 및 이를 위한 장치
Wilson et al. UAV rendezvous: From concept to flight test

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200828

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200828

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210511

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210701

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20211021

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211109

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211122

R150 Certificate of patent or registration of utility model

Ref document number: 6992876

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150