JP7030431B2 - 点検支援システム及び点検支援制御プログラム - Google Patents
点検支援システム及び点検支援制御プログラム Download PDFInfo
- Publication number
- JP7030431B2 JP7030431B2 JP2017124427A JP2017124427A JP7030431B2 JP 7030431 B2 JP7030431 B2 JP 7030431B2 JP 2017124427 A JP2017124427 A JP 2017124427A JP 2017124427 A JP2017124427 A JP 2017124427A JP 7030431 B2 JP7030431 B2 JP 7030431B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- abnormal
- distance
- inspected object
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Testing And Monitoring For Control Systems (AREA)
- Remote Monitoring And Control Of Power-Distribution Networks (AREA)
Description
図1及び図2は、本実施形態における巡視点検支援システム1の構成を示すブロック図である。巡視点検支援システム1は、各種の社会インフラ設備に対する巡視点検に用いられるシステムである。本実施形態では、例えば発電所や変電所から送電するための送電設備(送電線、鉄塔)17について、通常時あるいは事故発生時において航空機、例えば無人航空機(以下、ドローン14と称する)を利用して、巡視点検する場合を例にして説明する。巡視点検支援システム1は、ドローン14と巡視点検制御システム2により構成される。巡視点検制御システム2は、ドローン14に搭載されたカメラにより撮影された画像データをもとに、送電設備17に含まれる複数の異なる被点検物(例えば、架空地線、送電線、碍子、閃絡表示器、アークホーン、鉄塔、鉄塔基礎コンクリートなど)に生じた異常箇所を検出し、この検出結果を巡視点検結果報告として記録する。本実施形態では、巡視点検制御システム2は、例えば情報処理装置10とネットワーク15を介して接続される管理装置12により構成する。ただし、巡視点検制御システム2を1つの装置として実現することも可能である。また、管理装置12は、クラウドコンピューティングにより実現されるものとし、ネットワーク15(インターネット)を介して接続された1台のサーバ、あるいは複数のサーバが協働して動作することで実現されても良い。
情報処理装置10は、ドローン14の航行の管理/制御、ドローン14から取得される取得データ(画像データ(動画像、静止画像)、位置データ等を含む)の整理/管理、ドローン14からの取得データに対する処理結果をまとめる巡視/点検管理などの処理を実行する。情報処理装置10は、例えばドローン14と共に巡視点検対象とする送電設備17の近くまで搬送されて使用され、ドローン14により撮影された画像データをもとにした被点検物に生じた異常箇所の検出、異常箇所の画像の確認処理などが実行される。
確認データ記憶部21kは、確認画面において、異常候補画像が異常箇所であることが確認された画像データ(異常箇所画像データ)、検出対象とする被点検物、検出対象とする異常種類、劣化状態(劣化レベル)、検出位置、検出日時などを示す各データを確認データとして記憶する。確認データは、例えば、巡視点検管理部22において巡視点検データとして使用される。
図5に示すドローン14は、制御ユニット等を内部に収納するドローン本体14aと、ドローン本体14aから上方に向けて対称に設けられた4つのローター14bと、ドローン本体14aの下方に撮影方向を可変にして設けられたカメラ14cとを有している。ローター14bは、回転によって上向きの揚力を発生させる回転翼であり、制御ユニットにより回転が制御され、ドローン14を垂直方向及び水平方向へ移動させることができる。また、ほぼ同じ位置で飛行を継続するホバリングをさせることもできる。カメラ14cは、静止画または動画像を撮影するデジタルカメラ、ビデオカメラ等である。
図7に示すように、カメラ14cのレンズ開口部にカラー開口フィルタ14eが装着(内挿)される。カラー開口フィルタ14eは、円形のフィルタの半円のそれぞれが異なる色のフィルタ、例えば水色カラーフィルタ14e1と黄色カラーフィルタ14e2に形成されている。カラー開口フィルタ14eは、水色カラーフィルタ14e1と黄色カラーフィルタ14e2とが、例えば左右に配置されるように装着される。以下、カラー開口フィルタ14eが装着されたレンズ開口部をカラー開口と称する。
カラー開口を通じて画像を撮影した場合、ボケ形状が色毎に変化する。例えば、緑色の場合には、従来のカメラ(カラー開口フィルタ14e無し)と同様のボケ形状となり、赤色及び青色の場合には、カラー開口によって非対称のボケ形状なる。
例えば、作業員等は、送電設備17に対してドローン14を用いた点検をする場合には、情報処理装置10とドローン14を自動車などに搭載して、ドローン14が送電設備17まで飛行可能な範囲内に移動する。
ドローン14の制御ユニット30aは、情報処理装置10から受信した飛行制御データを記憶した後、飛行開始が指示されると、飛行制御部30dにより駆動ユニット30mを駆動して、飛行制御データに応じた経路を飛行させる飛行制御を開始する(ステップB1)。
ドローン14により記憶された取得データは、情報処理装置10に送信され、取得データ記憶部21dにおいて記憶される。取得データ記憶部21dには、ドローン14による複数回の飛行により記憶された取得データを記憶させてくことができる。情報処理装置10は、作業者等の操作により、画像データをもとに被点検物に生じた異常箇所を検出して確認するための取得データの整理を開始する。
まず、異常箇所検出部21cは、異常箇所の検出対象とするカラー画像から点検対象とする被点検物に相当する画像を抽出するための被点検物抽出処理を実行する(ステップD1)。
異常箇所検出部21cは、取得データ記憶部21dに記憶された取得データの動画像データから、異常箇所の検出対象とする1フレームの画像を抽出する(ステップE1)。異常箇所検出部21cは、例えば、動画像データに対応する位置データをもとに、所定の高度毎に対応する1フレームの画像を異常箇所の検出対象として抽出する。すなわち、複数の異なる高度のそれぞれにおいて撮影された画像が、それぞれ一部が重複するようにすることで、鉄塔全体について異常箇所を検出することができる。
巡視点検管理部22は、巡視点検データ記憶部22aに記憶された巡視点検データ、巡視点検結果報告作成部22bにより生成した巡視点検結果報告データをもとに、処理結果を出力(表示あるいは印刷)する。
図23に示す詳細情報画面90には、被点検物を撮影した動画像(あるいは異常箇所が検出された時点の静止画像)を表示させる画像領域91、画像領域91に表示される動画像に対応するシークバー92、情報表示領域93が設けられる。シークバー92には、異常箇所が検出された動画像中の先頭位置を示す位置マーク92a1,92a2、それぞれの位置マーク92a1,92a2に対応する時刻表示92b1,92b2が付されている。
図24は、本実施形態における地図表示画面100の一例を示す図である。
図24に示す地図表示画面100では、被点検物とする例えば鉄塔が設置された位置が鉄塔シンボル101によって明示されている。また、複数の鉄塔シンボル101のうち巡視点検結果報告作成部22bによって巡視点検データをもとに改修が必要と判定された鉄塔については、改修マーク102a,102bが付されている。また、改修マーク102a,102bは、巡視点検データをもとに決定された保全優先度に応じて異なる色によって表示される。例えば、保全優先度が高い順に、赤色、オレンジ色、黄色のように色を変えて表示させる。これにより、地図表示画面100において改修が必要と判定された鉄塔を容易に把握することができ、また改修マーク102a,102bの表示色によって保全優先度を容易に把握することができる。
Claims (7)
- 異なる色のフィルタが形成されたカラー開口フィルタがレンズに装着されたカメラにより撮影された画像データを入力する入力手段と、
前記画像データをもとに、カラー画像と、被点検物を含む被写体までの距離を示す距離情報を含む距離画像とを生成する生成手段と、
前記距離画像をもとに被点検物に相当する第1距離情報と、前記被点検物とは別の被写体に相当する第2距離情報とが示す距離の間、あるいは前記被点検物の奥行き範囲の間に、前記カラー画像から前記被点検物に相当する画像部分を抽出するための第1閾値を設定し、前記被点検物の奥行き範囲の間に前記カラー画像から前記被点検物の一部に相当する画像部分を抽出するための第2閾値を設定する閾値設定手段と、
前記第1閾値及び前記第2閾値をもとに前記被点検物の一部に相当する距離情報を抽出する抽出手段と、
前記抽出手段により抽出された距離情報に対応する前記被点検物の一部に相当する被点検物画像を前記カラー画像から抽出する画像抽出手段と、
前記被点検物画像から前記被点検物に異常が生じた異常箇所の異常画像を検出する異常箇所検出手段と、
前記異常画像をもとに異常状態を判別する異常状態判別手段と、
前記異常箇所の異常状態を含む点検結果を出力する出力手段と
を有する、点検支援システム。 - 前記閾値設定手段は、前記距離画像の各画素に対応する距離情報をもとに、距離毎のヒストグラムを生成し、前記ヒストグラムの度数の値をもとに前記第1距離情報と前記第2距離情報とが示す距離の間を判別する、請求項1記載の点検支援システム。
- 前記抽出手段により抽出された前記被点検物に相当する距離情報に対して、前記被点検物の形状に基づいて、不足分の距離情報を補完する補完手段をさらに有する請求項1記載の点検支援システム。
- 前記異常状態判別手段は、異常状態に対応する学習モデルをもとに、前記異常画像に対する劣化レベルを判定する請求項1記載の点検支援システム。
- 前記異常箇所の異常状態と前記劣化レベルをもとに前記被点検物が保全対象とするか判別する判別手段をさらに有する請求項4記載の点検支援システム。
- 前記判別手段によって保全対象として判別された被点検物を地図上に明示して出力する地図出力手段をさらに有する請求項5記載の点検支援システム。
- 画像データをもとに被点検物について点検する処理を実行するコンピュータを、
異なる色のフィルタが形成されたカラー開口フィルタがレンズに装着されたカメラにより撮影された画像データを入力する入力手段と、
前記画像データをもとに、カラー画像と、被点検物を含む被写体までの距離を示す距離情報を含む距離画像とを生成する生成手段と、
前記距離画像をもとに被点検物に相当する第1距離情報と、前記被点検物とは別の被写体に相当する第2距離情報とが示す距離の間、あるいは前記被点検物の奥行き範囲の間に、前記カラー画像から前記被点検物に相当する画像部分を抽出するための第1閾値を設定し、前記被点検物の奥行き範囲の間に前記カラー画像から前記被点検物の一部に相当する画像部分を抽出するための第2閾値を設定する閾値設定手段と、
前記第1閾値及び前記第2閾値をもとに前記被点検物の一部に相当する距離情報を抽出する抽出手段と、
前記抽出手段により抽出された距離情報に対応する前記被点検物の一部に相当する被点検物画像を前記カラー画像から抽出する画像抽出手段と、
前記被点検物画像から前記被点検物に異常が生じた異常箇所の異常画像を検出する異常箇所検出手段と、
前記異常画像をもとに異常状態を判別する異常状態判別手段と、
前記異常箇所の異常状態を含む点検結果を出力する出力手段として機能させるための点検支援制御プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017124427A JP7030431B2 (ja) | 2017-06-26 | 2017-06-26 | 点検支援システム及び点検支援制御プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017124427A JP7030431B2 (ja) | 2017-06-26 | 2017-06-26 | 点検支援システム及び点検支援制御プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019009919A JP2019009919A (ja) | 2019-01-17 |
JP7030431B2 true JP7030431B2 (ja) | 2022-03-07 |
Family
ID=65029872
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017124427A Active JP7030431B2 (ja) | 2017-06-26 | 2017-06-26 | 点検支援システム及び点検支援制御プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7030431B2 (ja) |
Families Citing this family (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20220147901A1 (en) * | 2019-03-18 | 2022-05-12 | Ntt Docomo, Inc. | Information processing apparatus |
JP7217660B2 (ja) * | 2019-04-03 | 2023-02-03 | 株式会社Ihiインフラシステム | ボルトの締結状態検知装置及び方法、並びにプログラム |
CN113727938A (zh) * | 2019-04-26 | 2021-11-30 | 住友重机械建机起重机株式会社 | 起重机检修系统及起重机 |
JP6788291B1 (ja) | 2019-06-03 | 2020-11-25 | 株式会社イクシス | 点検支援システム |
JP7046873B2 (ja) * | 2019-06-28 | 2022-04-04 | ソフトバンク株式会社 | 点検管理システム、点検管理サーバ、点検管理方法および点検管理プログラム |
JP2021039440A (ja) * | 2019-08-30 | 2021-03-11 | 株式会社東芝 | 道路管制システム |
CN110910341B (zh) * | 2019-09-02 | 2023-05-30 | 海南电网有限责任公司海口供电局 | 一种输电线路锈蚀区缺陷检测方法及装置 |
JP7018540B2 (ja) * | 2019-09-27 | 2022-02-10 | 朝日航洋株式会社 | 巡視点検システムおよび巡視点検方法 |
JP6993391B2 (ja) * | 2019-09-27 | 2022-01-13 | 朝日航洋株式会社 | 巡視点検システムおよび巡視点検方法 |
CN110888373A (zh) * | 2019-12-11 | 2020-03-17 | 云南电网有限责任公司保山供电局 | 一种变电站设备异常智能巡视系统和方法 |
JP7419838B2 (ja) * | 2020-01-28 | 2024-01-23 | 中国電力株式会社 | 電力設備の調査要否判定装置、及び調査要否判定方法 |
JP7375909B2 (ja) * | 2020-03-03 | 2023-11-08 | 日本電気株式会社 | 設備診断システム、及び、設備診断方法 |
JP2021158913A (ja) * | 2020-03-26 | 2021-10-07 | 古河電気工業株式会社 | 送電線付属品の状態判定システム及び送電線付属品の状態判定方法 |
CN111724130A (zh) * | 2020-06-17 | 2020-09-29 | 广东电网有限责任公司 | 一种配网机巡作业管理系统及管理方法 |
WO2022024245A1 (ja) * | 2020-07-29 | 2022-02-03 | オリンパス株式会社 | 検査システム、学習方法、検査方法、及び記憶媒体 |
JPWO2022180975A1 (ja) * | 2021-02-24 | 2022-09-01 | ||
WO2022210873A1 (ja) * | 2021-03-31 | 2022-10-06 | 住友重機械建機クレーン株式会社 | クレーン点検システム、点検システム、経路設定プログラム及び情報端末 |
WO2022230561A1 (ja) * | 2021-04-28 | 2022-11-03 | キョーラク株式会社 | フロート、ソーラシステムの保守方法 |
JP7058364B1 (ja) * | 2021-05-13 | 2022-04-21 | Kddi株式会社 | 情報処理装置、情報処理プログラム、情報処理方法及び飛行装置 |
US20240248490A1 (en) | 2021-05-20 | 2024-07-25 | Nec Corporation | Patrol route determination system, patrol route determination method, and non-transitory computer-readable medium |
CN113835004B (zh) * | 2021-09-06 | 2024-02-09 | 太仓阿尔法数字科技有限公司 | 一种在役绝缘子远程探伤方法 |
CN114625166B (zh) * | 2022-03-03 | 2024-04-30 | 江苏方天电力技术有限公司 | 一种无人机拍摄位置的智能定位方法 |
WO2024042660A1 (ja) * | 2022-08-24 | 2024-02-29 | 日本電信電話株式会社 | 情報処理装置、情報処理方法、及びプログラム |
JP7535150B1 (ja) | 2023-03-29 | 2024-08-15 | Kddi株式会社 | 情報処理装置、情報処理方法及びプログラム |
CN116301055B (zh) * | 2023-04-25 | 2024-06-25 | 西安玖安科技有限公司 | 一种基于建筑施工的无人机巡检方法及系统 |
CN116526681B (zh) * | 2023-07-03 | 2023-12-22 | 佛山电力设计院有限公司 | 变电站运维管理系统及方法 |
JP7473142B1 (ja) | 2023-08-31 | 2024-04-23 | 株式会社日立パワーソリューションズ | 風車のタワー撮像システム |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005057956A (ja) | 2003-08-07 | 2005-03-03 | Central Res Inst Of Electric Power Ind | 画像処理による電線異常検出方法および装置およびプログラム並びに電線点検用画像の作成方法 |
JP2005265699A (ja) | 2004-03-19 | 2005-09-29 | Chugoku Electric Power Co Inc:The | 無人飛行体を用いた送電線点検システムおよび方法 |
JP2008076167A (ja) | 2006-09-20 | 2008-04-03 | Yamaguchi Univ | 画像処理により対象物の表面状態を検査する方法及びそのための画像処理プログラム |
JP2016048467A (ja) | 2014-08-27 | 2016-04-07 | Kddi株式会社 | 運動視差再現方法、装置およびプログラム |
JP2016102733A (ja) | 2014-11-28 | 2016-06-02 | 株式会社東芝 | レンズ及び撮影装置 |
JP2016146601A (ja) | 2015-02-09 | 2016-08-12 | キヤノン株式会社 | 画像処理装置およびその制御方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3419636B2 (ja) * | 1996-10-09 | 2003-06-23 | 三菱電機株式会社 | 架空線の自動点検装置 |
JPH11312228A (ja) * | 1998-04-28 | 1999-11-09 | Minolta Co Ltd | 3次元形状データ処理装置 |
-
2017
- 2017-06-26 JP JP2017124427A patent/JP7030431B2/ja active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005057956A (ja) | 2003-08-07 | 2005-03-03 | Central Res Inst Of Electric Power Ind | 画像処理による電線異常検出方法および装置およびプログラム並びに電線点検用画像の作成方法 |
JP2005265699A (ja) | 2004-03-19 | 2005-09-29 | Chugoku Electric Power Co Inc:The | 無人飛行体を用いた送電線点検システムおよび方法 |
JP2008076167A (ja) | 2006-09-20 | 2008-04-03 | Yamaguchi Univ | 画像処理により対象物の表面状態を検査する方法及びそのための画像処理プログラム |
JP2016048467A (ja) | 2014-08-27 | 2016-04-07 | Kddi株式会社 | 運動視差再現方法、装置およびプログラム |
JP2016102733A (ja) | 2014-11-28 | 2016-06-02 | 株式会社東芝 | レンズ及び撮影装置 |
JP2016146601A (ja) | 2015-02-09 | 2016-08-12 | キヤノン株式会社 | 画像処理装置およびその制御方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2019009919A (ja) | 2019-01-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7030431B2 (ja) | 点検支援システム及び点検支援制御プログラム | |
JP7087130B2 (ja) | 点検システム、情報処理装置、点検制御プログラム | |
US11794890B2 (en) | Unmanned aerial vehicle inspection system | |
CN111512256B (zh) | 自动和自适应的三维机器人现场勘测 | |
US10777004B2 (en) | System and method for generating three-dimensional robotic inspection plan | |
US11328483B2 (en) | System and method for structure inspection | |
JP6918672B2 (ja) | 劣化診断システム | |
JP4475632B2 (ja) | 無人飛行体を用いた送電線点検システム | |
Eschmann | Unmanned aircraft systems for remote building inspection and monitoring | |
EP3347789B1 (en) | Systems and methods for detecting and tracking movable objects | |
Khan et al. | Unmanned aerial vehicle–based traffic analysis: Methodological framework for automated multivehicle trajectory extraction | |
WO2018195955A1 (zh) | 一种基于飞行器的设施检测方法及控制设备 | |
US20180273173A1 (en) | Autonomous inspection of elongated structures using unmanned aerial vehicles | |
US20140336928A1 (en) | System and Method of Automated Civil Infrastructure Metrology for Inspection, Analysis, and Information Modeling | |
US10682677B2 (en) | System and method providing situational awareness for autonomous asset inspection robot monitor | |
Eschmann et al. | High-resolution multisensor infrastructure inspection with unmanned aircraft systems | |
CN105527969B (zh) | 一种基于无人机的山地植被垂直带调查监测方法 | |
Savva et al. | ICARUS: Automatic autonomous power infrastructure inspection with UAVs | |
Hawkins | Using a drone and photogrammetry software to create orthomosaic images and 3D models of aircraft accident sites | |
JP2021009508A (ja) | 点検管理システム、点検管理サーバ、点検管理方法および点検管理プログラム | |
Liu et al. | Framework for automated UAV-based inspection of external building façades | |
Toriumi et al. | UAV-based inspection of bridge and tunnel structures: an application review | |
JP2022151763A (ja) | 航空機構造体の損傷の自動評価 | |
Hallermann et al. | The application of unmanned aerial vehicles for the inspection of structures | |
EP1548908B1 (en) | Method and device for inspecting linear infrastructures |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20170907 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20170908 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200115 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201116 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201208 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210205 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210629 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210824 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220125 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220222 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7030431 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |