JP7087130B2 - 点検システム、情報処理装置、点検制御プログラム - Google Patents

Description

本発明は、飛行体などを用いた点検システム、情報処理装置、点検制御プログラムに関する。

従来、架空送電線（以下、送電線と称する）などの送電設備に対する定期点検や事故発生時の巡視は、巡視員がヘリコプターに同乗して送電線に沿って飛行して双眼鏡で送電線を見ながら異常個所の有無を確認したり、送電設備を徒歩で移動しながら確認したりしていた。

また、ヘリコプターから送電線の画像撮影を行って、撮影した画像を巡視員が見て送電線の素線切れやアーク痕（雷痕）の有無の点検などをすることもなされている。

特開２００５－５７９５６号公報

しかしながら、巡視員による双眼鏡を持っての点検／巡視は、巡視員の負担となっており、また、異常個所を見過ごすおそれがあった。

また、ヘリコプターを使用した送電設備の点検／巡視は、ヘリコプターを利用するための費用の他、ヘリコプターの操縦士の他に複数の巡視員を搭乗させるため、点検／巡視のための費用が高くなるほか、急に点検／巡視が必要になった場合に簡易かつ迅速に対応することができない。

また、画像撮影による送電線の点検作業も、撮影された全ての画像を巡視員が見ながら異常個所を検出しているため、迅速かつ正確な点検が行えないという問題がある。さらに、画像に対して画像処理の技術を利用して素線切れやアーク痕を検出する技術も考えられているが、撮影される画像の品質が撮影環境の変動のため一定では無く、また検出対象とする素線切れやアーク痕などの異常箇所の状態も様々であり、安定して異常箇所を検出することが困難となっている。

本発明が解決しようとする課題は、送電設備に生じた異常箇所を画像処理によって安定して検出することが可能な点検システム、情報処理装置、点検制御プログラムを提供することである。

実施形態によれば、点検システムは、画像データをもとに被点検物について点検する。点検システムは、管理装置と情報処理装置とを含む。前記管理装置は、前記被点検物に生じた異常を画像データ中から検出するための学習モデルを生成する学習モデル生成手段を有する。前記情報処理装置は、指示入力手段、異常箇所検出手段を有する。指示入力手段は、前記被点検物に応じた検出対象とする異常種類を示す指示を入力する。異常箇所検出手段は、前記学習モデル生成手段により生成された前記異常種類に応じた前記学習モデルをもとに前記画像データから前記被点検物に異常が生じた異常箇所に対応する前記異常種類に相当する異常画像を検出する。前記学習モデル生成手段は、前記異常画像と、前記画像データの前記異常画像の周辺にある異常箇所ではない正常画像とを組み合わせた類似画像をもとに、前記学習モデルを生成する。

本実施形態における点検システムの構成を示すブロック図。 本実施形態における点検システムの構成を示すブロック図。 本実施形態における情報処理装置の構成を示すブロック図。 本実施形態における情報処理装置における機能構成を示すブロック図。 本実施形態におけるドローンの外観の一例を示す図。 本実施形態におけるドローンの主要な構成を示すブロック図。 本実施形態における管理装置における機能構成を示すブロック図。 本実施形態における管理装置により実行される学習モデル生成処理を説明するためのフローチャート。 本実施形態における異常画像の領域と正常画像の領域の一例を示す図。 本実施形態における異常画像の領域と正常画像の領域の一例を示す図。 本実施形態における異常画像の領域と正常画像の領域の一例を示す図。 本実施形態における正常画像／異常画像組み合わせ制御部による異常画像と正常画像の組み合わせを概念的に示す図。 本実施形態における指標／条件関連記憶部により記憶される生成画像条件と再現率の関連性を示す図。 本実施形態における指標／条件関連記憶部により記憶される生成画像条件と適合率の関連性を示す図。 本実施形態における巡回／点検ルート選択画面の一例を示す図。 本実施形態におけるドローンのフライトプランを説明するための図。 本実施形態におけるドローンのフライトプランを説明するための図。 本実施形態における送電設備に設けられる被点検物の一例を示す図。 本実施形態における送電設備に設けられる被点検物の一例を示す図。 本実施形態における送電設備に設けられる被点検物の一例を示す図。 本実施形態におけるフライトプラン処理部によって生成されるフライトプラン（飛行制御データ）の一例を示す図。 本実施形態における取得データ生成部により生成される取得データの一例を示す図。 本実施形態における取得データ生成部により生成される取得データの一例を示す図。 本実施形態における検査対象項目選択画面の一例を示す図。 本実施形態における情報処理装置における取得データ管理処理を示すフローチャート。 本実施形態における異常箇所検出処理を説明するフローチャート。 本実施形態における異常候補画像表示画面の一例を示す図。 本実施形態における異常箇所確認画面の一例を示す図。

以下、実施形態について図面を参照して説明する。
図１及び図２は、本実施形態における点検システム１の構成を示すブロック図である。本実施形態における点検システム１は、例えば発電所や変電所から送電するための送電設備（送電線、鉄塔）１７について、通常時あるいは事故発生時において航空機、例えば無人航空機（以下、ドローン１４と称する）を利用して、巡視点検するためのシステムである。点検システム１は、ドローン１４と、ドローン１４に搭載されたカメラにより撮影された画像データをもとに、送電設備１７に含まれる複数の異なる被点検物（例えば、架空地線、送電線、碍子、閃絡表示器、アークホーン、鉄塔、鉄塔基礎コンクリートなど）に生じた異常箇所を検出し、この検出結果を巡視点検結果報告として記録する巡視点検制御システム２により構成される。本実施形態では、巡視点検制御システム２は、例えば情報処理装置１０とネットワーク１５を介して接続される管理装置１２により構成する。ただし、巡視点検制御システム２を１つの装置として実現することも可能である。また、管理装置１２は、クラウドコンピューティングにより実現されるものとし、ネットワーク１５（インターネット）を介して接続された１台のサーバ、あるいは複数のサーバが協働して動作することで実現されても良い。

図１及び図２に示すように、点検システム１は、巡視点検制御システム２（情報処理装置１０、管理装置１２）、及びドローン１４を含む。
情報処理装置１０は、ドローン１４の航行の管理／制御、ドローン１４から取得される取得データ（画像データ（動画像、静止画像）、位置データ等を含む）の整理／管理、ドローン１４からの取得データに対する処理結果をまとめる巡視／点検管理などの処理を実行する。情報処理装置１０は、例えばドローン１４と共に巡視点検対象とする送電設備１７の近くまで搬送されて使用され、ドローン１４により撮影された画像データをもとにした被点検物に生じた異常箇所の検出、異常箇所の画像の確認処理などが実行される。

管理装置１２は、情報処理装置１０における画像データをもとに、被点検物に生じた異常箇所を検出するための画像処理に用いる学習モデルの生成、情報処理装置１０において作成された処理結果の記録等を実行する。

ドローン１４は、情報処理装置１０により設定される送電設備１７を巡回するためのフライトプラン（飛行制御データ）をもとに、ＧＮＳＳ（Global Navigation Satellite System））を利用して生成される位置データ等、例えばＧＰＳ（Global Positioning System）衛星１６から受信されるＧＰＳ信号から生成する位置データ等を利用して自律飛行し、巡視点検対象とする送電設備１７を撮影して画像データを記憶する。なお、ドローン１４は、飛行中にリアルタイムで飛行制御データを情報処理装置１０から受信して、情報処理装置１０に対する作業者による操作に応じて、マニュアル制御により飛行することも可能である。

図３は、本実施形態における情報処理装置１０の構成を示すブロック図である。情報処理装置１０は、例えばパーソナルコンピュータによって実現される。情報処理装置１０は、プロセッサ１０ａ、メモリ１０ｂ、記憶装置１０ｃ、入出力インタフェース（Ｉ／Ｆ）１０ｄ、表示装置１０ｅ、入力装置１０ｆ、無線通信装置１０ｇ、通信装置１０ｈを有する。

プロセッサ１０ａは、メモリ１０ｂに記憶された基本プログラム（ＯＳ）やアプリケーションプログラムを実行して、各種の機能を実現する。例えば、プロセッサ１０ａは、巡視点検制御プログラムを実行することで、ドローン１４の飛行を管理し、ドローン１４により撮影された画像をもとに、送電施設の被点検物に生じた異常箇所を検出し、その検出結果をもとに巡視点検結果をまとめる処理を実行する（図４参照）。

メモリ１０ｂは、プロセッサ１０ａにより実行されるプログラムや一時的なデータ等を記憶する。

記憶装置１０ｃは、各種のプログラムや各種データが記憶される。記憶装置１０ｃに記憶されるデータには、ドローン１４の航行を制御するための飛行制御データ、ドローン１４から受信される取得データ（画像データ、位置データ）、画像データから被点検物に生じた異常箇所を検出するための画像処理に用いる学習モデルデータ、異常箇所の画像データ、巡視点検結果をまとめた巡視点検データなどを含む。

入出力Ｉ／Ｆ１０ｄは、外部機器とデータを送受信するためのインタフェースである。入出力Ｉ／Ｆ１０ｄは、例えば可搬型のメモリ媒体を介してデータを入出力することができる。

表示装置１０ｅは、ＬＣＤ（Liquid Crystal Display）などであり、プロセッサ１０ａの処理に応じた画面を表示させる。入力装置１０ｆは、キーボードやポインティングデバイスなどであり、作業者等により操作される。

無線通信装置１０ｇは、無線通信を制御するもので、ドローン１４との間、あるいは無線公衆網に収容された基地局との間の無線通信を制御する。

通信装置１０ｈは、ネットワーク１５を通じた外部装置、例えば管理装置１２、ドローン１４、他の情報処理装置１０との通信を制御する。ネットワーク１５は、無線あるいは有線によるＷＡＮ（Wide Area Network）、ＬＡＮ（Local Area Network）等を含む。

図４は、本実施形態における情報処理装置１０において、プロセッサ１０ａにより巡視点検制御プログラムを実行することにより実現される機能構成を示すブロック図である。

情報処理装置１０は、巡視点検制御プログラムに基づいて、例えば航行管理部２０、取得データ整理管理部２１、巡視点検管理部２２の機能を実現する。

航行管理部２０は、ドローン１４の航行の管理／制御をするもので、巡視点検指示入力部２０ａ、フライトプラン処理部２０ｂを含む。

巡視点検指示入力部２０ａは、例えば作業員による入力装置１０ｆに対する入力操作によって、例えば表示装置１０ｅに表示させた選択メニューに対する選択に応じて巡視点検の内容についての指示を入力する。巡視点検の内容として
は、例えば巡視点検の対象とする送電設備１７の指定、検査対象とする送電設備１７に含まれる被点検物の指定、検査対象とする異常種類（アーク痕など）がある。

フライトプラン処理部２０ｂは、巡視点検指示入力部２０ａにおいて入力された巡視点検の内容に応じたフライトプラン、すなわち巡視点検の対象とする被点検物を撮影することができる経路をドローン１４に航行させる飛行制御データを生成する。なお、巡視点検指示入力部２０ａは、ネットワーク１５を通じて外部から取得される情報、例えば気象情報や地図情報などを利用してフライトプランを生成することができる。

取得データ整理管理部２１は、ドローン１４から取得される取得データ（画像データ（動画像、静止画像）、位置データ等を含む）の整理／管理をするもので、学習モデル記憶部２１ａ、検出対象指示入力部２１ｂ、異常箇所検出部２１ｃ、取得データ記憶部２１ｄ、画像確認部２１ｅ、異常箇所表示部２１ｆ、異常箇所記憶部２１ｇ、確認指示入力部２１ｈ、確認データ記憶部２１ｋ、及び異常箇所画像データ記憶部２１ｍを含む。

学習モデル記憶部２１ａは、管理装置１２により生成された学習モデルを記憶する。学習モデルは、ドローン１４から取得された画像データから被点検物に生じた異常を画像中から検出するためのもので、被点検物に生じる異常状態の特徴を表す。管理装置１２では、ドローン１４により撮影される撮影環境の変動等により画像データが一定でない、あるいは検出対象とする異常箇所が様々な状態である状況に対応できるように、被点検物に生じた異常箇所を確実に検出することができる学習モデルが生成される（学習モデルの生成の詳細については後述する）。被点検物に生じた異常としては、例えば送電線の場合にはアーク痕がある。アーク痕は、送電線に落雷があった場合に生じる異常であるため、頻繁に生じる事象ではなく、実際に生じた状態を撮影した画像データのサンプルが少ない。従って、実際に生じた異常箇所（アーク痕）の画像データをもとにした学習モデルのみでは、ドローン１４により撮影された画像データから確実に異常箇所を検出することが困難となる。本実施形態では、管理装置１２において、実際に生じた異常箇所の画像データだけでなく、被点検物に生じる異常／劣化の状態を表す擬似的な画像（類似画像）をニューラルネットワークを活用したディープラーニング（深層学習）の技術を利用して生成する。本実施形態では、ディープラーニング（深層学習）の技術を利用して、異常箇所の画像（異常画像）と異常箇所の周辺にある正常画像の組み合わせと、正常画像と異常画像とを組み合わせる比を変更しながら類似画像を生成することで、大量の類似画像に基づいた学習モデルを学習（生成）する。よって、管理装置１２により生成された学習モデルを学習モデル２１ａに記憶させて、学習モデル２１ａに記憶された学習モデルを用いて画像データから異常箇所を探索することで、確実に被点検物に生じた異常箇所を検出できるようにすることができる。

検出対象指示入力部２１ｂは、巡視点検の対象とする送電設備１７に含まれる被点検物、検出対象とする異常種類などの検出対象についての指示を巡視員の入力操作に応じて入力する。

異常箇所検出部２１ｃは、取得データ記憶部２１ｄに記憶された取得データから、学習モデル２１ａに記憶された学習モデル（被点検物の異常箇所の特徴）をもとにした画像処理により、検出対象指示入力部２１ｂにより入力された検出対象の指示に応じた異常箇所を検出する。

取得データ記憶部２１ｄは、ドローン１４から取得された取得データ（図２３参照）を記憶する。取得データには、例えば、被点検物を撮影した動画像データ（静止画像データでも良い）、画像撮影時のドローン１４の位置を示す位置データ（緯度、経度、高度）、被点検物（巡回／点検対象）毎の撮影をした期間（あるい開始タイミング）を判別するための巡回／点検対象データが含まれる。

画像確認部２１ｅは、取得データ記憶部２１ｄに記憶された取得データ、あるいは異常箇所検出部２１ｃによる処理結果に応じた画像を表示させる。画像確認部２１ｅには、異常箇所表示部２１ｆが含まれる。異常箇所表示部２１ｆは、異常箇所検出部２１ｃにより画像データから検出された異常箇所の候補とする部分の画像（異常候補画像）を表示する異常候補画像表示画面（図２７参照）、異常箇所の候補とする異常候補画像について作業員等が最終確認するための異常箇所確認画面（図２８参照）などを表示させる。

異常箇所記憶部２１ｇは、異常箇所検出部２１ｃにより画像データから検出された異常箇所の候補とする異常箇所画像データを記憶する。異常箇所記憶部２１ｇに記憶された異常箇所画像データは、取得データ整理管理部２１に読み出されて異常候補画像表示画面あるいは異常箇所確認画面において表示される。

確認指示入力部２１ｈは、異常候補画像表示画面あるいは異常箇所確認画面に対する、作業員等による確認指示を入力する。異常箇所確認画面に対しては、異常候補画像を作業員が確認した結果、異常箇所（欠陥）であるか、誤認識（異常なし）であるかを指示することができ、また異常箇所については異常種類（例えば、アーク痕、素線切れ、炭付着、炭が剥がれた光沢）などを指示することができる。

確認データ記憶部２１ｋは、異常箇所確認画面において、異常候補画像が異常箇所であることが確認された画像データ（異常箇所画像データ）、検出対象とする被点検物、検出対象とする異常種類、検出位置、検出日時などを示す各データを確認データとして記憶する。確認データは、例えば、巡視点検管理部２２において巡視点検データとして使用される。

異常箇所画像データ記憶部２１ｍは、管理装置１２において学習モデルの生成に利用するために、異常箇所画像データ、検出対象とする被点検物及び検出対象とする異常種類を示すデータが記憶される。

巡視点検管理部２２は、ドローン１４からの取得データに対する処理結果をまとめる巡視／点検管理をするもので、巡視点検データ記憶部２２ａ、巡視点検結果報告作成部２２ｂを含む。

巡視点検データ記憶部２２ａは、取得データ整理管理部２１による処理結果とする巡視点検データを記憶する。巡視点検データには、例えば、異常箇所が検出された被点検物、異常箇所と確認された異常箇所画像データ、異常箇所の異常種類、異常箇所が検出された位置（被点検物における位置、被点検物における異常箇所の位置（緯度、経度）など）を含む。

巡視点検結果報告作成部２２ｂは、巡視点検データ記憶部２２ａに記憶された巡視点検データをもとに、巡視点検の結果をまとめた巡視点検結果報告データを作成する。

図５は、本実施形態におけるドローン１４の外観の一例を示す図である。
図５に示すドローン１４は、制御ユニット等を内部に収納するドローン本体１４ａと、ドローン本体１４ａから上方に向けて対称に設けられた４つのローター１４ｂと、ドローン本体１４ａの下方に撮影方向を可変にして設けられたカメラ１４ｃとを有している。ローター１４ｂは、回転によって上向きの揚力を発生させる回転翼であり、制御ユニットにより回転が制御され、ドローン１４を垂直方向及び水平方向へ移動させることができる。また、ほぼ同じ位置で飛行を継続するホバリングをさせることもできる。カメラ１４ｃは、静止画または動画像を撮影するデジタルカメラやビデオカメラ等である。

図６は、本実施形態におけるドローン１４の主要な構成を示すブロック図である。ドローン１４のドローン本体１４ａには、制御ユニット３０ａ、取得データ生成部３０ｂ、撮影制御部３０ｃ、飛行制御部３０ｄ、センサ群３０ｅ、メモリ３０ｆ、ＧＰＳデータ受信部３０ｇ、無線通信部３０ｈ、カメラユニット３０ｋ、駆動ユニット３０ｍが設けられる。

制御ユニット３０ａは、ドローン１４の全体の制御を司るもので、専用のコントローラとして構成されても良いし、プロセッサとメモリを含む汎用のユニットであっても良い。制御ユニット３０ａは、各制御プログラムを実行することにより実現される、取得データ生成部３０ｂ、撮影制御部３０ｃ、飛行制御部３０ｄの各機能モジュールを有する。

取得データ生成部３０ｂは、情報処理装置１０に提供する取得データを生成する。取得データ生成部３０ｂは、例えば、カメラ１４ｃにより撮影された画像（動画像あるいは静止画像）の画像データ、ＧＰＳデータ受信部３０ｇにより生成される画像撮影時のドローン１４の位置を示す位置データ（緯度、経度、高度）、及び飛行制御部３０ｄによる飛行制御に用いられる飛行制御データをもとに被点検物（巡回／点検対象）毎の撮影をした期間（あるい開始タイミング）を示す巡回／点検対象データとを対応づけて、取得データを生成する（図２３参照）。

撮影制御部３０ｃは、飛行制御部３０ｄの制御によりドローン１４が飛行する間に、巡視点検の対象とする送電設備１７をカメラ１４ｃにより撮影するための制御をする。撮影制御部３０ｃは、例えばカメラ１４ｃのレンズ、シャッター、絞り、フォーカス機構、ズーム機構等の制御、撮影方向（レンズ方向）を調整する機能を有している。撮影方向を調整する機能としては、カメラユニット３０ｋを駆動してカメラ１４ｃのレンズ向きをドローン本体１４ａに対して水平方向又は垂直方向に回動させて撮影方向を変更させても良いし、飛行制御部３０ｄを通じて駆動ユニット３０ｍの駆動を制御し、ドローン１４を傾斜させてカメラ１４ｃの撮影方向を変更させても良い。カメラ１４ｃでは、ドローン１４の下方向の画像だけでなく、横方向あるいは上方向の画像を撮影できるようにする。

飛行制御部３０ｄは、情報処理装置１０から受信される飛行制御データ、ＧＰＳデータ受信部３０ｇにより生成されるドローン１４の現在位置を示す位置データ、センサ群３０ｅなどにより検出される障害物や被点検物等の位置に基づいて、駆動ユニット３０ｍ（モータ）を駆動し、ドローン１４を自律飛行させるための制御をする。飛行制御部３０ｄは、飛行制御データを取得すると、ＧＰＳデータ受信部３０ｇから位置データを取得し、ドローン１４を送電設備１７の被点検物から所定の範囲内で飛行するように制御する。

センサ群３０ｅは、例えば位置、高度、速度及び方向などの各種情報を取得するもので、例えば物体の加速度を計測する３軸加速度計、物体の角度や角速度を検出するジャイロスコープ、３軸磁気センサ等を含む。また、センサ群３０ｅには、障害物や被点検物を検知するための障害物カメラを含む。障害物カメラは、例えば複数（例えば４台）を設けることで、飛行制御部３０ｄにおいて障害物や被点検物の画像を３次元処理して、障害物や被点検物の位置を３次元空間で認識できるようにすることができる。これにより、障害物や被点検物との接触／衝突を回避したり、被点検物に対して所定の距離を保って飛行するといった飛行制御を可能にする。

メモリ３０ｆは、各種データが記憶されるもので、例えば情報処理装置１０から受信される飛行制御データ、取得データ生成部３０ｂにより生成された取得データなどが記憶される。メモリ３０ｆは、例えば脱着可能な可搬型に構成されたメモリ媒体とすることができ、情報処理装置１０に取得データを提供する場合に、ドローン１４から取り外して情報処理装置１０にデータを読み取らせることもできる。

ＧＰＳデータ受信部３０ｇは、ＧＰＳ衛星１６からのＧＰＳ信号を受信し、ＧＰＳ信号をもとにドローン１４の現在位置を位置データ（緯度、経度、高度）及び時刻データを生成する。ＧＰＳデータ受信部３０ｇにより生成された位置データは、飛行制御部３０ｄによる自律飛行制御や取得データの生成に利用される。

無線通信部３０ｈは、情報処理装置１０との間、あるいは無線公衆網に収容された基地局との間の無線通信を制御する。無線通信部３０ｈは、制御ユニット３０ａの制御により、ドローン１４の飛行中に撮影した取得データ（画像データ）をリアルタイムで情報処理装置１０に送信しても良い。また、無線通信部３０ｈは、ドローン１４をマニュアル制御により飛行させるために、飛行中に情報処理装置１０に対する作業者による操作に応じた飛行制御データを受信することもできる。

カメラユニット３０ｋは、ドローン本体１４ａの下部においてカメラ１４ｃを支持し、撮影制御部３０ｃの制御により駆動されてカメラ１４ｃによる撮影方向を調整する。

駆動ユニット３０ｍは、飛行制御部３０ｄの制御に応じて駆動され、複数のローター１４ｂをそれぞれ個別に回転させる。複数のローター１４ｂを個別に回転制御することで、ドローン１４を垂直方向や水平方向へ移動させたり、ホバリングやドローン本体１４ａを傾斜させるなどの姿勢調整をすることができる。

次に、本実施形態における管理装置１２について説明する。

管理装置１２は、例えば図３に示す情報処理装置１０と同様の構成を有するものとして、詳細な説明を省略する。管理装置１２は、プロセッサにより学習モデル生成プログラムを実行することにより、情報処理装置１０における画像処理で使用される学習モデルを生成するための各種機能を実現する。

図７は、本実施形態における管理装置１２において、プロセッサにより学習モデル生成プログラムを実行することにより実現される機能構成を示すブロック図である。
管理装置１２は、学習モデル生成プログラムに基づいて、データ記憶部４０ａ（異常箇所画像データ４０ｂ、学習用画像データ４０ｃ、教示メタデータ４０ｄ、検証画像データ４０ｅ）、学習画像読み込み部４０ｆ、教示メタデータ読み込み部４０ｇ、エッジ切り出し部４０ｈ、隣接正常画像探索部４０ｋ、正常画像／異常画像組み合わせ制御部４０ｍ、類似画像生成部４０ｎ、学習済みモデル管理部４０ｐ、検証画像読み込み部４０ｑ、推論実施部４０ｒ、指標／条件関連記憶部４０ｓ、関連対応部４０ｔ、問い合わせ部４０ｕ、学習モデル記憶部４０ｖの機能を実現する。

次に、管理装置１２により学習モデルを生成する学習モデル生成処理について説明する。図８は、本実施形態における管理装置１２により実行される学習モデル生成処理を説明するためのフローチャートである。以下の説明では、送電設備１７に含まれる架空地線あるいは送電線に生じるアーク痕を検出対象とする異常箇所とし、この異常箇所を検出するための学習モデルを生成する場合を例にして説明する。他の被点検物に生じる異常箇所を検出するための学習モデルについても同様にして、それぞれの被点検物の異常箇所に応じた学習モデルが生成されるものとして詳細な説明を省略する。

本実施形態では、架空地線あるいは送電線に落雷があったことにより生じたアーク痕の画像データのサンプルが少ないことから、実際に生じた異常箇所（アーク痕）の異常箇所画像データだけでなく、被点検物に対して擬似的に付加した異常／劣化の状態を撮影した画像データ（学習用画像データ）をもとに疑似画像（類似画像）を生成し、ニューラルネットワークを活用したディープラーニング（深層学習）の技術を利用して大量の学習モデルを学習（生成）する。

管理装置１２には、データ記憶部４０ａにより、学習モデルを生成するために必要なデータが予め記憶される。データ記憶部４０ａにより記憶されるデータには、異常箇所画像データ４０ｂ、学習用画像データ４０ｃ、教示メタデータ４０ｄ、検証画像データ４０ｅが含まれる。

異常箇所画像データ４０ｂは、情報処理装置１０及びドローン１４を用いて、実際に被点検物に対する巡視点検をすることより取得された異常箇所の実画像データである。異常箇所画像データ４０ｂは、ドローン１４により撮影された画像データから、異常箇所であること及び異常種類が作業員等によって確認された画像データが用いられる。

学習用画像データ４０ｃは、擬似的に付加した異常／劣化の状態を撮影した学習用疑似画像データである。学習用画像データ４０ｃは、例えば、素線が切れた状態、送電線に炭がついた状態、炭がとれて送電線が光った（光沢）状態などを工具等で送電線に対して付加し、この送電線を撮影することにより生成される。

教示メタデータ４０ｄは、異常箇所画像データ４０ｂ及び学習用画像データ４０ｃに対して作業員等の操作により指示（教示）された、類似画像（学習モデル）を生成するために必要なデータである。教示メタデータ４０ｄには、例えば画像中の被点検物を含む領域、異常箇所に相当する部分（異常画像）を含む領域、異常／劣化（異常種類）等の種別、検出対象と区別する領域（処理対象外とする領域）などを示すデータが含まれる。

学習用画像データ４０ｃ及び教示メタデータ４０ｄの生成は、管理装置１２あるいは情報処理装置１０において実行される。例えば、情報処理装置１０において実行される場合、異常箇所画像データ４０ｂあるいは学習用画像データ４０ｃをもとに画像を表示し、この画像に対する領域についての指示（教示）を作業員等の操作に応じて入力する。

例えば、被点検物を送電線とする場合、作業員等は、ポインティングデバイス等の操作により、被点検物の領域として画像中の送電線全体が含まれる範囲を矩形領域（例えば、矩形の対角の２頂点を示す位置）により教示し、送電線の上のアーク痕等の異常箇所の部分（異常画像）を矩形領域で教示する。さらに、作業員等は、異常／劣化等の異常種類を示す情報として、アーク痕のラベルの付加を指示する。また、送電線に装着された難着雪リングなど、異常箇所のアーク痕と明確に区別したい領域がある場合は、作業員等は、難着雪リングに相当領域を同様にして教示することができる。

情報処理装置１０は、作業員等の操作により入力された指示（教示）に応じて教示メタデータ４０ｄを生成して、異常箇所画像データ４０ｂあるいは学習用画像データ４０ｃのそれぞれと対応づけたファイルに記憶する。

検証画像データ４０ｅは、異常箇所画像データ４０ｂ、学習用画像データ４０ｃ及び教示メタデータ４０ｄをもとに生成した学習モデルを用いて、異常箇所の認識精度を評価するための検証用の画像データである。検証画像データ４０ｅは、例えば複数枚分の画像データを含む。

以下、学習用画像データ４０ｃを用いて学習モデルを生成する場合を例にして説明する。なお、学習用画像データ４０ｃのみを使用する場合、学習用画像データ４０ｃと異常箇所画像データ４０ｂを混在して使用する場合、さらには異常箇所画像データ４０ｂのみを使用する場合を任意に選択できるようにしても良い。

まず、学習画像読み込み部４０ｆは、データ記憶部４０ａに予め記憶された学習用画像データ４０ｃを読み込む（ステップＡ１）。また、教示メタデータ読み込み部４０ｇは、学習画像読み込み部４０ｆにより読み込まれた学習用画像データ４０ｃに対応する教示メタデータ４０ｄを読み込む。

エッジ切り出し部４０ｈは、学習画像読み込み部４０ｆにより読み込まれた学習用画像データ４０ｃに対して、教示メタデータ読み込み部４０ｇにより読み出された教示メタデータ４０ｄを利用し、例えばエッジ検出の画像処理手法を用いて送電線の輪郭を切り出す（ステップＡ２）。すなわち、エッジ切り出し部４０ｈは、教示メタデータ４０ｄが示す学習用画像中の送電線の全体を含む領域から送電線に相当する領域を切り出す。

なお、エッジ切り出し部４０ｈは、送電線に相当する領域の輪郭全てをエッジ検出するだけでなく、次に説明するように、より簡易な処理により送電線に相当する領域を切り出すこともできる。送電線全体が含まれる範囲が矩形領域により教示されている。この矩形領域に含まれる送電線の画像は、左上を頂点の１つとする右下がり、あるいは左下を頂点の１つとする右上がりにより存在している。送電線の画像の輪郭は、局所的にみれば直線でほぼ近似できる。従って、例えば左右方向に離れた少なくとも２箇所においてエッジ検出することにより、そのエッジの位置をもとに、矩形領域に含まれる送電線の画像が右下がりであるか、右上がりであるかを判定することができる。そして、左右方向で検出されたエッジの位置を通過する直線を、近似された送電線の画像の輪郭として見なすことができる。これにより、送電線の領域の輪郭全てをエッジ検出する必要がないため処理負荷を軽減することができる。

次に、隣接正常画像探索部４０ｋは、教示メタデータ４０ｄが示す異常箇所に相当する領域、すなわちアーク痕等の異常箇所の部分（異常画像領域）を設定し（ステップＡ３）、異常画像領域をもとに被点検物の画像（送電線輪郭内）中の異常画像の周辺にある複数の正常画像領域を探索する（ステップＡ４）。

例えば、隣接正常画像探索部４０ｋは、教示メタデータ４０ｄが示す異常画像領域を示す矩形領域と同じ大きさの矩形領域により正常画像領域を探索する。ここで、隣接正常画像探索部４０ｋは、例えば、教示メタデータ４０ｄが示す検出対象と区別する領域（難着雪リングなどの処理対象外とする領域）を除いた領域を対象として、次の優先度（１）～（４）に基づいて複数の正常画像領域を探索する。

（１）異常画像の矩形領域の左右いずれかに最も近い（通常では隣接する）正常画像領域、（２）異常画像の矩形領域の上下のいずれかに最も近い（通常は隣接する）正常画像領域、（３）異常画像の矩形領域の左上、右上、左下、右下の何れかに位置する正常画像領域、（４）先に探索済みの正常画像領域に最も近い（通常は隣接する）正常画像領域。

図９、図１０及び図１１には、教示メタデータ４０ｄが示す異常画像の領域５６と、異常画像の領域５６の位置をもとに探索される複数の正常画像の領域５８の一例を示している。図９～図１１に示すように、画像中の送電線５０を含む領域５２、異常箇所に相当する部分（異常画像）を含む領域５６、検出対象と区別する領域５４（難着雪リングの領域）が教示メタデータ４０ｄにより指示されている。なお、領域５６は、１箇所の異常箇所に対して、１つの矩形領域により指示しても良いし、複数の矩形領域を隣接させて指示しても良い。また、図９、図１０及び図１１では、領域５６を正方形により指定（教示）された例を示している。図９に示す例では１箇所の異常箇所が２つの領域５６により指示されおり、図１０に示す例では同じく４つの領域５６、図１１に示す例では同じく１つの領域５６が指示されている。

図９では、前述した優先度に従って、領域５６の左右に隣接する正常画像の領域５８が探索され、さらに探索された領域５８と左右に隣接する正常画像の領域５８が探索され、以下、繰り返して左右に隣接する領域５８が探索されている。図９では、検出対象と区別する領域５４（難着雪リング）が指示されているため。この領域５４を探索の対象外として、領域５８が探索されている。

図１０では、前述した優先度に従って、異常画像の領域５６の左下あるいは右上に位置する正常画像の領域５８が探索された例を示している。図１１では、前述した優先度に従って、異常画像の領域５６の左、下に正常画像の領域５８が探索され、さらに探索された領域５８の左に隣接する正常画像の領域５８が探索されている。
なお、図９～図１１に示す例では、領域５６，５８を正方形として説明しているが長方形であっても良い。また、隣接正常画像探索部４０ｋは、被点検物（送電線５０）の画像から抽出可能な全ての正常画像を抽出しても良いし、正常画像／異常画像組み合わせ制御部４０ｍの処理において必要とする予め決められた枚数分としても良い。

次に、正常画像／異常画像組み合わせ制御部４０ｍは、教示メタデータ４０ｄが示す領域５６の異常画像と、領域隣接正常画像探索部４０ｋにより探索された複数の領域５８の異常画像とを組み合わせる割合を設定する（ステップＡ５）。例えば、正常画像／異常画像組み合わせ制御部４０ｍは、正常画像と異常画像とを組み合わせる割合を、例えば１：１～１０：１に段階的に変更するものとする。

類似画像生成部４０ｎは、ニューラルネットワークを活用したディープラーニング（深層学習）の技術を利用し、正常画像／異常画像組み合わせ制御部４０ｍにより設定された正常画像と異常画像とを組み合わせる割合に応じて、隣接正常画像探索部４０ｋにより探索された複数の正常画像と、教示メタデータ４０ｄが示す異常画像とを組み合わせ（ステップＡ６）、被点検物に生じる異常／劣化の状態を表す疑似画像（類似画像）を生成する（ステップＡ７）。正常画像と異常画像を組み合わせた疑似画像は、例えば既存の画像処理方法を用いて生成することができる。

例えば、正常画像と異常画像とを組み合わせる割合が１：１の場合、１枚の異常画像に対して、複数の正常画像から１枚の正常画像を選択して組み合わせる。複数の正常画像から選択する対象を変更して、それぞれ異常画像と組み合わせることで複数の疑似画像を生成することができる。

また、１枚の学習用画像データ４０ｃが示す学習用疑似画像に含まれる異常画像と正常画像とを組み合わせるだけで無く、複数枚の他の学習用疑似画像に含まれる異常画像と正常画像とを組み合わせることもできる。また、正常画像と異常画像とを組み合わせる割合に合致していれば、複数枚の正常画像と複数枚の異常画像の組み合わせも可能である。例えば正常画像と異常画像とを組み合わせる割合が１：１の場合、２枚の正常画像と２枚の異常画像との組み合わせることも可能である。この場合、２枚の正常画像は、３枚以上の正常画像から組み合わせを変更することができ、同様にして、２枚の異常画像は、３枚以上の異常画像から組み合わせを変更することができる。従って、複数枚の正常画像と複数枚の異常画像との組み合わせ数は、正常画像と異常画像のそれぞれの組み合わせを変更することで大量にすることができる。

図１２には、本実施形態における正常画像／異常画像組み合わせ制御部４０ｍによる異常画像と正常画像の組み合わせを概念的に示している。前述したように、複数の異常画像（Ａ）と複数の正常画像（Ｂ）とを組み合わせることで、大量の類似画像を生成することができる。

類似画像生成部４０ｎは、正常画像／異常画像組み合わせ制御部４０ｍによって段階的に変更される正常画像と異常画像とを組み合わせる割合のそれぞれについて、前述したように、ディープラーニングにより正常画像と異常画像とを組み合わせて類似画像を生成する（ステップＡ５～Ａ７）。

学習済みモデル管理部４０ｐは、類似画像生成部４０ｎにより生成された正常画像と異常画像の割合別の類似画像を学習する（ステップＡ９）。すなわち、学習済みモデル管理部４０ｐは、ディープラーニングにより生成された類似画像を、類似画像を生成した条件、例えば異常画像と正常画像とを組み合わせた割合などの条件（生成画像条件）と対応づけて、学習モデル記憶部４０ｖに記憶／管理する。

なお、前述した一連の類似画像を生成する処理では、被点検物において生じる異常種類のそれぞれに対応する類似画像（学習モデル）を生成する。例えば、架空地線や送電線において生じるアーク痕について、素線切れ、炭付着、炭が剥がれた光沢などの細分化したカテゴリのそれぞれについて、個別に類似画像を生成して学習させるものとする。

学習済みモデル管理部４０ｐにより類似画像（学習モデル）が学習されると、推論実施部４０ｒは、検証画像読み込み部４０ｑによってデータ記憶部４０ａから検証画像データ４０ｅを読み込ませ（ステップＡ１０）、検証画像データ４０ｅ（検証画像）に対する学習モデルを用いた認証の精度（認識精度）を表す指標を推論する（ステップＡ１１）。すなわち、学習済みモデル管理部４０ｐは、例えば異常箇所を含む画像と異常箇所を含まない画像とが混在する複数の検証画像に対して、検証画像に含まれる異常箇所の異常種類に対して生成された学習モデルを用いて異常箇所の検出（認証）処理を実行する。ここで、推論実施部４０ｒは、類似画像を生成した生成画像条件（異常画像と正常画像とを組み合わせた割合）が異なる学習モデルのそれぞれを用いて、異常箇所の検出（認証）処理を実行することで、生成画像条件別の認証精度の指標を推論する。

推論実施部４０ｒは、認識精度を表す指標として、例えば「再現率」と「適合率」とを求める。なお、その他の指標を求めるようにしても良い。

「再現率」は、被点検物（送電線など）に生じた異常箇所を見逃さない割合を示すもので、異常箇所を再現する割合という意味を有する。例えば、２５枚の異常画像を含む検証画像に対して、学習モデルを用いて異常箇所の検出（認証）処理を実行した結果、２０枚の検証画像から異常箇所が検出（認識）された場合には、再現率（見逃さない率）８０％となる。

「適合率」は、被点検物（送電線など）に生じた異常箇所を検出した結果、実際に異常があった箇所の割合（空振りしない）を示すもので、検出（認識）した異常箇所の適合割合という意味を有する。例えば、学習モデルを用いて異常箇所の検出（認証）処理を実行した結果、２０枚の検証画像から異常箇所が検出された場合に、実際に異常箇所を含む検証画像が１５枚の場合には、適合率（空振りしない率）７５％となる（この場合、５枚（２５％）が空振り）。

指標／条件関連記憶部４０ｓは、推論実施部４０ｒによって求められた指標（「再現率」「適合率」）と、この指標を求める際に使用した学習モデル（類似画像）を生成した生成画像条件（異常画像と正常画像とを組み合わせた割合）との関連を記憶する（ステップＡ１２）。

図１３は、指標／条件関連記憶部４０ｓにより記憶される生成画像条件と再現率の関連性を示す図であり、図１４は、指標／条件関連記憶部４０ｓにより記憶される生成画像条件と適合率の関連性を示す図である。図１３及び図１４では、アーク痕の異常種類として素線切れ（Ｃｕｔ）、炭付着（Ｃｈａｃｏａｌ）、炭が剥がれた光沢（Ｇｌａｒｅ）の各カテゴリについての指標値を示している。

問い合わせ部４０ｕは、例えば作業員等の操作に応じて、検出対象とする異常箇所の異常種類（例えば、送電線のアーク痕、素線切れ、炭付着、光沢など）と、作業員等が所望する再現率もしくは適合率の少なくとも一方の指定を入力する。問い合わせ部４０ｕは、入力された異常箇所の異常種類と、再現率もしくは適合率の少なくとも一方の指定に応じて、関連対応部４０ｔに対して、例えば最も良好な異常箇所の検出結果を得られる学習モデル（生成画像条件）を問い合わせる。

関連対応部４０ｔは、問い合わせ部４０ｕからの問い合わせ（クエリ）に対して、指標／条件関連記憶部４０ｓにより記憶された指標と生成画像条件に基づいて、最も良好な異常箇所の検出結果を得られる学習モデル（生成画像条件）を応答して、作業員等に提示させる。

例えば「アーク痕全般」「再現率／適合率の両方」を指定し、「最も良い生成画像条件は？」という問い合わせ（クエリ）が入力されたものとする。この場合、関連対応部４０ｔは、図１３及び図１４に示す指標と生成画像条件が記憶されている場合、素線切れ（Ｃｕｔ）、炭付着（Ｃｈａｃｏａｌ）、光沢（Ｇｌａｒｅ）のそれぞれの再現率と適合率を用いて、所定の演算方法により総合して最も良好な数値が得られる生成画像条件（正常画像と異常画像の比）を求める。この結果、正常画像と異常画像を組み合わせる比が８：１の場合に最も良好な結果が得られることが求められる。すなわち、情報処理装置１０の異常箇所検出処理（異常箇所を検出する画像処理）において、被点検物の画像から「アーク痕全般」について異常箇所を検出する場合に、正常画像と異常画像の比が８：１に対応する学習モデルを用いた場合に、最も良好に異常箇所を検出することができる。

また、「素線切れ」「再現率／適合率の両方」を指定し、「最も良い生成画像条件は？」という問い合わせ（クエリ）が入力されたものとする。この場合、関連対応部４０ｔは、素線切れの再現率と適合率を用いて、所定の演算方法により総合して最も良好な数値が得られる生成画像条件（正常画像と異常画像の割合）を求める。この結果、正常画像と異常画像の比が９：１の場合に最も良好な結果が得られることが求められる。すなわち、情報処理装置１０の異常箇所検出処理において、被点検物の画像から「素線切れ」について異常箇所を検出する場合に、正常画像と異常画像の比が９：１に対応する学習モデルを用いた場合に、最も良好に異常箇所を検出することができる。

こうして、問い合わせ部４０ｕから問い合わせた結果に基づいて、情報処理装置１０における異常箇所検出処理に用いる学習モデルを決定し、情報処理装置１０（学習モデル２１ａ）に記憶させることができる。例えば、情報処理装置１０において、異常種類として「アーク痕全般」「素線切れ」「炭付着」「光沢」を個別に選択して異常箇所を検出できるようにする場合には、それぞれに対応する学習モデルが決定される。また、情報処理装置１０において、「再現率」あるいは「適合率」の何れかを選択して異常箇所を検出できるようにする場合には、「再現率」あるいは「適合率」の何れか一方に基づいて学習モデルが決定される。

なお、前述した説明では、作業員等の操作により入力される指示に応じて、問い合わせ部４０ｕから問い合わせをすることで、問い合わせに応じた生成画像条件が応答されるとしているが、管理装置１２は、情報処理装置１０で使用する学習モデルの条件を予め設定しておくことで、この条件を満たす生成画像条件の学習モデルを情報処理装置１０に対して送信するようにしても良い。学習モデルの条件は、前述した問い合わせ（異常種類、再現率もしくは適合率の少なくとも一方の指定）と同様の内容とすることができる。

また、前述した説明では、１つの「最も良い生成画像条件」を決定して、情報処理装置１０の異常箇所検出処理で使用する学習モデルとしているが、例えば複数の生成画像条件（例えば、正常画像／異常画像が９：１と８：１）の学習モデルを組み合わせて、情報処理装置１０において用いられるようにしても良い。

このようにして、本実施形態における管理装置１２では、異常/劣化等の検出対象とする異常画像とその画像の近傍の正常画像とを用いて、ディープラーニング（深層学習）の技術を利用して類似画像を効率的に精度良く自動生成し、情報処理装置１０における異常箇所検出処理に用いる学習モデルを生成することができる。

なお、前述した管理装置１２における学習モデルを生成する処理は、送電設備１７において発生する異常箇所（送電線のアーク痕など）を例にして説明しているが、産業向けの機器/構造物等で画像認識によって異常/劣化等を判別するシステム／装置に広く適用することが可能である。

次に、本実施形態における情報処理装置１０とドローン１４による巡視点検の動作について説明する。ここでは、例えば送電設備１７に対して落雷による異常箇所が生じる場合を想定と説明する。
例えば、作業員等は、送電設備１７に対してドローン１４を用いた巡視点検をする場合には、情報処理装置１０とドローン１４を自動車などに搭載して、ドローン１４が送電設備１７まで飛行可能な範囲内に移動する。

まず、情報処理装置１０では、巡視点検の対象とする送電設備１７に応じてフライトプランの設定を行う。情報処理装置１０は、例えば図１５に示すような、フライトプランを設定するための巡回／点検ルート選択画面６０を表示させて、作業員等により選択させる。巡回／点検ルート選択画面６０には、例えば定期巡回ボタン６１、事故巡回ボタン６２、鉄塔巡回ボタン６３が設けられており、何れかを任意に選択することができる。事故巡回は、例えば、送電設備１７への落雷等の事故発生時に巡回し、事故原因を特定するために実行される。定期巡回及び鉄塔巡回は、定期的な巡回あるいは点検のために巡回される。

事故巡回ボタン６２により事故巡回が選択された場合、情報処理装置１０のフライトプラン処理部２０ｂは、巡視点検指示入力部２０ａにより選択内容を入力し、図１６に示すように、例えば、鉄塔に設けられた被点検物（閃絡表示器、アークホーン、碍子等）と、架空地線及び送電線の画像を撮影して戻るフライトプラン（飛行制御データ）を生成する。また、定期巡回ボタン６１により定期巡回が選択された場合、フライトプラン処理部２０ｂは、同様にして、図１７に示すように、例えば架空地線及び送電線の画像を撮影可能なフライトプラン（飛行制御データ）を生成する。なお、図示しないが、鉄塔巡回ボタン６３により鉄塔巡回が選択された場合には、フライトプラン処理部２０ｂは、対象とする鉄塔を下部から上端までの画像を撮影可能なフライトプラン（飛行制御データ）を生成する。

なお、巡視点検の対象とする送電設備１７については、予め鉄塔が設置された位置、鉄塔の形状などの基本情報が情報処理装置１０に記憶されており、作業員等により指定できるものとする。フライトプラン処理部２０ｂは、巡視点検の対象とする送電設備１７の位置などの基本情報と、巡回／点検ルート選択画面６０において選択された巡視点検のフライトプランに基づいて飛行制御データを生成する。

なお、巡回／点検ルート選択画面６０では、定期巡回ボタン６１、事故巡回ボタン６２、鉄塔巡回ボタン６３のそれぞれに対して、通常ボタン６１ａ，６２ａ，６３ａと冬季ボタン６１ｂ，６２ｂ，６３ｂがそれぞれ設けられている。

一般に、落雷は送電設備１７の上空から下向きに放電されるため、例えば架空地線に落雷があった場合、架空地線の上面側にアーク痕などの異常箇所が生じる。従って、通常ボタン６１ａ，６２ａ，６３ａの選択によって（デフォルト）、ドローン１４が架空地線の上側の画像を撮影することができるフライトプランが作成される。

一方、北陸地方の冬季間においては、地表から上向きに放電される冬季雷が発生する場合がある。従って、冬季雷によって送電設備１７に落雷があった場合には、送電線の下面側にアーク痕などの異常箇所が生じる可能性がある。よって、冬季ボタン６１ｂ，６２ｂ，６３ｂの選択によって、架空地線や送電線の下面側の画像を撮影することができるフライトプランを作成できるようにしている。

なお、図１６及び図１７では、ドローン１４を送電設備１７の上方を飛行させることで、例えば架空地線と複数の送電線を含む画像を撮影する例を示しているが、例えば架空地線と複数の送電線の画像を個々に撮影させるために、鉄塔の間を複数回往復するように飛行させても良い。また、落雷以外の異常箇所、例えば送電線の側面側よりクレーン、飛行物、樹木等が接触することにより生じる異常箇所の画像を撮影するために、送電線の側面側から画像を撮影させるように飛行させても良い。

図１８、図１９及び図２０には、送電設備１７に設けられる被点検物の一例を示している。図１８は、１つの鉄塔１７ａを示している。鉄塔１７ａには、通常、架空地線１７ｂ、３本の送電線１７ｃ，１７ｄ，１７ｅが架設されている。送電線１７ｃ，１７ｄ，１７ｅは、それぞれ碍子１７ｈを介して、鉄塔１７ａに架設されている。図１９は、碍子１７ｈの一例を示している。碍子１７ｈには、鉄塔１７ａに落雷があった場合に、碍子１７ｈが破壊されるのを防ぐためにアークホーン１７ｇが設けられている。また、鉄塔１７ａには、鉄塔１７ａあるいは架空地線１７ｂに落雷があった場合に、落雷があったことを通知するための閃絡表示器１７ｆが装着されている。図２０には、閃絡表示器１７ｆの一例を示している。図２０（Ａ）は、通常時の閃絡表示器１７ｆの状態を示し、図２０（Ｂ）は、鉄塔１７ａに落雷があった場合の閃絡表示器１７ｆを示している。図２０（Ｂ）に示すように、閃絡表示器１７ｆは、鉄塔１７ａあるいは架空地線１７ｂに落雷があった場合、鉄塔１７ａに流れる電流により表示器本体１７ｆ１から蓋１７ｆ２が開き、内部に収納されていた表示布１７ｆ３が露出される。

管理装置１２では、前述した送電線に生じる異常状態に対する学習モデルと同様にして、アークホーン１７ｇ、碍子１７ｈ、閃絡表示器１７ｆに対する学習モデルを作成することで、これらの被点検物についても、ドローン１４により撮影される画像から検出することができる。例えば、アークホーン１７ｇについては、落雷によって生じるアーク痕を検出可能な学習モデルが生成される。碍子１７ｈについては、落雷によって生じる破損（亀裂）を検出可能な学習モデルが生成される。

図２１には、本実施形態におけるフライトプラン処理部２０ｂによって生成されるフライトプラン（飛行制御データ）の一例を示している。飛行制御データは、巡視点検の対象とする送電設備１７を撮影するための一連の飛行経路をドローン１４により飛行させるためのもので、例えば巡回／点検対象ごとに区分する巡回／点検対象データが対応づけられている。

次に、本実施形態におけるドローン１４による動作について、図２２に示すフローチャートを参照しながら説明する。
ドローン１４の制御ユニット３０ａは、情報処理装置１０から受信した飛行制御データを記憶した後、飛行開始が指示されると、飛行制御部３０ｄにより駆動ユニット３０ｍを駆動して、飛行制御データに応じた経路を飛行させる飛行制御を開始する（ステップＢ１）。

また、制御ユニット３０ａは、取得データ生成部３０ｂによる取得データの生成し記憶を開始させる。すなわち、取得データ生成部３０ｂは、被点検物（巡回／点検対象）毎の撮影をした期間（あるい開始タイミング）を示す巡回／点検対象データの記憶（ステップＢ２）、カメラ１４ｃにより撮影される画像データ（ここでは、例えば動画像データ）の記録、ＧＰＳデータ受信部３０ｇにより生成される位置データの記憶を開始する（ステップＢ２，Ｂ３，Ｂ４）。

図２３は、本実施形態における取得データ生成部３０ｂにより生成される取得データの一例を示している。図２３に示すように、取得データ生成部３０ｂは、カメラ１４ｃにより撮影された動画像データ（図２３（Ａ））、ＧＰＳデータ受信部３０ｇにより生成される位置データ（図２３（Ｃ））、及び巡回／点検対象データ（図２３（Ｂ））とが対応づけて記憶する。

最初の巡回／点検対象が「鉄塔Ｂ－１」であるため、巡回／点検対象データとして「鉄塔Ｂ－１」が記憶される。動画像データと位置データは継続して記憶される。なお、位置データは、所定の時間毎に記憶されるようにしても良い。また、動画像データではなく、静止画像データ連続して記憶するようにしても良い。

図２３に示すように、巡回／点検データを記憶しておくことで、ドローン１４による撮影が終了した後、巡回／点検データをもとに、動画像データに含まれる被点検物別の記録範囲を容易に検索することができる。例えば、「架空地線」を示す巡回／点検対象データをもとに、「架空地線」が撮影された動画像データの範囲Ｍ２を検索することができる。また、動画像データと位置データとが対応づけて記憶されるため、例えば動画像データの範囲Ｍ２に異常箇所が撮影されている場合に、異常箇所が撮影された時のドローン１４の位置を示す位置データＰＥをもとに、「架空地線」に生じている異常箇所の位置（緯度、経度）を大まかに把握することができる。

なお、前述した説明では、取得データをドローン１４（例えばメモリ３０ｆ）に記憶させるとしているが、リアルタイムで情報処理装置１０に対して無線通信により送信することも可能である（ステップＢ５）。

取得データ生成部３０ｂは、巡回／点検対象に対応する範囲の飛行が完了すると（ステップＢ６、Ｙｅｓ）、全ての巡回／点検対象に対応する範囲の飛行が完了していなければ（ステップＢ７、Ｎｏ）、次の被点検物に巡回／点検対象が移った時点で新たな巡回／点検対象データを記憶させる（ステップＢ２）。以下、同様にして、次の巡回／点検対象について撮影した動画像データと位置データとを記憶させる（ステップＢ３、Ｂ４）。

以下同様にして、取得データの記録を継続し、全ての巡回／点検対象に対応する範囲の飛行が完了すると（ステップＢ７、Ｙｅｓ）、制御ユニット３０ａは、ドローン１４を元の飛行開始位置に戻す飛行制御を開始して、取得データの記憶を終了させる。

次に、本実施形態における情報処理装置１０における取得データ管理処理について、図２５及び図２６に示すフローチャートを参照しながら説明する。
ドローン１４により記憶された取得データは、情報処理装置１０に送信され、取得データ記憶部２１ｄにおいて記憶される。取得データ記憶部２１ｄには、ドローン１４による複数回の飛行により記憶された取得データを記憶させてくことができる。情報処理装置１０は、作業者等の操作により、画像データをもとに被点検物に生じた異常箇所を検出して確認するための取得データの整理を開始する。

まず、情報処理装置１０は、巡回／点検ルート選択画面６０を通じて処理対象とする巡回／点検ルートの指定を入力し、指定された巡回／点検ルートの飛行により記憶された取得データから処理対象を選択する（ステップＣ１）。また、情報処理装置１０は、例えば図２４に示すような、検査対象とする被点検物を選択するための検査対象項目選択画面７０を表示させて、作業員等により何れかの検査対象項目を選択させる。検査対象項目選択画面７０には、例えば全てボタン７１の他、架空地線及び送電線を対象とした、アーク痕ボタン７２、素線切れボタン７３、炭付着ボタン７４、光沢ボタン７５が設けられている。なお、検査対象項目選択画面７０には、他の被点検物（碍子、アークホーン、閃絡表示器）を指定する選択対象項目が設けられている（図示せず）。

例えば、全てボタン７１が選択された場合、異常箇所検出部２１ｃは、指定された巡回／点検ルートにおいてドローン１４により撮影される全ての被点検物を検査対象として、全ての被点検物のそれぞれを検出するための学習モデルを設定する（ステップＣ３）。

同様にして、例えばアーク痕ボタン７２が選択された場合、異常箇所検出部２１ｃは、アーク痕（素線切れ、炭付着、光沢の各カテゴリを含む）を検出対象として、アーク痕（素線切れ、炭付着、光沢）を検出するための学習モデルを設定する（ステップＣ３）。同様にして、素線切れボタン７３、炭付着ボタン７４、光沢ボタン７５の何れかが選択された場合には、それぞれに対応する異常箇所を検出するための学習モデルが設定される。前述したように、異常箇所を検出するための学習モデルは、管理装置１２において、異常種類毎に最も良好に異常箇所を検出することができる正常画像と異常画像の組み合わせの割合（比）で組み合わせた類似画像をもとに生成されている。

検査対象項目選択画面７０において、検査対象項目を選択できるようにすることで、特定の異常箇所に対応する学習モデルを用いて異常箇所の検出処理を実行できるため、認識精度を向上させると共に、処理時間の短縮を図ることができる。

異常箇所検出部２１ｃは、検査対象項目（学習モデル）の設定が完了した後、取得データ記憶部２１ｄに記憶された処理対象とする取得データを読み出し、取得データに含まれる巡回／点検対象データを判別する（ステップＣ４）。ここで、異常箇所検出部２１ｃは、巡回／点検対象データが、検査対象項目により指定される異常箇所の検出対象に該当するか判別する。

例えば、検査対象項目選択画面７０において、検査対象項目として、架空地線及び送電線を対象としたアーク痕ボタン７２が選択されている場合、巡回／点検対象データが「鉄塔Ｂ－１」であれば、異常箇所の検出対象ではないと判別する。異常箇所検出部２１ｃは、異常箇所の検出対象ではないと判別すると（ステップＣ５、Ｎｏ）、異常検出の検出対象とする巡回／点検対象データ（例えば「架空地線」）まで動画像データをスキップして、異常箇所の検出対象が撮影された動画像データを処理対象とする。すなわち、検査対象項目選択画面７０において選択された検査対象項目に応じて、異常箇所の検出対象となっていない被点検物を撮影した動画像データの処理を省略することで、処理時間の短縮を図る。

異常箇所検出部２１ｃは、異常箇所の検出対象が撮影された動画像データについて、検査対象項目に応じて設定した学習モデルを用いて、検出対象とする異常箇所を検出する異常箇所検出処理を実行する（ステップＣ７）。

図２６は、本実施形態における異常箇所検出処理を示すフローチャートである。
異常箇所検出部２１ｃは、取得データ記憶部２１ｄに記憶された取得データの動画像データから既存の画像処理により被点検物に相当する領域を検出し、その領域から異常画像候補領域を検出する。すなわち、被点検物において周囲と異なる状態（形状、色等）にある異常箇所の可能性がある部分を検出する。異常箇所検出部２１ｃは、異常画像候補領域の画像データについて、被点検物に生じる異常種類の特徴を示す学習モデルを用いて、検出対象とする異常種類に相当する画像であるかを判定する（ステップＤ２）。

ここで、異常種類を表す画像であると判定された場合（ステップＤ３、Ｙｅｓ）、異常箇所検出部２１ｃは、異常種類に相当する画像（異常画像）と判定された画像データ（異常箇所画像データ）を切り出すと共に、異常箇所画像データに対応する位置データを取得する。なお、異常箇所検出部２１ｃは、何れの異常種類に対応する学習モデルをもとに異常と検出されたか、すなわち何れの異常種類の以上箇所であるかを示す異常種類データを記憶する。例えば、検査対象項目選択画面７０において、アーク痕ボタン７２が選択されている場合、素線切れ、炭付着、光沢の各カテゴリに対応する学習モデルを用いて異常箇所の判定が実行されており、素線切れに対応する学習モデルにより異常箇所と判定された場合に、「素線切れ」を示す異常種類データを記憶する。

異常箇所検出部２１ｃは、異常箇所検出処理により異常箇所が検出されると異常箇所のデータを異常箇所記憶部２１ｇに記憶させる（ステップＤ５）。異常箇所のデータには、例えば異常箇所画像データ、異常箇所画像データに対応する位置データ（及び時刻）、異常種類データ、異常箇所画像データを含む動画像データの範囲に対応する巡回／点検対象データ、動画像データに対応する巡回／点検ルートなどを含む。

異常箇所検出部２１ｃは、処理対象とする取得データが終了するまで、前述した処理を実行する（ステップＣ４～Ｃ１３）。なお、異常箇所を検出する処理が実行されている間に、作業員等からの指示によって、例えば検査対象項目選択画面７０を通じて検出対象とする異常箇所が変更された場合には（ステップＣ１０、Ｙｅｓ）、異常箇所検出部２１ｃは、変更後の検出対象とする異常箇所（検査対象項目）に応じた学習モデルを再設定して、前述と同様にして、異常箇所を検出する処理を再開する。

一方、異常箇所表示部２１ｆは、異常箇所記憶部２１ｇに記憶された異常箇所のデータをもとに、作業員等に検出結果を確認させるための異常候補画像表示画面を表示させる（ステップＣ９）。

図２７は、本実施形態における異常候補画像表示画面８０の一例を示す図である。 異常候補画像表示画面８０には、例えば異常箇所画像データをもとに異常箇所画像８１（異常候補画像）と共に異常種類データが示す異常種類８２が表示される。また、異常候補画像表示画面８０には、異常箇所画像８１に関係する参考情報８３が表示される。参考情報８３には、例えば巡回／点検ルートを示す「Ｐｏｉｎｔ Ｂ－１」、撮影日時、位置データが示す検出位置（緯度、経度、高度）、巡回／点検対象データが示す被点検物「上部送電線」「上部」（送電線の上部からの撮影であることを示す）が含まれる。また、参考情報８３には、マップボタン８４が設けられている。マップボタン８４が選択された場合、異常箇所表示部２１ｆは、検出位置を含む地図（送電設備１７の位置などを付加する）を表示させて、送電設備１７の異常箇所が検出された位置を地図上で確認できるようにする。

異常箇所表示部２１ｆは、異常箇所記憶部２１ｇによって動画像データから異常箇所（候補）が検出されると、異常候補画像表示画面８０において、新たに検出された異常箇所（候補）に関する各情報を、前述したように順次、追加表示する。よって、作業員等は、取得データに対して異常箇所を検出する処理を実行している間に、異常箇所が検出された時点で検出内容を確認することができる。

また、異常箇所表示部２１ｆは、異常候補画像表示画面８０において例えば異常箇所画像８１を選択する操作がされた場合、選択された異常箇所画像８１に対応する異常箇所を作業員等により最終確認させるための異常箇所確認画面を表示させる。

図２８は、本実施形態における異常箇所確認画面９０の一例を示す図である。
異常箇所確認画面９０には、異常候補画像表示画面８０において選択された異常箇所画像８１を拡大した異常箇所画像９１と、異常候補画像表示画面８０において表示されていない異常箇所画像を縮小した異常箇所画像９２ａ，９２ｂ，９２ｃが表示される。

また、異常箇所確認画面９０には、異常箇所画像９１に関係する参考情報９３が表示される。参考情報９３には、例えば巡回／点検ルートを示す「Ｐｏｉｎｔ Ｂ－１」、撮影日時、検出位置（緯度、経度、高度）が含まれる。さらに、異常箇所確認画面９０には、作業員等による異常種類の確認指示を入力するための異常箇所確認ボタン９４、作業員等による異常箇所ではないことを確認した指示を入力するための誤認識ボタン９５が設けられている。異常箇所確認ボタン９４には、例えば確認指示を入力可能な複数の異常種類のそれぞれに対応するボタン、例えばアーク痕ボタン９４ａ、素線切れボタン９４ｂ、炭付着ボタン９４ｃ、光沢ボタン９４ｄが設けられている。

なお、異常箇所確認画面９０では、異常箇所画像９１の左右に設けられた方向ボタン、あるいは異常箇所画像９２ａ，９２ｂ，９２ｃの何れかが選択された場合には、他の異常箇所の異常箇所画像９１を表示して、確認対象とする異常箇所を変更することができる。

作業員等は、異常箇所確認画面９０において表示された異常箇所画像９１を参照した結果、例えば素線切れであることが確認された場合には、素線切れボタン９４ｂを選択する。確認指示入力部２１ｈは、素線切れボタン９４ｂの選択による異常確認指示が入力されると（ステップＣ１１、Ｙｅｓ）、被点検物、異常種類、検出位置、検出日時などを示す各データを確認データとして確認データ記憶部２１ｋに記憶させる（ステップＣ１２）。確認データ記憶部２１ｋに記憶された確認データは、例えば、巡視点検管理部２２において、巡視点検の結果をまとめた巡視点検結果報告データを作成するための巡視点検データとして使用される。

また、確認指示入力部２１ｈは、確認データ記憶部２１ｋに記憶された確認データと同じ、異常箇所画像データ、検出対象とする被点検物及び検出対象とする異常種類のデータを、管理装置１２において学習モデルの生成に利用するために異常箇所画像データ記憶部２１ｍに記憶させる。異常箇所画像データ記憶部２１ｍに記憶されたデータは、任意のタイミングで管理装置１２に送信される。

なお、異常箇所画像９１を参照した結果、異常箇所ではないと確認された場合には、作業者等により誤認識ボタン９５が選択される。この場合、確認指示入力部２１ｈは、異常箇所記憶部２１ｇから対応する異常箇所画像データを削除する。

このようにして、情報処理装置１０では、検査対象項目選択画面７０において選択された検査対象項目に応じて、被点検物に生じる検出対象とする異常箇所を良好に検出できる学習モデルが設定される。学習モデルは、管理装置１２において、擬似的な画像（類似画像）を含めてディープラーニングの技術を利用して生成されているため、実際の異常箇所の画像サンプルが少ない状況においても、異常箇所を画像処理によって安定して検出することができる。

また、異常箇所検出処理によって異常箇所の候補として検出された異常箇所画像については、異常候補画像表示画面８０あるいは異常箇所確認画面９０において参照し、実際に異常箇所が生じているか否かを作業員等の判断により確定することができる。異常箇所確認画面９０において異常箇所確認ボタン９４を用いて異常箇所と確定された異常箇所画像データについては、学習モデルを生成するために利用され、検出対象とする異常種類に対応する学習モデルに反映させることができる。

さらに、異常箇所確認画面９０において異常箇所確認ボタン９４を用いて確定された異常箇所のデータについては、巡視点検管理部２２において巡視点検データとして使用され、巡視点検の結果をまとめた巡視点検結果報告データを作成することができる。これにより、巡視点検の結果を記録する作業員等の作業負担を軽減することができる。

また、異常候補画像表示画面８０または異常候補画像表示画面８０による異常箇所の確認は、異常箇所検出処理と並行して実行することができるので、確認作業の短縮を図ることができる。

なお、上記の各実施形態に記載した手法は、コンピュータに実行させることのできるプログラムとして、磁気ディスク（ハードディスクなど）、光ディスク（ＣＤ－ＲＯＭ、ＤＶＤなど）、光磁気ディスク（ＭＯ）、半導体メモリなどの記憶媒体に格納して頒布することもできる。また、記憶媒体としては、プログラムを記憶でき、かつコンピュータが読み取り可能な記憶媒体であれば、その記憶形式は何れの形態であっても良い。

また、記憶媒体からコンピュータにインストールされたプログラムの指示に基づきコンピュータ上で稼働しているＯＳ（オペレーティングシステム）や、データベース管理ソフト、ネットワークソフト等のＭＷ（ミドルウェア）等が上記実施形態を実現するための各処理の一部を実行しても良い。

さらに、各実施形態における記憶媒体は、コンピュータと独立した媒体に限らず、ＬＡＮやインターネット等により伝送されたプログラムをダウンロードして記憶または一時記憶した記憶媒体も含まれる。

また、記憶媒体は１つに限らず、複数の媒体から上記の各実施形態における処理が実行される場合も本発明における記憶媒体に含まれ、媒体構成は何れの構成であっても良い。

なお、各実施形態におけるコンピュータは、記憶媒体に記憶されたプログラムに基づき、上記の各実施形態における各処理を実行するものであって、パーソナルコンピュータ等の１つからなる装置、複数の装置がネットワーク接続されたシステム等の何れの構成であっても良い。

また、各実施形態におけるコンピュータとは、情報処理機器に含まれる演算処理装置、マイコン等も含み、プログラムによって本発明の機能を実現することが可能な機器、装置を総称している。

なお、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１…点検システム、２…巡視点検制御システム、１０…情報処理装置、１０ａ…プロセッサ、１０ｂ…メモリ、１０ｃ…記憶装置、１０ｄ…入出力Ｉ／Ｆ、１０ｅ…表示装置、１０ｆ…入力装置、１０ｇ…無線通信装置、１０ｈ…通信装置、１２…管理装置、１４…ドローン、１４ａ…ドローン本体、１４ｂ…ローター、１４ｃ…カメラ、２０…航行管理部、２０ａ…巡視点検指示入力部、２０ｂ…フライトプラン処理部、２１…取得データ整理管理部、２１ａ…学習モデル記憶部、２１ｂ…検出対象指示入力部、２１ｃ…異常箇所検出部、２１ｄ…取得データ記憶部、２１ｅ…画像確認部、２１ｆ…異常箇所表示部、２１ｇ…異常箇所記憶部、２１ｈ…確認指示入力部、２１ｋ…確認データ記憶部、２１ｍ…異常箇所画像データ記憶部、２２…巡視点検管理部、２２ａ…巡視点検データ記憶部、２２ｂ…巡視点検結果報告作成部、３０ａ…制御ユニット、３０ｂ…取得データ生成部、３０ｃ…撮影制御部、３０ｄ…飛行制御部、３０ｅ…センサ群、３０ｆ…メモリ、３０ｇ…ＧＰＳデータ受信部、３０ｈ…無線通信部、３０ｋ…カメラユニット、３０ｍ…駆動ユニット、４０ａ…データ記憶部、４０ｂ…異常箇所画像データ、４０ｃ…学習用画像データ、４０ｄ…教示メタデータ、４０ｅ…検証画像データ、４０ｆ…学習画像読み込み部、４０ｇ…教示メタデータ読み込み部、４０ｈ…エッジ切り出し部、４０ｋ…隣接正常画像探索部、４０ｍ…正常画像／異常画像組み合わせ制御部、４０ｎ…類似画像生成部、４０ｐ…学習済みモデル管理部、４０ｑ…検証画像読み込み部、４０ｒ…推論実施部、４０ｓ…指標／条件関連記憶部、４０ｔ…関連対応部、４０ｕ…問い合わせ部、４０ｖ…学習モデル記憶部。

Claims (6)

1. 画像データをもとに被点検物について点検するための点検システムであって、
   管理装置と情報処理装置とを含み、
   前記管理装置は、
   前記被点検物に生じた異常を画像データ中から検出するための学習モデルを生成する学習モデル生成手段を有し、
   前記情報処理装置は、
   前記被点検物に応じた検出対象とする異常種類を示す指示を入力する指示入力手段と、
   前記学習モデル生成手段により生成された前記異常種類に応じた前記学習モデルをもとに、前記画像データから前記被点検物に異常が生じた異常箇所に対応する前記異常種類に相当する異常画像を検出する異常箇所検出手段とを有し、
   前記学習モデル生成手段は、前記異常画像と、前記画像データの前記異常画像の周辺にある異常箇所ではない正常画像とを組み合わせた類似画像をもとに、前記学習モデルを生成する、点検システム。
2. 前記学習モデル生成手段は、前記異常画像と前記正常画像とを複数の異なる比により組み合わせ、前記被点検物に生じる異常種類毎に、何れかの比により組み合わせた類似画像をもとに生成した前記学習モデルを選択する請求項１記載の点検システム。
3. 前記異常箇所検出手段により検出された前記異常画像をもとに異常箇所候補の画像と異常種類とを表示する確認画面を表示させ、前記確認画面に対する確認指示を入力する異常箇所表示手段をさらに有する請求項１記載の点検システム。
4. 前記学習モデル生成手段は、前記確認指示により確認された前記異常箇所候補の画像を、前記類似画像の生成に用いる請求項３記載の点検システム。
5. 画像データをもとに被点検物について点検するための情報処理装置であって、
   前記被点検物に生じた異常を画像データ中から検出するための学習モデルを記憶する記憶手段と、
   前記被点検物に応じた検出対象とする異常種類を示す指示を入力する指示入力手段と、
   前記異常種類に応じた前記学習モデルをもとに、前記画像データから前記被点検物に異常が生じた異常箇所に対応する前記異常種類に相当する異常画像を検出する異常箇所検出手段と、
   前記異常画像と、前記画像データの前記異常画像の周辺にある異常箇所ではない正常画像とを組み合わせた類似画像をもとに、前記学習モデルを生成する学習モデル生成手段とを有する情報処理装置。
6. コンピュータを
   被点検物に生じた異常を画像データ中から検出するための学習モデルを記憶させる記憶手段と、
   前記被点検物に応じた検出対象とする異常種類を示す指示を入力する指示入力手段と、
   前記異常種類に応じた前記学習モデルをもとに、画像データから前記被点検物に異常が生じた異常箇所に対応する前記異常種類に相当する異常画像を検出する異常箇所検出手段と、
   前記異常画像と、前記画像データの前記異常画像の周辺にある異常箇所ではない正常画像とを組み合わせた類似画像をもとに、前記学習モデルを生成する学習モデル生成手段として機能させるための点検制御プログラム。

Images