JP7030431B2 - 点検支援システム及び点検支援制御プログラム - Google Patents

Description

本発明は、点検支援システム及び点検支援制御プログラムに関する。

従来、社会インフラ設備についての巡視点検は、主に巡視員による目視確認作業により実施されている。例えば、鉄塔や架空送電線（以下、送電線と称する）などの送電設備に対する定期点検や事故発生時の巡視は、巡視員がヘリコプターに同乗して送電線に沿って飛行して双眼鏡で送電線を見ながら異常個所の有無を確認したり、送電設備を徒歩で移動しながら確認したりしていた。

例えば、鉄塔についての異常発生の確認内容としては、ボルト／ナットなどの締結具の発錆、部材の発錆、がいし金具や電線付属品の発錆、部材への塗装の減耗／消失などがある。巡視員は、異常発生箇所を視認して、色、占有率、浸食度合いなどを考慮して品質判定を行う。

また、鉄塔は、山奥や丘陵地などにも設置されている。このため、巡視員が徒歩で移動しながら確認することができない場合には、ヘリコプターから鉄塔の画像撮影を行って、撮影した画像を巡視員が見て確認することもされている。

こうした、社会インフラ設備に対する点検の結果に基づいて、社会インフラ設備に対する改修計画が設定される。例えば、鉄塔の場合では、鉄塔の発錆状態に応じて再塗装などの計画が設定される。社会インフラ設備に対する改修工事には、多額な費用と長い作業期間を必要とするため、社会インフラ設備に発生している異常箇所の状態（異常箇所の発生数、劣化レベルなど）を正確に検出して、最適な改修計画（例えば、鉄塔塗装の実施周期）を設定する必要がある。

特開２０１４－１５９９８１号公報

しかしながら、巡視員による目視による点検／巡視は、巡視員に対して大きな負担となっている。鉄塔の場合には、上部に発錆していることが多く、点検のために昇塔が必要となるなど確認作業が困難となっていた。また、巡視員による目視による点検では、異常個所を見過ごすおそれがあった。

また、ヘリコプターを使用した送電設備の点検／巡視は、ヘリコプターを利用するための費用の他、ヘリコプターの操縦士の他に複数の巡視員を搭乗させるため、点検／巡視のための費用が高くなるほか、急に点検／巡視が必要になった場合に簡易かつ迅速に対応することができない。

また、画像撮影による点検作業も、撮影された全ての画像を巡視員が見ながら異常個所を検出しているため、迅速かつ正確な点検が行えないという問題がある。また、画像処理プログラムを用いて、画像中から被点検物に発生した異常箇所を検出することも考えられているが、ヘリコプターから撮影された画像には、鉄塔などの被点検物だけでなく背景を含む画像が撮影されているため、被点検物に発生した異常箇所を抽出することが困難となっていた。例えば、紅葉の時期に鉄塔を撮影した画像の場合、鉄塔に発錆があったとして、錆びの色と紅葉の色が類似しているため色に基づく画像処理では発錆部分を精度良く検出することができなかった。

このように、鉄塔や送電線などを含む送電設備の他、橋梁、高速道路、電波塔など、各種の社会インフラ設備についての点検／巡視のための作業負担が膨大であり、また正確に異常箇所を検出することが困難となっていた。このため、社会インフラ設備に発生した異常箇所を効率的かつ正確に検出できなければ、社会インフラ施設に対する適切な改修計画を設定することも困難となってしまう。

本発明が解決しようとする課題は、社会インフラ設備に生じた異常箇所を効率的かつ正確に検出することが可能な点検支援システム及び点検支援制御プログラムを提供することである。

実施形態によれば、点検支援システムは、入力手段、生成手段、設定手段、抽出手段、異常箇所検出手段、異常状態判別手段、出力手段を有する。入力手段は、異なる色のフィルタが形成されたカラー開口フィルタがレンズに装着されたカメラにより撮影された画像データを入力する。生成手段は、前記画像データをもとに、カラー画像と、被点検物を含む被写体までの距離を示す距離情報を含む距離画像とを生成する。閾値設定手段は、前記距離画像をもとに被点検物に相当する第１距離情報と、前記被点検物とは別の被写体に相当する第２距離情報とが示す距離の間、あるいは前記被点検物の奥行き範囲の間に、前記カラー画像から前記被点検物に相当する画像部分を抽出するための第１閾値を設定し、前記被点検物の奥行き範囲の間に前記カラー画像から前記被点検物の一部に相当する画像部分を抽出するための第２閾値を設定する。抽出手段は、前記第１閾値及び前記第２閾値をもとに前記被点検物の一部に相当する距離情報を抽出する。画像抽出手段は、前記抽出手段により抽出された距離情報に対応する前記被点検物の一部に相当する被点検物画像を前記カラー画像から抽出する。異常箇所検出手段は、前記被点検物画像から前記被点検物に異常が生じた異常箇所の異常画像を検出する。異常状態判別手段は、前記異常画像をもとに異常状態を判別する。出力手段は、前記異常箇所の異常状態を含む点検結果を出力する。

本実施形態における巡視点検支援システムの構成を示すブロック図。 本実施形態における巡視点検支援システムの構成を示すブロック図。 本実施形態における情報処理装置の構成を示すブロック図。 本実施形態における情報処理装置における機能構成を示すブロック図。 本実施形態におけるドローンの外観の一例を示す図。 本実施形態におけるドローンの主要な構成を示すブロック図。 本実施形態におけるカメラのレンズ開口部を示す斜視図。 本実施形態におけるカラー開口による作用を説明するための図。 本実施形態における巡回／点検ルート選択画面の一例を示す図。 本実施形態におけるドローンのフライトプランを説明するための図。 本実施形態におけるドローンの動作を示すフローチャート。 本実施形態における取得データ生成部により生成される取得データの一例を示す図。 本実施形態における情報処理装置における取得データ管理処理を示すフローチャート。 本実施形態における異常箇所検出処理を説明するフローチャート。 本実施形態における被点検物抽出処理を示すフローチャート。 異常箇所の検出対象とする画像の一例を示す図。 異常箇所検出部によって生成される距離画像を概念的に示す図。 本実施形態における異常箇所検出部によって生成されるフィルタリングされた距離画像を概念的に示す図。 本実施形態における距離情報の補完を説明するための図。 距離情報をもとにカラー画像から抽出された画像の一例を示す図。 抽出基準位置（閾値）を調整することにより、距離情報をもとに抽出される画像が変化する様子を示す図。 本実施形態における処理結果の閲覧画面の一例を示す図。 本実施形態における詳細情報画面の一例を示す図。 本実施形態における地図表示画面の一例を示す図。

以下、実施形態について図面を参照して説明する。
図１及び図２は、本実施形態における巡視点検支援システム１の構成を示すブロック図である。巡視点検支援システム１は、各種の社会インフラ設備に対する巡視点検に用いられるシステムである。本実施形態では、例えば発電所や変電所から送電するための送電設備（送電線、鉄塔）１７について、通常時あるいは事故発生時において航空機、例えば無人航空機（以下、ドローン１４と称する）を利用して、巡視点検する場合を例にして説明する。巡視点検支援システム１は、ドローン１４と巡視点検制御システム２により構成される。巡視点検制御システム２は、ドローン１４に搭載されたカメラにより撮影された画像データをもとに、送電設備１７に含まれる複数の異なる被点検物（例えば、架空地線、送電線、碍子、閃絡表示器、アークホーン、鉄塔、鉄塔基礎コンクリートなど）に生じた異常箇所を検出し、この検出結果を巡視点検結果報告として記録する。本実施形態では、巡視点検制御システム２は、例えば情報処理装置１０とネットワーク１５を介して接続される管理装置１２により構成する。ただし、巡視点検制御システム２を１つの装置として実現することも可能である。また、管理装置１２は、クラウドコンピューティングにより実現されるものとし、ネットワーク１５（インターネット）を介して接続された１台のサーバ、あるいは複数のサーバが協働して動作することで実現されても良い。

図１及び図２に示すように、巡視点検支援システム１は、巡視点検制御システム２（情報処理装置１０、管理装置１２）、及びドローン１４を含む。
情報処理装置１０は、ドローン１４の航行の管理／制御、ドローン１４から取得される取得データ（画像データ（動画像、静止画像）、位置データ等を含む）の整理／管理、ドローン１４からの取得データに対する処理結果をまとめる巡視／点検管理などの処理を実行する。情報処理装置１０は、例えばドローン１４と共に巡視点検対象とする送電設備１７の近くまで搬送されて使用され、ドローン１４により撮影された画像データをもとにした被点検物に生じた異常箇所の検出、異常箇所の画像の確認処理などが実行される。

管理装置１２は、情報処理装置１０における画像データをもとに、被点検物に生じた異常箇所を検出するための画像処理に用いる学習モデルの生成、情報処理装置１０において作成された処理結果の記録等を実行する。管理装置１２は、プロセッサにより学習モデル生成プログラムを実行することにより、情報処理装置１０における画像処理で使用される学習モデルを生成する。また、管理装置１２は、情報処理装置１０において作成された巡視点検データ等の記録、巡視点検データをもとにした巡視点検結果の出力（表示、印刷など）を実行する。

ドローン１４は、情報処理装置１０により設定される送電設備１７を巡視／点検するためのフライトプラン（飛行制御データ）をもとに、ＧＮＳＳ（Global Navigation Satellite System））を利用して生成される位置データ、例えばＧＰＳ（Global Positioning System）衛星１６から受信されるＧＰＳ信号から生成する位置データ等を利用して自律飛行し、巡視点検対象とする送電設備１７を撮影して画像データを記憶する。また、ドローン１４は、自律飛行のために位置データを用いるだけで無く、撮影された画像をもとに被点検物などの周囲に存在する物体までの距離を検出して、飛行制御に用いることもできる。なお、ドローン１４は、飛行中にリアルタイムで飛行制御データを情報処理装置１０から受信して、情報処理装置１０に対する作業者による操作に応じて、マニュアル制御により飛行することも可能である。

図３は、本実施形態における情報処理装置１０の構成を示すブロック図である。情報処理装置１０は、例えばパーソナルコンピュータによって実現される。情報処理装置１０は、プロセッサ１０ａ、メモリ１０ｂ、記憶装置１０ｃ、入出力インタフェース（Ｉ／Ｆ）１０ｄ、表示装置１０ｅ、入力装置１０ｆ、無線通信装置１０ｇ、通信装置１０ｈを有する。

プロセッサ１０ａは、メモリ１０ｂに記憶された基本プログラム（ＯＳ）やアプリケーションプログラムを実行して、各種の機能を実現するための回路である。例えば、プロセッサ１０ａは、巡視点検支援制御プログラムを実行することで、ドローン１４の飛行を管理し、ドローン１４により撮影された画像をもとに、送電施設の被点検物に生じた異常箇所を検出し、その検出結果をもとに巡視点検結果をまとめる処理を実行する（図４参照）。

メモリ１０ｂは、プロセッサ１０ａにより実行されるプログラムや一時的なデータ等を記憶する。

記憶装置１０ｃは、各種のプログラムや各種データが記憶される。記憶装置１０ｃに記憶されるデータには、ドローン１４の航行を制御するための飛行制御データ、ドローン１４から受信される取得データ（画像データ、位置データ）、画像データから被点検物に生じた異常箇所を検出するための画像処理に用いる学習モデルデータ、異常箇所の画像データ、巡視点検結果をまとめた巡視点検データなどを含む。

入出力Ｉ／Ｆ１０ｄは、外部機器とデータを送受信するためのインタフェースである。入出力Ｉ／Ｆ１０ｄは、例えば可搬型のメモリ媒体を介してデータを入出力することができる。

表示装置１０ｅは、ＬＣＤ（Liquid Crystal Display）などであり、プロセッサ１０ａの処理に応じた画面を表示させる。入力装置１０ｆは、キーボードやポインティングデバイスなどであり、作業者等により操作される。

無線通信装置１０ｇは、無線通信を制御するもので、ドローン１４との間、あるいは無線公衆網に収容された基地局との間の無線通信を制御する。

通信装置１０ｈは、ネットワーク１５を通じた外部装置、例えば管理装置１２、ドローン１４、他の情報処理装置１０との通信を制御する。ネットワーク１５は、無線あるいは有線によるＷＡＮ（Wide Area Network）、ＬＡＮ（Local Area Network）等を含む。

図４は、本実施形態における情報処理装置１０において、プロセッサ１０ａにより巡視点検支援制御プログラムを実行することにより実現される機能構成を示すブロック図である。

情報処理装置１０は、巡視点検支援制御プログラムに基づいて、例えば航行管理部２０、取得データ整理管理部２１、巡視点検管理部２２の機能を実現する。

航行管理部２０は、ドローン１４の航行の管理／制御をするもので、巡視点検指示入力部２０ａ、フライトプラン処理部２０ｂを含む。

巡視点検指示入力部２０ａは、例えば作業員による入力装置１０ｆに対する入力操作によって、例えば表示装置１０ｅに表示させた選択メニューに対する選択に応じて巡視点検の内容についての指示を入力する。巡視点検の内容としては、例えば巡視点検の対象とする送電設備１７の指定、巡視対象とする送電設備１７に含まれる被点検物（鉄塔など）の指定、検出対象とする異常種類（ボルト／ナットなどの締結具の発錆、部材の発錆、がいし金具や電線付属品の発錆、部材への塗装の減耗／消失など）がある。

フライトプラン処理部２０ｂは、巡視点検指示入力部２０ａにおいて入力された巡視点検の内容に応じたフライトプラン、すなわち巡視点検の対象とする被点検物を撮影することができる経路をドローン１４に航行させる飛行制御データを生成する。なお、巡視点検指示入力部２０ａは、ネットワーク１５を通じて外部から取得される情報、例えば気象情報や地図情報などを利用してフライトプランを生成することができる。

取得データ整理管理部２１は、ドローン１４から取得される取得データ（画像データ（動画像、静止画像）、位置データ等を含む）の整理／管理をするもので、学習モデル記憶部２１ａ、検出対象指示入力部２１ｂ、異常箇所検出部２１ｃ、取得データ記憶部２１ｄ、画像確認部２１ｅ、異常箇所表示部２１ｆ、異常箇所記憶部２１ｇ、確認指示入力部２１ｈ、確認データ記憶部２１ｋ、及び異常箇所画像データ記憶部２１ｍを含む。

学習モデル記憶部２１ａは、管理装置１２により生成された学習モデルを記憶する。学習モデルは、ドローン１４から取得された画像データから被点検物に生じた異常を画像中から検出するためのもので、被点検物に生じる異常状態の特徴を表す。管理装置１２では、ドローン１４により撮影される撮影環境の変動等により画像データが一定でない、あるいは検出対象とする異常箇所が様々な状態である状況に対応できるように、被点検物に生じた異常箇所を確実に検出することができる学習モデルが生成される。本実施形態では、管理装置１２において、実際に生じた異常箇所の画像データだけでなく、被点検物に生じる異常／劣化の状態を表す擬似的な画像（類似画像）をニューラルネットワークを活用したディープラーニング（深層学習）の技術を利用して生成する。

検出対象指示入力部２１ｂは、巡視点検の対象とする送電設備１７に含まれる被点検物、検出対象とする異常種類などの検出対象についての指示を巡視員の入力操作に応じて入力する。

異常箇所検出部２１ｃは、取得データ記憶部２１ｄに記憶された取得データから、学習モデル２１ａに記憶された学習モデル（被点検物の異常箇所の特徴）をもとにした画像処理により、検出対象指示入力部２１ｂにより入力された検出対象の指示に応じた異常箇所を検出する。

取得データ記憶部２１ｄは、ドローン１４から取得された取得データ（図１２参照）を記憶する。取得データには、例えば、被点検物を撮影した画像データ（動画像、静止画像）、画像撮影時のドローン１４の位置を示す位置データ（緯度、経度、高度）、被点検物（巡回／点検対象）毎の撮影をした期間（あるい開始タイミング）を判別するための巡回／点検対象データが含まれる。

本実施形態のドローン１４では、カメラのレンズ開口部にカラー開口フィルタ（詳細については後述する）が装着されて画像の撮影がされている。ドローン１４により撮影された画像の画像データに対しては、後述する画像処理を実行することにより、１フレームの画像からカラー画像と距離画像が取得される。距離画像は、カラー画像の画素（ピクセル）ごとの、カメラから被写体までの距離を示すデータ（距離情報）を有する。取得データ記憶部２１ｄには、画像データとして、カラー画像と距離画像とが記憶されるものとする。

画像確認部２１ｅは、ドローン１４により撮影された画像に対する異常箇所検出の処理結果を表示するための確認画面を表示させる。画像確認部２１ｅは、確認画面において、取得データ記憶部２１ｄに記憶された取得データ、あるいは異常箇所検出部２１ｃによる処理結果に応じた画像を表示させる。画像確認部２１ｅには、異常箇所表示部２１ｆが含まれる。異常箇所表示部２１ｆは、異常箇所検出部２１ｃにより画像データから検出された異常箇所の候補とする部分の画像（異常候補画像）を表示する異常候補画像（図２３参照）を表示させる。

異常箇所記憶部２１ｇは、異常箇所検出部２１ｃにより画像データから検出された異常箇所の候補とする異常箇所画像データを記憶する。異常箇所記憶部２１ｇに記憶された異常箇所画像データは、取得データ整理管理部２１に読み出されて異常候補画像表示画面において表示される。

確認指示入力部２１ｈは、確認画面に対する作業員等による確認指示を入力する。
確認データ記憶部２１ｋは、確認画面において、異常候補画像が異常箇所であることが確認された画像データ（異常箇所画像データ）、検出対象とする被点検物、検出対象とする異常種類、劣化状態（劣化レベル）、検出位置、検出日時などを示す各データを確認データとして記憶する。確認データは、例えば、巡視点検管理部２２において巡視点検データとして使用される。

異常箇所画像データ記憶部２１ｍは、管理装置１２において学習モデルの生成に利用するために、異常箇所画像データ、検出対象とする被点検物及び検出対象とする異常種類を示すデータが記憶される。

巡視点検管理部２２は、ドローン１４からの取得データに対する処理結果をまとめる巡視／点検管理をするもので、巡視点検データ記憶部２２ａ、巡視点検結果報告作成部２２ｂを含む。

巡視点検データ記憶部２２ａは、取得データ整理管理部２１による処理結果とする巡視点検データを記憶する。巡視点検データには、例えば、異常箇所が検出された被点検物、異常箇所と確認された異常箇所画像データ、異常箇所の異常種類、劣化状態（劣化レベル）、異常箇所が検出された位置（被点検物における位置、被点検物における異常箇所の位置（緯度、経度、高度）など）などのデータを含む。

巡視点検結果報告作成部２２ｂは、巡視点検データ記憶部２２ａに記憶された巡視点検データをもとに、巡視点検の結果をまとめた巡視点検結果報告データを作成する。巡視点検結果報告作成部２２ｂは、例えば被点検物毎に、異常箇所として検出された検出数、異常箇所の異常種類、異常箇所の劣化状態（劣化レベル）などをもとに改修が必要であるか判定し、改修が必要な被点検物（改修対象被点検物）について判定に用いた巡視点検データをもとに保全優先度を決定する。巡視点検結果報告作成部２２ｂは、巡視点検結果報告データをもとに、例えば、改修計画の設定の根拠となる保全優先度の順に配列された改修対象被点検物のリストデータ、地図中に改修対象被点検物を明示するための地図表示データなどを、巡視点検結果報告データとして作成する。

巡視点検管理部２２は、巡視点検結果報告作成部２２ｂにより作成された巡視点検結果報告データをもとに、改修対象被点検物のリスト、改修対象被点検物の設置位置が明示された地図などを表示させることができる。また、巡視点検管理部２２は、巡視点検結果報告データを管理装置１２に出力して、社会インフラ設備の改修計画の設定に参照されるデータとして管理装置１２において管理（記憶）させる。

図５は、本実施形態におけるドローン１４の外観の一例を示す図である。
図５に示すドローン１４は、制御ユニット等を内部に収納するドローン本体１４ａと、ドローン本体１４ａから上方に向けて対称に設けられた４つのローター１４ｂと、ドローン本体１４ａの下方に撮影方向を可変にして設けられたカメラ１４ｃとを有している。ローター１４ｂは、回転によって上向きの揚力を発生させる回転翼であり、制御ユニットにより回転が制御され、ドローン１４を垂直方向及び水平方向へ移動させることができる。また、ほぼ同じ位置で飛行を継続するホバリングをさせることもできる。カメラ１４ｃは、静止画または動画像を撮影するデジタルカメラ、ビデオカメラ等である。

本実施形態におけるドローン１４に装着されたカメラ１４ｃには、レンズ開口部にカラー開口フィルタ（詳細については後述する）が装着されている。これにより、カメラ１４ｃにより撮影された画像データをもとに、被点検物や背景などを含むカラー画像と、カラー画像に対応する距離画像を取得することができる。

図６は、本実施形態におけるドローン１４の主要な構成を示すブロック図である。ドローン１４のドローン本体１４ａには、制御ユニット３０ａ、取得データ生成部３０ｂ、撮影制御部３０ｃ、飛行制御部３０ｄ、センサ群３０ｅ、メモリ３０ｆ、ＧＰＳデータ受信部３０ｇ、無線通信部３０ｈ、カメラユニット３０ｋ、駆動ユニット３０ｍが設けられる。

制御ユニット３０ａは、ドローン１４の全体の制御を司るもので、専用のコントローラとして構成されても良いし、プロセッサとメモリを含む汎用のユニットであっても良い。制御ユニット３０ａは、各制御プログラムを実行することにより実現される、取得データ生成部３０ｂ、撮影制御部３０ｃ、飛行制御部３０ｄの各機能モジュールを有する。

取得データ生成部３０ｂは、情報処理装置１０に提供する取得データを生成する。取得データ生成部３０ｂは、例えば、カメラ１４ｃにより撮影された画像（動画像あるいは静止画像）の画像データ、ＧＰＳデータ受信部３０ｇにより生成される画像撮影時のドローン１４の位置を示す位置データ（緯度、経度、高度）、及び飛行制御部３０ｄによる飛行制御に用いられる飛行制御データをもとに被点検物（巡回／点検対象）毎の撮影をした期間（あるい開始タイミング）を示す巡回／点検対象データとを対応づけて、取得データを生成する（図１２参照）。

撮影制御部３０ｃは、飛行制御部３０ｄの制御によりドローン１４が飛行する間に、巡視点検の対象とする送電設備１７をカメラ１４ｃにより撮影するための制御をする。撮影制御部３０ｃは、例えばカメラ１４ｃのレンズ、シャッター、絞り、フォーカス機構、ズーム機構等の制御、撮影方向（レンズ方向）を調整する機能を有している。撮影方向を調整する機能としては、カメラユニット３０ｋを駆動してカメラ１４ｃのレンズ向きをドローン本体１４ａに対して水平方向又は垂直方向に回動させて撮影方向を変更させても良いし、飛行制御部３０ｄを通じて駆動ユニット３０ｍの駆動を制御し、ドローン１４を傾斜させてカメラ１４ｃの撮影方向を変更させても良い。カメラ１４ｃでは、ドローン１４の下方向の画像だけでなく、横方向あるいは上方向の画像を撮影できるようにする。

飛行制御部３０ｄは、情報処理装置１０から受信される飛行制御データ、ＧＰＳデータ受信部３０ｇにより生成されるドローン１４の現在位置を示す位置データ、センサ群３０ｅなどにより検出される障害物や被点検物等の位置に基づいて、駆動ユニット３０ｍ（モータ）を駆動し、ドローン１４を自律飛行させるための制御をする。飛行制御部３０ｄは、飛行制御データを取得すると、ＧＰＳデータ受信部３０ｇから位置データを取得し、ドローン１４を送電設備１７の被点検物から所定の範囲内で飛行するように制御する。

なお、飛行制御部３０ｄは、自律飛行のために位置データを用いるだけで無く、撮影制御部３０ｃの制御により撮影された画像データ（距離画像）をもとに被点検物などの周囲に存在する物体までの距離を検出して、飛行制御に用いることもできる。例えば、飛行制御部３０ｄは、画像データ（距離画像）をもとに、被点検物や被点検物などの周囲に存在する物体の３Ｄデータを生成して、被点検物に対して所定範囲の距離を保って飛行する、あるいは周囲に存在する物体に衝突しないように飛行するなどの制御をすることができる。

なお、距離画像は、飛行制御部３０ｄにおいて画像データをもとに生成しても良いし、情報処理装置１０に画像データを送信して、情報処理装置１０において生成しても良い。情報処理装置１０において距離画像を生成する場合、情報処理装置１０は、距離画像をもとに飛行制御データを生成し、この飛行制御データをドローン１４に送信する。これにより、ドローン１４は、撮影された画像（距離画像）をもとにした飛行制御をすることができる。

センサ群３０ｅは、例えば位置、高度、速度及び方向などの各種情報を取得するもので、例えば物体の加速度を計測する３軸加速度計、物体の角度や角速度を検出するジャイロスコープ、３軸磁気センサ等を含む。また、センサ群３０ｅには、障害物や被点検物を検知するために、対象物までの距離を計測するさまざまな方式を含んでいる。例えば、レーザー光を照射して反射波の受信時間から距離を検出するLiDAR(Light Detection and Ranging)や、障害物カメラである。障害物カメラは、例えば複数（例えば４台）を設けることで、飛行制御部３０ｄにおいて障害物や被点検物の画像を３次元処理して、障害物や被点検物の位置を３次元空間で認識できるようにすることができる。これにより、障害物や被点検物との接触／衝突を回避したり、被点検物に対して所定の距離を保って飛行するといった飛行制御を可能にする。

メモリ３０ｆは、各種データが記憶されるもので、例えば情報処理装置１０から受信される飛行制御データ、取得データ生成部３０ｂにより生成された取得データなどが記憶される。メモリ３０ｆは、例えば脱着可能な可搬型に構成されたメモリ媒体とすることができ、情報処理装置１０に取得データを提供する場合に、ドローン１４から取り外して情報処理装置１０にデータを読み取らせることもできる。

ＧＰＳデータ受信部３０ｇは、ＧＰＳ衛星１６からのＧＰＳ信号を受信し、ＧＰＳ信号をもとにドローン１４の現在位置を位置データ（緯度、経度、高度）及び時刻データを生成する。ＧＰＳデータ受信部３０ｇにより生成された位置データは、飛行制御部３０ｄによる自律飛行制御や取得データの生成に利用される。

無線通信部３０ｈは、情報処理装置１０との間、あるいは無線公衆網に収容された基地局との間の無線通信を制御する。無線通信部３０ｈは、制御ユニット３０ａの制御により、ドローン１４の飛行中に撮影した取得データ（画像データ）をリアルタイムで情報処理装置１０に送信しても良い。また、無線通信部３０ｈは、ドローン１４をマニュアル制御により飛行させるために、飛行中に情報処理装置１０に対する作業者による操作に応じた飛行制御データを受信することもできる。

カメラユニット３０ｋは、ドローン本体１４ａの下部においてカメラ１４ｃを支持し、撮影制御部３０ｃの制御により駆動されてカメラ１４ｃによる撮影方向を調整する。

駆動ユニット３０ｍは、飛行制御部３０ｄの制御に応じて駆動され、複数のローター１４ｂをそれぞれ個別に回転させる。複数のローター１４ｂを個別に回転制御することで、ドローン１４を垂直方向や水平方向へ移動させたり、ホバリングやドローン本体１４ａを傾斜させるなどの姿勢調整をすることができる。

図７は、本実施形態におけるカメラ１４ｃのレンズ開口部を示す斜視図である。
図７に示すように、カメラ１４ｃのレンズ開口部にカラー開口フィルタ１４ｅが装着（内挿）される。カラー開口フィルタ１４ｅは、円形のフィルタの半円のそれぞれが異なる色のフィルタ、例えば水色カラーフィルタ１４ｅ１と黄色カラーフィルタ１４ｅ２に形成されている。カラー開口フィルタ１４ｅは、水色カラーフィルタ１４ｅ１と黄色カラーフィルタ１４ｅ２とが、例えば左右に配置されるように装着される。以下、カラー開口フィルタ１４ｅが装着されたレンズ開口部をカラー開口と称する。

図８は、本実施形態におけるカラー開口による作用を説明するための図である。
カラー開口を通じて画像を撮影した場合、ボケ形状が色毎に変化する。例えば、緑色の場合には、従来のカメラ（カラー開口フィルタ１４ｅ無し）と同様のボケ形状となり、赤色及び青色の場合には、カラー開口によって非対称のボケ形状なる。

また、図８（Ｂ）に示すように、ピント位置ではボケが生じないが、図８（Ａ）（Ｃ）に示すように、ピント位置がずれるとボケが生じる。そして、図８（Ａ）に示す被写体の位置がピント位置（図８（Ｂ））の奥側にある（距離が長い）場合と、図８（Ｃ）に示す被写体の位置がピント位置（図８（Ｂ））の手前側にある（距離が短い）場合とでは、ボケの形状（色）が左右に反転する。画像データの各画素（ピクセル）のボケ形状を色毎に画像処理により解析することにより、図８（Ａ）に示すピント位置より奥方向の距離、図８（Ｃ）に示すピント位置より手前方向の距離を測定することができる。この結果、カラー画像の画素（ピクセル）ごとの、カメラから被写体までの距離を示すデータを有する距離画像が生成される。

こうして、カラー開口を用いて撮影された画像データをもとに、カラー画像と共に、カラー画像に対応する距離画像を取得することができる。カラー開口は、既存のカメラ１４ｃにレンズ開口部にカラー開口フィルタ１４ｅを装着するだけであるため、既存の距離測定のための技術である、ステレオカメラ、ミリ波レーダや赤外線／超音波センサを用いた構成と比較して、実装が容易であり低コストで距離画像の生成が可能である。

なお、距離画像の生成（画像データに対する画像処理）については、ドローン１４の制御ユニット３０ａ（取得データ生成部３０ｂ）により実行しても良いし、情報処理装置１０（取得データ整理管理部２１）により実行しても良い。本実施形態の巡視点検支援システム１では、ドローン１４（カメラ１４ｃ）により撮影された画像データに対して情報処理装置１０において画像処理して距離画像が生成されるものとして説明する。

次に、本実施形態における情報処理装置１０とドローン１４による巡視点検の動作について説明する。ここでは、例えば送電設備１７の鉄塔に対して定期点検して異常箇所を検出する場合を想定して説明する。
例えば、作業員等は、送電設備１７に対してドローン１４を用いた点検をする場合には、情報処理装置１０とドローン１４を自動車などに搭載して、ドローン１４が送電設備１７まで飛行可能な範囲内に移動する。

まず、情報処理装置１０では、巡視点検の対象とする送電設備１７に応じてフライトプランの設定を行う。情報処理装置１０は、例えば図９に示すような、フライトプランを設定するための巡回／点検ルート選択画面６０を表示させて、作業員等により選択させる。巡回／点検ルート選択画面６０には、例えば定期巡回ボタン６１、事故巡回ボタン６２、鉄塔巡回ボタン６３が設けられており、何れかを任意に選択することができる。事故巡回は、例えば、送電設備１７への落雷等の事故発生時に巡回し、事故原因を特定するために実行される。定期巡回及び鉄塔巡回は、定期的な巡回あるいは点検のために実行される。

また、巡回／点検ルート選択画面６０では、定期巡回ボタン６１、事故巡回ボタン６２、鉄塔巡回ボタン６３のそれぞれに対して、通常ボタン６１ａ，６２ａ，６３ａと冬季ボタン６１ｂ，６２ｂ，６３ｂがそれぞれ設けられている。通常の巡回／点検時には、通常ボタン６１ａ，６２ａ，６３ａの操作によりフライトプランの設定を指示することができる。また、落雷などによる異常箇所を点検する場合には、例えば北陸地方の冬季間において発生する、地表から上向きに放電される冬季雷による異常箇所を点検するために、冬季ボタン６１ｂ，６２ｂ，６３ｂの操作により被点検物の下面側を撮影可能なフライトプランを作成できるようにしている。

例えば、鉄塔巡回ボタン６３により鉄塔巡回が選択された場合、情報処理装置１０のフライトプラン処理部２０ｂは、巡視点検指示入力部２０ａにより入力される巡視点検の内容（被点検物、検出対象とする異常種類など）に応じて、巡視点検の対象（例えば鉄塔の全体）を撮影することができるように、フライトプラン（飛行制御データ）を生成する。

例えば、鉄塔の発錆を検出するための巡回をする場合、図１０に示すように、巡回対象とする鉄塔を下部から上端まで撮影できるようにする。また、鉄塔の周囲全体の画像を撮影できるように、１つの鉄塔に対して、上下方向の飛行を、位置を変えて複数回するようにしても良い。また、カメラ１４ｃによる撮影方向を水平にするだけでなく、下向きあるいは上向きにして撮影を実行することで、鉄塔の部材を上方あるいは下方から撮影した画像データを取得するようにしても良い。

さらに、被点検物が設置された地形、巡回を実施する季節、被点検物に対する太陽や海の方角など、被点検物に対して異常を発生させる要因に基づいて、被点検物ごとに特定される方向から画像が撮影されるようにフライトプラン（飛行制御データ）を生成するようにしても良い。被点検物に対して異常を発生させる要因は、例えば過去の巡視結果（異常箇所の検出結果）などをもとに設定し、それに応じて被点検物に異常が発生しやすい箇所を特定して撮影方向を決定することができる。

なお、定期巡回ボタン６１あるいは事故巡回ボタン６２が操作された場合には、前述と同様にして、目的に応じて被点検物の画像を撮影可能なフライトプラン（飛行制御データ）がそれぞれ生成されるものとする。

また、点検の対象とする送電設備１７については、予め鉄塔が設置された位置、鉄塔の形状などの基本情報が情報処理装置１０に記憶されており、作業員等により指定できるものとする。フライトプラン処理部２０ｂは、巡視点検の対象とする送電設備１７の位置などの基本情報と、巡回／点検ルート選択画面６０において選択された巡視点検のフライトプランに基づいて飛行制御データを生成する。

また、前述した説明では、鉄塔を被点検物とする場合について説明しているが、鉄塔だけでなく、架空地線と複数の送電線など他の対象物を被点検物として、ドローン１４により画像を撮影させるようにすることも可能である。

次に、本実施形態におけるドローン１４による動作について、図１１に示すフローチャートを参照しながら説明する。
ドローン１４の制御ユニット３０ａは、情報処理装置１０から受信した飛行制御データを記憶した後、飛行開始が指示されると、飛行制御部３０ｄにより駆動ユニット３０ｍを駆動して、飛行制御データに応じた経路を飛行させる飛行制御を開始する（ステップＢ１）。

また、制御ユニット３０ａは、取得データ生成部３０ｂにより取得データの生成と、取得データの記憶を開始させる。すなわち、取得データ生成部３０ｂは、被点検物（巡回／点検対象）毎の撮影をした期間（あるい開始タイミング）を示す巡回／点検対象データの記憶（ステップＢ２）、カメラ１４ｃにより撮影される画像データ（ここでは、例えば動画像データ）の記録、ＧＰＳデータ受信部３０ｇにより生成される位置データの記憶を開始する（ステップＢ２，Ｂ３，Ｂ４）。

図１２は、本実施形態における取得データ生成部３０ｂにより生成される取得データの一例を示している。図１２に示すように、取得データ生成部３０ｂは、カメラ１４ｃにより撮影された動画像データ（図１２（Ａ））、ＧＰＳデータ受信部３０ｇにより生成される位置データ（図１２（Ｃ））、及び巡回／点検対象データ（図１２（Ｂ））とを対応づけて記憶する。

最初の巡回／点検対象が「鉄塔Ａ１」であるため、巡回／点検対象データとして「鉄塔Ａ１」が記憶される。動画像データと位置データは継続して記憶される。なお、位置データは、所定の時間毎（例えば５秒毎）に記憶されるようにしても良い。また、動画像データではなく、所定時間毎の静止画像データを連続して記憶するようにしても良い。同様にして、巡回／点検対象「鉄塔Ａ２」「鉄塔Ａ３」のそれぞれについて、巡回／点検対象データとして「鉄塔Ａ２」「鉄塔Ａ３」が記憶され、それぞれ動画像データと位置データが継続して記憶される。

図１２に示すように、巡回／点検データを記憶しておくことで、ドローン１４による撮影が終了した後、巡回／点検データをもとに、動画像データに含まれる被点検物別の記録範囲を容易に検索することができる。例えば、「鉄塔Ａ２」を示す巡回／点検対象データをもとに、「鉄塔Ａ２」が撮影された動画像データの範囲Ｍ２を検索することができる。また、動画像データと位置データとが対応づけて記憶されるため、例えば動画像データの範囲Ｍ２に異常箇所が撮影されている場合に、異常箇所が撮影された時のドローン１４の位置を示す位置データＰＥをもとに、「鉄塔Ａ２」に生じている異常箇所の位置（緯度、経度、高度）を把握することができる。

なお、前述した説明では、取得データをドローン１４（例えばメモリ３０ｆ）に記憶させるとしているが、リアルタイムで情報処理装置１０に対して無線通信により送信することも可能である（ステップＢ５）。

取得データ生成部３０ｂは、巡回／点検対象に対応する範囲の飛行が完了すると（ステップＢ６、Ｙｅｓ）、全ての巡回／点検対象に対応する範囲の飛行が完了していなければ（ステップＢ７、Ｎｏ）、次の被点検物に巡回／点検対象が移った時点で新たな巡回／点検対象データを記憶させる（ステップＢ２）。以下、同様にして、次の巡回／点検対象について撮影した動画像データと位置データとを記憶させる（ステップＢ３、Ｂ４）。

以下同様にして、取得データの記録を継続し、全ての巡回／点検対象に対応する範囲の飛行が完了すると（ステップＢ７、Ｙｅｓ）、制御ユニット３０ａは、ドローン１４を元の飛行開始位置に戻す飛行制御を開始して、取得データの記憶を終了させる。

次に、本実施形態における情報処理装置１０における取得データ管理処理について、図１３、図１４及び図１５に示すフローチャートを参照しながら説明する。
ドローン１４により記憶された取得データは、情報処理装置１０に送信され、取得データ記憶部２１ｄにおいて記憶される。取得データ記憶部２１ｄには、ドローン１４による複数回の飛行により記憶された取得データを記憶させてくことができる。情報処理装置１０は、作業者等の操作により、画像データをもとに被点検物に生じた異常箇所を検出して確認するための取得データの整理を開始する。

まず、情報処理装置１０は、巡回／点検ルート選択画面６０を通じて処理対象とする巡回／点検ルートの指定を入力し、指定された巡回／点検ルートの飛行により記憶された取得データから処理対象を選択する（ステップＣ１）。また、情報処理装置１０は、例えば、検査対象とする被点検物、検出対象とする異常種類などを選択するための検査対象項目選択画面を表示させて、作業員等により何れかの検査対象項目を選択させる（ステップＣ２）。検査対象項目選択画面では、例えば被点検物について、鉄塔、送電線などを選択することができ、また検出対象とする異常種類について、ボルト／ナットなどの締結具の発錆、部材の発錆、がいし金具や電線付属品の発錆、部材への塗装の減耗／消失などを選択することができる。

異常箇所検出部２１ｃは、検出対象として選択された異常種類に相当する異常箇所候補の画像を検出するための学習モデルを設定する（ステップＣ３）。検査対象項目選択画面において、検査対象項目を選択できるようにすることで、特定の異常箇所に対応する学習モデルを用いて異常箇所の検出処理を実行できるため、認識精度を向上させると共に、処理時間の短縮を図ることができる。

異常箇所検出部２１ｃは、検査対象項目（学習モデル）の設定が完了した後、取得データ記憶部２１ｄに記憶された処理対象とする取得データを読み出し、取得データに含まれる巡回／点検対象データを判別する（ステップＣ４）。ここで、異常箇所検出部２１ｃは、巡回／点検対象データが、検査対象項目により指定される異常箇所の検出対象に該当するか判別する。

例えば、検査対象項目選択画面において、被点検物として鉄塔が選択された場合、巡回／点検対象データが鉄塔以外の被点検物（例えば送電線）を示す場合には（ステップＣ５、Ｎｏ）、異常箇所の検出対象ではないと判別して動画像データをスキップする（ステップＣ６）。すなわち、検査対象項目選択画面において選択された検査対象項目に応じて、異常箇所の検出対象となっていない被点検物を撮影した動画像データの処理を省略することで、処理時間の短縮を図る。

一方、巡回／点検対象データが鉄塔を示す場合には（ステップＣ５、Ｙｅｓ）、異常箇所の検出対象と判別して、該当する動画像データを異常箇所の検出対象とする。

異常箇所検出部２１ｃは、異常箇所の検出対象とする動画像データについて、検査対象項目に応じて設定した学習モデルを用いて、検出対象とする異常箇所を検出する異常箇所検出処理を実行する（ステップＣ７）。

図１４は、本実施形態における異常箇所検出処理を示すフローチャートである。
まず、異常箇所検出部２１ｃは、異常箇所の検出対象とするカラー画像から点検対象とする被点検物に相当する画像を抽出するための被点検物抽出処理を実行する（ステップＤ１）。

図１５は、本実施形態における被点検物抽出処理を示すフローチャートである。
異常箇所検出部２１ｃは、取得データ記憶部２１ｄに記憶された取得データの動画像データから、異常箇所の検出対象とする１フレームの画像を抽出する（ステップＥ１）。異常箇所検出部２１ｃは、例えば、動画像データに対応する位置データをもとに、所定の高度毎に対応する１フレームの画像を異常箇所の検出対象として抽出する。すなわち、複数の異なる高度のそれぞれにおいて撮影された画像が、それぞれ一部が重複するようにすることで、鉄塔全体について異常箇所を検出することができる。

なお、異常箇所検出部２１ｃは、動画像データに対応する位置データ（高度）をもとに、異常箇所の検出対象とする１フレームの画像を抽出するだけでなく、動画像データから一定時間毎に１フレームの画像を抽出して異常箇所の検出対象とすることも可能である。

図１６は、異常箇所の検出対象とする画像の一例を示す図である。図１６に示す画像では、鉄塔と背景の色が近いため、カラー画像の色情報だけでは鉄塔部分と背景部分とを区分することが困難であるため、異常箇所の検出対象とする鉄塔部分の画像を抽出することが困難である。

異常箇所検出部２１ｃは、動画像データから抽出した１フレームの画像に対して、カラー開口を通じて撮影された画像に対する画像処理を実行して距離画像を生成する（ステップＥ２）。距離画像は、カラー画像の画素（ピクセル）ごとの、カメラから被写体までの距離を示すデータ（距離情報）を有している。

図１７は、異常箇所検出部２１ｃによって生成される距離画像を概念的に示す図である。図１７は、カラー画像に対応する各画素を、それぞれの距離情報に応じた色によって表している。図１７に示すように、距離が短い位置にある鉄塔と距離が遠い位置にある背景とは異なる色によって表される。すなわち、距離情報をもとに被点検物とする鉄塔と背景とを分離することができる。

異常箇所検出部２１ｃは、距離画像に対して、前処理としてフィルタリングを実行する（ステップＥ３）。例えば、異常箇所検出部２１ｃは、距離画像の各画素に対応する距離情報について、例えば３×３の中心にある注目画素の距離情報を、９個の画素のそれぞれに対応する位置情報をもとに変更する。例えば、９個の画素に対応する位置情報の平均値に変更したり、９個の画素に対応する位置情報の何れか（例えば、最大値、最小値、５番目など）に置き換えることで変更したりすることが可能である。

図１８は、本実施形態における異常箇所検出部２１ｃによって生成されるフィルタリングされた距離画像を概念的に示す図である。図１８に示すように、鉄塔に相当する範囲と、背景に相当する範囲のそれぞれにおいて、ノイズ成分が低減されて平滑化されている。

次に、異常箇所検出部２１ｃは、フィルタリングされた距離画像から被点検物（鉄塔）の奥行きを抽出する。すなわち、被点検物（鉄塔）が存在する範囲を抽出する。例えば、異常箇所検出部２１ｃは、距離画像の各画素に対応する距離情報をもとに、距離毎のヒストグラムを生成する。通常、鉄塔を撮影した場合、鉄塔に相当する距離の範囲の距離情報と、背景に相当する距離の距離情報の度数が高くなり、鉄塔と背景との間（空間範囲）に相当する距離情報の度数が低くなる。従って、異常箇所検出部２１ｃは、距離が短い方の度数が高い距離情報が被点検物（鉄塔）に相当すると判別して、これをもとに被点検物（鉄塔）の奥行きを抽出することができる。

次に、異常箇所検出部２１ｃは、被点検物（鉄塔）の奥行きをもとに被点検物（鉄塔）に相当する距離情報を抽出するための抽出基準位置、すなわち距離情報に対する閾値を設定する（ステップＥ５）。異常箇所検出部２１ｃは、例えば被点検物（鉄塔）に相当する距離情報と、背景に相当する距離情報とがそれぞれ示す距離の間に抽出基準位置（閾値）を設定する。

異常箇所検出部２１ｃは、抽出基準位置（閾値）をもとに、距離画像から抽出基準位置（閾値）よりも距離が短い距離情報を抽出する。これにより、被点検物（鉄塔）に相当する距離情報のみを抽出することができる（ステップＥ６）。

ここで、異常箇所検出部２１ｃは、距離画像から抽出された被点検物（鉄塔）に相当する距離情報に対して、前述した処理において抽出漏れがあった部分について距離情報を補完する（ステップＥ７）。

図１９は、本実施形態における距離情報の補完を説明するための図である。例えば、図１９（Ａ）に示すように、抽出基準位置（閾値）をもとに被点検物（鉄塔）に相当する距離情報７０が抽出されたものとする。図１９（Ａ）では、鉄骨に相当する範囲であるにも関わらず、距離画像から抽出されていない部分が存在することを表している。異常箇所検出部２１ｃは、被点検物が鉄塔であり、鉄骨の部材の形状が基本的に直線状に形成されていることに基づいて、図１９（Ｂ）に示すように、抽出済みの距離情報７０をもとに、距離情報７０を含めて部材の形状が形成されるように不足分の距離情報７１を補完する。なお、距離情報７１は、例えば隣接する距離情報７０と同じ距離を示す値とする。

異常箇所検出部２１ｃは、被点検物（鉄塔）に相当する距離情報をもとに、カラー画像から点検対象とする鉄塔に相当する画像を抽出する（ステップＥ８）。すなわち、異常箇所検出部２１ｃは、距離画像から抽出された距離情報（補完された距離情報を含む）の画素位置に対応するカラー画像のデータを抽出する。

図２０は、距離情報をもとにカラー画像から抽出された画像の一例を示している。こうして、鉄塔に相当する距離情報に対応する画素位置の画像を抽出することで、背景の画像に影響されることなく、被点検物とする鉄塔に相当する画像のみを抽出することができる。

なお、前述した説明では、被点検物（鉄塔）に相当する距離情報と、背景に相当する距離情報とがそれぞれ示す距離の間に抽出基準位置（閾値）を設定するとしているが、例えば被点検物が設置された環境に応じて、抽出基準位置（閾値）を調整することが可能である。例えば、被点検物とする鉄塔の周囲に他の構造物（建物、隣接する他の鉄塔、樹木など）がある場合には、被点検物に相当する画像のみを抽出できるように、被点検物（鉄塔）に相当する距離情報に近い抽出基準位置（閾値）を設定する。また、被点検物とする鉄塔だけでなく、鉄塔の周囲にある鉄塔の付属物についても一括して異常検出の対象とする場合には、鉄塔の周囲を含むように抽出基準位置（閾値）を設定すれば良い。

図２１は、抽出基準位置（閾値）を調整することにより、距離情報をもとに抽出される画像が変化する様子を示す図である。図２１は、図２０に示す鉄塔だけでなく、鉄塔の周囲にある送電線などを含む画像が抽出された例を示している。

また、前述した説明では、被点検物とする鉄塔に相当する画像の全てを抽出しているが、抽出基準距離（閾値）を変更することにより、鉄塔に相当する一部の画像を抽出して、異常箇所の検出対象とすることができる。例えば、鉄塔を撮影した場合には、鉄塔の手前側の部材（外側面）と鉄塔の奥側の部材（内側面）とが撮影される。ここで、抽出基準距離（閾値）を調整することにより、鉄塔の手前側の部材（外側面）に相当する距離情報と、鉄塔の奥側の部材（内側面）に相当する距離情報を、それぞれ個別に抽出することができる。

鉄塔の手前側の部材（外側面）に相当する距離情報については、例えば被点検物（鉄塔）の奥行きの範囲の間に抽出基準距離（閾値）を設定し、抽出基準距離（閾値）よりも距離が短い距離情報を抽出する。これにより、鉄塔の奥側の部材（内側面）に相当する距離情報を除外できるので、鉄塔の手前側の部材（外側面）についてのみ異常箇所の検出対象とすることができる。

また、鉄塔の奥側の部材（内側面）に相当する距離情報については、例えば被点検物（鉄塔）の奥行きの範囲の間に第１の抽出基準距離（閾値）を設定し、被点検物（鉄塔）に相当する距離情報と、背景に相当する距離情報とがそれぞれ示す距離の間に第２の抽出基準位置（閾値）を設定する。そして、第１の抽出基準距離（閾値）と第２の抽出基準距離（閾値）との間に含まれる距離情報を抽出する。これにより、鉄塔の奥側の部材（内側面）に相当する距離情報のみを抽出できるので、鉄塔の奥側の部材（内側面）についてのみ異常箇所の検出対象とすることができる。

こうして、被点検物抽出処理により異常箇所の検出対象とする画像が抽出されると、異常箇所検出部２１ｃは、この画像から異常画像候補領域を検出する（ステップＤ２）。すなわち、被点検物において周囲と異なる状態（形状、色等）にある異常箇所の可能性がある部分を検出する。

ここで、異常画像候補が検出された場合（ステップＤ３、Ｙｅｓ）、異常箇所検出部２１ｃは、異常画像候補領域の画像データについて、被点検物に生じる異常種類の特徴を示す学習モデルを用いて、検出対象とする異常種類に相当する画像（異常箇所）であるか、また異常種類が何れの劣化状態（劣化レベル）であるかを判定する（ステップＤ４）。

例えば、検出対象とする異常種類がボルト／ナットなどの締結具の発錆の場合、劣化レベルが悪い順に、錆こぶの発生（ねじ山の消失）、黒褐色錆の発錆（ナットの角やボルトのねじ山の原形がない）、赤褐色錆の発錆（ナットとボルトが真っ赤）、斑点状錆の発錆（軽微な発錆）などがあり、それぞれの状態に対応する学習モデルをもとに劣化レベルを判定する。また、検出対象とする異常種類が部材の発錆の場合、劣化レベルが悪い順に、錆こぶの発生、赤褐色の発錆、黒褐色の発錆、斑点状の発錆などがあり、同様にして、それぞれの状態に対応する学習モデルをもとに劣化レベルを判定する。その他の検出対象とする異常種類（がいし金具や電線付属品の発錆、部材への塗装の減耗／消失など）についても、同様にして、それぞれに対応する学習モデルを用いて異常種類に該当するか、また異常種類が何れの劣化状態（劣化レベル）であるかを判定する。

異常箇所（異常画像）と判別された場合（ステップＤ５、Ｙｅｓ）、異常箇所検出部２１ｃは、異常種類に相当する画像（異常画像）と判定された画像データ（異常箇所画像データ）を切り出すと共に（ステップＤ６）、異常箇所画像データに対応する位置データを取得する（ステップＤ７）。なお、異常箇所検出部２１ｃは、何れの異常種類に対応する学習モデルをもとに異常と検出されたか、すなわち異常種類と劣化状態（劣化レベル）を示す異常種類データを記憶する。

異常箇所検出部２１ｃは、異常箇所検出処理により異常箇所が検出されると異常箇所のデータを異常箇所記憶部２１ｇに記憶させる。異常箇所のデータには、例えば異常箇所画像データ、異常箇所画像データに対応する位置データ（及び時刻）、異常種類データ、異常箇所画像データを含む動画像データの範囲に対応する巡回／点検対象データ、動画像データに対応する巡回／点検ルートなどを含む。

異常箇所検出部２１ｃは、処理対象とする取得データについての処理が終了するまで、前述した処理を実行する（ステップＣ４～Ｃ１３）。なお、異常箇所を検出する処理が実行されている間に、作業員等からの指示によって、例えば検査対象項目選択画面を通じて検出対象とする異常箇所が変更された場合には（ステップＣ１０、Ｙｅｓ）、異常箇所検出部２１ｃは、変更後の検出対象とする異常箇所（検査対象項目）に応じた学習モデルを再設定して、前述と同様にして、異常箇所を検出する処理を再開する。

一方、異常箇所表示部２１ｆは、異常箇所記憶部２１ｇに記憶された異常箇所のデータをもとに、作業員等に検出結果を確認させるための異常候補画像表示画面を表示させる（ステップＣ９）。

異常候補画像表示画面には、例えば異常箇所画像データをもとに異常箇所画像（異常候補画像）と共に異常種類データが示す異常種類が表示される。また、異常候補画像表示画面には、異常箇所画像に関係する参考情報が表示される。参考情報には、例えば巡回／点検ルート、撮影日時、位置データが示す検出位置（緯度、経度、高度）、巡回／点検対象データが示す被点検物などが含まれる。また、参考情報には、マップボタンが設けられている。マップボタンが選択された場合、異常箇所表示部２１ｆは、検出位置を含む地図（送電設備１７の位置などを付加する）を表示させて、送電設備１７の異常箇所が検出された位置を地図上で確認できるようにする。

異常箇所表示部２１ｆは、異常箇所記憶部２１ｇによって動画像データから異常箇所（候補）が検出されると、異常候補画像表示画面８０において、新たに検出された異常箇所（候補）に関する各情報を、前述したように順次、追加表示する。よって、作業員等は、取得データに対して異常箇所を検出する処理を実行している間に、異常箇所が検出された時点で検出内容を確認することができる。

また、異常箇所表示部２１ｆは、異常候補画像表示画面において例えば異常箇所画像を選択する操作がされた場合、選択された異常箇所画像に対応する異常箇所を作業員等により最終確認させるための異常箇所確認画面を表示させる。

異常箇所確認画面には、異常候補画像表示画面において選択された異常箇所画像を拡大した異常箇所画像と、異常候補画像表示画面において表示されていない異常箇所画像を縮小した複数の異常箇所画像が表示される。

また、異常箇所確認画面には、異常箇所画像に関係する参考情報が表示される。参考情報には、例えば巡回／点検ルート、撮影日時、検出位置（緯度、経度、高度）が含まれる。さらに、異常箇所確認画面には、作業員等による異常種類の確認指示を入力するための異常箇所確認ボタン、作業員等による異常箇所ではないことを確認した指示を入力するための誤認識ボタンが設けられている。異常箇所確認ボタンには、例えば確認指示を入力可能な複数の異常種類のそれぞれに対応するボタンが設けられている。

なお、異常箇所確認画面では、異常箇所画像の左右に設けられた方向ボタン、あるいは異常箇所画像の何れかが選択された場合には、他の異常箇所の異常箇所画像を表示して、確認対象とする異常箇所を変更することができる。

作業員等は、異常箇所確認画面において表示された異常箇所画像を参照した結果、例えば異常箇所であることが確認された場合には、異常種類を確定するボタンを操作する。確認指示入力部２１ｈは、ボタン操作による異常確認指示が入力されると（ステップＣ１１、Ｙｅｓ）、被点検物、異常種類、検出位置、検出日時などを示す各データを確認データとして確認データ記憶部２１ｋに記憶させる（ステップＣ１２）。確認データ記憶部２１ｋに記憶された確認データは、例えば、巡視点検管理部２２において、巡視点検の結果をまとめた巡視点検結果報告データを作成するための巡視点検データとして使用される。

また、確認指示入力部２１ｈは、確認データ記憶部２１ｋに記憶された確認データと同じ、異常箇所画像データ、検出対象とする被点検物及び検出対象とする異常種類のデータを、管理装置１２において学習モデルの生成に利用するために異常箇所画像データ記憶部２１ｍに記憶させる。異常箇所画像データ記憶部２１ｍに記憶されたデータは、任意のタイミングで管理装置１２に送信される。

なお、異常箇所画像９１を参照した結果、異常箇所ではないと確認された場合には、作業者等により誤認識ボタンが操作される。この場合、確認指示入力部２１ｈは、異常箇所記憶部２１ｇから対応する異常箇所画像データを削除する。

このようにして、情報処理装置１０では、検査対象項目選択画面において選択された検査対象項目に応じて、被点検物に生じる検出対象とする異常箇所を良好に検出できる学習モデルが設定される。学習モデルは、管理装置１２において、擬似的な画像（類似画像）を含めてディープラーニングの技術を利用して生成されているため、実際の異常箇所の画像サンプルが少ない状況においても、異常箇所を画像処理によって安定して検出することができる。

また、異常箇所検出処理によって異常箇所の候補として検出された異常箇所画像については、異常候補画像表示画面あるいは異常箇所確認画面において参照し、実際に異常箇所が生じているか否かを作業員等の判断により確定することができる。異常箇所確認画面において異常箇所確認ボタンを用いて異常箇所と確定された異常箇所画像データについては、学習モデルを生成するために利用され、検出対象とする異常種類に対応する学習モデルに反映させることができる。

さらに、異常箇所確認画面において異常箇所確認ボタンを用いて確定された異常箇所のデータについては、巡視点検管理部２２において巡視点検データとして使用され、巡視点検の結果をまとめた巡視点検結果報告データを作成することができる。これにより、巡視点検の結果を記録する作業員等の作業負担を軽減することができる。また、異常候補画像表示画面または異常箇所確認画面による異常箇所の確認は、異常箇所検出処理と並行して実行することができるので、確認作業の短縮を図ることができる。

なお、取得データ整理管理処理の全体を自動的に実行させる場合には、スタッフＣ９～Ｃ１２の処理を省略するようにしても良い。

取得データ整理管理部２１は、処理対象とする取得データについての処理が終了し（ステップＣ１３、Ｙｅｓ）、前述した異常箇所確認画面における異常箇所画像の確認処理が完了すると（ステップＣ１４、Ｙｅｓ）、取得データ整理管理処理を終了する。

次に、本実施形態における巡視点検管理部２２による取得データ整理管理処理の処理結果の出力例について説明する。
巡視点検管理部２２は、巡視点検データ記憶部２２ａに記憶された巡視点検データ、巡視点検結果報告作成部２２ｂにより生成した巡視点検結果報告データをもとに、処理結果を出力（表示あるいは印刷）する。

図２２は、本実施形態における処理結果の閲覧画面８０の一例を示す図である。

閲覧画面８０は、検査対象とする被点検物を一覧表示すると共に、被点検物に対する処理結果を示している。図２２では、例えば、被点検物として鉄塔を対象として検査結果を示すもので、鉄塔の識別情報８１、それぞれの鉄塔を撮影した動画像中の異常箇所（異常候補）が検出された位置を示す異常候補位置情報８２、及び検査結果の詳細な情報を表示させるための詳細ボタン８３が設けられている。識別情報８１には、例えば被点検物が設置された県名、送電線路名、鉄塔番号などの情報が含まれている。異常候補位置情報８２では、鉄塔番号のそれぞれに対応して、動画像の長さを表す帯表示８２ａ，８２ｂ，８２ｃが表示されている。また、帯表示８２ａ，８２ｃでは、異常箇所が検出された動画像中の先頭位置を示す位置マーク８２ｂ１，８２ｂ２，８２ｃ１が表示されている。さらに、例えば、鉄塔番号Ａ１に対応して、詳細ボタン８３ａが設けられている。

作業者等は、閲覧画面８０を閲覧することにより、何れの鉄塔から異常箇所（異常候補）が検出されているかを容易に把握することができる。また、位置マーク８２ｂ１，８２ｂ２，８２ｃ１により、動画中から何カ所で異常箇所が検出されたか、また動画中の何れの時間に異常箇所が撮影されているかを容易に把握することができる。

巡視点検管理部２２は、閲覧画面８０の例えば鉄塔番号Ａ１に対応する詳細ボタン８３ａが作業員により操作されると、鉄塔番号Ａ１から検出された異常箇所についての詳細を表示する詳細情報画面９０を表示させる。

図２３は、本実施形態における詳細情報画面９０の一例を示す図である。
図２３に示す詳細情報画面９０には、被点検物を撮影した動画像（あるいは異常箇所が検出された時点の静止画像）を表示させる画像領域９１、画像領域９１に表示される動画像に対応するシークバー９２、情報表示領域９３が設けられる。シークバー９２には、異常箇所が検出された動画像中の先頭位置を示す位置マーク９２ａ１，９２ａ２、それぞれの位置マーク９２ａ１，９２ａ２に対応する時刻表示９２ｂ１，９２ｂ２が付されている。

情報表示領域９３には、異常候補位置情報９４、異常候補情報９５が設けられている。異常候補位置情報９４には、閲覧画面８０から詳細の表示対象として選択された被点検物の識別情報８１の内容が表示される。異常候補情報９５には、例えば動画像の撮影日時（検査日時）、ドローン１４の飛行制御情報、異常候補確認日時（異常箇所確認画面に対する操作日時）、動画像から検出された異常内容（異常種類などを含む）と劣化レベル、及び地図表示ボタンが含まれている。

詳細情報画面９０では、例えば、異常候補情報９５として表示される異常内容（異常種類）／劣化レベルと、異常箇所として検出された画像とを比較して確認することができる。よって、確認作業を効率的に実施することができる。

また、地図表示ボタンが作業者等により選択された場合、巡視点検管理部２２は、確認対象としている被点検物が設置された位置を示す地図を表示させる。
図２４は、本実施形態における地図表示画面１００の一例を示す図である。
図２４に示す地図表示画面１００では、被点検物とする例えば鉄塔が設置された位置が鉄塔シンボル１０１によって明示されている。また、複数の鉄塔シンボル１０１のうち巡視点検結果報告作成部２２ｂによって巡視点検データをもとに改修が必要と判定された鉄塔については、改修マーク１０２ａ，１０２ｂが付されている。また、改修マーク１０２ａ，１０２ｂは、巡視点検データをもとに決定された保全優先度に応じて異なる色によって表示される。例えば、保全優先度が高い順に、赤色、オレンジ色、黄色のように色を変えて表示させる。これにより、地図表示画面１００において改修が必要と判定された鉄塔を容易に把握することができ、また改修マーク１０２ａ，１０２ｂの表示色によって保全優先度を容易に把握することができる。

また、地図表示画面１００では、例えばカーソルなどのポインタ１０３を鉄塔シンボル１０１に合わせることで、この鉄塔シンボル１０１に対応する詳細情報１０４を表示させることができる。詳細情報１０４では、例えば保全優先度、異常内容、劣化レベル、鉄塔情報（鉄塔番号などを含む）などが表示される。これにより、作業員等は、地図上において確認対象とする鉄塔の位置、周囲に設置された他の鉄塔の検査結果などを容易に確認することができる。

なお、情報処理装置１０は、図２４に示すように、地図表示データをもとに地図の形態により検査結果を表示するだけでなく、リストデータをもとに、例えば、改修計画の設定の根拠となる保全優先度の順に配列された改修対象被点検物のリスト（一覧）を表示させることも可能である。

また、前述した説明では、情報処理装置１０において被点検物に対する検査結果を出力（表示）させる場合について説明しているが、管理装置１２においても同様にして検査結果を出力することが可能である。管理装置１２は、情報処理装置１０から例えば全国各地で複数箇所において実施した検査結果（巡視点検データ等）を収集し、それらを統合して、異常箇所として検出された検出数、異常箇所の異常種類、異常箇所の劣化状態（劣化レベル）などをもとに改修が必要であるか判定し、改修が必要な被点検物（改修対象被点検物）について判定に用いた巡視点検データをもとに保全優先度を決定することも可能である。

管理装置１２は、統合した巡視点検データをもとに決定した改修対象被点検物のリストデータ、あるいは地図中に改修対象被点検物を明示するための地図表示データなどを作成して、社会インフラ設備の改修計画の設定に参照されるデータとしてリストあるいは地図の形態によって出力することができる。

なお、前述した説明では、送電設備１７の鉄塔を被点検物とした場合の処理について説明しているが、送電設備の他、橋梁、高速道路、電波塔など、各種の社会インフラ設備を対象とすることが可能である。

このようにして、本実施形態における巡視点検支援システム１では、電波塔などの社会インフラ設備についての点検／巡視のための作業負担を軽減することができ、また正確に異常箇所を検出することが可能となる。こうして、社会インフラ設備に発生した異常箇所を効率的かつ正確に検出することで、社会インフラ施設に対する適切な改修計画を設定することを容易にすることが可能となる。

なお、上記の各実施形態に記載した手法は、コンピュータに実行させることのできるプログラムとして、磁気ディスク（ハードディスクなど）、光ディスク（ＣＤ－ＲＯＭ、ＤＶＤなど）、光磁気ディスク（ＭＯ）、半導体メモリなどの記憶媒体に格納して頒布することもできる。また、記憶媒体としては、プログラムを記憶でき、かつコンピュータが読み取り可能な記憶媒体であれば、その記憶形式は何れの形態であっても良い。

また、記憶媒体からコンピュータにインストールされたプログラムの指示に基づきコンピュータ上で稼働しているＯＳ（オペレーティングシステム）や、データベース管理ソフト、ネットワークソフト等のＭＷ（ミドルウェア）等が上記実施形態を実現するための各処理の一部を実行しても良い。

さらに、各実施形態における記憶媒体は、コンピュータと独立した媒体に限らず、ＬＡＮやインターネット等により伝送されたプログラムをダウンロードして記憶または一時記憶した記憶媒体も含まれる。

また、記憶媒体は１つに限らず、複数の媒体から上記の各実施形態における処理が実行される場合も本発明における記憶媒体に含まれ、媒体構成は何れの構成であっても良い。

なお、各実施形態におけるコンピュータは、記憶媒体に記憶されたプログラムに基づき、上記の各実施形態における各処理を実行するものであって、パーソナルコンピュータ等の１つからなる装置、複数の装置がネットワーク接続されたシステム等の何れの構成であっても良い。

また、各実施形態におけるコンピュータとは、情報処理機器に含まれる演算処理装置、マイコン等も含み、プログラムによって本発明の機能を実現することが可能な機器、装置を総称している。

なお、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１…巡視点検支援システム、２…巡視点検制御システム、１０…情報処理装置、１０ａ…プロセッサ、１０ｂ…メモリ、１０ｃ…記憶装置、１０ｄ…入出力Ｉ／Ｆ、１０ｅ…表示装置、１０ｆ…入力装置、１０ｇ…無線通信装置、１０ｈ…通信装置、１２…管理装置、１４…ドローン、１４ａ…ドローン本体、１４ｂ…ローター、１４ｃ…カメラ、２０…航行管理部、２０ａ…巡視点検指示入力部、２０ｂ…フライトプラン処理部、２１…取得データ整理管理部、２１ａ…学習モデル記憶部、２１ｂ…検出対象指示入力部、２１ｃ…異常箇所検出部、２１ｄ…取得データ記憶部、２１ｅ…画像確認部、２１ｆ…異常箇所表示部、２１ｇ…異常箇所記憶部、２１ｈ…確認指示入力部、２１ｋ…確認データ記憶部、２１ｍ…異常箇所画像データ記憶部、２２…巡視点検管理部、２２ａ…巡視点検データ記憶部、２２ｂ…巡視点検結果報告作成部、３０ａ…制御ユニット、３０ｂ…取得データ生成部、３０ｃ…撮影制御部、３０ｄ…飛行制御部、３０ｅ…センサ群、３０ｆ…メモリ、３０ｇ…ＧＰＳデータ受信部、３０ｈ…無線通信部、３０ｋ…カメラユニット、３０ｍ…駆動ユニット。

Claims (7)

1. 異なる色のフィルタが形成されたカラー開口フィルタがレンズに装着されたカメラにより撮影された画像データを入力する入力手段と、
   前記画像データをもとに、カラー画像と、被点検物を含む被写体までの距離を示す距離情報を含む距離画像とを生成する生成手段と、
   前記距離画像をもとに被点検物に相当する第１距離情報と、前記被点検物とは別の被写体に相当する第２距離情報とが示す距離の間、あるいは前記被点検物の奥行き範囲の間に、前記カラー画像から前記被点検物に相当する画像部分を抽出するための第１閾値を設定し、前記被点検物の奥行き範囲の間に前記カラー画像から前記被点検物の一部に相当する画像部分を抽出するための第２閾値を設定する閾値設定手段と、
   前記第１閾値及び前記第２閾値をもとに前記被点検物の一部に相当する距離情報を抽出する抽出手段と、
   前記抽出手段により抽出された距離情報に対応する前記被点検物の一部に相当する被点検物画像を前記カラー画像から抽出する画像抽出手段と、
   前記被点検物画像から前記被点検物に異常が生じた異常箇所の異常画像を検出する異常箇所検出手段と、
   前記異常画像をもとに異常状態を判別する異常状態判別手段と、
   前記異常箇所の異常状態を含む点検結果を出力する出力手段と
   を有する、点検支援システム。
2. 前記閾値設定手段は、前記距離画像の各画素に対応する距離情報をもとに、距離毎のヒストグラムを生成し、前記ヒストグラムの度数の値をもとに前記第１距離情報と前記第２距離情報とが示す距離の間を判別する、請求項１記載の点検支援システム。
3. 前記抽出手段により抽出された前記被点検物に相当する距離情報に対して、前記被点検物の形状に基づいて、不足分の距離情報を補完する補完手段をさらに有する請求項１記載の点検支援システム。
4. 前記異常状態判別手段は、異常状態に対応する学習モデルをもとに、前記異常画像に対する劣化レベルを判定する請求項１記載の点検支援システム。
5. 前記異常箇所の異常状態と前記劣化レベルをもとに前記被点検物が保全対象とするか判別する判別手段をさらに有する請求項４記載の点検支援システム。
6. 前記判別手段によって保全対象として判別された被点検物を地図上に明示して出力する地図出力手段をさらに有する請求項５記載の点検支援システム。
7. 画像データをもとに被点検物について点検する処理を実行するコンピュータを、
   異なる色のフィルタが形成されたカラー開口フィルタがレンズに装着されたカメラにより撮影された画像データを入力する入力手段と、
   前記画像データをもとに、カラー画像と、被点検物を含む被写体までの距離を示す距離情報を含む距離画像とを生成する生成手段と、
   前記距離画像をもとに被点検物に相当する第１距離情報と、前記被点検物とは別の被写体に相当する第２距離情報とが示す距離の間、あるいは前記被点検物の奥行き範囲の間に、前記カラー画像から前記被点検物に相当する画像部分を抽出するための第１閾値を設定し、前記被点検物の奥行き範囲の間に前記カラー画像から前記被点検物の一部に相当する画像部分を抽出するための第２閾値を設定する閾値設定手段と、
   前記第１閾値及び前記第２閾値をもとに前記被点検物の一部に相当する距離情報を抽出する抽出手段と、
   前記抽出手段により抽出された距離情報に対応する前記被点検物の一部に相当する被点検物画像を前記カラー画像から抽出する画像抽出手段と、
   前記被点検物画像から前記被点検物に異常が生じた異常箇所の異常画像を検出する異常箇所検出手段と、
   前記異常画像をもとに異常状態を判別する異常状態判別手段と、
   前記異常箇所の異常状態を含む点検結果を出力する出力手段として機能させるための点検支援制御プログラム。

Images