JP6802599B1 - 検査システム - Google Patents

Abstract

【課題】対象物の検査を飛行体の利用によって自動化することができるようにする。【解決手段】検査システムであって、カメラを備える飛行体が検査対象物を撮影した画像、飛行体の撮影高度、および飛行体の地図上の撮影位置を受信する撮影情報受信部と、画像を解析して検査対象物の異常を検出する異常検出部と、異常が検出された画像上の検出位置、撮影高度、および撮影位置に基づいて、地図上における検査対象物の異常位置を算出する異常位置算出部と、少なくとも異常位置を含む異常に関する異常情報および異常を識別する情報を対応付けて記憶する異常情報記憶部と、を備え、異常情報記憶部は、さらに、異常情報記憶部に記憶されている異常情報のそれぞれについて、異常情報とは異なる他の異常情報との組に対して、両異常が同一の異常であると判定した場合には、当該同一の異常に関する異常情報に、同一の異常を識別する情報を関連付けて記憶する。【選択図】 図１３

Description

本発明は、検査システムに関する。

近年、ドローン（Ｄｒｏｎｅ）や無人航空機（ＵＡＶ：Ｕｎｍａｎｎｅｄ Ａｅｒｉａｌ Ｖｅｈｉｃｌｅ）などの飛行体（以下、「飛行体」と総称する。）が産業に利用され始めている。こうした中で、特許文献１には、屋外に設置された太陽電池モジュールの検査を飛行体の利用によって自動化することのできる太陽電池検査システムが開示されている。

特開２０１７−１０３９０８号公報

特許文献１の技術は、予め設定された飛行計画に従って、飛行体を最初の撮影位置へ向けて移動させ、赤外線カメラによって熱画像データを取得し解析することとしている。

しかしながら、近年、再生可能エネルギーの重要性が高まり、太陽電池モジュールや太陽電池モジュールを利用した発電施設が大型化する傾向がある。特許文献１に開示されている方法では、このようなニーズに対応することができない。

本発明はこのような背景を鑑みてなされたものであり、対象物の検査を飛行体の利用によって自動化することのできる新たな技術を提供することを一つの目的とする。

上記課題を解決するための本発明の主たる発明は、検査対象物を検査する検査システムであって、カメラを備える飛行体が前記検査対象物を撮影した画像、前記飛行体の撮影高度、および前記飛行体の地図上の撮影位置を受信する撮影情報受信部と、前記画像を解析して前記検査対象物の異常を検出する異常検出部と、前記異常が検出された前記画像上の検出位置、前記撮影高度、および前記撮影位置に基づいて、前記地図上における前記検査対象物の異常位置を算出する異常位置算出部と、少なくとも前記異常位置を含む前記異常に関する情報および前記異常を識別する情報を対応付けて記憶する異常情報記憶部と、を備え、前記異常情報記憶部は、さらに、前記異常情報記憶部に記憶されている前記異常情報のそれぞれについて、当該異常情報とは異なる他の異常情報との組に対して、両異常が同一の異常であると判定された場合には、当該同一の異常に関する異常情報に、同一の異常を識別する情報を関連付けて記憶することとする。

その他本願が開示する課題やその解決方法については、発明の実施形態の欄および図面により明らかにされる。

本発明によれば、対象物の検査を飛行体の利用によって自動化することができる。

本発明の一実施形態に係る検査システムの全体構成を示す図である。 飛行装置１０のハードウェア構成例を示す図である。 フライトコントローラ１１のソフトウェア構成例を示す図である。 位置情報記憶部１５１の構成例を示す図である。 撮影情報記憶部１５２の構成例を示す図である。 検査サーバ３０のハードウェア構成例を示す図である。 検査サーバ３０のソフトウェア構成例を示す図である。 異常情報記憶部３５２に登録される異常情報の構成例を示す図である。 太陽電池モジュール１を撮影する処理の流れを説明する図である。 検査サーバ３０により実行される検査処理の流れを示す図である。 異常位置の算出処理の流れを示す図である。 重複した異常情報を削除する処理の流れを示す図である。 同一の異常が２つの画像に含まれている状態を説明する図である。 検査に関するレポートの作成処理の流れを示す図である。 レポート作成部３１６により作成されるレポート６１の一例を示す図である。

本発明の実施形態の内容を列記して説明する。本発明の実施の形態による飛行体は、以下のような構成を備える。

［項目１］
検査対象物を検査する検査システムであって、
カメラを備える飛行体が前記検査対象物を撮影した画像、前記飛行体の撮影高度、および前記飛行体の地図上の撮影位置を受信する撮影情報受信部と、
前記画像を解析して前記検査対象物の異常を検出する異常検出部と、
前記異常が検出された前記画像上の検出位置、前記撮影高度、および前記撮影位置に基づいて、前記地図上における前記検査対象物の異常位置を算出する異常位置算出部と、
少なくとも前記異常位置を含む前記異常に関する情報および前記異常を識別する情報を対応付けて記憶する異常情報記憶部と、
を備え、
前記異常情報記憶部は、さらに、
前記異常情報記憶部に記憶されている前記異常情報のそれぞれについて、当該異常情報とは異なる他の異常情報との組に対して、両異常が同一の異常であると判定された場合には、当該同一の異常に関する異常情報に、同一の前記異常を識別する情報を関連付けて記憶する、
ことを特徴とする検査システム。
［項目２］
項目１に記載の検査システムであって、
前記同一の異常に関する異常情報は、複数の撮影情報を特定する情報を含む、 ことを特徴とする検査システム。
［項目３］
項目１または２に記載の検査システムであって、
前記同一の異常に関する異常情報は、単一のコメントを含む
ことを特徴とする検査システム。
［項目４］
項目３に記載の検査システムであって、
検査結果を示す情報をレポートとして出力するレポート生成部をさらに備え、
前記レポート生成部は、
前記異常情報記憶部から重複なく前記異常を識別する情報を読み出し、当該読み出した異常を識別する情報に対応する前記単一コメントを前記レポートに出力する、
ことを特徴とする検査システム。

＝＝概要・全体構成＝＝
図１は、本発明の一実施形態に係る検査システムの全体構成を示す図である。本実施形態の検査システムは、検査対象物を撮影した画像を解析して異常を検出するものである。本実施形態では、検査対象物の一例として太陽電池モジュール１（太陽光パネル）を想定する。なお、検査対象物としては太陽電池モジュール１に限らず、法面やダムなどのコンクリート構造物であってもよいし、鉄塔や鉄橋などの鋼構造物であってもよいし、農場やゴルフ場等所定の地域や災害時の被災地域であってもよい。

本実施形態の検査システムは、検査対象物である太陽電池モジュール１を撮影する飛行装置１０と、飛行装置１０が撮影した画像を解析する検査サーバ３０とを含んで構成される。飛行装置１０と検査サーバ３０とは通信ネットワーク５０を介して相互に通信可能に接続されている。本実施形態では通信ネットワーク５０はインターネットを想定し、例えば無線通信路、携帯電話回線網、衛星通信路、公衆電話回線網、専用回線網、イーサネット（登録商標）などにより構築される。

飛行装置１０はカメラ１２を備え、飛行しながらカメラ１２の画角１２１に応じて、撮影領域１２２に入る太陽電池モジュール１の一部または全部を撮影する。本実施形態では、説明を簡単にするためカメラ１２の画角１２１は一定であるものとするが、カメラ１２の焦点距離を変動させて画角１２１を変化させるようにすることもできる。

（飛行装置１０）
図２は、飛行装置１０のハードウェア構成例を示す図である。飛行装置１０は、プロペラ１８と、プロペラ１８にＥＳＣ（Electronic Speed Controller）１６を介して接続された推進機構（本実施形態ではモータ１７を想定する。）と、これらを制御するフライトコントローラ１１とを備える。

飛行装置１０はカメラ１２を備え、本実施形態では、カメラ１２は機体に固定される。カメラ１２は、鉛直方向下向きのレンズを備え、鉛直方向に真下の画像のみを撮影するものとする。カメラ１２は、可視光線を捉えたＲＧＢ画像と、赤外線を捉えたサーマル画像との２種類の画像を撮影することができる。なお、飛行装置１０は、ＲＧＢ画像を撮影するカメラ１２と、サーマル画像を作成するカメラ１２との２台を備えるようにしてもよいし、３台以上のカメラ１２を備えるようにしてもよい。また、カメラ１２に代えて、またはカメラ１２に加えて、人感センサーなどの各種のセンサを備えるようにしてもよい。カメラ１２は、一台にて２種類の画像を撮像することとしてもよいし、複数台で構成することとしてもよい。

フライトコントローラ１１は、プログラマブルプロセッサ（本実施形態では、中央演算処理装置（ＣＰＵ）を想定する。）などの１つ以上のプロセッサ１０１を有することができる。また、フライトコントローラ１１は、メモリ１０２を有しており、当該メモリ１０２にアクセス可能である。メモリ１０２は、１つ以上のステップを行うためにフライトコントローラ１１が実行可能であるロジック、コード、および／またはプログラム命令を記憶する。メモリ１０２は、例えば、ＳＤカードやランダムアクセスメモリ（ＲＡＭ）などの分離可能な媒体または外部の記憶装置を含んでいてもよい。カメラ１２やセンサなどから取得したデータは、メモリ１０２に直接に伝達されかつ記憶されてもよい。

フライトコントローラ１１はまた、各種のセンサ類１０３を備える。本実施形態においてセンサ類１０３は、例えば、慣性センサ（加速度センサ、ジャイロセンサ）、ＧＰＳ（Global Positioning System）センサ、近接センサ（例えば、ライダー）、またはビジョン／イメージセンサ（例えば、カメラ）を含み得る。

フライトコントローラ１１は、１つ以上の外部のデバイス（例えば、送受信機（プロポ）、端末、表示装置、または他の遠隔の制御器などである。）からのデータを送信および／または受け取るように構成された送受信部１４と通信可能である。送受信部１４は、有線通信または無線通信などの任意の適当な通信手段を使用することができる。本実施形態では、送受信部１４は、主に検査サーバ３０と通信を行う。送受信部１４は、例えば、ローカルエリアネットワーク（Local Area Network；ＬＡＮ）、ワイドエリアネットワーク（Wide Area Network；ＷＡＮ）、赤外線、無線、ＷｉＦｉ、ポイントツーポイント（Ｐ２Ｐ）ネットワーク、電気通信ネットワーク、クラウド通信などのうちの１つ以上を利用することができる。送受信部１４は、センサ類で取得したデータ、フライトコントローラが生成した処理結果、所定の制御データ、端末または遠隔の制御器からのユーザコマンドなどのうちの１つ以上を送信および／または受け取ることもできる。

図３は、フライトコントローラ１１のソフトウェア構成例を示す図である。フライトコントローラ１１は、指示受信部１１１、飛行制御部１１２、位置情報取得部１１３、撮影処理部１１４、撮影情報送信部１１５、位置情報記憶部１５１、撮影情報記憶部１５２、ＧＰＳセンサ１０４、気圧センサ１０５および温度センサ１０６を備える。

なお、指示受信部１１１、飛行制御部１１２、位置情報取得部１１３、撮影処理部１１４および撮影情報送信部１１５は、プロセッサ１０１がメモリ１０２に格納されているプログラムを実行することにより実現される。また、位置情報記憶部１５１および撮影情報記憶部１５２は、メモリ１０２の提供する記憶領域として実現される。

指示受信部１１１は、飛行装置１０の動作を指示する各種のコマンド（以下、飛行操作コマンドという。）を受け付ける。本実施形態では、指示受信部１１１は、検査サーバ３０から飛行操作コマンドを受信することを想定するが、プロポなどの送受信機から飛行操作コマンドを受信するようにしてもよい。

飛行制御部１１２は、飛行装置１０の動作を制御する。飛行制御部１１２は、例えば、６自由度（並進運動ｘ、ｙおよびｚ、並びに回転運動θｘ、θｙおよびθｚ）を有する飛行装置１０の空間的配置、速度、および／または加速度を調整するために、ＥＳＣ１６を経由してモータ１７を制御する。モータ１７によりプロペラ１８が回転することで飛行装置１０の揚力を生じさせる。また、飛行制御部１１２は、搭載部、センサ類の状態のうちの１つ以上を制御することができる。本実施形態では、飛行制御部１１２は、指示受信部１１１が受信した飛行操作コマンドに応じて飛行装置１０の動作を制御するものとする。また、飛行制御部１１２は、自律飛行を可能とするべく、コマンドによらずに飛行装置１０が飛行を継続するように各種の制御を行うこともできる。

位置情報取得部１１３は、飛行装置１０の現在位置を示す位置情報を取得する。本実施形態では、位置情報には、飛行装置１０の地図上の位置（緯度経度で表される。）と、飛行装置１０の高度とが含まれるものとする。センサ類１０３にはＧＰＳセンサ１０４が含まれており、位置情報取得部１１３は、ＧＰＳセンサ１０４がＧＰＳ衛星から受信した電波から、飛行装置１０の地図上の位置を算出することができる。また、センサ類１０３には、気圧センサ１０５および温度センサ１０６が含まれており、位置情報取得部１１３は、飛行前に気圧センサ１０５により測定した大気圧（以下、基準気圧という。）と、飛行中に気圧センサ１０５により測定した大気圧（以下、現在気圧という。）との差分と、飛行中に温度センサ１０６により測定した気温とに基づいて、飛行装置１０の飛行高度を計算する。位置情報取得部１１３は、ＧＰＳセンサ１０４を用いて取得した飛行装置１０の地図上の位置（緯度経度）と、気圧センサ１０５および温度センサ１０６を用いて取得した飛行装置１０の飛行高度とを、メモリ１０２の位置情報記憶部１５１に格納する。図４は位置情報記憶部１５１の構成例を示す図である。図４に示すように、位置情報記憶部１５１には、飛行装置１０の現在位置を示す緯度経度、上記のようにして計算した飛行高度、飛行前に測定した基準気圧、飛行中に測定した現在気圧、および飛行中に測定した気温が格納される。

撮影処理部１１４は、カメラ１２を制御して太陽電池モジュール１の一部または全部を撮影させ、カメラ１２が撮影したＲＧＢ画像およびサーマル画像を取得する。本実施形態では、撮影処理部１１４は、所定の時間（例えば、５秒、３０秒など任意の時間を指定することができる。）ごとに撮影を行うようにするものとする。また、本実施形態では、説明を簡単にするため、カメラ１２が撮影するＲＧＢ画像およびサーマル画像のいずれについても、Ｙ軸方向の上が北、Ｘ軸方向の右が東となるように、飛行制御部１１２により姿勢を決めた上で、撮影処理部１１４が撮影を行うものとする。なお、撮影処理部１１４は、所定の移動距離（例えば、３メートル、１０メートルなど任意の距離を指定することができる。）ごとに撮影を行うようにしてもよいし、検査サーバ３０からの指示に応じて撮影するようにしてもよい。

撮影処理部１１４は、取得したＲＧＢ画像およびサーマル画像のそれぞれについて、撮影された撮影日時ならびにその時点における飛行装置１０の地図上の緯度経度（撮影位置）およびその時点における飛行装置１０の飛行高度（撮影高度）を付帯させて（以下、これらの情報が付帯された画像を撮影情報という。）、撮影情報記憶部１５２に格納する。

図５は撮影情報記憶部１５２の構成例を示す図である。撮影情報記憶部１５２は、ＲＧＢ画像に係る撮影情報１５２１およびサーマル画像に係る撮影情報１５２２を記憶しており、撮影情報１５２１および１５２２のいずれも、撮影日時、撮影位置および撮影高度ならびに画像データを含む。撮影情報１５２１および１５２２は、例えば、ファイルシステム上のファイルとして記憶させることができる。また、撮影日時、撮影位置および撮影高度は、例えば、ＪＰＥＧ（Joint Photographic Experts Group）画像ファイルのＥｘｉｆ（Exchangeable image file format）情報として格納することができる。

撮影情報送信部１１５は、カメラ１２が撮影した画像を検査サーバ３０に送信する。撮影情報送信部１１５は、ＲＧＢ画像およびサーマル画像に、撮影日時、撮影位置および撮影高度を付帯させた撮影情報を検査サーバ３０に送信するものとする。

（検査サーバ３０）
図６は、検査サーバ３０のハードウェア構成例を示す図である。検査サーバ３０は、ＣＰＵ３０１、メモリ３０２、記憶装置３０３、通信装置３０４、入力装置３０５、出力装置３０６を備える。記憶装置３０３は、各種のデータやプログラムを記憶する、例えばハードディスクドライブやソリッドステートドライブ、フラッシュメモリなどである。通信装置３０４は、通信ネットワーク５０を介して他の装置と通信を行う。通信装置３０４は、例えばイーサネット（登録商標）に接続するためのアダプタ、公衆電話回線網に接続するためのモデム、無線通信を行うための無線通信機、シリアル通信のためのＵＳＢコネクタやＲＳ２３２Ｃコネクタなどを含んで構成される。入力装置３０５は、データを入力する、例えばキーボードやマウス、タッチパネル、ボタン、マイクロフォンなどである。出力装置３０６は、データを出力する、例えばディスプレイやプリンタ、スピーカなどである。

図７は、検査サーバ３０のソフトウェア構成例を示す図である。検査サーバ３０は、飛行制御部３１１、撮影情報受信部３１２、異常検出部３１３、異常位置算出部３１４、重複削除部３１５、レポート作成部３１６、撮影情報記憶部３５１および異常情報記憶部３５２を備える。

なお、飛行制御部３１１、撮影情報受信部３１２、異常検出部３１３、異常位置算出部３１４、重複削除部３１５およびレポート作成部３１６は、検査サーバ３０が備えるＣＰＵ３０１が記憶装置３０３に記憶されているプログラムをメモリ３０２に読み出して実行することにより実現され、撮影情報記憶部３５１および異常情報記憶部３５２は、検査サーバ３０の備えるメモリ３０２および記憶装置３０３が提供する記憶領域の一部として実現される。

飛行制御部３１１は、飛行装置１０を飛行させる制御を行う。本実施形態では、飛行制御部３１１は、飛行装置１０に対して飛行操作コマンドを送信することにより飛行装置１０を操作する。飛行制御部３１１は、例えば、オペレータから地図上における飛行経路の指定を受け付けて、受け付けた飛行経路上を飛行するように飛行操作コマンドを送信することができる。また、飛行制御部３１１は、複数の撮影領域１２２によって検査対象となっている太陽電池モジュール１の全体を重複を含みながら撮影できるように、飛行装置１０の飛行経路を決定することもできる。

撮影情報受信部３１２は、飛行装置１０から送信される撮影情報を受信する。撮影情報受信部３１２は、受信した撮影情報を撮影情報記憶部３５１に格納する。なお、本実施形態では、撮影情報記憶部３５１の構成は、図５に示す飛行装置１０の撮影情報記憶部１５２と同一の構成であるものとする。なお、検査サーバ３０が備える撮影情報記憶部３５１は、撮影情報の送信元である飛行装置１０を特定する情報に対応付けて、撮影情報１５２１および１５２２を記憶するようにしてもよい。

異常検出部３１３は、飛行装置１０が撮影した画像を解析して、検査対象となる太陽電池モジュール１の異常を検出する。異常検出部３１３は、ＲＧＢ画像およびサーマル画像の少なくともいずれかに基づいて異常を検出する。異常検出部３１３は、例えば、過去に異常が発生した太陽電池モジュール１を撮影した画像を教師信号としてニューラルネットワーク等の機械学習を用いた学習を行っておき、ＲＧＢ画像またはサーマル画像を入力信号として異常を判定することができる。また、異常検出部３１３は、正常時の画像をメモリ３０２に予め記憶しておき、正常時の画像と、ＲＧＢ画像またはサーマル画像とを比較して、所定値以上の差分のある画素により構成される領域を認識し、当該領域の面積が所定値以上となるものについて異常と判定することもできる。なお、異常検出部３１３は、公知の技術を用いて画像から異常部分を検出するようにすることができる。異常検出部３１３は、検出した異常に関する情報（以下、異常情報という。）を異常情報記憶部３５２に登録する。

図８は、異常情報記憶部３５２に登録される異常情報の構成例を示す図である。同図に示すように、異常情報には、撮影情報を特定するための情報（図８の例では、「画像」で示され、例えばＪＰＥＧファイル名とすることができる。）、撮影位置、撮影高度、画像上における異常が検出された位置（以下、画像異常位置という。）、地図上における異常の位置（以下、単に異常位置という。）、当該異常に対するコメントが含まれる。撮影位置および撮影高度は、撮影情報から取得される。画像異常位置は、異常検出部３１３により特定された画像上の位置である。図８では、画像異常位置に矩形を示す２つの頂点の座標が含まれた例が示されているが、画像異常位置には、例えば１つの座標のみが含まれるようにしてもよいし、多角形を構成する３つ異常の座標が含まれるようにしてもよいし、楕円形を表す中心座標と２つの半径とが含まれるようにしてもよい。すなわち、画像異常位置は、点または幾何図形を表す情報であればよい。異常位置は、画像異常位置を緯度経度に変換したものである。緯度経度への変換は異常位置算出部３１４により行われる。

異常位置算出部３１４は、異常検出部３１３が検出した異常の地図上における位置（以下、単に異常位置という。）を算出する。異常位置算出部３１４は、カメラ１２の画角と撮影高度と撮影位置とに基づいて、画像異常位置を異常位置に変換する。異常位置算出部３１４による異常位置の算出処理の詳細については後述する。異常位置算出部３１４は、算出した異常位置により、異常情報記憶部３５２に登録されている異常情報を更新する。

重複削除部３１５は、重複する異常情報を削除する。重複削除部３１５は、異常位置が近い（所定距離内にある）か否かにより２つの異常情報が重複していると判定し、重複した異常情報の一方を削除する。なお、重複削除部３１５による重複削除処理の詳細については後述する。

レポート作成部３１６は、太陽電池モジュール１の検査結果を示す情報（以下、レポートという。）を出力する。レポート作成部３１６は、撮影情報に含まれるＲＧＢ画像又はサーマル画像をそれぞれ合成して太陽電池モジュール１の全体図（可視画像および赤外画像）を作成するとともに、異常情報に含まれる異常位置をマークし、コメントを出力する。レポート作成部３１６は、レポートの作成として、例えば、ＨＴＭＬ（HyperText Markup Language）により記述されたＷｅｂページを作成するようにしてもよいし、ＰＤＦ（Portable Document Format）ファイルを作成するようにしてもよいし、プリンタ等の出力装置から印刷するようにしてもよい。

＝＝処理＝＝
以下、本実施形態の検査システムにおける処理について説明する。

図９は、太陽電池モジュール１を撮影する処理の流れを説明する図である。図９に示す撮影処理は、検査サーバ３０からの飛行操作コマンドに応じて飛行装置１０の飛行制御部１１２が飛行装置１０の動作を制御し、飛行装置１０が飛行している間、定期的に実行される。

飛行装置１０において、撮影処理部１１４は、カメラ１２を制御して、カメラ１２が撮影したＲＧＢ画像およびサーマル画像を取得し（Ｓ２０１）、位置情報取得部１１３は、ＧＰＳセンサ１０４、気圧センサ１０５および温度センサ１０６からの信号に基づいて、撮影位置および撮影高度を求める（Ｓ２０２）。撮影情報送信部１１５は、カメラ１２から取得したＲＧＢ画像およびサーマル画像に、現在の日時（撮影日時）、撮影位置および撮影高度を付帯させた撮影情報を作成して検査サーバ３０に送信する（Ｓ２０３）。

検査サーバ３０では、撮影情報受信部３１２は、飛行装置１０から送信される撮影情報を受信し（Ｓ２０４）、受信した撮影情報を撮影情報記憶部３５１に登録する（Ｓ２０５）。

以上のようにして、飛行装置１０において撮影された画像（ＲＧＢ画像およびサーマル画像）は、撮影日時、撮影位置および撮影高度とともに、撮影情報記憶部３５１に順次登録されていく。

図１０は検査サーバ３０により実行される検査処理の流れを示す図である。
異常検出部３１３は、撮影情報記憶部３５１に記憶されている撮影情報のそれぞれについて、撮影情報に含まれる画像データを画像解析して、太陽電池モジュール１の異常を検出する（Ｓ２１１）。異常が検出された場合（Ｓ２１２：ＹＥＳ）、異常検出部３１３は、異常を検出した撮影情報を特定する情報に対応付けて、当該撮影情報に含まれている撮影位置および撮影高度と、異常を検出した画像上の位置（画像異常位置）とを含む異常情報を作成して異常情報記憶部３５２に登録する（Ｓ２１３）。

異常位置算出部３１４は異常情報に係る異常位置を算出する（Ｓ２１４）。図１１は、異常位置の算出処理の流れを示す図である。

異常位置算出部３１４は、異常情報記憶部３５２に記憶されている異常情報のそれぞれについて、以下の処理を行う。異常位置算出部３１４は、カメラ１２の画角および解像度と、撮影高度とに基づいて、画像における１画素あたりの地図上での実距離（ｍ）を算出して画素距離とする（Ｓ２１４１）。なお、本実施形態では、カメラ１２の画角および解像度は予め設定されているものとする。

異常位置算出部３１４は、画像異常位置に含まれる各座標についてのＸ座標値と画像データの中心のＸ座標値との差に画素距離を乗じて、経度方向の距離を算出する（Ｓ２１４２）。異常位置算出部３１４は、撮影位置の経度に経度方向の距離を加算して、異常位置の経度を求める（Ｓ２１４３）。

同様に異常位置算出部３１４は、画像異常位置に含まれる各座標についてのＹ座標値と画像データの中心のＹ座標値との差に画素距離を乗じて緯度方向の距離を算出する（Ｓ２１４４）。異常位置算出部３１４は、撮影位置の緯度に緯度方向の距離を加算して、異常位置の緯度を求める（Ｓ２１４５）。

異常位置算出部３１４は、算出した異常位置の緯度経度により異常情報の異常位置を更新し、更新した異常情報を異常情報記憶部３５２に登録する（Ｓ２１４６）。
以上のようにして、各異常情報について画像異常位置から異常位置が求められる。

図１０に戻り、重複削除部３１５は重複した異常情報の削除処理を行う（Ｓ２１５）。図１２は、重複した異常情報を削除する処理の流れを示す図である。

重複削除部３１５は、異常情報記憶部３５２に記憶されている異常情報のそれぞれについて、当該異常情報とは異なる他の異常情報との組に対して、以下の処理を行う。すなわち、重複削除部３１５は、２つの異常情報に含まれている異常位置間の距離（異常間距離）を算出し（Ｓ２１５１）、算出した異常間距離が所定の閾値以下である場合には（Ｓ２１５２）、当該他の異常情報を異常情報記憶部３５２から削除する（Ｓ２１５３）。
以上の処理を繰り返すことにより、距離が所定距離内にある２つの異常については同一の異常であるものとして、重複する異常情報を異常情報記憶部３５２から削除することができる。

図１３は、同一の異常が２つの画像に含まれている状態を説明する図である。図１３では、太陽電池モジュール１に１つの異常４１が発生している状態を示している。カメラ１２により２回の撮影が行われ、その２つの撮影領域１２２−１および撮影領域１２２−２に入る部分がＲＧＢ画像４２１および４２２として撮影されたものとする。ここで、ＲＧＢ画像４２１においては、Ｘ座標値４５０、Ｙ座標値２５０の位置（画像異常位置４１−１）に異常４１が撮像されており、ＲＧＢ画像４２２においては、Ｘ座標値５０、Ｙ座標値５０の位置（画像異常位置４１−２）に異常４２が撮像されている。従来、異なる画像４２１および４２２から検出された異常が同一のものであるか否かについては特定されておらず、人手によりその特定はなされていたところ、本実施形態の検査システムでは、異常位置算出部３１４が各画像の中心４３１および４３２が撮影位置であるものとして、画像上でのＸ方向およびＹ方向の距離に対して、撮影高度とカメラ１２の画角とから求めた１画素あたり実距離を乗じ、撮影位置からの偏差から画像異常位置４１−１および４１−２の緯度経度を求め、この緯度経度に基づいて画像異常位置４１−１および４１−２が同一の異常４１の位置を示しているか否かを判定している。これにより、異なる画像４２１および４２２から検出された異常が同一のものであるか否かを自動的に判定することが可能となっている。

図１０に戻り、レポート作成部３１６は太陽電池モジュール１の検査に関するレポートを作成する（Ｓ２１６）。図１４は、検査に関するレポートの作成処理の流れを示す図である。また、図１５はレポート作成部３１６により作成されるレポート６１の一例を示す図である。

レポート作成部３１６は、検査サーバ３０のオペレータや検査サーバ３０にアクセスしているユーザ端末のユーザなどから、各異常情報についてのコメントの入力を受け付ける（Ｓ２１６１）。なお、レポート作成部３１６は、受け付けたコメントにより異常情報を更新し、更新した異常情報を異常情報記憶部３５２に登録するようにする。レポート作成部３１６は、撮影情報記憶部３５１に記憶されている各撮影情報に含まれる画像データを合成して、太陽電池モジュール１の全体を含む１枚の画像を作成する（Ｓ２１６２）。なお、本実施の形態による画像の合成処理については、オルソ画像を利用して行うこととしているが、異常位置算出部３１４が図１１に示した異常位置の算出処理と同一の処理によって画像の左上および右下の各座標についての緯度経度を算出し、算出した緯度経度に対応する位置に画像を配置して合成を行うことができる。

レポート作成部３１６は、異常情報記憶部３５２に登録されている各異常情報について、異常情報に含まれている異常位置の中心を求め、当該中心が示す合成画像上の位置に所定の図形を描画する（Ｓ２１６３）。レポート作成部３１６は、上記のようにして異常位置をプロットした合成画像をレポート６１に出力する（Ｓ２１６４）。図１５の例では、レポート６１の上段に合成画像６２が出力されている。また、合成画像６２上には、異常位置の中心６２１に円形の図形が出力されている。

レポート作成部３１６は、各異常情報について、対応する撮影情報に含まれる画像データに対して、異常情報に含まれる異常位置を示す図形を描画する（Ｓ２１６５）。本実施形態では、異常位置は矩形で描画されることになる。レポート作成部３１６は、図形を描画した画像をレポート６１に出力するとともに（Ｓ２１６６）、異常情報に含まれるコメントを出力する（Ｓ２１６７）。図１５の例では、レポート６１の下段に、異常位置を示す矩形６３１が描画された１つのＲＧＢ画像６３が出力され、その下部にコメント６４が出力されている。

なお、図１５では１つの異常情報についてのＲＧＢ画像６３およびコメント６４が出力されているが、全ての異常情報についてのＲＧＢ画像６３およびコメント６４ならびにサーマル画像（不図示）およびコメント６４を出力するようにしてもよい。また、レポート作成部３１６は、異常が検出されなかったＲＧＢ画像およびサーマル画像についても、レポート６１に出力するようにしてもよい。

一度の撮影では画面に収まりきらない程度の大型の太陽電池モジュール１を検査しようとした場合、複数枚の写真を撮像し当該写真の１枚１枚に対して解析を行うこととなるところ、撮像範囲１２２の漏れがないように、撮影範囲１２２の一部が重複するようにして連続写真を撮ることとなる。しかしながら、当該重複部分に欠陥等の異常が存在していた場合、異常としては１か所にしか存在していないにもかかわらず、複数の画像に写っていることによって複数の異常が存在していると誤認識してしまうことがあった。本発明の発明者らは、複数枚の画像に存在している同一の異常を同一のものとして正しく特定する方法が必要であることに着目した。本実施形態の検査システムによれば、複数の画像に撮像された１つの異常を同一のものとして取り扱うことができる。これにより、検査に係るレポート６１を正しく自動的に生成することも可能となる。

以上、本発明の一実施形態について説明したが、上記実施形態は本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得るとともに、本発明にはその等価物も含まれる。

例えば、本実施形態では、カメラ１２は機体の下部に固定されるものとしたが、これに限らず、ジンバルを介して可動式に装着するようにしてもよい。この場合、撮影情報にはカメラ１２の撮影方向を含めるようにしてもよい。

また、本実施形態では、ＲＧＢ画像とサーマル画像の両方を用いて異常を検出するものとしたが、ＲＧＢ画像およびサーマル画像の一方のみを用いて異常を検出するようにしてもよい。

また、本実施形態では、気圧センサ１０５および温度センサ１０６を用いて撮影高度を求めるものとしたが、これに限らず、公知の手法を用いて撮影高度を求めるようにしてもよい。

また、本実施形態では、重複する異常情報は異常情報記憶部３５２から削除するものとしたが、削除をせずに検出した異常を識別する情報（異常ＩＤ）を割り当て、異常情報に異常ＩＤを登録するようにしてもよい。この場合、異常情報記憶部３５２には、異常ＩＤに対応付けて、単一のコメントと、複数の撮影情報を特定する情報を記憶するようにし、レポート作成部３１６は、異常情報記憶部３５２から重複なく異常ＩＤを読み出し、読み出した異常ＩＤに対応するコメントをレポート６１に出力することができる。

また、本実施形態では、飛行装置１０からの撮影情報はカメラ１２で撮影が行われる都度検査サーバ３０に送信されるものとしたが、飛行装置１０は撮影情報記憶部１５２に撮影情報を蓄積しておき、飛行中に定期的に、あるいは、飛行終了後に一度に撮影情報記憶部１５２に記憶されている撮影情報を検査サーバ３０に送信するようにしてもよい。

また、本実施形態では、飛行装置１０が撮影する画像はＹ軸方向上が北、Ｘ軸方向右が東であることを想定していたが、これに限らず、飛行装置１０の飛行時の姿勢のままで撮影するようにしてもよい。この場合、撮影情報には北向きの角度（ＲＧＢ画像およびサーマル画像をＹ軸方向上が北となるように回転させる角度）を記憶しておき、画像を回転させたうえで、あるいは、当該角度を考慮して異常位置の緯度経度を算出すればよい。

１０ 飛行装置
１１ フライトコントローラ
１２ カメラ
１４ 送受信部
１６ ＥＳＣ
１７ モータ
１８ プロペラ
３０ 検査サーバ
５０ 通信ネットワーク
１０１ プロセッサ
１０２ メモリ
１０３ センサ類
１０４ ＧＰＳセンサ
１０５ 気圧センサ
１０６ 温度センサ
１１１ 指示受信部
１１２ 飛行制御部
１１３ 位置情報取得部
１１４ 撮影処理部
１１５ 撮影情報送信部
１５１ 位置情報記憶部
１５２ 撮影情報記憶部
３０１ ＣＰＵ
３０２ メモリ
３０３ 記憶装置
３０４ 通信装置
３０５ 入力装置
３０６ 出力装置
３１１ 飛行制御部
３１２ 撮影情報受信部
３１３ 異常検出部
３１４ 異常位置算出部
３１５ 重複削除部
３１６ レポート作成部
３５１ 撮影情報記憶部
３５２ 異常情報記憶部

Claims (4)

1. 検査対象物を検査する検査システムであって、
   カメラを備える飛行体が前記検査対象物を撮影した画像、前記飛行体の撮影高度、および前記飛行体の地図上の撮影位置を受信する撮影情報受信部と、
   前記画像を解析して前記検査対象物の異常を検出する異常検出部と、
   前記異常が検出された前記画像上の検出位置、前記撮影高度、および前記撮影位置に基づいて、前記地図上における前記検査対象物の異常位置を算出する異常位置算出部と、
   少なくとも前記異常位置を含む前記異常に関する異常情報および前記異常を識別する情報を対応付けて記憶する異常情報記憶部と、
   を備え、
   前記異常情報記憶部は、さらに、
   前記異常情報記憶部に記憶されている前記異常情報のそれぞれについて、当該異常情報とは異なる他の異常情報との組に対して、両異常が同一の異常であると判定された場合には、当該同一の異常に関する異常情報に、同一の異常を識別する情報を関連付けて記憶する、
   ことを特徴とする検査システム。
2. 請求項１に記載の検査システムであって、
   前記同一の異常に関する異常情報は、複数の撮影情報を特定する情報を含む、
   ことを特徴とする検査システム。
3. 請求項１または２に記載の検査システムであって、
   前記同一の異常に関する異常情報は、単一のコメントを含む、
   ことを特徴とする検査システム。
4. 請求項３に記載の検査システムであって、
   検査結果を示す情報をレポートとして出力するレポート生成部をさらに備え、
   前記レポート生成部は、
   前記異常情報記憶部から重複なく前記異常を識別する情報を読み出し、当該読み出した異常を識別する情報に対応する前記単一のコメントを前記レポートに出力する、
   ことを特徴とする検査システム。
   

Images