JP6918672B2 - 劣化診断システム - Google Patents

Description

本発明は、ドローンや無人航空機（ＵＡＶ：Unmanned aerial vehicle）等の飛行体を利用する情報処理システム等の技術に関する。特に、飛行体のカメラを用いて対象構造物を撮影し、劣化等の状態を診断、検査する技術に関する。

ドローンやＵＡＶ等の飛行体は、遠隔操作や自動制御、無線通信に基づいて、無人で自律航行が可能であり、カメラを用いて空撮が可能である。ドローン等の飛行体及び空撮画像を活用して各種のサービスを実現するシステムが提案されている。その１つとして、飛行体のカメラを用いて対象構造物を撮影し、劣化等の状態を診断する診断システム（飛行体利用劣化診断システム等と記載する場合がある）が挙げられる。建築物やインフラ設備等の構造物の老朽化、点検補修等の対策作業のための作業人員減少及び高コスト状況といった社会的課題に対し、そのような診断システムが有効と期待される。

この診断システムでは、例えばドローンの自律航行時にカメラによって対象物を空撮することで、対象物の広範囲にわたる画像群を、人手の作業を最小限として収集できる。計算機は、その画像群を用いて画像解析処理等を行うことで、対象物の劣化、異常、変化等の状態の箇所を診断し、検出する。その結果、例えば、対象物の表面における、ひび割れ、さび、腐食、剥離等の劣化箇所、あるいは、増改築や異物付着等の変化箇所を発見できる。これにより、人による診断や検査の作業を支援して効率化することができる。

なお、飛行体を利用せずに例えばビルの高所壁面等を診断する方式の場合、専用装置を要することで高コストであることや作業者の危険性等の課題がある。

飛行体を利用した診断システムに関する先行技術例として、特開２０１７−７８５７５号公報（特許文献１）が挙げられる。特許文献１には、検査システム等として、ドローンを遠隔操作することで検査対象物を撮影し、撮影情報に基づく検査対象物の不具合の検査を、迅速かつ低コストで行う旨が記載されている。特許文献１には、サーバ装置が、ドローンの撮影情報及び位置情報を受信し、撮影情報を解析し、検査対象物の欠陥を特定する旨が記載されている。

特開２０１７−７８５７５号公報

特許文献１のような先行技術例では、計算機が飛行体の空撮画像を用いて対象物の欠陥や劣化等を特定するための処理の詳細については記載されていない。

従来技術例の飛行体利用劣化診断システムでは、大量の空撮画像から劣化箇所等を発見するためには、基本的に、人（診断者）による目視の画像確認や診断等の作業に依存している。そのため、効率的な作業がしにくく、手間やコストが大きく、劣化箇所等の速やかな検出が難しい。

また、従来技術例の飛行体利用劣化診断システムでは、現在の空撮画像と過去の空撮画像とを比較して劣化等を検出する方式の場合、計算機において大量の空撮画像を処理する必要がある。その処理自体に難しさがあり、長い処理時間を要し、効率的な診断が難しい。撮影時の状況の違い等から、過去と現在の空撮画像の内容には違いが生じる。両者の違いが大きいほど、過去と現在の画像同士の対応付け及び比較の処理が難しく、また、診断処理の精度も高めにくい。

本発明の目的は、飛行体利用劣化診断システムの技術に関して、過去と現在の空撮画像を比較して対象物の劣化等の状態を診断する際に、診断の効率や精度を高めることができる技術を提供することである。

本発明のうち代表的な実施の形態は、飛行体利用劣化診断システムであって、以下に示す構成を有することを特徴とする。

一実施の形態の飛行体利用劣化診断システムは、飛行体による撮影を利用して対象物の劣化を含む状態を診断する飛行体利用劣化診断システムであって、前記対象物の周囲のルートを航行し、前記対象物を撮影するカメラを有する前記飛行体と、前記飛行体の航行及び前記カメラの撮影を制御する計算機システムと、を備え、前記計算機システムは、所定の日時に前記飛行体を前記ルートで航行させて前記対象物を連続的に撮影した画像群を含むデータを前記飛行体から取得してＤＢに記憶し、同じ前記対象物に関して、現在の日時に撮影した診断画像群を含む診断データと、前記ＤＢから参照した過去の日時に撮影した参照画像群を含む参照データとに基づいて、現在の画像と過去の画像とで同じ箇所を含む画像を、比較対象画像として対応付け、前記比較対象画像の現在の画像と過去の画像とで比較して差分を判定することで、前記現在の画像から前記劣化を含む状態の劣化箇所を検出し、前記現在の画像内の前記劣化箇所を表す２次元座標を、前記対象物の３次元モデルを含む空間内の３次元座標に位置付けるように変換し、前記変換後の前記空間内の前記劣化箇所を含む診断結果情報を、可視化する画面を生成して、ユーザに対して表示する。

本発明のうち代表的な実施の形態によれば、飛行体利用劣化診断システムの技術に関して、過去と現在の空撮画像を比較して対象物の劣化等の状態を診断する際に、診断の効率や精度を高めることができる。

本発明の実施の形態の飛行体利用劣化診断システムの構成を示す図である。 実施の形態で、ドローン及び計算機システムの構成例を示す図である。 実施の形態で、計算機システムの構成例を示す図である。 実施の形態で、概要を示す図である。 実施の形態で、基本処理フローを示す図である。 実施の形態で、平面マッチング方式の診断処理の概要のフローを示す図である。 実施の形態で、平面マッチング方式の診断処理を示す図である。 実施の形態で、座標変換処理の概要のフローを示す図である。 実施の形態で、座標変換処理の概要を示す図である。 実施の形態の変形例における、平面変換方式の座標変換処理のフローを示す図である。 実施の形態の変形例で、平面変換方式の座標変換処理を示す図である。 実施の形態で、劣化箇所情報の構成例を示す図である。 実施の形態で、３次元モデルへの位置付け及び可視化画面の第１構成例を示す図である。 実施の形態で、３次元モデルへの位置付け及び可視化画面の第２構成例を示す図である。 実施の形態の変形例における、ルート設定方式を示す図である。 実施の形態の変形例で、ルート設定機能の処理フローを示す図である。 実施の形態の変形例における、カメラ調整方式を示す図である。 実施の形態の変形例で、カメラ調整機能の処理フローを示す図である。 実施の形態の変形例における、段階的対応付け方式を示す図である。 実施の形態の変形例における、部分的ＳＦＭ処理方式を示す図である。 実施の形態の変形例における、優先空撮方式を示す図である。 他の実施の形態における、対象物が電柱及び電線の場合を示す図である。 実施の形態に対する比較例の飛行体利用劣化診断システムとして、人によって診断する方式の場合を示す図である。 実施の形態に対する比較例の飛行体利用劣化診断システムとして、計算機によって診断する方式の場合を示す図である。 比較例で、過去と現在の画像群の対応付け及び比較を示す説明図である。

以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、実施の形態を説明するための全図において同一部には原則として同一符号を付し、その繰り返しの説明は省略する。

［課題等］
従来技術例の飛行体利用劣化診断システムにおける課題等について補足説明する。

図２３は、実施の形態に対する比較例の飛行体利用劣化診断システムの第１構成例として、人によって目視画像確認作業等で劣化箇所を診断する方式の場合における、対象物５の空撮の例を示す。対象物５は、所定の建築物やインフラ設備等の劣化診断対象構造物である。本例では、対象物５の側壁面を診断対象領域とする場合を示す。この方式では、対象物５の周囲空間における所定のルート上において、ドローン９１等の飛行体を自律航行させる。計算機９２等の制御装置から、無線通信での制御に基づいて、ドローン９１を、設定されたルート上で自律航行させる。ドローン９１の航行に伴い、ドローン９１に搭載のカメラによって、対象物５の表面の所定の領域（診断対象領域）を連続的に撮影する。カメラは、所定の撮影設定及び撮影制御がされる。所定の撮影設定は、カメラの撮影方向、撮影タイミング、及び撮影条件等の設定である。撮影方向は、ドローン９１及びカメラの位置から撮影箇所への方向である。撮影タイミングは、例えば所定の時間間隔での静止画の連続撮影のタイミング（あるいは所定のフレームレートでの動画の撮影タイミングと捉えてもよい）である。撮影条件は、公知の各種のカメラパラメータ（焦点距離等）の設定値で規定される条件である。上記ルート及び撮影設定は、予め、対象物５の所定の領域を撮影及び診断するために設定される。

上記空撮により、時空間の系列で連続する複数の画像である連続画像９０１が得られる。計算機９２は、ドローン９１から、連続画像９０１による画像群を含むデータ（診断データと記載する場合がある）を得る。ユーザである診断者は、その診断データの画像群について、目視画像確認作業等によって、対象物５の劣化箇所９０２等を検出する診断作業を行う。人が大量の空撮画像から劣化箇所を発見することには、手間や時間、コストを有する。このような診断作業を支援、あるいは自動化し、コスト等を低減したい。そのために、他の比較例の飛行体利用劣化診断システムとして、以下が挙げられる。

図２４は、比較例の飛行体利用劣化診断システムの第２構成例として、計算機９２によって診断作業を支援あるいは自動化する方式の場合における、対象物５の空撮の例を示す。図２４の（Ａ）は、対象物５に関する過去の日時での空撮時の状況を、（Ｂ）は、同じ対象物５に関する現在の日時での空撮時の状況を示す。いずれも、ドローン９１のルート設定が同じとする。この比較例の診断システムの方式では、以下のように、計算機９２によって、現在の空撮画像と過去の空撮画像との比較に基づいて劣化箇所等を自動的に診断、検出する診断処理を行う。

（Ａ）の過去の診断及び空撮の日時に、計算機９２は、ドローン９１から、連続画像９０１Ａによる画像群を含むデータ（参照データと記載する場合がある）を得る。計算機９２は、参照データを保存し、診断処理を行い、診断結果情報を保存する。また、その後、（Ｂ）の現在の診断及び空撮の日時に、計算機９２は、ドローン９１から、連続画像９０１Ｂによる画像群を含むデータ（診断データ）を得る。計算機９２は、診断データを保存し、診断処理を行い、診断結果情報を保存する。

上記空撮及び診断は、対象物５に応じた所定の日時毎に行われる。例えば、劣化状態を診断する目的の場合に、その目的に応じた年単位や月単位等の所定の時間単位の計画で、上記空撮等が行われる。これにより、その時間単位の日時毎に、連続画像や診断結果情報等が得られ、ＤＢ等に蓄積、保存される。

また、計算機９２は、各空撮時、ドローン９１から、空撮画像データや撮影設定情報だけでなく、各種のセンサのセンサデータ等も取得する。センサデータとしては、ＧＰＳ等に基づいた位置情報、電子コンパスやジャイロセンサや加速度センサ等に基づいた、方位、速度、加速度等の情報が挙げられる。診断の際にはそれらの情報も利用する。

計算機９２は、ある診断日時での対象物５の診断処理の際、現在の診断データの画像群（診断画像群）と、それに対応する過去の参照データの画像群（参照画像群）とを比較して、劣化箇所等を判定、検出する。その際、計算機９２は、過去の画像群と現在の画像群とで、同じ撮影箇所を含んだ、画像内容が対応している画像同士を、比較対象画像として対応付け（マッチングと記載する場合がある）を行う。即ち、計算機９２は、候補となる過去と現在の画像群から、各々１枚以上の画像を選択して、選択した画像の組を、比較対象画像として対応付ける。計算機９２は、比較対象画像における過去と現在の画像同士において、画像レベルでの画像解析処理を行って画像内容を比較して、両者の差異、差分を判定する。これにより、計算機９２は、空撮画像から、対象物５の表面の領域における劣化、異常、変化等の状態の箇所（劣化箇所と総称する）を判定、検出する。

また、計算機９２は、例えば、劣化等の種類（例えばひび割れ、さび、腐食、剥離等）やその劣化度合い等を所定の処理によって判定する。計算機９２は、例えば、劣化度合いが閾値よりも大きい劣化箇所を検出する。計算機９２は、検出した劣化箇所等を含む診断結果情報を、ＤＢ等に格納し、画面でユーザに対して出力する。ユーザは、画面で、劣化箇所を含んだ画像等を確認する。

上記比較例の診断システムでは、過去と現在の大量の空撮画像を対応付け及び比較する処理が必要である。しかし、このような対応付け処理及び比較処理を含む処理自体に難しさがあり、診断処理の効率や精度の点で課題がある。計算機９２は、過去及び現在の各画像群から、対応付ける画像同士を選択する必要がある。そのためには、同じ箇所を含んでいるか等の画像内容の判断が必要であり、その判断には、画像レベルの画像解析処理が必要である。そのような処理を、過去及び現在の多数の画像について行う必要がある。大量の画像データの処理に時間を要する。その結果、診断処理に長時間を要し、効率が良くない。空撮後にすぐに診断結果を得ることも難しい。

また、基本的に、各診断日時には、同じ対象物５の同じ領域を空撮するように、ルートや撮影設定等が制御される。しかし、その時の状況の違いから、過去及び現在の空撮画像の間には、同じ箇所を対象とした画像同士であっても、画像内容に揺れやずれ等の違いが生じる。その違いが大きいほど、画像同士の対応付け及び比較が難しくなり、診断の精度を上げにくくなる。

各日時の状況の違いの例として、設定ルート上におけるドローン９１の実際の航行ルートには揺れやずれが生じ得る。例えば、時期や天候等に応じて、風速等の状態が異なる。そのため、ドローン９１の位置や速度や向きには揺れやずれが生じる。これにより、空撮画像内容にも違いが生じる。航行開始時点から所定時間経過後の同じ時点でも、ドローン９１及びカメラが同じ位置等の状態になるとは限らないため、画像内容には違いが生じる。単純に同じ時点の画像同士を対応付ければよいというものではない。また、設定ルートに伴う、カメラの撮影設定（撮影方向、撮影タイミング、及び撮影条件等）に基づいて、実際の撮影時には、太陽光や影等の影響から、対象物５の領域における光の状態が異なる。そのため、過去と現在の空撮画像内容には、鮮明さ等で違いが生じる。

図２５は、上記比較例の診断システムで、過去と現在の画像群の対応付け、及び画像同士の比較の処理に関する難しさについて示す説明図である。図２５の（Ａ）は、過去の日時の参照データの画像群と、現在の日時の診断データの画像群との対応付け、及び比較の例を示す。横方向を時系列とした連続画像を示す。各四角は１枚の画像を示す。星マークは、対象物５の領域におけるある同じ箇所の例を説明用に示す。上記のように、対応付け処理は、画像レベルのマッチング処理であり、処理が難しい。計算機９２は、過去の画像群と現在の画像群とで、同じ箇所を含む各々１枚以上の画像同士を、比較対象画像として対応付ける。本例では、過去の３枚の画像と現在の２枚の画像とが対応付けできる場合を示す。計算機９２は、対応付け後の比較対象画像において、過去の画像と現在の画像とで、１枚ずつ、比較処理を行う。比較処理によって、過去と現在との差分に基づいて、劣化箇所が判定、検出される。

図２５の（Ｂ）、（Ｃ）は、比較対象画像の例を示す。図２５の（Ｂ）は、過去の日時（例えば２０１６年１月１日）の１枚の画像内容の例を簡略的に示す。図２５の（Ｃ）は、同じ対象物５の同じ箇所に関する、現在の日時（例えば２０１７年１月１日）の１枚の画像内容の例を示す。両画像では、空撮時のドローン９１及びカメラの位置、撮影方向等に違いがあるため、画像内容には違いがある。点９０５は、壁面におけるある同じ位置を示す。現在の画像では、劣化箇所９０６（例えばひび割れ）を有し、破線枠で示す。過去の画像で、劣化箇所９０６に対応する箇所９０７を破線枠で示す。対応付け及び比較処理では、このような画像同士を対応付けて画像内容を比較する必要がある。比較処理では、劣化箇所９０６と箇所９０７との差分から、劣化箇所９０６を検出できる。上記過去と現在の画像群において違いが大きいほど、対応付け及び比較の処理が難しい。

上記比較例の診断システムに対し、実施の形態の診断システムでは、上記過去と現在の画像の対応付け及び比較を含む診断処理を容易化、効率化し、診断の精度を高める工夫を有する。

（実施の形態）
図１〜図１４を用いて、本発明の実施の形態の飛行体利用劣化診断システムについて説明する。

［概要］
（１） 実施の形態の診断システムは、飛行体利用劣化診断及び劣化箇所可視化システムである。本診断システムは、比較例の第２構成例の方式を基本とする。即ち、本診断システムは、過去及び現在の対象物に関する飛行体の空撮による連続画像に基づいて、計算機によって診断処理を行うことで、劣化箇所を自動的に判定、検出する機能（劣化診断機能）を有する。本診断システムは、診断結果情報を、ＤＢに格納し、ユーザである診断者に対して画面で可視化して表示する。本診断システムでは、診断処理のためのデータ処理方法、画像間の対応付け及び比較処理方法等に工夫を有する。これにより、ユーザは、診断作業を効率的に行うことができ、診断を低コストで実現できる。

本診断システムでは、前提として、処理対象の画像（２次元画像）は、飛行体のカメラによって空撮された連続画像であり、航行及び撮影の時空間の系列上の複数枚の静止画による画像群である。本診断システムでは、現在の診断データの診断画像群と、過去の参照データの参照画像群との対応付け及び比較に基づいて、劣化箇所を検出する診断処理を行う。前述の比較例の診断システムでは、対応付け及び比較を含む診断処理の際に、画像レベルのマッチング方式を用いている。それに対し、実施の形態の診断システムは、対応付け及び比較を含む診断処理の際に、平面マッチング方式を用いる（後述の図７等）。

この平面マッチング方式では、対応付け及び比較処理の際に、画像レベルではなく、画像から検出した平面レベルで対応付け及び比較を行う。本診断システムは、現在と過去の画像の各々から平面検出を行い、検出した平面を用いて対応付けを行い、対応付けられた画像同士において、現在と過去の平面同士で比較を行う。本診断システムは、平面同士の比較による差分から、劣化箇所を判定、検出する。平面マッチング方式を用いることで、過去及び現在の大量の画像群の対応付け及び比較を含む診断処理を容易化、効率化し、計算処理負荷を低くし、より高速に劣化箇所を検出可能とする。

（２） また、本診断システムは、診断処理で画像から検出した劣化箇所を、対象物３次元モデルを含む空間内に位置付けるように可視化した画面をユーザに提供する機能を有する。その際、本診断システムは、画像内の劣化箇所を表す２次元座標情報を、対象物３次元モデル上の３次元座標情報に変換（２次元から３次元への対応付け、座標変換）する処理を行う（後述の図９等）。この変換は、公知のＳＦＭ（Structure for motion）処理等を用いる。本診断システムは、変換の際、連続画像の最低２枚の複数の画像の各々における劣化箇所を表す２次元座標（ｘ，ｙ）から、透視変換行列を用いて、対象物３次元モデル上の３次元座標（Ｘ，Ｙ，Ｚ）を算出する。透視変換行列は、予め、ＳＦＭ処理等を用いて計算される。

比較例の診断システムでは、診断者または計算機が空撮画像から劣化箇所を検出できたとしても、その劣化箇所を含む画像からは、その劣化箇所が対象物を含む空間内でどの位置にあるか等がよくわからない場合がある。それに対し、本診断システムでは、ユーザは、画面で、劣化箇所が対象物を含む空間内でどの位置にあるのか等をわかりやすく認識できる。ユーザは、効率的かつ直感的に、劣化箇所等を発見することができる。

（３） 更に、本診断システムでは、上記平面マッチング方式の診断機能や、劣化箇所可視化機能に加え、変形例として各種の追加機能を提供し、併用することができる。その追加機能の方式として、後述のルート設定方式、カメラ調整方式、段階的対応付け方式、部分的ＳＦＭ処理方式、等がある。ユーザは、本診断システムのユーザ設定に基づいて、各追加機能を利用可能である。これにより、基本機能の診断処理に関して、更に計算時間短縮や診断精度向上を実現する。

［飛行体利用劣化診断システム（１）］
図１は、実施の形態の飛行体利用劣化診断システムである診断システムの全体の構成を示す。診断システムは、ドローン１である飛行体と、計算機システム１００とを備え、それらが無線通信で接続されている。計算機システム１００は、例えば、ＰＣ２と、サーバ３とを有し、それらが通信網を介して接続されている。ＰＣ２は、ドローン制御装置であり、個々のユーザ（診断者）が使用するクライアント端末装置である。サーバ３は、例えば事業者のクラウドコンピューティングシステムやデータセンタ等におけるサーバ装置であり、ＰＣ２と連携する計算処理装置である。

対象物５は、診断対象構造物及びカメラ４の被写体である。対象物５は、例として、建築物やインフラ設備等である。建築物は、一般的なビルや住宅、公共建築物等を含む。インフラ設備は、例えば、電力設備（火力発電、風力発電、水力発電等の設備）、道路交通設備、通信設備、橋梁、等が挙げられる。対象物５の表面における所定の領域が診断対象領域及び撮影対象領域である。予め、設定として、その所定の領域を空撮できるように、ドローン１の航行のルート、日時、及びカメラ４の撮影設定情報等が設定される。

ドローン１は、ＰＣ２からの無線通信での遠隔制御に基づいて自律航行を行う飛行体である。なお、変形例としては、ユーザがＰＣ２からドローン１の航行を操縦する形態も可能である。ドローン１は、所定の対象物の周囲空間において、設定されたルート上を自律航行する。ドローン１は、カメラ４や各種のセンサを搭載している。ドローン１は、ルート上の航行時に、カメラ４によって対象物５を空撮する。ドローン１は、撮影時の撮影画像データ、センサデータ等を、無線通信でＰＣ２へ送信する。

ドローン１の公知のセンサ群では、センサデータとして、ドローン１及びカメラ４の位置、方位（向き）、速度、加速度等が検出可能である。位置は、３次元座標（Ｘ，Ｙ，Ｚ）を含む。位置は、例えばＧＰＳ、高度センサ、あるいは他の測位システムに基づいて、緯度、経度、高度（地表からの高さ）として得られる。なお、ＧＰＳを用いる場合、十分な測位精度を前提とする。

カメラ４では、撮影設定情報として、撮影方向、撮影タイミング、撮影条件（カメラパラメータ）等を含む。撮影方向は、ドローン１及びカメラ４の位置を基準として対象物５の撮影箇所を向く方向である。撮影タイミングは、連続的な複数の画像（静止画）を撮像するタイミングである。撮影条件は、レンズの焦点距離や画角等、公知のカメラパラメータの設定値で規定される。

ＰＣ２は、ドローン１の航行制御、及びカメラ４の撮影制御を無線通信で行う。ＰＣ２は、公知の航行制御パラメータや、撮影設定情報等を、ドローン１へ送信する。ユーザである診断者は、ＰＣ２を操作して、本診断システムを利用する。ユーザは、ＰＣ２の画面で、本診断システムに対する指示入力やユーザ設定を行い、設定状態や診断結果情報等を確認できる。なお、サーバ３に対し、複数のユーザの複数のＰＣ２等が同様に接続されてもよい。

ＰＣ２は、ドローン制御機能２１、診断クライアントプログラム２２、記憶部２３等を有する。ドローン制御機能２１は、ドローン１の航行及びカメラ４の撮影を制御する公知の機能である。診断クライアントプログラム２２は、飛行体利用劣化診断及び劣化箇所可視化ソフトウェア２００のうちのクライアントプログラムである。ＰＣ２の診断クライアントプログラム２２は、サーバ３の診断サーバプログラム３２とクライアントサーバ通信で連携して処理を行う。診断クライアントプログラム２２は、ドローン制御機能２１を制御する。診断クライアントプログラム２２は、特に、ドローン１との連携、及び画面表示処理を担当する。

ＰＣ２の記憶部２３には、診断クライアントプログラム２２等が処理に用いる各種のデータ／情報が記憶される。記憶部２３には、ドローン１から取得される撮影画像データ、センサデータ、ドローン１に設定する撮影設定情報、等が記憶される。記憶部２３には、サーバ３から取得される各データも記憶される。

サーバ３は、診断サーバプログラム３２、ＤＢ３３等を有する。診断サーバプログラム３２は、飛行体利用劣化診断及び劣化箇所可視化ソフトウェア２００のうちのサーバプログラムである。診断サーバプログラム３２は、特に、診断処理等、計算処理負荷が高い処理を担当する。診断サーバプログラム３２は、診断クライアントプログラム２２からの要求に応じて、所定の処理を実行し、処理結果情報を応答する。

サーバ３のＤＢ３３には、診断サーバプログラム３２及び診断クライアントプログラム２２が処理に用いる各種のデータが記憶される。ＤＢ３３は、ＤＢサーバ等で実現されてもよい。ＤＢ３３には、ＰＣ２から取得される各データの他に、対象物データ、診断結果情報等が格納される。対象物データは、対象物５に関する基本情報や対象物３次元モデルデータ等を含むデータである。対象物３次元モデルデータは、任意の形式のデータであり、例えば既存のＣＡＤシステム等で作成されたデータを利用可能である。あるいは、対象物３次元モデルデータは、空撮画像に基づいて公知のＳＦＭ処理を用いて３次元構造を復元した結果として得られるデータを用いてもよい。診断結果情報は、飛行体利用劣化診断及び劣化箇所可視化ソフトウェア２００の診断処理結果であり、劣化箇所を含む画像、対象物３次元モデル上に劣化箇所を位置付けた情報等を含む。

飛行体利用劣化診断及び劣化箇所可視化ソフトウェア２００は、劣化診断機能、及び劣化箇所可視化機能を含む各機能を実現する。劣化診断機能は、現在と過去の空撮画像の対応付け及び比較に基づいて診断処理を行って、対象物５の劣化箇所を検出する機能である。この診断処理では、特に、平面マッチング方式を用いる。劣化箇所可視化機能は、劣化診断機能によって検出した画像内の劣化箇所を、対象物３次元モデル上に位置付けるように可視化する画面を提供する機能である。

計算機システム１００の実装構成は、上記に限らず可能である。例えば、ＰＣ２とサーバ３とが１つの装置として統合されている形態でもよいし、機能毎に複数の装置に分離されている形態でもよい。ドローン制御装置とＰＣ２とが分離されている形態でもよい。飛行体については、公知のドローンやＵＡＶを適用できるが、本診断システムのために特有の機能を追加実装した専用の飛行体を利用してもよい。

［飛行体利用劣化診断システム（２）］
図２は、本診断システムのドローン１及び計算機システム１００の概略的な機能ブロック構成を示す。

ドローン１は、プロペラ駆動部１１、航行制御部１２、センサ１３、ジンバル１４、カメラ４、画像記憶部１５、無線通信部１６、バッテリ１７等を有する。プロペラ駆動部１１は、複数のプロペラを駆動する。航行制御部１２は、ＰＣ２の航行制御部１０２からの航行制御情報に従って、ドローン１の航行を制御する。そのために、航行制御部１２は、センサ１３の検出情報を用いながら、プロペラ駆動部１１を駆動制御する。センサ１３は、公知のＧＰＳ受信器、電子コンパス、ジャイロセンサ、加速度センサ等のセンサ群であり、所定のセンサデータを出力する。ジンバル１４は、カメラ４を保持する公知の機構であり、航行時にカメラ４がぶれずに一定の状態になるように自動的に維持する。カメラ４は、ＰＣ２の撮影制御部１０４からの撮影制御情報及び撮影設定情報に従って、対象物５を空撮し、撮影画像データを出力する。画像記憶部１５は、撮影画像データ等を記憶する。無線通信部１６は、無線通信インタフェース装置を含み、所定の無線通信インタフェースで、計算機システム２と無線通信を行う。バッテリ１７は、各部へ電力を供給する。

計算機システム１００は、ＧＵＩ部１０１、航行制御部１０２、撮影制御部１０４、記憶部１０５、無線通信部１０６、診断部１０７、可視化部１０８を有する。

ＧＵＩ部１０１は、ユーザに対するＧＵＩ（グラフィカル・ユーザ・インタフェース）となる画面を構成し、ディスプレイに表示する。ユーザは、画面に対し、ユーザ設定や指示入力が可能であり、設定状態や診断結果情報等を確認可能である。ユーザ設定としては、本診断システムが提供する各機能に関する利用有無等の設定や、機能毎の制御用の閾値等の設定が可能である。また、ルート設定として、ドローン１の航行の基本的なルート（発着点を含む）や、空撮及び診断の日時を含むスケジュール等が設定可能である。また、撮影設定として、カメラ４の基本的なカメラパラメータ等の設定が可能である。

航行制御部１０２は、ルート等の設定に基づいて、ドローン１の航行を制御する。航行制御部１０２は、無線通信を通じて、ドローン１へ航行制御情報を送信し、ドローン１から航行状態を表すセンサデータ等を受信する。

撮影制御部１０４は、撮影設定情報に基づいて、カメラ４の撮影を制御する。撮影制御部１０４は、無線通信を通じて、ドローン１へ撮影設定情報に基づいた撮影制御情報を送信し、ドローン１からは撮影画像データ等を受信する。

記憶部１０５は、診断データ記憶部１０５Ａ、参照データ記憶部１０５Ｂを含む。診断データ記憶部１０５Ａは、現在の空撮時の診断画像群等を格納する。参照データ記憶部１０５Ｂは、過去の空撮時の参照画像群等を格納する。記憶部１０５の各画像データには、撮影時の日時、センサデータ、撮影設定情報等も関連付けられた状態で情報管理される。記憶部１０５には、その他、ユーザ設定情報や、図１の対象物データ、診断結果情報等も記憶される。

無線通信部１０６は、無線通信インタフェース装置を含み、所定の無線通信インタフェースで、ドローン１と無線通信を行う。

診断部１０７は、現在の診断データ及び過去の参照データを入力として、診断処理を行い、診断結果情報を出力する。診断部１０７は、マッチング部１０７Ａ、比較部１０７Ｂ、変換部１０７Ｃ、ＳＦＭ処理部１０７Ｄを含む。マッチング部１０７Ａは、診断データの診断画像群と、参照データの参照画像群とで、対応付け処理を行う。マッチング部１０７Ａは、特に、平面マッチング方式の対応付け処理を行う。比較部１０７Ｂは、対応付け後の比較対象画像において、過去の画像と現在の画像とを比較して、差分を判定することで、劣化、異常、変化等の状態の箇所（劣化箇所）を検出する。比較部１０７Ｂは、特に、平面マッチング方式の比較処理を行う。また、比較部１０７Ｂは、劣化等の種類や劣化度合い等を判定する。

変換部１０７Ｃは、画像から検出された劣化箇所を、対象物３次元モデル上に位置付ける処理として、劣化箇所を表す２次元座標情報を対象物３次元モデル上の３次元座標情報へ変換する座標変換処理を行う。変換部１０７Ｃは、その変換の際に、ＳＦＭ処理部１０７ＤのＳＦＭ処理を用いる。

ＳＦＭ処理部１０７Ｄは、公知のＳＦＭ処理を行う。ＳＦＭ処理部１０７Ｄは、入力の複数の画像に対し、ＳＦＭ処理を施して、３次元構造を復元し、結果情報を出力する。ＳＦＭ処理では、連続する最低２枚の複数の画像から、画像内の特徴点の２次元座標に基づいて、対象物５の表面の３次元構造（複数の特徴点の３次元座標で表される）及び視点位置（カメラ４位置）を復元する。

可視化部１０８は、診断部１０７の診断結果情報に基づいて、画面で劣化箇所等を可視化する処理を行う。可視化部１０８は、劣化箇所を対象物３次元モデル上に位置付けた画面を提供する。可視化部１０８は、画面に対するユーザの入力操作に応じて、劣化箇所の画像や情報を表示する。

［飛行体利用劣化診断システム（３）］
図３は、本診断システムの計算機システム１００におけるハードウェアやプログラムやデータの構成例を示す。計算機システム１００は、演算部１１１、入力部１１２、表示部１１３、無線通信部１０６、プログラム記憶部１１４、データ記憶部１１５、等を有し、それらがバス等で接続されている。

演算部１１１は、ＣＰＵ、ＲＯＭ、ＲＡＭ等で構成され、プログラム記憶部１１４から読み出したプログラムに従って処理を行うことで、診断部１０７等の各処理部を実現する。入力部１１２は、例えばキーボードやマウス等の入力機器を含み、ユーザによる入力を受け付ける。表示部１１３は、ユーザに対して画面を表示する。プリンタ等の他の出力機器を有してもよい。

プログラム記憶部１１４は、不揮発性メモリ等で構成され、診断システムの機能を実現するためのプログラムが格納されている。プログラムは、２次元画像劣化診断プログラム４０１、２次元画像劣化箇所３次元位置付けプログラム４０２、３次元モデル作成プログラム４０３、ルート設定プログラム４０４、カメラ調整プログラム４０５等を含む。

２次元画像劣化診断プログラム４０１は、過去及び現在の画像群の対応付け及び比較を含む診断処理（図２でのマッチング部１０７Ａ、比較部１０７Ｂ）を実現するプログラムであり、平面マッチング方式の処理を実現するプログラムを含む。

２次元画像劣化箇所３次元位置付けプログラム４０２は、画像から検出された劣化箇所を対象物３次元モデル上に位置付ける座標変換処理等（図２での変換部１０７Ｃ）を実現するプログラムである。このプログラムは、劣化箇所を表す２次元座標から対象物の３次元座標へ変換する際の２次元座標の選び方を処理するプログラムを含む。

３次元モデル作成プログラム４０３は、連続画像から対象物３次元モデル上の３次元構造を復元するＳＦＭ処理等（図２でのＳＦＭ処理部１０７Ｄ）を実現するプログラムである。なお、３次元モデル作成プログラム４０３（ＳＦＭ処理部１０７Ｄ）としては、外部のプログラムを利用してもよい。例えば、サーバ３とは別にＳＦＭ処理用の外部サーバが存在し、サーバ３がその外部サーバと通信し連携して機能を実現してもよい。

ルート設定プログラム４０４は、ドローン１のルート等を設定する処理を実現するプログラムである。基本的なルートの設定の仕方については特に限定しない。実際にドローン１を操縦して得たデータに基づいてルートを設定する方式でもよいし、操縦せずに設定画面で対象物３次元モデルに基づいて手動でルートを設定する方式でもよい。

カメラ調整プログラム４０５は、カメラ４のカメラパラメータを含む撮影設定情報を設定及び調整する処理を実現するプログラムである。

計算機システム１００は、無線通信に基づいて、ドローン１から、撮影画像データ１５１やセンサデータ１５２（位置、方位、速度、加速度等）を取得し、データ記憶部１１５に格納する。

データ記憶部１１５は、バッファメモリ、ストレージ装置、ＤＢサーバ等で構成でき、処理に用いる各種のデータ／情報が格納される。各種のデータ／情報の記憶部やＤＢは、別々の記憶装置やＤＢサーバ等で構成されてもよい。データ記憶部１１５は、診断データ記憶部１０５Ａ、参照データ記憶部１０５Ｂ、３次元モデル記憶部１０５Ｃ、診断結果情報記憶部１０５Ｄを含む。診断データ記憶部１０５Ａは、診断画像ＤＢ１６１、診断センサデータＤＢ１６２を含む。診断画像ＤＢ１６１には、診断対象の画像群（診断画像群）が時系列で整理されて格納される。診断センサデータＤＢ１６２には、診断画像群に関係付けられるセンサデータ群が時系列で整理されて格納される。参照データ記憶部１０５Ｂは、参照画像ＤＢ１７１、参照センサデータＤＢ１７２を含む。診断画像ＤＢ１７１には、比較対象として参照する画像群（参照画像群）が時系列で整理されて格納される。参照診断センサデータＤＢ１７２には、参照画像群に関係付けられるセンサデータ群が時系列で整理されて格納される。

なお、最新の日時の診断データの発生に応じて、その最新の診断データが診断データ記憶部１０５Ａに格納される。その際に既に格納されていたその前の日時の診断データについては順次に参照データ記憶部１０５Ｂに移動されて参照データとなる。

３次元モデル記憶部１０５Ｃには、対象物３次元モデルデータ１８１、復元３次元構造データ１８２、等が記憶される。対象物３次元モデルデータ１８１は、対象物５に関する現在及び過去の３次元モデルデータであり、ＣＡＤ等のデータを利用できる。復元３次元構造データ１８２は、ＳＦＭ処理によって復元された３次元構造データである。

診断結果情報記憶部１０５Ｄには、診断結果情報が格納される。診断結果情報は、検出された劣化箇所を表す２次元座標情報及び対応する空撮画像と、対象物３次元モデル上に位置付けられた劣化箇所を表す３次元座標情報とを含む。

計算機システム１００（ＰＣ２またはサーバ３）は、診断時には、ドローン１から取得した診断画像群やセンサデータ等の診断データを診断データ記憶部１０５Ａに一旦格納する。計算機システム１００は、診断データ記憶部１０５Ａから適宜必要な分の診断データを、処理用のメモリ（演算部１１１のメモリまたは他のメモリ）に読み出す。また、計算機システム１００は、参照データ記憶部１０５Ｂから、診断データと同じ対象物５に関する参照画像群やセンサデータ等の参照データのうちの適宜必要な分のデータを、メモリに読み出す。また、計算機システム１００は、３次元モデル記憶部１０５Ｃから、対象物３次元モデルデータ１８１をメモリに読み出す。計算機システム１００は、メモリに読み出した各データを用いて診断処理等を行う。

計算機システム１００は、診断処理の際、診断画像群に基づいて、ＳＦＭ処理を用いた変換処理によって、劣化箇所を含む対象物の３次元構造を復元し、復元３次元構造データ１８２として記憶する。計算機システム１００は、その復元３次元構造データ１８２を用いて、劣化箇所を対象物３次元モデル上に位置付ける。

ＰＣ２とサーバ３の処理分担の構成例としては以下である。ＰＣ２は、ドローン１から撮影画像データ１５１やセンサデータ１５２を取得し、それらのデータと共に処理要求をサーバ３へ送信する。サーバ３は、その処理要求に応じて、図２の診断部１０７の診断処理を行って、劣化箇所を検出し、劣化箇所を対象物３次元モデル上に位置付ける変換を行う。可視化部１０８は、その対象物３次元モデル上の劣化箇所を可視化する画面の画面データを生成する。サーバ３は、そのような診断結果情報を含む画面データを、ＰＣ２へ送信する。ＰＣ２は、その画面データに基づいて画面を表示する。

［飛行体利用劣化診断システム（４）］
図４は、実施の形態における概要として、対象物５の周囲の空撮、及び過去と現在の空撮画像の対応付け及び比較処理について示す。

図４の（Ａ）は、過去の空撮時（例えば２０１６年１月）における対象物５の周囲のルート及び連続画像４０１等を示す。本例では、対象物５として建築物の側壁面等を診断対象領域とする。本例では、ドローン１が対象物５の上空から斜め下を見るような方向で側壁面等を空撮する。なお、ドローン１は、所定のルールを満たす飛行可能空間内のルートを航行する。建築物の壁面には一般に所定の構造や壁面デザイン（例えば窓や柱等に応じたデザイン）を有する。ルート上の各点は、ドローン１及びカメラ４の位置及び撮像時点を示す。なお、ドローン１の位置とカメラ４の位置は概略的に同じとする。各点から出た一点鎖線矢印は、カメラ４の撮影方向を示す。一点鎖線矢印の先の点が撮影箇所を示し、画像の中心点を示す。この空撮によって、ドローン１から連続画像４０１が得られ、参照データの参照画像群として保存される。

図４の（Ｂ）は、同様に、同じ対象物５に関する、現在の空撮時（例えば２０１７年１月）におけるルート及び連続画像４０２等を示す。設定ルートは、（Ａ），（Ｂ）で同じであるが、実際のドローン１の航行軌跡は、設定ルートに対して揺れやずれがある。対象物５の側壁面の一部に劣化箇所４０３が生じている例を示す。この空撮によって、ドローン１から連続画像４０２が得られ、診断データの診断画像群として保存される。空撮の日時に応じて、風や光の状況が異なるので、各連続画像の画像内容にも違いが生じる。

計算機システム１００の計算機（ＰＣ２及びサーバ３）は、現在の診断データの診断画像群と過去の参照データの参照画像群とを入力し、対応付け及び比較を行うことで、劣化箇所を検出する。計算機は、その際、平面マッチング方式を用いて、各画像内の平面同士の対応付け及び比較を行う。これにより、対応付け及び比較の処理を容易化、効率化する。計算機は、診断処理の結果、例えば劣化箇所４０３を検出できる。計算機は、検出した劣化箇所４０３を対象物５の３次元モデル上に位置付けるように可視化した画面を提供する。

また、本診断システムでは、後述のルート設定方式、カメラ調整方式、段階的対応付け方式、部分的ＳＦＭ処理方式等を、追加機能として併用できる。これらの追加機能を併用することで、更に効率化ができる。

［ＤＢデータ／情報］
計算機システム１００のＤＢ３３等に取得、格納される、参照データ及び診断データ等の各種のデータ／情報として、以下を含む。

（ａ）撮影時間情報： 空撮の日時、及び時系列の各撮像時点の情報。例えば、年月月日分秒。

（ｂ）位置情報： ドローン１及びカメラ４の位置情報。例えば、ＧＰＳに基づいて測定される、緯度、経度、高度（地表からの高さ）を有する。位置は、対象物３次元モデルを含む３次元空間内の３次元座標（Ｘ，Ｙ，Ｚ）で表せる。高さ位置（Ｚ）については、別のセンサ（高さセンサ）を用いてもよい。ＧＰＳ以外の測位システムを用いてもよい。

（ｃ）カメラ撮影方向： カメラ４の撮影方向。ドローン１及びカメラ４の位置から撮影箇所へ向く方位。ドローン１のジンバル１４の制御に基づいて、カメラ撮影方向が制御可能である。

（ｄ）カメラパラメータ（撮影条件）： カメラ４の基本機能として設定可能な各種パラメータ。例えば、絞り、レンズ、シャッター、フラッシュ等の設定値。焦点距離、画角等。

（ｅ）劣化箇所情報及び劣化可能性推定値： 劣化箇所情報は、劣化箇所に関する画像内の２次元座標情報、及び対象物３次元モデル上の３次元座標情報を含む。劣化箇所情報は、劣化箇所を表す１つ以上の特徴点（変化点）、及びその集まりによる２次元領域としてもよい。劣化箇所情報は、劣化可能性推定値を含む。診断処理では、劣化箇所の３次元座標の位置における、劣化発生可能性が推定され、確率値で表現される。また、劣化箇所情報は、劣化種類及び劣化度合い等の情報を含んでもよい。

［処理フロー］
図５は、本診断システムの計算機システム１００の計算機（ＰＣ２及びサーバ３）の基本処理フローを示す。図５は、ステップＳ１〜Ｓ９を有する。以下、ステップの順に説明する。なお、このフローは、ドローン１の航行及び空撮と共にリアルタイムで診断処理等を行う方式の場合のフローである。これに限らず、ドローン１の航行及び空撮を一旦行った後に、撮影画像データ等を取得して診断処理を行う方式としてもよい。

（Ｓ１） 計算機は、ユーザの入力操作に基づいて、設定画面を表示し、基本設定を行う。基本設定として、対象物５（対象物３次元モデルデータ）の診断対象領域、診断の日時、ルート、撮影設定情報等が設定される。

（Ｓ２） 診断日時に、ＰＣ２からの制御に基づいて、ドローン１をルート上で自律航行させ、カメラ４によって対象物５の領域を空撮させる。ドローン１は、その際の撮影画像データやセンサデータを、ＰＣ２へ送信する。ＰＣ２は、それらのデータを診断データとして取得する。

（Ｓ３） 計算機の図２の診断部１０７は、診断データを入力し、診断データと同じ対象物５に関する参照データを参照して入力する。具体的には、例えば、ＰＣ２は、サーバ３へ、診断データ（診断画像群及び診断センサデータ）を送信する。サーバ３は、その診断データを入力し、ＤＢ３３から同じ対象物５に関する過去の参照データ（参照画像群及び参照センサデータ）を読み出す。この際、現在の診断日時から所定時間前の診断日時の参照データが候補として参照される。所定時間は、予め、対象物５等に応じて診断日時のスケジュールと共に設定されている。例えば、１年前、半年前、１月前、１周間前等、任意に設定可能である。

（Ｓ４） 診断部１０７は、入力された診断データ及び参照データについて、診断処理を行って、劣化箇所を判定、検出する。マッチング部１０７Ａは、診断画像群と参照画像群とで、対応付け処理を、平面マッチング方式で行い、比較対象画像を得る。その際、マッチング部１０７Ａは、画像から平面を検出し、検出した平面を用いて対応付けを行う。比較部１０７Ｂは、比較対象画像における過去の画像と現在の画像とで、画像内容を比較して、劣化等の状態の劣化箇所を判定、検出する。その際、比較部１０７Ｂは、画像から検出された平面同士で比較する。また、比較部１０７Ｂは、劣化種類や劣化度合い等を判定してもよい。

（Ｓ５） 診断部１０７は、診断データの２次元画像から劣化箇所を検出した場合、検出した劣化箇所を表す２次元座標情報等を、診断結果情報の一部として保存する。

（Ｓ６） 診断部１０７は、検出した劣化箇所を、対象物３次元モデル上へ位置付ける処理を行う。そのために、変換部１０７Ｃは、劣化箇所を表す２次元座標情報を、対象物３次元モデル上の３次元座標情報へ変換する座標変換処理を行う。その際、診断部１０７は、ＳＦＭ処理部１０７Ｄを用いてＳＦＭ処理を行わせる。ＳＦＭ処理部１０７Ｄは、事前に連続画像に対してＳＦＭ処理を行って３次元構造を復元し、透視変換行列Ｐを得る。変換部１０７Ｃは、診断画像群における劣化箇所が含まれている連続する最低２枚の画像から、透視変換行列Ｐに基づいて、劣化箇所の位置を表す３次元座標へ変換する。

（Ｓ７） 診断部１０７は、Ｓ６で得られた劣化箇所の３次元座標情報、及び復元３次元構造データ１８２等を、診断結果情報の一部として保存する。

（Ｓ８） 診断部１０７は、診断データの診断画像群の入力が終了したかどうか（連続入力画像がまだあるかどうか）を確認し、終了の場合（Ｙ）にはＳ９へ進み、終了ではない場合（Ｎ）にはＳ２へ戻って同様に繰り返す。

（Ｓ９） 可視化部１０８は、劣化箇所可視化処理を行う。可視化部１０８は、診断結果情報を用いて、劣化箇所を対象物３次元モデル上に位置付けた画面データ（例えばＷｅｂページデータ）を構成する。サーバ３は、その画面データをＰＣ２へ送信する。ＰＣ２は、その画面データに基づいて、ディスプレイに画面を表示する。ユーザは、その画面で、対象物３次元モデル上の劣化箇所等を確認できる。

［診断処理−平面マッチング方式（１）］
図６は、診断部１０７の診断処理（Ｓ４）における平面マッチング処理を含む処理フローを示す。図６は、ステップＳ４１〜Ｓ４３を有する。

（Ｓ４１） 診断部１０７は、入力の診断画像群及び参照画像群の各画像内から、平面部を検出する（後述の図７）。この平面検出処理は、画像内から特徴点やエッジ線を検出する処理を基本として実現できる。画像内の画素毎に色を有し、概略的に同じ色を持つ連続する領域を、平面（平面部）として検出できる。

（Ｓ４２） 診断部１０７のマッチング部１０７Ａは、検出された平面部を用いて、診断画像群と参照画像群とで対応付けを行い、比較対象画像を得る。この際には、例えば各画像の平面を比較し、概略的に同じ平面を持つ画像同士を対応付けることができる。

（Ｓ４３） 診断部１０７の比較部１０７Ｂは、対応付けられた比較対象画像において、過去の画像の平面と現在の画像の平面とで、平面レベルでの比較を行う。画像内に複数の平面を含む場合、平面毎に比較が行われる。診断部１０７は、この平面比較で、過去と現在の差分を判定、抽出することで、劣化箇所を検出する。この結果、診断部１０７は、画像内の劣化箇所を表す２次元座標情報を得る。なお、この２次元座標情報は、代表的な１つの特徴点の情報としてもよいし、劣化箇所を含む領域の形状や大きさに応じて、複数の特徴点から成る情報としてもよい。

上記対応付け及び比較処理は、画像レベルの処理ではなく、平面レベルの処理であるため、比較的容易であり、診断処理の効率化が実現でき、また、誤検出も低減できる。

また、上記平面マッチング方式を用いる場合、その後、変換部１０７Ｃでの座標変換処理の際には、平面部の情報を用いて平面レベルでの処理が行われる。

［診断処理−平面マッチング方式（２）］
図７は、上記診断処理における平面マッチング方式について示す。図７の上側には、参照画像及び診断画像の例を示す。第１例において、診断画像６０１及び参照画像６０２は、同じ対象物５の同じ箇所（例：図４の建築物の側壁面）を空撮した画像である。第１例では、所定の壁面デザインとして、線で区切られた複数の平面領域を含む場合である。撮影時の状況が異なることから、２つの画像の内容には違いがある。本例では、診断画像６０１内に、ひび割れのような劣化箇所７０１がある。

第２例において、同様に、診断画像６０３及び参照画像６０４は、同じ対象物５の同じ箇所（例：側壁面から出た立体構造物）を空撮した画像である。本例では、診断画像６０３内に、ひび割れのような劣化箇所７０２がある。

比較例の診断システムの場合、このような画像に対し、画像レベルの対応付け及び比較を行う。各画像内には、対象物５の表面の構造やデザインに応じて、色が異なる平面（平面部）が含まれている。平面マッチング方式では、このような平面を検出して利用する。診断部１０７は、画像内から特徴点やエッジ線を検出し、色が概略的に同じ領域を、平面として検出する。本例では、例えば、ある診断画像６０３からは、３つの平面部（平面ｐ１１〜ｐ１３とする）が検出されている。また、ある参照画像６０４からは、３つの平面部（平面ｐ２１〜ｐ２３とする）が検出されている。

診断部１０７は、画像から検出した平面を用いて、画像同士の対応付け及び比較を行う（平面レベルマッチング）。診断部１０７は、まず、平面を用いて、過去の１枚以上の画像と、現在の１枚以上の画像とを比較対象画像として対応付ける。次に、診断部１０７は、比較対象画像の画像間において、各画像内の各平面を用いて、平面同士を比較する。例えば、診断画像６０３の平面ｐ１１〜ｐ１３と、診断画像６０４の平面ｐ２１〜ｐ２３とが比較される。診断部１０７は、平面の位置関係や形状の類似性から、例えば平面ｐ１１と平面ｐ２１が対応していると推測し、平面ｐ１１と平面ｐ２１とを比較対象平面として対応付ける。同様に、推測に基づいて、平面ｐ１２と平面ｐ２２とを対応付け、平面ｐ１３と平面ｐ２３とを対応付ける。そして、診断部１０７は、それぞれの比較対象平面について、平面同士を比較して、両者の差分を判定することで、劣化箇所を検出する。例えば、平面ｐ１２と平面ｐ２２との比較から、劣化箇所７０２が検出できる。なお、劣化箇所が複数の平面にまたがっている場合には、それぞれの比較対象平面からそれぞれの劣化箇所として検出でき、それらの劣化箇所を１つに統合することで、検出できる。診断部１０７は、画像内の劣化箇所７０２を表す２次元座標を得る。

上記平面レベルマッチングは、従来の画像レベルマッチングに比べて、画像解析処理等が容易であり、処理負荷が低い。そのため、診断処理を効率化できる。

［劣化箇所検出処理］
診断部１０７は、上記画像から劣化箇所を検出する際に、以下のような処理を行ってもよい。診断部１０７は、劣化箇所７０２の劣化種類や劣化度合いを所定の処理によって判定してもよい。例えば、劣化種類として、ひび割れ、さび、腐食、剥離等を定義する。例えば、ひび割れの検出の場合、ひび割れの位置や領域、ひび割れの領域のサイズ、ひび割れの線の数、長さ、幅等が算出される。それらの定量化した数値に基づいて、ひび割れの劣化度合いが判定される。例えば、ひび割れに関する基準閾値との比較に基づいて、劣化度合いがいくつかのレベルとして判定される。

［変換処理］
図８は、診断部１０７の変換部１０７Ｃの変換処理（Ｓ６）のフローを示す。図８は、ステップＳ６１〜Ｓ６３を有する。

（Ｓ６１） 変換部１０７Ｃは、診断画像群に基づいて、劣化箇所が検出された画像（診断画像）として、連続する最低２枚の画像を入力する（後述の図９）。なお、最低２枚の画像が無い場合には変換ができないので、本処理フローは不成立とする。

（Ｓ６２） 変換部１０７Ｃは、入力された連続画像における１枚目の画像内における劣化箇所を表す２次元座標（ｘ１，ｙ１）と、２枚目の画像内における対応する劣化箇所を表す２次元座標（ｘ２，ｙ２）とから、公知の透視変換行列Ｐを用いた座標変換によって、対応する３次元座標（Ｘ１，Ｙ１，Ｚ１）を得る。透視変換行列Ｐは、予め、別のＳＦＭ処理によって得られる。変換で得られた３次元座標は、対象物３次元モデルを含む空間内における劣化箇所の位置を表している。３枚以上の連続画像がある場合にも同様の処理で実現可能であり、その場合には変換精度を高めることができる。

（Ｓ６３） 変換部１０７Ｃは、得られた３次元座標を、対象物３次元モデル上の劣化箇所位置として位置付ける。この位置付けは、情報処理上では関連付け処理として実現できる（後述の図１２）。また、変換部１０７Ｃは、対象物３次元モデル上の劣化箇所を、可視化の際の表現として所定の色や図像で強調表示するための劣化箇所画像を設定する。

［座標変換］
図９は、上記変換処理の概要として、劣化箇所を含む２枚の連続画像から３次元座標情報を得る座標変換を示す。カメラ４を含む空間の３次元座標系を（Ｘ，Ｙ，Ｚ）で示す。Ｏはカメラ位置を示す。画像内の２次元座標系を（ｘ，ｙ）で示す。

連続する２枚の２次元画像として、第１画像ｇ１、第２画像ｇ２を有する。第１画像ｇ１内の２次元座標系において、劣化箇所に対応する特徴点ｆ１（黒丸で示す）を有する。特徴点ｆ１の２次元座標（ｘ１，ｙ１）を示す。同様に、第２画像ｇ２内に、特徴点ｆ２を有し、特徴点ｆ２の２次元座標（ｘ２，ｙ２）を示す。ここでは、説明を単純化して、画像内に１つの特徴点を含む場合を示すが、複数の特徴点を含む場合にも同様である。変換部１０７Ｃは、特徴点ｆ１から特徴点ｆ２への特徴点対応付けを行う。

対象物を含む３次元空間内の劣化箇所に対応する特徴点を、特徴点Ｆ１とする。特徴点Ｆ１の３次元座標（Ｘ１，Ｙ１，Ｚ１）を示す。変換部１０７Ｃは、２枚の画像ｇ１，ｇ２から、透視変換行列Ｐを用いて座標変換を行うことで、３次元空間内の劣化箇所の特徴点Ｆ１の３次元座標（Ｘ１，Ｙ１，Ｚ１）が得られる。

［変換処理−平面変換方式（１）］
前述の座標変換（図８，図９）の際に、２次元座標の選び方を工夫することで、効率化ができる。変形例の診断システムでは、その工夫として、下記の平面変換方式を用いる。この平面変換方式では、前述の平面マッチング方式の平面情報を利用して、２次元座標を選択する。これにより、変換処理を効率化できる。

図１０は、変形例として、変換処理の際に平面変換方式を適用する場合の処理フローを示す。図１０は、ステップＳ７１〜Ｓ７６を有する。

（Ｓ７１） 変換部１０７Ｃは、劣化箇所が検出された連続画像における最低２枚の画像を入力する。

（Ｓ７２） 変換部１０７Ｃは、入力の連続画像における、前述の平面検出で検出された各平面の情報を入力する。

（Ｓ７３） 変換部１０７Ｃは、ある診断画像（第１画像）における劣化箇所（特徴点）が検出された平面（第１平面）と、その第１画像の第１平面に対応付けられる第２画像の第２平面とを参照する。例えば、図７では、比較対象平面における平面ｐ１２と平面ｐ２２が相当する。

（Ｓ７４） 変換部１０７Ｃは、対応付けられる平面同士（第１平面、第２平面）において、平面変換係数を計算する。

（Ｓ７５） 変換部１０７Ｃは、平面変換係数を用いて、第１画像の第１平面の劣化箇所の２次元座標（ｘ１，ｙ１）と、対応付けられる第２画像の第２平面の劣化箇所の２次元座標（ｘ２，ｙ２）とを算出する。

（Ｓ７６） 変換部１０７Ｃは、透視変換行列Ｐを用いて、２次元座標（ｘ１，ｙ１）及び２次元座標（ｘ２，ｙ２）から、劣化箇所の３次元座標（Ｘ１，Ｙ１，Ｚ１）を算出する。

［変換処理−平面変換方式（２）］
図１１は、上記平面変換方式での座標変換計算を示す。連続画像における、劣化箇所を含む第１画像内の第１平面ｐ１０１と、第２画像内の第２平面ｐ１０２とを示す。第１平面ｐ１０１と第２平面ｐ１０２は、平面マッチングによって対応付け及び比較される比較対象平面である。第１平面ｐ１０１内には、劣化箇所を表す特徴点ｆ１の第１座標（ｘ１，ｙ１）を有する。第２平面ｐ１０２内に、特徴点ｆ１に対応する特徴点ｆ２の第２座標（ｘ２，ｙ２）を有する。計算機システム１００は、第１平面ｐ１０１から第２平面ｐ１０２への平面変換係数Ｃを算出する。計算機システム１００は、平面変換係数Ｃを用いた座標計算によって、特徴点ｆ１の第１座標（ｘ１，ｙ１）から、特徴点ｆ２の第２座標（ｘ２，ｙ２）を算出する。

前述のように、劣化箇所の２次元座標から３次元座標への座標変換を行うが、その際には、図９のように、複数の視点の２次元座標情報が必要である。この際、複数の視点の情報を揃えるために、画像レベルでの対応付け処理が必要である。その処理の際、特徴点の対応付けの誤りが発生し得る。その誤りが発生した場合、対象物３次元モデルへの位置付けの精度の低下に影響する。そこで、この変形例では、平面変換方式として、劣化箇所（特徴点）の２次元座標を計算する方式を用いる。この平面変換方式では、画像レベルでの特徴点対応付け処理が不要である。これにより、対象物３次元モデルへの位置付けの精度を高めることができる。

［劣化箇所情報］
図１２は、診断結果情報のうちの劣化箇所情報に関するデータ格納構成例を示す。ＤＢのテーブル（表）に、劣化箇所情報が格納される。過去の参照データ、及び現在の診断データで同様の構造でデータが管理される。図示省略するが、撮像日時等の情報を用いて時系列でデータが管理される。

図１２の（Ａ）の表は、２次元画像データ表を示す。この表には、２次元画像の処理から得られた２次元情報が格納される。この表は、列として、画像ファイル、画像サイズ、劣化箇所ＩＤ、劣化箇所２次元座標を有する。画像ファイルは、連続画像における各々の静止画の画像を示す。画像サイズは、画像の縦横の画素数等で表される。劣化箇所ＩＤは、その画像内で検出された劣化箇所（劣化発生可能性が高い箇所）に関する識別子を示す。劣化箇所２次元座標は、その画像内の劣化箇所の位置を表す２次元座標（ｘ，ｙ）を示す。

図１２の（Ｂ）は、３次元モデルデータ表を示す。この表には、前述の２次元から３次元への位置付けの変換によって得られた３次元情報が格納される。この表は、列として、劣化箇所ＩＤ、劣化箇所３次元座標（Ｘ，Ｙ，Ｚ）、対応２次元画像ファイルを有する。劣化箇所ＩＤは、２次元画像データ表の劣化箇所ＩＤに基づいて生成されている。劣化箇所３次元座標（Ｘ，Ｙ，Ｚ）は、対象物３次元モデル上に位置付けられた劣化箇所の３次元座標である。対応２次元画像ファイルは、この劣化箇所に対応する２次元画像（劣化箇所を含む画像）のファイルを示し、２次元画像データ表の画像ファイルに関連付けられている。

［劣化箇所可視化機能］
図１３は、２次元から３次元への劣化箇所の位置付けを行う劣化箇所可視化機能及びその画面例について示す。

図１３の（Ａ）は、診断画像１３０１の例として、対象物５の側壁の立体構造部分１３０２の一部から劣化箇所１３０３が検出された場合を示す。劣化箇所１３０３の２次元座標（ｘ１，ｙ１）を有する。計算機システム１００の変換部１０７Ｃは、前述のように、診断画像１３０１の劣化箇所１３０３の２次元座標（ｘ１，ｙ１）から、対象物３次元モデル上の３次元座標（Ｘ１，Ｙ１，Ｚ１）への変換処理を行う。そして、可視化部１０８は、変換情報に基づいて、対象物３次元モデル上に劣化箇所を位置付けて可視化する画面を生成する。

図１３の（Ｂ）は、その可視化画面の構成例を示す。この画面では、背景上に所定の設定視点からみた対象物３次元モデル１３１１が表示されている。対象物５を表す対象物３次元モデル１３１１は３次元点群として表現される。画面での視点や拡大縮小率等は、ユーザ操作によって変更可能である。対象物３次元モデル１３１１の周囲には、対象物５の基本情報、ルートや発着点等を表示してもよい。そして、対象物３次元モデル１３１１の表面上に、劣化箇所１３１３の３次元座標（Ｘ１，Ｙ１，Ｚ１）が位置付けられている。劣化箇所は、２次元領域として表される場合には、サイズ等の情報も有する。劣化箇所は、前述の変換処理による画像として強調表示される。このように、本画面で、ユーザは、対象物５の全体のうちどこに劣化箇所があるか等をわかりやすく確認できる。例えば、対象物５の表面の構造が複雑で、似たような構造の箇所を多く有する場合、画像からは劣化箇所が認識しにくいが、３次元モデル上に位置付けることで劣化箇所が認識しやすい。

図１３の（Ｃ）は、（Ｂ）の画面から遷移する他の可視化画面の構成例を示す。ユーザは、（Ｂ）の画面で、劣化箇所の詳細を確認したい場合、その劣化箇所を選択操作（例えばクリック、タップ等）する。これにより、可視化部１０８は、（Ｃ）のような画面を構成して表示する。なお、（Ｂ）の画面から（Ｃ）の画面を全体表示するように遷移してもよいし、（Ｂ）の画面上に（Ｃ）の画面を重ねて表示してもよい。また、所定のユーザ操作で（Ｃ）の画面から（Ｂ）の画面へ戻ることができる。（Ｃ）の画面では、劣化箇所を中心に拡大表示し、劣化箇所に関する各種情報（診断日時、対象物名称、劣化種類、劣化度合い等）を併せて表示する。また、所定のユーザ操作に基づいて、劣化箇所を含む２次元画像（診断画像群の一部）を関連付けて表示するようにしてもよい。また、（Ｂ）や（Ｃ）の画面では、劣化箇所を強調表示する。例えば、劣化箇所を含む２次元領域を、劣化種類や劣化度合いに応じて色を付けた枠で強調表示してもよい。また、（Ｃ）の画面では、所定のユーザ操作に基づいて、劣化箇所に関する現在及び過去の画像を比較表示することもできる（下記）。

図１４は、他の可視化画面例として、画像比較表示画面を示す。図１３の（Ｂ）や（Ｃ）の画面から、所定のユーザ操作に基づいて、劣化箇所を指定し、図１４の画面へ遷移できる。可視化部１０８は、ユーザが指定した劣化箇所に関して、この画面で、過去及び現在の時系列で画像比較表示を行う。この画面では、時系列を選択可能なバー１４０１等のＧＵＩ部品と、現在の画像１４０２と、過去の画像１４０３とを表示する。最初、指定された劣化箇所に関して、現在の画像１４０２（劣化箇所を含む診断画像）が表示される。例えば、現在日時が２０１７年１月である。また、現在の日時から所定時間（例えば１年）前の過去の日時に、対応する参照データの参照画像が存在する場合、過去の画像１４０３が表示される。また、対応するデータが存在する場合、ユーザは、バー１４０１において、比較対象とする過去及び現在の２つの日時を任意に変更できる。変更後の２つの日時の画像が、現在の画像１４０２及び過去の画像１４０３として表示される。各画像には、劣化度合い等の情報を併せて表示してもよい。

他の画面表示例としては、３つ以上の日時の複数の画像を比較表示してもよいし、同じ領域で複数の画像を切り替えながらアニメーション表示してもよい。

上記のように、劣化可視化機能では、ユーザは、画面で、検出された劣化箇所について、対象物３次元モデル上の位置と共に、対応する画像内容を見て詳細を確認できる。ユーザは、過去から現在への時系列で、劣化箇所の発生や進行に伴う劣化度合い等の変化の状態をわかりやすく確認できる。そのため、点検補修作業の計画等にも寄与できる。

［劣化箇所可視化機能−変形例］
劣化箇所可視化機能及び画面に関する変形例として以下も可能である。可視化部１０８は、まず、図１３の（Ｂ）のような画面で、対象物３次元モデルを表示し、劣化箇所（診断結果情報）については表示しない。ユーザは、対象物５の構造に関する知見や過去の劣化発生実績に基づいて、画面で対象物３次元モデル上の所望の箇所を選択操作する。例えば、対象物５が橋である場合で、橋の構造上、予め、劣化が発生する可能性が高いとわかっている箇所がある場合に、その箇所が選択される。可視化部１０８は、選択された箇所（点または領域）に関して、過去の参照データ及び現在の診断データが存在する場合、その部分に関する診断結果情報を参照する。可視化部１０８は、その診断結果情報から、劣化箇所を対象物３次元モデル上に位置付けた画面、あるいは過去と現在の画像の比較表示画面等を生成して表示する。

他の変形例として以下としてもよい。計算機システム１００は、ドローン１から空撮画像等を取得した後、診断処理をすぐには実行しない。可視化部１０８は、画面に、対象物３次元モデルを表示する。ユーザは、その画面で、診断処理対象とする所望の箇所（点または領域）を選択操作する。計算機システム１００は、選択指定された箇所に関して、対応する過去の参照データ及び現在の診断データの存在を確認して読み出す。計算機システム１００は、読み出したデータを用いて、選択された箇所に関する診断処理を実行する。可視化部１０８は、診断結果情報から、劣化箇所を対象物３次元モデル上に位置付けた画面、あるいは過去と現在の画像の比較表示画面等を生成して表示する。

上記変形例の場合、一部の画像データを対象に診断処理を行うので、対象物５の全領域の診断はできないが、短い処理時間で診断ができる。

［効果等］
上記のように、実施の形態の飛行体利用劣化診断システムによれば、過去と現在の空撮画像を比較して対象物の劣化等の状態を診断する際に、診断の効率や精度を高めることができる。本診断システムによれば、飛行体の空撮画像に基づいた劣化診断の作業を支援して効率化を図ることができ、更には劣化診断の自動化を図ることができる。本診断システムによれば、人による目視の画像確認等の作業を低減でき、低コストで劣化診断を実現できる。本診断システムによれば、画面で対象物３次元モデル上に劣化箇所等を可視化でき、診断者は劣化箇所等をわかりやすく認識でき、点検補修等の作業も容易になる。

［変形例（１）］
実施の形態の変形例の診断システムとして以下が挙げられる。変形例として、前述の診断部１０７で、平面マッチング方式（または画像レベルマッチング方式）で過去と現在の画像群の対応付け及び比較処理を含む診断処理（図５のＳ４、図６）を行う際に、公知の機械学習を適用してもよい。機械学習方式としては、深層学習方式を適用してもよい。例えば、図７のような平面レベルの対応付け及び比較処理を、機械学習で行うことにより、自動的に劣化箇所を検出できる。診断部１０７は、入力の診断画像群及び参照画像群の各画像について、機械学習（例えば深層学習）処理を施すことで、劣化箇所を検出する。機械学習を用いる場合、予め、機械学習の教師情報として、劣化箇所を含む画像等が入力されて学習が行われる。

［変形例（２）］
前述の実施の形態では、空撮時に撮影画像データを得ると共に診断処理を開始し、診断画像群と参照画像群とで同様の処理を適用する方式としたが、これに限らず可能である。変形例として、予め、診断日時よりも事前の処理として、参照データの画像群について、平面マッチング方式の平面検出等の処理を行い、その処理結果情報をＤＢに格納しておく。これにより、診断日時の診断処理の際には、診断データに対し、参照データの処理結果情報を読み出して処理を行えばよいので、全体処理時間を短縮できる。

［変形例（３）］
前述の過去及び現在の画像群について、平面マッチング方式の対応付け及び比較処理を適用しようとする際に、画像によっては平面検出等が難しい場合がある。例えば、対象物５の表面の構造が複雑な場合に、ノイズが多くなり、全く平面が検出できない場合や、細かい多数の平面しか検出できない場合があり得る。変形例の診断システムでは、入力画像が、そのように平面が検出しにくい画像である場合に、例外として扱い、平面マッチング処理を適用せずに、画像レベルマッチング処理等の他の処理を適用して対処する。

［変形例（４）］
前述の診断処理では、対応付けられた画像同士を比較して、両者の差分から劣化箇所を検出する。その際、処理方式にも依るが、一般にはノイズを伴う。診断精度を高めるためには、そのノイズの低減が有効である。そこで、変形例の診断システムでは、２段階のノイズ除去処理を適用する。計算機システム１００は、第１段階として、比較対象画像の画像データ全体に対し、所定のノイズ除去処理、例えば所定のフィルタ処理を適用する。計算機システム１００は、第１段階のノイズ除去処理後、その画像に残っているノイズ部分に関するノイズ度合いを、所定の評価処理で評価する。計算機システム１００は、その評価で得たノイズ度合いと、所定の閾値とを比較し、ノイズ度合いが閾値を越えるノイズ部分を含む画像について、第２段階のノイズ除去処理を適用する。第２段階のノイズ除去処は、例えば第１段階とは別の所定のフィルタ処理等である。これにより、診断処理の際に劣化箇所の誤検出を低減できる。

［変形例（５）−ルート設定方式］
変形例として、追加機能におけるルート設定方式について説明する。このルート設定方式の機能では、過去のルート及び参照データ等に基づいて、現在及び未来の診断のためのドローン１の好適なルート、診断日時、撮影設定情報等を自動的に生成し、事前設定する。好適なルート、診断日時、及び撮影設定情報とは、過去の画像内容に対して現在の画像内容の揺れやずれ等が低減されるようなルート、診断日時、及び撮影設定情報である。具体的には、対象物５の環境における光や風の状況、時期や天候等を考慮して、診断対象領域がなるべく鮮明に写るように、ルート、診断日時、及び撮影設定情報が設定される。言い換えると、過去の設定ルートに基づいて、所定の補正によって、現在の好適なルートが生成される。この機能によって事前設定されたルート、診断日時、及び撮影設定情報に従って実際に空撮を行わせる。これにより、過去と現在の画像内容の違いが小さく、同じ診断対象領域が鮮明に写った診断画像群が得られやすくなる。そのため、対応付け及び比較処理を容易化でき、診断精度を高めることができる。

図１５は、上記ルート設定方式の機能について、対象物５の周囲のルート及び撮影設定情報等の例を示す。図１５の（Ａ）は、過去のある日時に設定された、基本ルート及び撮影設定情報を示す。この基本ルート及び撮影設定情報は、例えば対象物５の側壁面の診断対象領域をカバーするように設定される。基本ルート上、ドローン１及びカメラ４の位置（３次元座標）及び撮像時点毎に、撮影方向、及び撮影条件等が設定される。

図１５の（Ｂ）は、（Ａ）の基本ルート、撮影設定情報、及び実際に空撮した結果の参照データに基づいて、ルート設定機能を用いて生成した好適なルート（補正ルート）及び撮影設定情報等を示す。

本ルート設定方式では、好適なルートを設定する際、空間的な情報（ルート上の位置等）を決定する部分については、過去のルート、及びそのルート上の実際の航行結果情報に基づいて決定される。好適なルートにおける時間的な情報（診断日時、ルート上の撮像時点等）を決定する部分については、過去のルートの時間情報に基づいて、時期や天候、太陽光の日当たりや影、風向きや風速、ドローン１と対象物５との位置関係、カメラ４の撮影方向、等を考慮して決定される。

計算機システム１００は、風や光の状況を考慮した補正計算によって、基本ルート及び撮影設定情報を補正することで、補正ルート及び撮影設定情報を得る。計算機システム１００は、時期や天候等に応じた、風向きや風速、太陽光の向きや光量、対象物５とドローン１との位置関係等を考慮して、補正計算を行う。補正計算によって、ルート上の位置、撮像時点、撮影方向、及び撮影条件等が補正される。

本機能の補正例としては、以下が挙げられる。
・光が当たりやすい時期や天候に合わせて、おすすめ診断日時を設定する。
・相対的に光が当たりにくい領域について、撮影方向や撮影条件を補正する。
・風向き等に合わせて、撮像時点及び時間間隔を補正する。

また、計算機システム１００は、（Ａ）の基本ルートの空撮時の参照画像群から、風や光の状況を考慮した画像内容を判断し、例えば、診断対象領域からのずれ等が大きい箇所や、鮮明さが不足する箇所等を検出してもよい。また、計算機システム１００は、例えば、診断日時に、センサを用いて、風速、風向き、温度等を計測し、その計測値を考慮して、ルート及び撮影設定情報を補正してもよい。

本機能によれば、好適なルート等の設定によって、時間的に異なる画像の画像内容の違いを低減し、対応付け及び比較処理を容易にし、診断精度を高めることができる。

なお、実施の形態の診断システムでは、ユーザが、ドローン１の基本ルートを設定し、診断日時には、そのルート上を自律航行させる。診断日時にユーザがドローン１を操縦する必要は無い。また、ルートは、所定のルールを守るように設定される。ルールの例としては、航行が許容される所定の時期や時間帯、場所がある。また、飛行体の航行時の高さ、飛行体の重さ等に制限がある。また、飛行体と対象物との間に所定の距離が確保される。飛行体の下に多数の人がいる場合には飛行不可とされる。

［ルート設定処理］
図１６は、計算機システム１００のルート設定機能の処理フローを示す。図１６は、ステップＳ１０１〜Ｓ１０５を有する。

（Ｓ１０１） 計算機システム１００は、設定画面でのユーザ操作に基づいて、ルート設定機能のルート設定が指示された場合、過去のルート設定情報、参照データ、診断結果情報等を読み出して入力する。参照データは、参照画像群、参照センサデータ、撮影情報等を含む。撮影情報は、診断及び空撮の日時、撮影タイミング（ルート上の撮像時点）、カメラ４の撮影設定情報、等を含む。

（Ｓ１０２） 計算機システム１００は、入力データである過去の日時の設定ルート及び参照データ等に基づいて、現在の日時の診断のための空間的に好適なルートを生成する。空間的に好適なルートとは、対象物５の診断対象領域を、ずれ等が少なく空撮できるルートである。過去の実績の航行ルートは、設定ルートに対してずれ等がある。計算機システム１００は、その差を低減するように、好適なルートを生成する。

（Ｓ１０３） 計算機システム１００は、入力データである過去の日時の撮影情報等に基づいて、現在の日時の診断のためのカメラ４の好適な撮影設定情報を生成する。好適な撮影設定情報とは、対象物５の診断対象領域を、ずれ等が少なく撮影できる撮影方向、撮影タイミング、撮影条件等である。

（Ｓ１０４） 計算機システム１００は、入力データである過去の日時の診断結果情報等に基づいて、現在の日時の診断のための、好適な診断日時を生成し、おすすめ診断日時とする。好適な診断日時とは、対象物５の診断対象領域を、なるべく鮮明に撮影できる時期や時間帯である。

（Ｓ１０５） 計算機システム１００は、上記生成したルート、診断日時、撮影設定情報等の各情報を、設定画面に表示してユーザに対し確認を行う。ユーザは、設定画面で各情報を確認し、採用する場合には、確定ボタンを押す。ユーザは、提示された情報を一部修正して採用することもできる。これにより、計算機システム１００は、現在または未来の診断のための好適なルート、診断日時、撮影設定情報等を事前設定する。

［変形例（６）−カメラ調整方式］
変形例として、追加機能うち、カメラ調整方式の機能について説明する。このカメラ調整方式の機能では、ドローン１のルートに従って航行中に、リアルタイムでカメラ４の撮影設定を調整するように撮影制御を行う。この調整は、過去の画像に対する現在の画像内容の揺れやずれ等が低減されるように撮影設定を変更することである。具体的には、空撮時に、ルート上の所定の撮像時点毎に、現在と過去の画像で重複度合いがなるべく大きくなるように、カメラ４の撮影方向、撮影タイミング、撮影条件等を補正する。

図１７は、変形例におけるカメラ調整方式として、空撮中のカメラ調整の例について示す。この機能では、ドローン１の空撮時に、所定の時間間隔の制御時点毎に、対象物５の診断対象領域を、過去の画像に対してなるべくずれ等が少なく撮影できるように、リアルタイムでカメラ４の撮影方向等を調整する。これにより、現在の診断日時の空撮画像の内容を、過去の参照画像の内容になるべく近付ける。これにより、診断処理の際に、対応付け及び比較処理が容易化され、診断精度を高めることができる。

具体的に、計算機システム１００は、所定の時間間隔の制御時点（例えば時点ｔ１，ｔ２，ｔ３）毎に、現在の画像と過去の画像とで重複度合いを計算する。現在の画像と過去の画像とで重複する領域を斜線領域で示す。計算機システム１００は、制御時点間で、重複度合いがなるべく大きくなるように、カメラ４の撮影方向等の撮影設定情報をリアルタイムで調整する。例えば、時点ｔ１の状態に基づいて、次の時点ｔ２の撮影設定情報を調整するように調整処理が行われる。

この方式におけるカメラ４の調整処理（補正処理）は、撮像時点毎ではなく、それよりも粗い所定の時間間隔の制御時点毎に行うことで、処理負荷を低くして実現する。また、この方式では、所定の時間間隔の画像毎に補正処理を行っているが、その際、後述のグループ分け設定を用いて、グループ毎（例えばグループ内の代表画像毎）に調整処理を行うようにしてもよい。また、変形例として、カメラ４の撮影設定情報だけでなく、ドローン１の航行パラメータを調整することで、同様の目的を実現するようにしてもよい。

［カメラ調整処理］
図１８は、上記カメラ調整機能の処理フローを示す。図１８は、ステップＳ２０１〜Ｓ２０５を有する。

（Ｓ２０１） 計算機システム１００は、設定に基づいて診断日時にドローン１による空撮を行わせる。計算機システム１００は、ドローン１（カメラ４）からリアルタイムで空撮画像データを受信、入力する。計算機システム１００は、入力の診断画像群の時系列の連続画像から所定の時間間隔の制御時点毎に１枚ずつ画像（抽出診断画像とする）を順次に抽出する。

（Ｓ２０２） 計算機システム１００は、入力の診断画像群の抽出診断画像に基づいて、対応する参照画像群を参照し、各画像の撮影情報を用いた対応付けによって、参照画像群から画像（抽出参照画像とする）を抽出する。計算機システム１００は、抽出参照画像と抽出診断画像とを比較対象画像として対応付ける。

（Ｓ２０３） 計算機システム１００は、上記対応付けた比較対象画像において、過去の画像と現在の画像との重複度合いを重複率として計算する。また、計算機システム１００は、両画像のずれ等の方向（図１７、ずれ方向）を計算する。ずれ方向は、例えば両画像の中心点を結ぶベクトルとして得られる。なお、重複率に限らず、重複面積等を計算するようにしてもよい。

また、計算機システム１００は、両画像の重複率を計算する際に、前述の平面マッチング処理を用いてもよい。この場合、各画像内の平面同士での重複率を計算する。これにより、調整処理を効率化できる。

（Ｓ２０４） 計算機システム１００は、上記重複率及びずれ方向に基づいて、所定時間間隔の制御時点間の撮影設定情報の調整のための調整量を計算する。ここでは、カメラ４の撮影方向を調整する場合とする。計算機システム１００は、現時点のカメラ４の撮影方向（例えば図１７の撮影方向１７０１）から、次の時点の撮影方向（例えば撮影方向１７０２）への調整量を計算する。この際、計算機システム１００は、調整量として、両画像の重複率を高める方向（ずれ方向に対する反対方向）へ移動させるための画素数を計算する。そして、計算機システム１００は、その移動画素数に対応したカメラ４の撮影方向の調整量を計算する。

（Ｓ２０５） 計算機システム１００は、上記で得た調整量に従って、次の時点のためのカメラ４の撮影設定情報を変更するようにリアルタイムで制御する。上記のような処理が時点毎に同様に繰り返される。

［変形例（７）−段階的対応付け方式］
変形例として、追加機能のうち、段階的対応付け方式の機能について説明する。前述のように、基本的に対応付け及び比較処理は難しく、処理負荷が高い。過去と現在の画像内容において類似度合いが高い画像同士でないと、対応付けが難しい。この変形例の段階的対応付け方式では、過去と現在の画像群の対応付け処理に関して、グループ分けを用いて、例えば２段階で実現する。

計算機システム１００の計算機は、予め、対象物３次元モデルデータの３次元構造、ルート、撮影設定情報（例えばカメラ撮影方向）等の情報に基づいて、対象物５を含む空間全体を、複数のグループ（空間部とも記載する）に分ける。グループは、時空間における大まかな区分の空間部に相当する。グループ分けの仕方は特に限定しない。例えば、建築物の構造部分や壁面部分等に応じてグループ分けしてもよい。例えば、カメラ撮影方向（またはドローン１の進行方向）の類似性に応じてグループ分けしてもよい。

計算機は、前述の対応付け処理の際に、まず、第１対応付けとして、グループ単位での粗い対応付けを行う。計算機は、診断画像群を、グループ分けに対応させて、複数の画像群（画像グループ）に分ける。計算機は、過去のある画像グループと、現在のある画像グループとを、比較対象グループとして対応付ける。第１対応付けは、グループ毎の情報を用いて比較的に容易にできる。

次に、第１対応付け後、計算機は、第２対応付けとして、比較対象グループ内の画像単位で対応付けを行う。計算機は、過去と現在の画像グループの間において、画像同士で、前述の平面レベルでのマッチング、または画像レベルのマッチングを行い、比較対象画像を得る。計算機は、グループ内で対応付けられた画像同士で比較処理を行って、劣化箇所を判定、検出する。画像レベルマッチングを用いる場合には、各画像内から検出される複数の特徴点に基づいて対応付けを行う。

計算機は、上記２段階の対応付け処理後に、各グループ単位の比較処理後の診断結果情報を接続して１つに統合することで、総合的な診断結果情報を得る。

図１９は、変形例における、段階的対応付け方式について示す。図１９の（Ａ）は、参照画像群とグループの例を示す。空間内にグループＧ１，Ｇ２，Ｇ３等を有する。そのグループに対応させて画像グループが設定される。図１９の（Ｂ）は、診断画像群とグループの例を示す。空間内にグループＧ１１，Ｇ１２，Ｇ１３等を有する。そのグループに対応させて画像グループが設定される。計算機は、第１対応付けで、画像グループ同士を対応付ける。例えば、グループＧ１とグループＧ１１とが対応付けられる。計算機は、第２対応付けで、例えば、グループＧ１内の複数の画像と、グループＧ１１内の複数の画像とで対応付けを、平面マッチング方式等を用いて行う。

上記方式によれば、対応付け処理を効率化し、処理時間を短縮できる。上記グループ単位の第１対応付け処理については、更に以下のように行ってもよい。計算機システム１００は、予め、参照画像群の複数のグループ（画像グループ）について、以下の処理を行う。計算機システム１００は、グループ毎に、複数の画像から、１つの画像（代表画像とする）を選択する。例えば、所定の時間間隔毎の撮像時点の画像が選択される。あるいは、例えば、対象物３次元モデル上で、特定の箇所に対応する画像が選択されてもよい。図１９では、代表画像の例を二重枠の四角で示す。計算機は、参照データにおいて、グループ内の選択した代表画像毎に、詳細情報として、画像内の特徴点の位置座標情報等を記憶する。計算機は、第１対応付け処理の際には、グループ内の代表画像の詳細情報を用いて、診断画像群の画像グループの画像と比較することで、グループ単位での対応付けを行う。

［変形例−部分的ＳＦＭ処理方式］
変形例として、追加機能のうち、部分的ＳＦＭ処理方式の機能について説明する。この部分的ＳＦＭ処理方式では、大量の空撮画像データがある場合に、全部の画像にＳＦＭ処理を行うのではなく、一部の画像にＳＦＭ処理を行う。

公知のＳＦＭ処理は、複数の２次元画像から対象物の３次元構造（表面の構造を表す特徴点等）及びカメラ位置等を復元する処理である。本診断システムでは、例えば前述の変換の際に、ＳＦＭ処理を用いて、連続画像の最低２枚の複数の画像（画像内の劣化箇所の２次元座標）から、対象物３次元モデル上の３次元構造（劣化箇所の３次元座標）を復元する。しかし、公知のＳＦＭ処理は、比較的処理負荷が高いため、大量の空撮画像データに実行すると、長時間を要し、効率が良くない。

そこで、この部分的ＳＦＭ処理方式では、候補となる多数の空撮画像のうち、選択した一部の画像に対し、ＳＦＭ処理を実行して、劣化箇所を表す３次元情報（特徴点、３次元座標）を得る。

ＳＦＭ処理対象の選択の仕方としては、予め、対象物５を含む空間全体が複数の空間部（前述のグループとしてもよい）に分けられ、診断画像群がそれに対応させて複数の画像群に分けられる。計算機は、その空間部の画像群を単位として、ＳＦＭ処理対象として選択する。

また、この部分的ＳＦＭ処理方式では、診断画像群における複数の各々の空間部の画像群に対し、複数のＳＦＭ処理を並列的に実行し、複数のＳＦＭ処理の結果情報を、１つの結果情報に統合する。上記機能により、診断処理負荷を低くし、処理時間を短縮できる。

図２０は、変形例における、部分的ＳＦＭ処理方式について示す。計算機システム１００は、例えば、診断画像群について、空間部に対応するグループ単位で選択して、ＳＦＭ処理を適用する。図２０では、例えば、複数の空間部として、グループＧ２１，Ｇ２２，Ｇ２３を有する。グループは予め設定可能である。計算機は、診断画像群を、グループに対応させて、複数の画像群に分ける。計算機は、診断画像群のグループから、ＳＦＭ処理対象のグループを選択する。本例では、グループＧ２１〜Ｇ２３のすべてを対象とする。計算機は、選択したグループＧ２１〜Ｇ２３について、グループ毎にＳＦＭ処理を実行する。例えば、ＳＦＭ処理部１０７Ｄは、複数のグループのグループ毎のＳＦＭ処理を、並列計算処理で行ってもよい。計算機システム１００は、グループ毎のＳＦＭ処理結果情報を得た後、１つの情報に統合する。

なお、空間部（グループ）の分け方の構成によっては、統合の際に、ずれ等が発生し得る。そのため、予め、好適な空間部（グループ）に分ける設定が望ましい。例えば、空間部（グループ）同士のつながり部分における情報量が少なくなるように設定する。これにより、統合の際に、ずれ等が発生しにくくなり、ＳＦＭ処理精度を高くできる。

［変形例−優先空撮方式］
変形例として、優先空撮方式について説明する。この優先空撮方式では、対象物５のうち、特定の箇所または領域に着目し、その特定の箇所を、優先箇所として、優先的に空撮するように、ルート及びカメラ４の撮影設定情報等を設定及び制御する。例えば、ユーザは、設定画面の対象物３次元モデルにおいて、予め、特定の箇所または領域を、優先箇所として設定する。特定の箇所は、例えば、対象物５の構造の知見や過去の診断の実績から、劣化等の発生可能性が高いとわかっている箇所である。過去の参照データに基づいて、検出済みの劣化箇所を、優先箇所として設定してもよい。

図２１は、優先空撮方式について示す。本例では、対象物５が橋である。その橋の３次元モデル構造等に基づいて、相対的に劣化（例えば応力集中による亀裂、化学反応による腐食等）の発生可能性が高い箇所が、優先箇所として設定される。本例では、優先箇所２１０１を示す。計算機システム１００は、その優先箇所の設定情報に基づいて、その優先箇所を優先的に空撮するための好適なルートやカメラ４の撮影設定情報を設定する。ここでは、基本的なルートに基づいて、カメラ４の撮影方向や撮影条件を補正する場合を示す。本例では、ルート上で、連続する所定の複数の撮像時点及び位置において、同じ優先箇所を向くように、カメラ４の撮影方向が設定される。実際の空撮時には、その撮影設定情報に従って、カメラ４の撮影方向が制御される。

これにより、診断画像群として、その優先箇所を含む複数の画像が得られる。候補として、同じ優先箇所を撮影した複数の画像がある。そのため、計算機システム１００は、その優先箇所に関して、対応付け及び比較処理を容易に実現でき、診断精度を高くすることができる。

（他の実施の形態）
図２２は、本発明の他の実施の形態の診断システムにおける、対象物を含む空撮画像及び対象物３次元モデルについて示す。対象物として、電柱及び電線に適用する場合を示す。この形態では、診断処理において、前述の劣化箇所に相当する状態及び箇所として、対象物（電柱及び電線）とその周囲の他の物体（樹木等）との接触状態の接触箇所を診断、検出する。

図２２の（Ａ）は、対象物を含む空撮画像の例を示す。本例では、画像内において、道路付近に、２本の電柱を有し、２本の電柱を経由する電線を有する。そして、他の物体として、樹木を有する。電線と樹木とが接触している可能性がある。計算機システム１００は、前述の実施の形態と同様の対応付け及び比較処理を含む診断処理に基づいて、このような接触箇所を推定、検出する。計算機システム１００は、２次元画像から、接触箇所の候補を検出した場合、２次元情報から対象物３次元モデルへの位置付けを行い、可視化画面を表示する。

計算機システム１００は、診断処理の際、例えば電線が細いことから、画像から電線が検出しにくい場合がある。また、そのことから、電線と樹木との接触の判定が難しい場合がある。その場合、計算機システム１００は、以下のように処理を工夫する。

計算機システム１００は、過去及び現在の空撮画像から、前述の比較処理、あるいはＳＦＭ処理や機械学習等によって、所定の対象物や他の物体を検出し、対象物と他の物体との接触箇所の候補を検出する。計算機システム１００は、接触箇所候補の２次元座標から、対象物３次元モデル上の３次元座標を計算し、対象物３次元モデル上に位置付ける。その際、接触箇所候補は、所定の強調表示で可視化される。

計算機システム１００は、空撮画像から電線を検出できない場合、空撮画像または過去の対象物３次元モデルから付近の２本の電柱を検出し、２本の電柱の３次元座標を得る。計算機システム１００は、３次元空間内の２本の電柱からの電線の位置の推定として、２本の電柱の先端部を結ぶ電線を、推定の電線として仮設定する。計算機システム１００は、対象物３次元モデル上にその推定の電線を位置付けて表示する。その際、推定の電線は、所定の表現で可視化される。これにより、ユーザは、まず、画面で、その接触箇所候補に関してわかりやすく認識できる。よって、電気設備点検等の計画が立てやすくなる。

更に、計算機システム１００は、対象物３次元モデル上で、接触箇所候補について、推定の電線と、樹木等の物体との接触判定を行う。計算機システム１００は、接触可能性を数値として計算し、ユーザに対して判定結果として表示してもよい。例えば、計算機システム１００は、空撮画像から、樹木等の他の物体の高さを概略的に検出し、推定の電線の高さと比較することで、接触状態を判定する。あるいは、計算機システム１００は、空撮画像から、樹木等の物体についても、ＳＦＭ処理等によって３次元構造（特徴点）を復元し、対象物３次元モデル上で、推定の電線と樹木等の物体とを比較して、接触状態を判定してもよい。これにより、ユーザは、画面で、接触箇所候補に関する接触可能性を確認できる。

以上、本発明を実施の形態に基づいて具体的に説明したが、本発明は前述の実施の形態に限定されず、その要旨を逸脱しない範囲で種々変更可能である。

１…ドローン、２…ＰＣ、３…サーバ、４…カメラ、５…対象物、２１…ドローン制御機能、２２…診断クライアントプログラム、２３…記憶部、３２…診断サーバプログラム、３３…ＤＢ、１００…計算機システム、２００…飛行体利用劣化診断及び劣化箇所可視化ソフトウェア。

Claims (4)

1. 飛行体による撮影を利用して対象物の劣化を含む状態を診断する計算機システムを備える劣化診断システムであって、
   前記計算機システムは、
   前記対象物の周囲のルートを航行し前記対象物を撮影するカメラを有する前記飛行体の航行及び前記カメラの撮影を制御し、
   所定の日時に前記飛行体を前記ルートで航行させて前記飛行体の前記カメラを用いて前記対象物を連続的に撮影した画像群を含むデータを取得してＤＢに記憶し、
   同じ前記対象物に関して、現在の日時に撮影した診断画像群を含む診断データと、前記ＤＢから参照した過去の日時に撮影した参照画像群を含む参照データとに基づいて、現在の画像と過去の画像とで同じ箇所を含む画像を、比較対象画像として対応付け、
   前記比較対象画像の現在の画像と過去の画像とで比較して差分を判定することで、前記現在の画像から前記劣化を含む状態の劣化箇所を検出し、
   前記現在の画像内の前記劣化箇所を表す２次元座標を、前記対象物の３次元モデルを含む空間内の３次元座標に位置付けるように変換し、
   前記変換後の前記空間内の前記劣化箇所を含む診断結果情報を、可視化する画面を生成して、ユーザに対して表示し、
   前記対象物の前記３次元モデル、または前記カメラの撮影方向の区分に応じて、前記診断画像群及び前記参照画像群を、時空間における複数のグループに分け、
   前記対応付けの際、前記グループ単位の画像群同士での第１対応付けを行い、
   前記第１対応付け後に、前記グループ内の画像単位での第２対応付けを行い、
   前記第２対応付けの際、前記診断画像群と前記参照画像群とで、各画像内から平面部を検出し、現在の画像の平面部と過去の画像の平面部とで対応付け、
   前記比較の際、前記現在の画像の平面部と前記過去の画像の平面部とで比較して差分を判定することで、前記現在の画像から前記劣化箇所を検出し、
   前記変換の際、前記診断画像群における複数の画像の各画像内の前記劣化箇所を表す２次元座標を、透視変換行列に基づいて、前記対象物の前記３次元モデル上の３次元座標へ変換し、
   前記第２対応付け後に、各前記グループ単位の処理結果情報を統合する、
   劣化診断システム。
2. 請求項１記載の劣化診断システムにおいて、
   前記計算機システムは、前記対象物の前記３次元モデル上の特定の箇所、または時間間隔に基づいて、前記グループ毎に複数の画像から１つの代表画像を選択し、前記代表画像毎に特徴点の情報を記憶し、前記第１対応付けの際に、前記グループ内の前記代表画像の情報を用いて比較を行う、
   劣化診断システム。
3. 請求項１記載の劣化診断システムにおいて、
   前記計算機システムは、前記対象物の前記劣化箇所に関して、前記過去の画像と前記現在の画像との比較を含む、時系列での変化を可視化する画面を生成する、
   劣化診断システム。
4. 請求項１記載の劣化診断システムにおいて、
   前記計算機システムは、
   前記複数のグループから、処理対象を選択し、
   前記変換の際、前記処理対象として選択したグループ毎に、前記診断画像群における複数の画像の各画像内の前記劣化箇所を表す２次元座標を、透視変換行列に基づいて、前記対象物の前記３次元モデル上の３次元座標へ変換し、前記グループ毎の変換結果を統合する、
   劣化診断システム。

Images