JP7332353B2

JP7332353B2 - 点検システム及び点検方法

Info

Publication number: JP7332353B2
Application number: JP2019112661A
Authority: JP
Inventors: 正也山根; 直樹日野; 大介椋木
Original assignee: NTT Comware Corp
Current assignee: NTT Comware Corp
Priority date: 2018-07-18
Filing date: 2019-06-18
Publication date: 2023-08-23
Anticipated expiration: 2039-06-18
Also published as: JP2020022157A

Description

本発明は、点検システム及び点検方法に関する。

ドローン等の移動体によって撮影した写真の写真データに基づいて、設備の点検を実施する設備点検支援システムがある。
例えば、特許文献１には、撮像部が車両の走行に応じて移り変わる路面を随時撮像し、路面画像に写り込んだ路面不具合を、不具合解析用人工知能を用いることにより検出することが記載されている。

特開２０１８－１７１０３号公報

ところで、このような設備等の点検では、多くの画像が撮影される。情報処理装置は、多くの画像の中から、画像に映り込んだ不具合等の点検結果を、ユーザに分かり易く表示することが求められている。
上記事情に鑑み、本発明は、点検結果を、ユーザに分かり易く表示できる点検システム及び点検方法を提供することを目的としている。

本発明の一態様は、点検対象である設備の移動体による撮影について、撮影位置を示す第１座標を取得する第１取得部と、前記設備の３次元モデルを含む仮想空間において、前記仮想空間内の位置を示す第２座標を入力される第２取得部と、前記第１座標、及び前記第２座標に基づいて、複数の２次元画像のうち、前記仮想空間内の位置が写された２次元画像を選択する画像選択部と、前記画像選択部が選択した２次元画像を出力する出力部と、を備える点検システムである。

本発明の一態様は、上記の点検システムであって、前記第１取得部は、前記撮影について、撮影方向を示す撮影角を取得し、前記画像選択部は、前記撮影角に基づいて、複数の２次元画像のうち、前記仮想空間内の位置が写された２次元画像を選択する。

本発明の一態様は、上記の点検システムであって、前記画像選択部は、前記第１座標、前記撮影角、及び前記第２座標に基づいて、前記２次元画像の各々における位置であって前記第２座標に対応する位置を算出し、算出した位置に応じて前記２次元画像を選択する。

本発明の一態様は、上記の点検システムであって、前記移動体が前記設備を撮影する装置はカメラであって、前記画像選択部は、２次元画像の撮影位置に対応した仮想空間内の位置の点群座標を取得する撮影位置点群座標取得部と、前記撮影位置点群座標取得部が取得した前記点群座標が示す位置を始点とし、前記第２座標が示す位置を終点とする第１ベクトルを取得する第１ベクトル取得部と、前記２次元画像が撮影された撮影方向に基づいた回転行列を取得する回転行列取得部と、前記回転行列と単位ベクトルとの積を取得する積取得部と、前記第１ベクトルと前記積とのなす角Ａを取得する積取得部と、前記なす角Ａがカメラ撮影範囲に入っているかの判定部と、前記カメラ撮影範囲に入っている写真の中で最小距離の写真を記録する記録部と、を備える、請求項１から３のいずれか一項に記載の点検システム。

本発明の一態様は、点検対象である設備の移動体による撮影について、撮影位置を示す第１座標を取得する第１取得ステップと、前記設備の３次元モデルを含む仮想空間において、前記仮想空間内の位置を示す第２座標を入力される第２取得ステップと、前記第１座標、及び前記第２座標に基づいて、複数の２次元画像のうち、前記仮想空間内の位置が写された２次元画像を選択する画像選択ステップと、前記画像選択ステップにおいて選択された２次元画像を出力する出力ステップと、を有する点検方法である。

本発明により、点検結果を、ユーザに分かり易く表示できる。

実施形態の点検システム１００のシステム構成の具体例を示す図。実施形態における点検装置２のハードウェア構成の具体例を示す図。実施形態における点検装置２の起動時に表示部２３に表示されるフライト選択画面の具体例を示す図。実施形態における第１画像の具体例を示す図。実施形態における３Ｄ表示領域３０１に表示される画面の具体例を示す図。実施形態における３Ｄ表示領域３０１において選択カーソル３２２が示す点と写真表示領域３０２に表示される写真との具体例を示す図。３Ｄ表示領域３０１に表示される仮想空間内不具合位置を説明する説明図。実施形態における第２画面の具体例を示す図。実施形態における第３画面の具体例を示す図。実施形態における第４画面の具体例を示す図。実施形態におけるレポート報告画面の具体例を示す図。実施形態におけるレポート画面の具体例を示す図。実施形態における３Ｄ表示領域３０１に表示される飛行経路の具体例を示す図。実施形態における主制御部２４の機能構成の具体例を示す図。実施形態における第１処理部２４２の機能構成の具体例を示す図。実施形態における第１処理と、第１処理によって選択された２次元画像の表示との具体的な処理の流れを示すフローチャート。実施形態における第１副処理の具体的な処理の流れを示すフローチャート。実施形態における式（１）が満たされる場合における、第１ベクトルＶ_１、ベクトルＧ、撮影位置仮想点及び最近接点の関係を表す図。実施形態における第２処理部２４３の機能構成の具体例を示す図。実施形態における第２処理の具体的な処理の流れを示すフローチャート。実施形態における第２副処理の具体的な処理の流れを示すフローチャート。実施形態における表示枠中心位置を説明する説明図。実施形態における交点Ｑｉを視覚的に説明する説明図。実施形態における計測処理の具体的な処理の流れを示すフローチャート。実施形態における点Ａ_ｉ－１、点Ａ_ｉ－２、点Ｑ_Ａ１、点Ｑ_Ａ２、ｄｘ、ｄｙ及びｄｚを視覚的に説明する説明図。変形例の点検システム１００ａのシステム構成の具体例を示す図。変形例における点検装置２ａのハードウェア構成の具体例を示す図。変形例における判定済み不具合箇所ボタン３１１、撮影点連結線ボタン３１２及び不具合推定箇所ボタン３１３の具体例を示す図。変形例の点検システム１００ｂのシステム構成の具体例を示す図。変形例における点検装置２ｂのハードウェア構成の具体例を示す図。

（実施形態）

＜点検システムについて＞
図１は、実施形態の点検システム１００のシステム構成の具体例を示す図である。
点検システム１００は、ドローン１及び点検装置２を備える。設備９は、点検システム１００の点検対象である。
点検システム１００において、ドローン１は、１又は複数の設備９の周囲を飛行しながら、設備９の外観の写真（２次元画像の一例）を撮影する。点検装置２は、写真を撮影した撮影位置を示す撮影位置座標を取得する。点検装置２は、撮影位置座標に基づいて、仮想空間における撮影位置を表示させる。点検装置２は、不具合箇所（点検結果の一例）を示す不具合表示枠（付加画像の一例；図７（ｂ）参照）が付加された写真を、仮想空間の位置と対応づけて表示させる（図４参照）。

このように、点検システム１００は、点検結果を示す付加画像が付加された写真を、仮想空間の位置と対応づけて表示させる。これにより、点検システム１００は、点検結果を、ユーザに分かり易く表示できる。

＜点検システムの各装置について＞
ドローン１は、撮像部１１、ＧＰＳ（Global Positioning System）受信機及び送信機を備える。送信機は、ドローン１を点検装置２に接続するための通信インタフェースを含んで構成される。ドローン１が備える送信機は、点検装置２に所定の情報を送信する。撮像部１１は、撮影対象を撮影可能であればどのようなものであってもよい。撮像部１１は例えば、カメラである。以下、説明の簡単のため撮像部１１がカメラであると仮定する。ドローン１は、カメラによって、設備９を撮影する。ここで、ドローン１は、設備９の近傍と設備９の遠方とにおいて、設備９を撮影する（図４参照）。
設備９の近傍として、ドローン１は、設備９の外壁に沿って飛行し、外壁に向かう方向を撮影方向として、例えば外壁から数メートル以内の距離で、設備９の一部を撮影する。一方、設備９の遠方として、ドローン１は、設備９の上空を飛行し、例えば設備９から１０メートル以上の距離で、設備９の全体を撮影する。なお、設備９の遠方で撮影された写真は、設備９やその周囲の三次元モデル（点群）の生成に用いられてもよい。

ドローン１は、ＧＰＳ受信機によって、ドローン１が飛行した位置を示す飛行位置座標を取得する。また、ドローン１は、撮影によって、写真の画像データ（「撮影画像データ」と称する）を取得する。ドローン１は、撮影毎に、撮影条件に関する情報であって、撮影時の情報（「撮影時情報」とも称する）を取得する。撮影時情報には、各撮影時の飛行位置座標である撮影位置座標と、各撮影時の撮影方向を示す撮影角と、各撮影時の時刻を示す撮影時刻とが含まれる。
ドローン１は、送信機によって、撮影画像データ、撮影時情報、及び飛行位置座標を、点検装置２に送信する。

点検装置２は、撮影画像データ、撮影時情報及び飛行位置座標を取得する。点検装置２は、点検装置２は、撮影時情報に含まれる撮影位置座標に基づいて、仮想空間における撮影位置を表示させる。点検装置２は、不具合表示枠が付加された写真を、仮想空間の位置と対応づけて表示させる。

＜点検装置のハードウェア構成＞
図２は、実施形態における点検装置２のハードウェア構成の具体例を示す図である。点検装置２は、パーソナルコンピュータやサーバ等の情報処理装置を用いて構成される。点検装置２は、バスで接続されたＣＰＵ（Central Processing Unit）やメモリなどを備える。点検装置２は、プログラムを実行することによって、通信部２１、入力部２２、表示部２３、主制御部２４、表示制御部２５及び補助記憶装置２６を備える装置として機能する。なお、点検装置２の各機能の全て又は一部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されてもよい。プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。プログラムは、電気通信回線を介して送信されてもよい。

通信部２１は、自装置をドローン１に接続するための通信インタフェースを含んで構成される。通信部２１は、ドローン１が備える送信機を介して、撮影画像データ、撮影時情報及び飛行位置座標を取得する。通信部２１が取得した各種情報は、補助記憶装置２６に記録される。

入力部２２は、キーボード、ポインティングデバイス（マウス、タブレット等）、ボタン、タッチパネル等の既存の入力装置を用いて構成される。入力部２２は、ユーザの指示を点検装置２に入力する際にユーザによって操作される。入力部２２は、入力装置を点検装置２に接続するためのインタフェースであっても良い。この場合、入力部２２は、入力装置においてユーザの入力に応じ生成された入力信号を点検装置２に入力する。入力部２２は、ユーザによって指定された画面上の位置を示す座標（以下「画面座標」という。）を取得する。入力部２２は、画面座標を例えばポインティングデバイスを用いて取得する。画面座標は、例えば表示装置の画面左上を原点として横方向の軸（例えば横軸）の値（例えば横座標値）と縦方向の軸（例えば縦軸）の値（例えば縦座標値）との組み合わせを用いて表されてもよい。

表示部２３は、ＣＲＴ（Cathode Ray Tube）ディスプレイ、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ等の画像表示装置である。表示部２３は、設備９の不具合箇所に関する各種情報を表示する。

主制御部２４は、点検装置２が備える各機能部の動作を制御する。表示制御部２５は、入力部２２によって入力されたユーザの指示に基づいて、表示部２３の表示を制御する。また、表示制御部２５は、入力部２２が取得した画面座標に基づいて、表示部２３の表示を制御する。

補助記憶装置２６は、磁気ハードディスクや半導体記憶装置などの記憶装置を用いて構成される。補助記憶装置２６は、各種情報を記憶する。補助記憶装置２６が記憶する各種情報は、設備９の不具合箇所に関する情報（以下「不具合情報」という。）を含む。不具合情報とは、不具合箇所の位置や、不具合箇所の不具合の種類や、不具合箇所の不具合のレベルや、不具合箇所であると判定された時刻や、不具合である確からしさなどである。不具合情報は、どのように取得された情報であってもよい。不具合情報は、ユーザが写真に基づいて取得した情報であってもよいし、機械学習やディープラーニング（ＤｅｅｐＬｅａｒｎｉｎｇ）（以下「ＤＬ」という。）の方法によって取得された情報であってもよい。

補助記憶装置２６は、ドローン１の各飛行における飛行位置座標と、撮影時情報と撮影画像データとを記憶する。また、補助記憶装置２６は、ドローン１が備えるカメラの焦点距離と、ドローン１が備えるカメラのセンサの幅とを予め記憶する。また、補助記憶装置２６は、仮想空間に関する仮想空間情報と、設備９の３次元モデルの仮想空間内における位置を示す３次元モデル情報とを予め記憶する。仮想空間情報は、仮想空間の境界を定義する情報と、仮想空間を張る座標に関する情報と、仮想空間を見る視点に関する情報とを含む。

補助記憶装置２６は、操作結果を記録する。操作結果とは、点検装置２の起動以降に点検装置２に対して実行された操作に基づいて取得された各種情報である。各種情報は、どのような情報であってもよく、例えば、起動以降の不具合箇所情報の更新履歴を示す情報であってもよい。また、各種情報は、例えば、起動以降に編集された写真の数を示す情報であってもよい。各種情報は、例えば、起動以降に選択された設備９の不具合の数を示す情報であってもよい。各種情報は、例えば、起動以降に選択された不具合箇所の不具合のレベルを示す情報であってもよい。各種情報は、例えば、起動以降に選択された不具合箇所の不具合の種類を示す情報であってもよい。各種情報は、例えば、起動以降に選択された不具合箇所が不具合と判定された日時を示す情報であってもよい。

以下、図３～図１４によって、表示部２３の表示の具体例を説明する。

図３は、実施形態における点検装置２の起動時に表示部２３に表示されるフライト選択画面の具体例を示す図である。点検装置２の起動時に、表示制御部２５は、表示部２３にフライト選択画面を表示させる。フライト選択画面には、ドローン１の飛行毎に飛行に関する飛行関連情報が表示される。飛行関連情報は、飛行期間情報、飛行領域情報、点検対象情報及び撮影枚数情報を含む。飛行期間情報は、ドローン１が飛行した期間を示す。飛行領域情報は、飛行した場所を示す。点検対象情報は、飛行時の点検対象を示す。撮影枚数情報は、飛行期間中にドローン１が撮影した写真の枚数を示す。ドローン１の１回の飛行は、ドローン１が離陸（出発）してから着陸（停止）するまでのドローン１の飛行である。以下、ドローン１の１回の飛行を単位飛行という。
例えば、図３に示す飛行関連情報Ｄ１０１は、飛行した期間が２０１７年９月２８日の１０時から１３時である飛行を表す。
飛行関連情報は、飛行位置座標及び撮影時情報に基づいて、主制御部２４によって取得される。
図３において、Ｄ１０２は飛行期間情報の具体例を表す。図３において、Ｄ１０３は飛行領域情報の具体例を表す。図３において、Ｄ１０４は、点検対象情報の具体例を表す。図３において、Ｄ１０５は、撮影枚数情報の具体例を表す。

表示制御部２５は、表示部２３に、フライト選択画面に表示された飛行関連情報をユーザが選択可能に表示させる。ユーザが飛行関連情報の少なくともひとつを選択すると、表示制御部２５は、選択された飛行関連情報に応じた第１画像を表示部２３に表示させる。

図４は、実施形態における第１画像の具体例を示す図である。第１画像は、３Ｄ表示領域３０１、写真表示領域３０２、比較ボタン３０３、レポート表示ボタン３０４及び飛行ログボタン３０５を有する。

３Ｄ表示領域３０１には、特定の視点から見た仮想空間の３次元画像が表示される。仮想空間は、実空間のモデルである。３Ｄ表示領域３０１は、仮想空間中の仮想空間内撮影位置を強調表示する。仮想空間内撮影位置は、実空間における撮影位置（すなわち、撮影位置座標が示す位置）に対応する仮想空間内の位置である。３Ｄ表示領域３０１には、設備９と設備９の周辺にある物との３次元モデルが表示されてもよい。３次元モデルは、表示部２３にどのように表されてもよい。３次元モデルは、例えば、点群によって表されてもよいし、３Ｄマップによって表されてもよい。また、３次元モデルは点群と３Ｄマップとによって表されてもよい。以下、説明の簡単のため、３次元モデルは、点群によって表されると仮定する。

３Ｄ表示領域３０１に表示される仮想空間及び３次元モデルは、仮想空間情報及び３次元モデル情報に基づいて、表示制御部２５の制御によって表示部２３に表示される。

３Ｄ表示領域３０１に表示される仮想空間は、入力部２２を介した操作によって、所定の大きさよりも拡大又は縮小されて表示されてもよい。例えば、入力部２２がマウスである場合、３Ｄ表示領域３０１に表示される仮想空間は、マウス操作によって、拡大又は縮小されて表示されてもよい。

なお、視点の位置は入力部２２を介した操作に応じて変更されてもよい。このことによって、３Ｄ表示領域３０１には、操作前とは異なる位置の視点から見られた仮想空間の画像が表示される。例えば、入力部２２がマウスである場合、３Ｄ表示領域３０１に表示される３次元モデルは、マウスのドラッグ＆ドロップ操作によって、回転されて表示されてもよい。回転されるとは、例えば、３Ｄ表示領域３０１に表示される３次元モデルの画像が、３次元モデル正面の画像から、３次元モデルの裏面の画像になることである。

３次元モデルを表す点は、入力部２２によってユーザが選択可能である。仮想空間内における点の位置は、仮想空間に対して張られた所定の３次元座標（以下「点群座標」という。）によって表される。

写真表示領域３０２には、撮影画像データが表す写真が表示される。写真表示領域３０２に表示される写真は、選択された点にある物を写した写真である。写真表示領域３０２に表示される写真は、実際の写真を縮小した画像であってもよい。写真表示領域３０２には、撮影位置と設備９との距離が所定の距離よりも短い写真が表示される。写真表示領域３０２は、例えば、図５の点３２０－１～３２０－Ｎを撮影位置とする写真を表示せず、図５の点３２１－１～３２１－Ｍを撮影位置とする写真のみ表示してもよい。このように表示することで、ユーザは、不具合箇所を写した可能性の低い写真をチェックする必要がなくなる。そのため、ユーザは、不具合箇所を写した可能性が高い写真を見つけることが容易になる。

図５は、実施形態における３Ｄ表示領域３０１に表示される画面の具体例を示す図である。図５は、仮想空間内撮影位置が３次元モデルに重ねて表示されている。表示制御部２５は、撮影位置座標に基づいて、表示部２３の画面に仮想空間内撮影位置を表示する。仮想空間内撮影位置は、撮影された順番に線で結ばれて表示されてもよい。以下、仮想空間内撮影位置を結ぶ線を、撮影点連結線という。
このような撮影点連結線が表示されることで、ユーザは撮影された順番を視覚的に把握することが可能となる。

なお、３Ｄ表示領域３０１に表示される３次元モデルが拡大又は縮小されて表示される場合、仮想空間内撮影位置を示す強調表示された画像の大きさは同じ倍率で変化してもよいし、しなくてもよい。仮想空間内撮影位置を示す強調表示された画像の大きさが同じ倍率で変化しない場合、仮想空間内撮影位置を示す強調表示された画像の大きさは３次元モデルの拡大又は縮小に依らず、同じ大きさで表示されてもよい。

図５において、仮想空間内撮影位置は、点３２０－１～３２０－Ｎ（Ｎは整数）及び点３２１－１～３２１－Ｍ（Ｍは整数）である。
図５において点３２１－１～３２１－Ｍは、設備９の近傍の撮影位置を表す。図５において、点３２０－１～３２０－Ｎは、設備９の遠方の撮影位置を表す。点３２１－１～３２１－Ｍが表す撮影位置は、点３２０－１～３２０－Ｎが表す撮影位置よりも設備９の近くに位置する。そのため、点３２１－１～３２１－Ｍが表す位置において撮影された画像には、点３２０－１～３２０－Ｍが表す位置において撮影された画像よりも明瞭に不具合箇所が写る。

なお、３Ｄ表示領域３０１には、必ずしも、１回の飛行における撮影位置だけが表示される必要はない。３Ｄ表示領域３０１には、複数回の飛行における撮影位置が表示されてもよい。複数回の飛行における撮影位置は、単位飛行ごとに互いに識別可能に重ねて表示されてもよい。

なお、表示制御部２５は、必ずしも、仮想空間内撮影位置を３次元モデルに重ねて表示する必要はない。表示制御部２５は、仮想空間内撮影位置だけを３Ｄ表示領域３０１に表示してもよい。

３Ｄ表示領域３０１には、選択カーソル３２２が表示される。選択カーソル３２２は、入力部２２を介したユーザの操作によって仮想空間内を移動する。選択カーソル３２２が示す仮想空間内の位置はユーザが選択可能である。

３Ｄ表示領域３０１には、撮影方向指示画像３２３が表示される。撮影方向指示画像３２３は、撮影角が示す実空間における方向に対応する仮想空間内の方向を示す。撮影方向指示画像３２３は、例えば、仮想空間内撮影位置から延びる白線であってもよい。

３Ｄ表示領域３０１は、実空間における設備９の不具合箇所に対応する仮想空間内の位置（以下「仮想空間内不具合位置」という。）を強調表示して表示する。図５において、点３２４は、仮想空間内不具合位置を表す。仮想空間内不具合位置を示す情報は、後述する第２処理部２４３が実行する処理によって補助記憶装置２６に記憶されている。

図６は、実施形態における３Ｄ表示領域３０１において選択カーソル３２２が示す点と写真表示領域３０２に表示される写真との具体例を示す図である。

図６において、選択カーソル３２２が示す位置は、設備９の３次元モデルの端部である。表示制御部２５は、撮影位置座標に基づき、後述する第１処理部２４２が実行する処理によって、選択カーソル３２２が示す位置の仮想空間内の座標に応じた写真を、写真表示領域３０２に表示させる。具体的には、図６において、写真表示領域３０２には設備９の端部が写る写真が表示される。

図７は、３Ｄ表示領域３０１に表示される仮想空間内不具合位置を説明する説明図である。図７（ａ）は、仮想空間内不具合位置を表示する３次元モデルの具体例である。図７（ｂ）は、図７（ａ）における選択カーソル３２２が示す点に応じて、写真表示領域３０２に表示される写真の具体例を示す図である。

図７（ｂ）の写真は、選択カーソル３２２が示す仮想空間内の点が表す実空間の位置で撮影された写真である。仮想空間内の各点の仮想空間における位置は、それぞれ実空間上に対応する位置が存在する。そこで、以下簡単のため、選択カーソル３２２が示す点に対応する実空間の位置を、選択カーソル３２２が示す実位置、という。図７（ｂ）の写真は、より具体的には、選択カーソル３２２が示す実位置にあるドローン１が、撮影角が示す方向にある設備９を撮影した写真である。

図７（ａ）における点３２５－２～３２５－４は、仮想空間内不具合位置を示す。点３２５－３～２３５－４は、図７（ｂ）の写真における不具合箇所Ｂ２、不具合箇所Ｂ３及び不具合箇所Ｂ４の位置に対応した仮想空間内の位置を示す。図７（ａ）における点３２５－２に対応する不具合箇所は、図７（ｂ）の写真に写らない位置にある不具合箇所である。

図７（ａ）において、点３２６は、不具合箇所が写る写真が撮影された撮影位置を示す。以下、不具合箇所が写る写真が撮影された撮影位置を不具合箇所撮影位置という。不具合箇所撮影位置を示す点は、不具合箇所が写る写真が撮影されなかった撮影位置よりも強調表示される。強調表示の方法は、例えば、色分けであってもよいし、アイコンであってもよいし、アニメーションであってもよい。

また、不具合箇所撮影位置は、単に不具合箇所を含む写真が撮影された撮影位置か否かだけによらず、不具合情報に応じた強調表示がされてもよい。不具合情報に応じた強調表示とは、例えば、不具合箇所の位置に応じた強調表示や、不具合箇所の不具合の種類に応じた強調表示や、不具合箇所の不具合のレベルに応じた強調表示や、不具合箇所であると判定された時刻に応じた強調表示や、不具合である確からしさに応じた強調表示である。

図７（ｂ）に示すように、写真表示領域３０２に表示される写真に写る不具合箇所は強調表示されてもよい。例えば、写真に写る不具合箇所は、不具合箇所を中心とする四角形の枠で囲まれてもよい。以下、説明の簡単のため、写真に写る不具合箇所は、四角形の枠で囲まれると仮定して説明を行う。また、以下、写真に写る不具合箇所を示す四角形の枠を不具合表示枠という。図７（ｂ）において、不具合表示枠ＤＩＳＰ１、不具合表示枠ＤＩＳＰ２及び不具合表示枠ＤＩＳＰ３は不具合表示枠の具体例である。

図４の説明に戻る。比較ボタン３０３は、ユーザが選択可能なボタンである。選択カーソル３２２が仮想空間内撮影位置を示す場合に比較ボタン３０３が選択されると表示制御部２５は、一覧表示処理を実行する。表示制御部２５による一覧表示処理の実行により、図８に遷移し、表示部２３には撮影時刻一覧３０６が表示される。撮影時刻一覧３０６は、選択カーソル３２２が示す実位置において撮影がされた時刻の一覧である。撮影時刻一覧３０６が表示する各時刻はユーザが選択可能である。撮影時刻一覧３０６に表示される時刻は、それぞれ異なる単位飛行中の時刻であってもよい。このような場合、撮影時刻一覧３０６は、選択カーソル３２２が示す実位置において撮影を行った単位飛行を表す。撮影時刻一覧３０６は、必ずしも時刻を表示しなくてもよく、選択カーソル３２２が示す実位置において撮影を行った単位飛行を示す情報を表示してもよい。
以下、説明の簡単のため、撮影時刻一覧３０６は時刻を表示し、表示された時刻は、それぞれ異なる単位飛行中の時刻であると仮定する。
表示制御部２５は、撮影時刻一覧３０６に表示された時刻のひとつが選択された場合に、表示部２３を制御して、写真表示領域３０２に第２画面を表示させる。

図８は、実施形態における第２画面の具体例を示す図である。
第２画面には、撮影位置及び撮影方向が略同一である写真であって、異なる単位飛行時に撮影された複数の写真が表示される。ここで、表示制御部２５は、画面に表示された単位飛行の第１仮想空間内撮影位置が選択された場合、この第１仮想空間内撮影位置と同一又は略同一の第２仮想空間内撮影位置であって、別の単位飛行の第２仮想空間内撮影位置を特定する。表示制御部２５は、選択された第１仮想空間内撮影位置で撮影された写真と、特定した第２仮想空間内撮影位置で撮影された写真を表示させることで、第２画面を表示させる。
以下、説明の簡単のため、撮影位置及び撮影方向が略同一であることを、撮影空間条件が略同一、という。

このように、撮影空間条件が略同一の写真であって、異なる単位飛行時に撮影された写真が並べて表示されることで、不具合箇所の変化を知ろうとするユーザの視線の動きを少なくすることができる。そのため、ユーザは、設備９の変化や、不具合箇所の変化を知ることが容易になる。

第２画面に表示された写真は、ユーザが選択可能である。ユーザは、例えば、写真上をマウスでクリックすることで選択することができる。

また、第２画面には、写真選択バー３０７が表示される。写真選択バーは、写真が撮影された順番を進捗位置によって示す。写真選択バーのバー上は選択可能である。ユーザは、写真選択バー３０７によって所望の写真を選択することができる。
写真選択バー３０７上の位置が選択されると、選択された位置が示す写真が写真表示領域３０２に表示される。
写真選択バー３０７は、撮影位置と設備９との距離が所定の距離よりも短い写真について、写真が撮影された順番を示してもよい。写真選択バー３０７は、例えば、図５の点３２０－１～３２０－Ｎを撮影位置とする写真の順番を示さず、図５の点３２１－１～３２１－Ｍを撮影位置とする写真の順番のみを示してもよい。このように表示することで、ユーザは、不具合箇所を写した可能性の低い写真をチェックする必要がなくなる。そのため、ユーザは、不具合箇所を写した可能性が高い写真を見つけることが容易になる。

写真選択バー３０７のバー上の位置は、バー上の位置が表す写真に応じて強調表示されてもよい。例えば、写真が不具合箇所を写した写真である場合、バー上の位置は強調表示されてもよい。図８において、位置３７１は、強調表示された位置であって、位置が表す写真に不具合箇所が写っていることを示す。
バー上の位置は、不具合箇所を写した写真であるか否かだけによらず、不具合情報に応じて強調表示されてもよい。また、不具合箇所を写した写真が複数存在する場合は、それぞれの写真に対応するバー上の位置を同時に強調表示してもよい。

第２画面には、第２画面に表示されている写真の被撮影番号を示してもよい。被撮影番号は、単位飛行において写真が撮影された順番を示す。被撮影番号は、どのように順番を表してもよい。被撮影番号は、例えば、写真が撮影された順に昇順につけられた番号であってもよい。
以下、説明の簡単のため、被撮影番号は、写真が撮影された順に昇順につけられた番号であると仮定する。
例えば、図８は、写真表示領域３０２の左側に表示された写真が、単位飛行中の６番目に撮影された画像であることを示す。

このような写真選択バー３０７は、複数枚の写真に写る不具合箇所の情報を画像によって示すため、不具合箇所に関する所望の写真を見つけ出すユーザの労力を軽減することができる。

また、第２画面は、単位飛行において撮影された写真の全枚数を示してもよい。例えば、図８は、写真表示領域３０２の左側に表示された写真が撮影された単位飛行において、２２３枚の写真が撮影されたことを示す。

第２画面は、写真の撮影日時と、写真に写る不具合箇所に関する情報とを表示してもよい。
図８は、第２画面に表示された左側の写真の撮影日は、２０１８年５月２５日の１０時３０分１０秒であることを示す。図８は、第２画面に表示された左側の写真には、剥離が２箇所とサビが３箇所写っていることを示す。

第２画面に表示された写真が選択された場合、表示制御部２５は、表示部２３に第３画面を表示させる。

図９は、実施形態における第３画面の具体例を示す図である。
第３画面は、拡大表示領域３０８及びサムネイル表示領域３０９を有する。拡大表示領域３０８には、第２画面における写真表示領域３０２に表示された写真の拡大画像を表示される。
拡大表示領域３０８には、撮影時の飛行が異なる複数の写真が表示される。飛行が異なるとは、異なる単位飛行であることを意味する。拡大表示領域３０８に表示される写真にも、不具合表示枠が表示されてもよい。図９には、不具合箇所を強調表示する表示として不具合表示枠ＤＩＳＰ４及びＤＩＳＰ５が示されている。

このような撮影時の飛行が異なる複数の写真の拡大表示は、不具合箇所とその周辺の状態の変化を明瞭に表示するため、ユーザによる不具合箇所の点検を容易にする。

サムネイル表示領域３０９には、拡大表示領域３０８に表示された写真の縮小画像が表示される。サムネイル表示領域３０９には、拡大表示領域３０８に表示された写真を撮影した飛行時に撮影された複数の写真が、撮影された順に並べて表示される。

サムネイル表示領域３０９に表示された写真は、選択可能である。サムネイル表示領域３０９に表示された写真が選択された場合、選択された２次元画像の拡大画像が拡大表示領域３０８に表示される。

サムネイル表示領域３０９は、例えば、拡大表示領域３０８の下側であって、表示部２３が表示する二次元画面の下部に位置する。

サムネイル表示領域３０９に表示された写真は、不具合箇所を写した写真が強調表示されてもよい。また、サムネイル表示領域３０９に表示された写真は、不具合情報に応じて強調表示されてもよい。

このようなサムネイル表示領域３０９への複数枚の写真の表示は、一度にいくつもの写真を見ることができるため、ユーザの目視による不具合箇所の点検を容易にする。

第３画面では、写真に写る設備９の不具合箇所が強調表示される。第３画面において不具合箇所を強調表示する方法は、どのような方法であってもよく、不具合表示枠による強調表示であってもよい。
図９の具体例においては、不具合箇所は、不具合表示枠によって囲まれることで強調表示されている。以下、説明の簡単のため、第３画面における不具合箇所は、不具合表示枠によって囲まれることで、強調表示されると仮定する。

なお、写真上の不具合表示枠は、補助記憶装置２６に記憶されている不具合情報に基づいて表示される。

第３画面において、ユーザは不具合箇所を記録することができる。ユーザは、第３画面において不具合表示枠で囲んだ箇所を、不具合箇所として補助記憶装置２６に記録することができる。

第３画面に表示された不具合箇所はユーザが選択可能である。不具合箇所が選択されると、選択された不具合箇所の不具合情報が表示される。
以下、不具合情報を表示する画面を第４画面という。

図１０は、実施形態における第４画面の具体例を示す図である。第４画面は、不具合情報を示す。図１０は、不具合情報として不具合の種類を示す。図１０における不具合情報が示す不具合の種類は、剥離である。
第４画面において、ユーザは不具合情報を編集することができる。第４画面において、ユーザは、例えば、コメントを入力することができる。編集後の不具合情報及びコメントは補助記憶装置２６に記録される。

第４画面は、第４画面を終了するための終了ボタン３１０を有する。終了ボタン３１０は、ユーザが選択可能である。終了ボタン３１０が選択されると、表示制御部２５は、表示部２３に、第４画面に代えて、レポート報告画面を表示させる。

図１１は、実施形態におけるレポート報告画面の具体例を示す図である。
レポート報告画面は、操作結果を表示する。図１１は、操作結果の具体例として、第４画面において不具合情報が編集された写真の数を示す。図１１において、編集された写真の数は、０枚である。

図４の説明に戻る。レポート表示ボタン３０４は、ユーザが選択可能である。レポート表示ボタン３０４が選択されると、表示制御部２５は、表示部２３にレポート画面を表示させる。

図１２は、実施形態におけるレポート画面の具体例を示す図である。
レポート画面は、補助記憶装置２６が記憶する操作結果を表示する。また、レポート画面は、例えば、不具合箇所を写した写真も表示する。レポート画面は、不具合箇所を写した複数の２次元画像を並べて表示する。

図４の説明に戻る。飛行ログボタン３０５は、ユーザが選択可能である。飛行ログボタン３０５が選択されると、表示制御部２５は、３Ｄ表示領域３０１にドローン１の飛行経路を表示させる。

図１３は、実施形態における３Ｄ表示領域３０１に表示される飛行経路の具体例を示す図である。
図１３は、ドローン１が離陸してから着陸するまでの飛行経路を示す。

図４の説明に戻る。飛行ログボタン３０５は、ユーザが選択可能である。飛行ログボタン３０５が選択されると、表示制御部２５は、３Ｄ表示領域３０１にドローン１の飛行経路を表示させる。飛行ログボタン３０５は、複数の単位飛行における飛行経路を同時に表示してもよい。

図１４は、実施形態における主制御部２４の機能構成の具体例を示す図である。
主制御部は、変換部２４０、情報受信部２４１、第１処理部２４２、第２処理部２４３、計測処理部２４４及び操作結果取得部２４５を備える。

変換部２４０は、入力部２２が３Ｄ表示領域３０１内の画面座標を取得した場合に、画面座標を点群座標に変換する。

情報受信部２４１は、ドローン１が撮影した写真の撮影画像データと、撮影時情報と飛行関連情報とを、通信部２１を介して取得する。情報受信部２４１は、取得した撮影画像データ、撮影時情報及び飛行関連情報を補助記憶装置２６に記録する。

第１処理部２４２は、点群内の点が選択された場合に、変換部２４０が変換した点群座標に基づいて第１処理を実行する。第１処理部２４２は第１処理を実行することで、選択された点の実空間における位置を写した写真のうち所定の条件を満たす２次元画像を選択する。

図１５は、実施形態における第１処理部２４２の機能構成の具体例を示す図である。第１処理部２４２は、撮影位置点群座標取得部２４６、第１ベクトル取得部２４７、回転行列取得部２４８、積取得部２４９、なす角取得部２５０、判定部２５１及び記録部２５２を備える。
撮影位置点群座標取得部２４６は、写真の撮影位置に対応した位置に位置する仮想空間内の点（以下「撮影位置仮想点」という。）の点群座標（以下「撮影位置点群座標」という。）を取得する。

第１ベクトル取得部２４７は、第１ベクトルを取得する。第１ベクトルは、撮影位置仮想点を始点とし、最近接点を終点とする仮想空間内のベクトルである。最近接点は、仮想空間内の点であって、選択された位置の最近接の点である。

回転行列取得部２４８は、撮影角に基づいて、写真の撮影角に応じた回転行列を取得する。

積取得部２４９は、回転行列取得部２４８が取得した回転行列と単位ベクトル（１、０、０）との積を取得する。

なす角取得部２５０は、第１ベクトル取得部２４７が取得した第１ベクトルと、積取得部２４９が取得した積とのなす角を取得する。

判定部２５１は、撮影位置点群座標取得部２４６、第１ベクトル取得部２４７、回転行列取得部２４８、積取得部２４９、なす角取得部２５０の取得結果に基づいて、後述する式（１）と式（２）とが満たされるか否かを判定する。式（１）と式（２）とが満たされるか否かの判定は、なす角取得部２５０によって取得されたなす角がカメラ撮影範囲に入っているかの判定を意味する。カメラ撮影範囲は、ドローン１が向き及び位置を変えることなく、撮影対象を撮影可能な範囲である。

記録部２５２は、判定部２５１の判定結果を満たす写真の中で最小距離の写真を補助記憶装置２６に記録する。最小距離とは、撮影位置から被写体の距離が最小という意味である。

図１６は、実施形態における第１処理と、第１処理によって選択された写真の表示との具体的な処理の流れを示すフローチャートである。以下、説明の簡単のため、ユーザは仮想空間内の位置Ｕ１を選択したと仮定する。

変換部２４０は、位置Ｕ１の点群座標を取得する。（ステップＳ１０１）。
第１処理部２４２は、ドローン１が撮影した写真のうち、位置Ｕ１に関する所定の条件（以下「第１条件」という。）を満たす写真を選択する（ステップＳ１０２）。具体的には、第１処理部２４２は、補助記憶装置２６に記憶された写真のうち第２条件を満たす写真に対して第１副処理を実行する。第１処理部２４２は、第１副処理を実行することで、第２条件を満たす写真のうち第１条件を満たす写真を選択する。
第２条件は、位置Ｕ１に関する条件であればどのような条件であってもよい。例えば、第２条件は、位置Ｕ１と撮影位置との距離が所定の範囲内であるという条件であってもよい。第１副処理は、後述するＤの値を所定の値（初期値）から小さくしていき、Ｄごとに実行される。
なお、補助記憶装置２６に記憶された写真とは、補助記憶装置２６に記憶された撮影画像データが表す写真の意味である。

記録部２５２は、ステップＳ１０２において選択された写真を補助記憶装置２６に記録する（ステップＳ１０３）。また、ステップＳ１０３において、表示制御部２５は、ステップＳ１０２において選択された写真を表示部２３に表示させる。

図１７は、実施形態における第１副処理の具体的な処理の流れを示すフローチャートである。以下、図１７の説明において、第２条件を満たす写真を画像Ｃｉという。

撮影位置点群座標取得部２４６は、撮影位置座標に基づいて、画像Ｃｉの撮影位置に対応した撮影位置仮想点の点群座標を取得する（ステップＳ２０１）。

第１ベクトル取得部２４７は、ステップＳ１０１において取得された点群座標と、ステップＳ２０１において取得された撮影位置点群座標とに基づいて、第１ベクトルＶ_１を取得する（ステップＳ２０２）。第１ベクトルＶ_１は、撮影位置仮想点を始点とし、位置Ｕ１の最近接点を終点とするベクトルである。

回転行列取得部２４８は、撮影角に基づいて、画像Ｃｉの撮影角に応じた回転行列Ｒ_ｉを取得する（ステップＳ２０３）。

積取得部２４９は、回転行列Ｒ_ｉと単位ベクトル（１、０、０）との積である撮影方向を示すベクトルＧを取得する（ステップＳ２０４）。

なす角取得部２５０は、第１ベクトルＶ_１とベクトルＧとのなす角Ａを取得する（ステップＳ２０５）。

判定部２５１は、以下の式（１）と式（２）とが満たされるか否かを判定する（ステップＳ２０６）。

式（１）において、Ｓ_ｗは、ドローン１が備えるカメラのセンサ１１１（図１８参照）の横幅を表す。Ｓ_ｗは、例えば、３５ｍｍである。式（１）において、Ｆは、ドローン１が備えるカメラの焦点距離を表す。例えば、Ｆは２４ｍｍである。
式（２）において、｜Ｖ_１｜は、第１ベクトルＶ_１の大きさである。式（２）において、Ｄの初期値は十分大きな値、例えば、無限大である。

ステップＳ２０６において、式（１）及び式（２）が満たされる場合（ステップＳ２０６：ＹＥＳ）、第１処理部２４２は、補助記憶装置２６に、画像Ｃｉを表す画像データを記録する。なお、既に画像データが記録されている場合には、第１処理部２４２は、記録された画像データを画像Ｃｉの画像データによって上書きする（ステップＳ２０７）。また、式（１）及び式（２）が満たされる場合、第１処理部２４２は、Ｄの値を、｜Ｖ_１｜の値に更新する。
図１６のステップＳ１０２においては、各写真に対して、式（１）及び式（２）が満たされなくなるまでステップＳ２０１からステップＳ２０７の処理が繰り返される。
各写真に対して、式（１）及び式（２）が満たされなくなるまでステップＳ２０１からステップＳ２０７の処理が繰り返された結果、選択された写真が、判定部２５１の判定結果を満たす写真の中で最小距離の写真である。

図１８は、実施形態における式（１）が満たされる場合における、第１ベクトルＶ_１、ベクトルＧ、撮影位置仮想点及び最近接点の関係を表す図である。以下、説明の簡単のため、カメラに固定された座標系をＸＹＺ座標とする。ＸＹＺ座標の直交する各軸は、それぞれＸ軸、Ｙ軸及びＺ軸である。また、以下説明の簡単のため、図１８に示すように、Ｘ軸は、Ｘ軸は、カメラの向き（カメラの光軸の向き）であると仮定する。Ｘ軸を回転行列Ｒｉによって回転すると、点群座標の一軸に一致する。以下、説明の簡単のため、点群座標の直交する各軸をＸ１軸、Ｙ１軸及びＺ１軸という。
図１８（ａ）は、第１ベクトルＶ_１及びベクトルＧを含むカメラの向きをＸ軸としたときの上面図を表す。図１８（ｂ）は、第１ベクトルＶ_１及びベクトルＧを含むカメラの向きをＸ軸としたときの背面図を表す。

図１８において、点Ｋｉは、画像Ｃｉの撮影位置仮想点を表す。撮影位置仮想点は、より正確には、実空間におけるカメラのレンズの中央部の位置を表す点である。カメラのセンサ１１１と撮影位置との間の距離は焦点距離Ｆ、センサ１１１の横幅はＳ_ｗｍｍである。図１８において、点Ｐｉは、最近接点である。図１８において、円周Ａ_ｃは、式（１）が満たされる領域の境界である。

図１８（ａ）は、円周Ａｃを境界とする範囲内に、始点をＫｉとする第１ベクトルＶ_１と始点をＫｉとするベクトルＧとが含まれることを示す。
図１８（ｂ）は、円周Ａｃを境界とする範囲内に、点Ｐｉと点Ｋｉとが含まれることを示す。

図１４の説明に戻る。第２処理部２４３は、情報受信部２４１が写真の撮影画像データを取得するたびに、第２処理を実行する。第２処理部２４３は第２処理を実行することで、画像に写る不具合箇所に対応する仮想空間内の位置を取得する。

図１９は、実施形態における第２処理部２４３の機能構成の具体例を示す図である。第２処理部２４３は、不具合位置取得部２５３、第２ベクトル取得部２５４及び交点取得部２５５を備える。

不具合位置取得部２５３は、不具合箇所を囲む不具合表示枠の中心点の、写真上の位置を取得する。

第２ベクトル取得部２５４は、後述する第２ベクトルを取得する。

交点取得部２５５は、第２ベクトルと点群との交点を取得する。

図２０は、実施形態における第２処理の具体的な処理の流れを示すフローチャートである。

第２処理部２４３が、情報受信部２４１が取得した画像Ｃｉの撮影画像データを取得する（ステップＳ３０１）。
第２処理部２４３は、ステップＳ３０１において取得した画像Ｃｉに写る不具合箇所の仮想空間内の位置を取得する（ステップＳ３０２）。以下、ステップＳ３０２の処理を、第２副処理という。第２副処理は、画像Ｃｉに写る不具合箇所の全てに対して実行される。
第２処理部２４３は、取得した仮想空間内の位置を補助記憶装置２６に記録する（ステップＳ３０３）。

図２１は、実施形態における第２副処理の具体的な処理の流れを示すフローチャートである。以下、図２１の説明において、ステップＳ３０１において取得された画像Ｃｉに写る不具合箇所を不具合箇所Ｂｉという。

不具合位置取得部２５３は、不具合箇所Ｂｉを囲む不具合表示枠の中心点の、画像Ｃｉ内における位置（以下「表示枠中心位置」という。）を取得する（ステップＳ４０１）。表示枠中心位置は、画像Ｃｉの中心を原点とした二次元の直交座標によって表される。以下、画像Ｃｉの中心を原点（０、０）とした直交座標系を２次元画像座標系という。なお、上記のように不具合表示枠の中心は不具合箇所であるので、表示枠中心位置は、不具合箇所の位置である。

図２２は、実施形態における表示枠中心位置を説明する説明図である。
２次元画像座標系は、ｘ軸とｙ軸との二軸を有する。２次元画像座標系において、画像Ｃｉ上の各位置はｘ座標の値ｘとｙ座標の値ｙとによって（ｘ、ｙ）として表される。以下、説明の簡単のため、座標（０、０）の位置に最も近い不具合表示枠の頂点の座標を（Ａｘ、Ａｙ）と仮定する。不具合表示枠のｘ軸方向の長さがＡｗであって、不具合表示枠のｙ軸方向の長さがＡｈである場合、表示枠中心位置のｘ座標Ａ_０ｘは以下の式（３）で表される。

また、表示枠中心位置のｙ座標Ａ_０ｙは以下の式（４）で表される。

図２１の説明に戻る。ステップＳ４０１の次に、第２ベクトル取得部２５４は以下の式（５）で表される第２ベクトルＶ_２を取得する（ステップＳ４０２）。

式（５）において、Ｒ_ｉは、画像Ｃｉの撮影角に応じた回転行列である。式（５）において、Ｗは、画像Ｃｉのｘ軸方向の長さである。式（５）において、Ｈは、画像Ｃｉのｙ軸方向の長さである。式（５）において、Ｆは、式（１）と同じであり、ドローン１が備えるカメラの焦点距離を表す。式（５）において、Ｓ_ｗは、式（１）と同じであり、ドローン１が備えるカメラのセンサ１１１の横幅を表す。

ステップＳ４０２の次に、交点取得部２５５は仮想空間における点Ｑｉの点群座標を取得する（ステップＳ４０３）。点Ｑｉは、画像Ｃｉの撮影位置仮想点を図１８と同様に点Ｋｉとして、点Ｋｉを始点とし第２ベクトルＶ_２に平行な直線と点群とが交わる交点であって、点Ｋｉに最も近い点である。

図２３は、実施形態における点Ｑｉを視覚的に説明する説明図である。
点Ｑｉは、点Ｋｉを始点とする第２ベクトルＶｉの延長線が、点群と最初に交わる交点である。

図１４の説明に戻る。計測処理部２４４は、写真表示領域３０２又は第３画面に表示された写真上の二点をユーザが選択した場合、計測処理を実行する。計測処理部２４４は、計測処理を実行することで、選択された二点間の距離、仰俯角又は方位角を取得する。

図２４は、実施形態における計測処理の具体的な処理の流れを示すフローチャートである。以下、説明の簡単のため、画像Ｃｉ上の二点Ａｉ－１及びＡｉ－２が選択されたと仮定する。また、以下、説明の簡単のため、２次元画像座標系における点Ａｉ－１の位置を（Ａ_ｘ１、Ａ_ｙ１）と仮定する。また、以下、説明の簡単のため、２次元画像座標系における点Ａｉ－２の位置を（Ａ_ｘ２、Ａ_ｙ２）と仮定する。

計測処理部２４４は、式（６）で表されるベクトルＶ_A１を取得する（ステップＳ５０１）。

式（６）において、Ｒ_ｉは、画像Ｃｉの撮影角に応じた回転行列である。式（６）において、Ｗは、画像Ｃｉのｘ軸方向の長さである。式（６）において、Ｈは、画像Ｃｉのｙ軸方向の長さである。式（６）において、Ｆは、式（１）と同じであり、ドローン１が備えるカメラの焦点距離を表す。式（６）において、Ｓ_ｗは、式（１）と同じであり、ドローン１が備えるカメラのセンサ１１１の横幅を表す。

ステップＳ５０１の次に、計測処理部２４４は仮想空間における点Ｑ_Ａ１の点群座標を取得する（ステップＳ５０２）。点Ｑ_Ａ１は、画像Ｃｉの撮影位置仮想点を図１８と同様に点Ｋｉとして、点Ｋｉを始点としベクトルＶ_Ａ1に平行な直線と点群とが交わる点であって、点Ｋｉに最も近い点である。

ステップＳ５０２の次に、計測処理部２４４は、式（７）で表されるベクトルＶ_A2を取得する（ステップＳ５０３）。

式（７）において、Ｒ_ｉ、Ｗは、Ｆ及びＳ_ｗは、式（６）と同じである。

ステップＳ５０３の次に、計測処理部２４４は仮想空間における点Ｑ_Ａ２の点群座標を取得する（ステップＳ５０４）。点Ｑ_Ａ２は、撮影位置仮想点Ｋｉを始点としベクトルＶ_Ａ２に平行な直線と点群とが交わる点であって、点Ｋｉに最も近い点である。

計測処理部２４４は、取得した点Ｑ_Ａ１の点群座標と、点Ｑ_Ａ２の点群座標によって二点間の距離、仰俯角又は方位角を取得する（ステップＳ５０５）。

具体的には、計測処理部２４４は、点Ｑ_Ａ１の点群座標と、点Ｑ_Ａ２の点群座標とを結ぶベクトルの長さｄを算出する。算出された長さｄが選択された二点間の距離である。

計測処理部２４４は、式（８）で表される値Ｅｌｅを算出する。値Ｅｌｅは、選択された二点間の仰俯角である。

式（８）において、ｄｚは、点Ｑ_Ａ１と点Ｑ_Ａ２との間の位置のずれの大きさであり、地表から鉛直方向のずれの大きさである。以下、仮想空間における鉛直方向を示すベクトルＺ１ベクトルという。ｄｚは、点Ｑ_Ａ１と点Ｑ_Ａ２とを結ぶベクトルをＺ１ベクトルに平行な方向に射影したベクトルの長さである。

計測処理部２４４は、式（９）で表される値Ｄｉｒを算出する。値Ｄｉｒは、選択された二点間の方位角である。

以下、仮想空間の水平面内のベクトルであって、北の方位を向くベクトルをＸ１ベクトルという。北の方位は、Ｘ１軸の正方向の方位である。以下、仮想空間の水平面内のベクトルであって、東の方位を向くベクトルをＹ１ベクトルという。東の方位は、Ｙ１軸の正方向の方位である。
式（９）において、ｄｘは、点Ｑ_Ａ１と点Ｑ_Ａ２とを結ぶベクトルをＸ１ベクトルに平行な方向に射影したベクトルの長さである。式（９）において、ｄｙは、点Ｑ_Ａ１と点Ｑ_Ａ２とを結ぶベクトルをＹ１ベクトルに平行な方向に射影したベクトルの長さである。

図２５は、実施形態における点Ａ_ｉ－１、点Ａ_ｉ－２、点Ｑ_Ａ１、点Ｑ_Ａ２、ｄｘ、ｄｙ及びｄｚを視覚的に説明する説明図である。

図２５（ａ）は、２次元画像座標系における選択された２点、点Ａ_ｉ－１と点Ａ_ｉ－２を示す。
図２５（ｂ）は、カメラ方向をＸ軸としたときの３次元座標系で、点Ｑ_Ａ１は、点Ｋｉを始点とするベクトルＶ_Ａ１の延長線が、点群と最初に交わる交点である。点Ｑ_Ａ２は、点Ｋｉを始点とするベクトルＶ_Ａ２の延長線が、点群と最初に交わる交点である。
図２５（ｃ）は、点Ｑ_Ａ１と点Ｑ_Ａ２とを仮想空間における水平面を鉛直方向に見た図である。なお、仮想空間における水平面は、Ｘ１軸及びＹ１軸が張る面に平行な面である。なお、水平面を鉛直に見るとは、Ｚ１軸の正方向又は負方向から水平面を見ることである。図２５（ｃ）に示すように、ｄｘは、点Ｑ_Ａ１と点Ｑ_Ａ２との間のＸ１方向の距離である。図２５に示すように、ｄｙは、点Ｑ_Ａ１と点Ｑ_Ａ２との間のＹ１方向の距離である。
図２５（ｄ）は、仮想空間を西方向から見た図である。図２５（ｄ）に示すように、ｄｚは、点Ｑ_Ａ１と点Ｑ_Ａ２との間のＺ１方向の距離である。なお、西方向は、Ｙ１軸の負方向の方位である。

このような計測処理を実行することで、計測処理部２４４は選択された二点間の距離、仰俯角又は方位角を取得する。

図１４説明に戻る。操作結果取得部２４５は、起動以降に入力部２２を介して実行された操作に基づいて、操作結果を取得する。操作結果取得部２４５は、取得した操作結果を補助記憶装置２６に記録する。

このように構成された実施形態における点検システム１００は、点検結果を、ユーザに分かり易く表示できる。

（変形例）

図２６は、変形例の点検システム１００ａのシステム構成の具体例を示す図である。点検システム１００ａは、点検装置２に代えて点検装置２ａを備える点で点検システム１００と異なる。以下、図１から図２５と同様の機能を有するものは、同じ符号を付すことで説明を省略する。

図２７は、変形例における点検装置２ａのハードウェア構成の具体例を示す図である。点検装置２ａは、通信部２１、入力部２２、表示部２３、主制御部２４、表示制御部２５及び補助記憶装置２６にくわえて、さらに、ＡＩ部２７を備える点で点検装置２と異なる。

ＡＩ部２７は、ＡＩ技術の一つである機械学習又はＤＬを用いて、写真の不具合箇所を検出する。ＡＩ部２７は、写真と不具合箇所との対応関係を教師データとして予め学習している。ＡＩ部２７は、学習結果に基づいて、通信部２１が受信した２次元画像に写る不具合箇所を検出する。また、ＡＩ部２７は、検出した不具合箇所が不具合箇所であるか否かの確からしさを取得してもよい。
さらにＡＩ部２７は、予め写真と不具合の種類との対応関係を学習している場合、学習結果に基づいて検出した不具合箇所について不具合箇所の種類を判定してもよい。

ＡＩ部２７は、予め写真と不具合のレベルとの対応関係を学習している場合、学習結果に基づいて、不具合箇所の不具合のレベルを判定してもよい。
ＡＩ部２７が検出した不具合箇所に関する情報は、写真上の不具合箇所を示す情報として補助記憶装置２６に記録される。ＡＩ部２７が検出した不具合箇所に関する情報は、例えば、確からしさや、不具合の種類や、不具合のレベルである。

なお、ＤＬはニューラルネットワークの考え方に基づいて判断を行う技術である。ＤＬを用いる際は、前もって製品の開発製造段階において、教師データと呼ばれる正解データ群をＤＬの学習機能に入力することで、予めＤＬが内部に保持するニューラルネットワークの繋がりに当該正解データ群を学習させておき、学習済みモデルを生成しておく。

これによって当該学習済みモデルを保持するＤＬは、以降、目的データをＤＬの判定機能に入力することで、予め学習させたデータと同一種のものであるかの判定結果を返すことができる。ＤＬの利点は、対象とするデータを判定する際に波形の特徴などを人間が予め考慮する必要がなく、大量の正解データ群を事前すなわち製品の開発製造段階で学習させておくだけで、目的データの判定が高い精度で可能になるという点にある。この利点のためＤＬは広く用いられており、利用可能な多数のオープンソースの実装が入手可能であり、ＤＬは容易に利用できる。

また本変形例では、ＡＩ部２７は、現に確実に不具合箇所が存在する写真を用いて、学習してもよい。ここで、ＡＩ部２７は、例えば人又は判定部（図示せず）が、不具合箇所が存在すると判定した写真と、その判定結果の不具合箇所と、の対応関係を学習する。なお、これらの写真は、不具合箇所が有るか無いかが不明な設備の写真ではなくてもよい。

このように構成された変形例における点検システム１００ａは、ＡＩ部２７を備えるため、不具合箇所の検出に要するユーザの労力を軽減することができる。

なお、表示制御部２５は表示部２３に、判定済み不具合箇所ボタン３１１、撮影点連結線ボタン３１２及び不具合推定箇所ボタン３１３を表示させてもよい。判定済み不具合箇所ボタン３１１、撮影点連結線ボタン３１２及び不具合推定箇所ボタン３１３は選択可能である。判定済み不具合箇所ボタン３１１が選択されると、ユーザが判定した不具合箇所の位置が３Ｄモデルに重ねて表示される。判定済み不具合箇所は、ユーザによって不具合箇所であると判定された不具合箇所である。撮影点連結線ボタン３１２が選択されると、撮影点連結線を３Ｄモデルに重ねて表示される。不具合推定箇所ボタン３１３が選択されると、不具合推定箇所が３Ｄモデルに重ねて表示される。不具合推定箇所は、ＡＩ部によって補助記憶装置２６に不具合箇所の位置であると記録された仮想空間上の位置である。

図２８は、変形例における判定済み不具合箇所ボタン３１１、撮影点連結線ボタン３１２及び不具合推定箇所ボタン３１３の具体例を示す図である。
判定済み不具合箇所ボタン３１１、撮影点連結線ボタン３１２及び不具合推定箇所ボタン３１３は、飛行ログボタン３０５の近傍に表示される。このように、判定済み不具合箇所ボタン３１１、撮影点連結線ボタン３１２、不具合推定箇所ボタン３１３及び飛行ログボタン３０５が表示されることで、ユーザは、表示させる内容を容易に変更することができる。

なお、実施形態及び変形例における点群で表される３次元モデルは、ドローン１によって撮影された写真の一部に基づいて生成された３次元モデルであってもよい。例えば、点３２０－１～３２０－Ｎから撮影された写真が、３次元モデルの生成に用いられる。

図２９は、変形例の点検システム１００ｂのシステム構成の具体例を示す図である。点検システム１００ｂは、点検装置２に代えて点検装置２ｂを備える点で点検システム１００と異なる。以下、図１から図２５と同様の機能を有するものは、同じ符号を付すことで説明を省略する。

図３０は、変形例における点検装置２ｂのハードウェア構成の具体例を示す図である。点検装置２ｂは、通信部２１、入力部２２、表示部２３、主制御部２４、表示制御部２５及び補助記憶装置２６にくわえて、さらに、点群生成部２８を備える点で点検装置２と異なる。

点群生成部２８は、ドローン１によって撮影された写真の一部と、飛行位置座標と、撮影時情報とに基づいて、点群を作成する。

なお、点群生成部２８は、仮想空間における地面をどのように決定してもよい。例えば、以下のように決定してもよい。
点群生成部２８は、ドローン１によって撮影された写真の一部と、飛行位置座標と、撮影時情報とに基づいて、点群を作成する。次に、点群生成部２８は、仮想空間における高度を一定間隔で区間に区切った時に各区間に含まれる点の数が最も多い区間を地表面の高度と決定する。

このように構成された変形例における点検装置２ｂは、点群生成部２８を備える。そのため、点検装置２ｂは、ドローン１によって撮影された写真の一部に基づいて生成される点群と、飛行位置座標と、３次元地図情報との高度情報のずれを自動的に補正することができ、高度情報の補正に要するユーザの労力を軽減することができる。

実施形態におけるドローン１は、設備の不具合箇所を所定の解像度以上の解像度で撮影可能であればどのようなものであってもよく、必ずしもカメラを備えたドローンでなくてもよい。例えば、ドローン１は、ドローンに代えて、カメラを備えたクレーンであってもよい。

なお、点検装置２、点検装置２ａ及び点検装置２ｂが備える各機能部は、１つの筐体で構成される装置であってもよいし、複数の筐体に分けて構成される装置であってもよい。複数の筐体に分けて構成される場合には、上述した点検装置２、点検装置２ａ及び点検装置２ｂの一部が、ネットワークを介して物理的に離れた位置に実装されてもよい。

なお、ドローン１は移動体の一例である。なお、撮影位置座標は、第１座標の一例である。なお、情報受信部２４１は、第１取得部の一例である。点群座標は、第２座標の一例である。なお、入力部２２及び変換部２４０が連動して動作することで、第２取得部を実現する。なお、表示部２３は出力部の一例である。なお、第１処理部２４２は画像選択部の一例である。なお、表示は出力の一例である。

なお、撮影位置と設備９との距離が所定の距離よりも短い写真は、例えば、ドローン１が設備９の近傍を飛行する際に撮影される。ドローン１が設備９の近傍を飛行し設備９を撮影することは、点検の開始の具体例である。また、ドローン１が設備９の近傍を飛行し設備９を撮影することは、点検の終了の具体例である。
第２画面において、撮影位置と設備９との距離が所定の距離よりも短い写真を表示することは、抽出の一例である。

なお、ドローン１と点検装置２との間のデータ送受信は、ＳＤカード等の記憶装置による送受信であってもよい。また、ドローン１が備える撮像部１１は必ずしも写真を撮影するカメラでなくてもよく、撮影対象の動画を撮影する装置であってもよい。なお、ドローン１は、手動リモコンで動作を制御される。

なお、３次元モデルはどのように生成された３次元モデルであってもよい。３次元モデルは、例えば、移動体が撮影対象を撮影した複数の写真に基づいて生成された３次元モデルであってもよい。より具体的には、３次元モデルは、複数の写真の画像データの差分を立体的に解析した解析結果に基づいた３次元モデルであってもよい。以下、複数の写真の画像データの差分を立体的に解析した解析結果に基づいて３次元モデルを生成する装置を３次元モデル生成装置という。

なお、複数の写真の画像データの差分を立体的に解析するとは、具体的には、ＳＦＭ（Structure from Motion）処理が実行されることを意味する。
点群生成部２８は、３次元モデル生成装置の一例である。以下、３次元モデル生成装置が、撮影対象を撮影した複数の写真に基づいて３次元モデルを生成する機能を、３次元化機能という。

なお、点検装置２によって表示される３次元モデルは、３次元モデル生成装置によって生成された３次元モデルであってもよいし、ユーザが予め作成した３次元モデルであってもよい。

３次元化機能は、例えばＰｉｘ４Ｄ（登録商標）等の市販のソフトウェアによって実装されてもよい。

なお、３次元化機能は、必ずしも撮影対象を撮影した複数の写真だけに基づいて３次元モデルを生成する必要はない。３次元化機能は、撮影対象を撮影した動画に基づいて３次元モデルを生成してもよい。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

１…ドローン、２…点検装置、２ａ…点検装置、２ｂ…点検装置、９…設備、１１…撮像部、１００…点検システム、１００ａ…点検システム、１００ｂ…点検システム、１１１…センサ、２１…通信部、２２…入力部、２３…表示部、２４…主制御部、２５…表示制御部、２６…補助記憶装置、２７…ＡＩ部、２８…点群生成部、２４０…変換部、２４１…情報受信部、２４２…第１処理部、２４３…第２処理部、２４４…計測処理部、２４５…操作結果取得部、２４６…撮影位置点群座標取得部、２４７…第１ベクトル取得部、２４８…回転行列取得部、２４９…積取得部、２５０…なす角取得部、２５１…判定部、２５２…記録部、２５３…不具合位置取得部、２５４…第２ベクトル取得部、２５５…交点取得部、３０１…３Ｄ表示領域、３０２…写真表示領域、３０３…比較ボタン、３０４…レポート表示ボタン、３０５…飛行ログボタン、３０６…撮影時刻一覧、３０７…写真選択バー、３０８…拡大表示領域、３０９…サムネイル表示領域、３１０…終了ボタン、３１１…判定済み不具合箇所ボタン、３１２…撮影点連結線ボタン、３１３…不具合推定箇所ボタン

Claims

点検対象である設備の移動体による撮影について、撮影位置を示す第１座標を取得する第１取得部と、
前記設備の３次元モデルを含む仮想空間において、前記仮想空間内の位置を示す第２座標を入力される第２取得部と、
前記第１座標、及び前記第２座標に基づいて、複数の２次元画像のうち、前記仮想空間内の位置が写された２次元画像を選択する画像選択部と、
前記画像選択部が選択した２次元画像を出力する出力部と、
を備え、
前記移動体が前記設備を撮影する装置はカメラであって、
前記画像選択部は、
２次元画像の撮影位置に対応した仮想空間内の位置の点群座標を取得する撮影位置点群座標取得部と、
前記撮影位置点群座標取得部が取得した前記点群座標が示す位置を始点とし、前記第２座標が示す位置を終点とする第１ベクトルを取得する第１ベクトル取得部と、
前記２次元画像が撮影された撮影方向に基づいた回転行列を取得する回転行列取得部と、
前記回転行列と単位ベクトルとの積を取得する積取得部と、
前記第１ベクトルと前記積とのなす角Ａを取得する積取得部と、
前記なす角Ａがカメラ撮影範囲に入っているかの判定部と、
前記カメラ撮影範囲に入っている写真の中で最小距離の写真を記録する記録部と、
を備える、
点検システム。
前記第１取得部は、前記撮影について、撮影方向を示す撮影角を取得し、
前記画像選択部は、前記撮影角に基づいて、複数の２次元画像のうち、前記仮想空間内の位置が写された２次元画像を選択する、
請求項１に記載の点検システム。
前記画像選択部は、前記第１座標、前記撮影角、及び前記第２座標に基づいて、前記２次元画像の各々における位置であって前記第２座標に対応する位置を算出し、算出した位置に応じて前記２次元画像を選択する、
請求項２に記載の点検システム。
点検対象である設備の移動体による撮影について、撮影位置を示す第１座標を取得する第１取得ステップと、
前記設備の３次元モデルを含む仮想空間において、前記仮想空間内の位置を示す第２座標を入力される第２取得ステップと、
前記第１座標、及び前記第２座標に基づいて、複数の２次元画像のうち、前記仮想空間内の位置が写された２次元画像を選択する画像選択ステップと、
前記画像選択ステップにおいて選択された２次元画像を出力する出力ステップと、
を有し、
前記移動体が前記設備を撮影する装置はカメラであって、
前記画像選択ステップにおいて、
２次元画像の撮影位置に対応した仮想空間内の位置の点群座標を取得する撮影位置点群座標取得ステップと、
前記撮影位置点群座標取得ステップにおいて取得した前記点群座標が示す位置を始点とし、前記第２座標が示す位置を終点とする第１ベクトルを取得する第１ベクトル取得ステップと、
前記２次元画像が撮影された撮影方向に基づいた回転行列を取得する回転行列取得ステップと、
前記回転行列と単位ベクトルとの積を取得する積取得ステップと、
前記第１ベクトルと前記積とのなす角Ａを取得する積取得ステップと、
前記なす角Ａがカメラ撮影範囲に入っているかの判定ステップと、
前記カメラ撮影範囲に入っている写真の中で最小距離の写真を記録する記録ステップと、
を有する
点検方法。