JP7377651B2 - コンピュータプログラム - Google Patents

Description

本発明は、撮像機能を備えた無人飛翔装置を制御するためのコンピュータプログラムに関する。

近年の電池の小型軽量化、ジャイロセンサや加速度センサなどのセンサの高度化により、ドローンと呼ばれる無人小型飛行装置の操作安定性が向上し、そのようなドローンが安価で供給されるようになってきた。我が国の経済産業省は「空の産業革命」を提唱し、ドローンの安全な利活用のための技術開発と環境整備を推進している（例えば、非特許文献４参照）。

特許文献１には、ドローンで空撮を行い対象の三次元モデルを生成する技術が開示されている。

米国特許出願公開第２０１８／０２１８５３３号公報

https://www.dji.com/jp/mavic、令和１年８月２１日検索 https://dronebank.jp/dronedeploy/index.html、令和１年８月２１日検索 https://www.softbank.jp/corp/news/press/sbkk/2018/20181107_01/、令和１年８月２２日検索 https://www.meti.go.jp/policy/mono_info_service/mono/robot/drone.html、令和１年８月２２日検索

ドローンのカメラで撮影した画像から三次元モデルを生成する場合、ドローンとその制御端末との通信速度がボトルネックとなる可能性がある。特に対象の詳細な三次元モデルを生成するためには、解像度の高いすなわちサイズの大きい画像を数多く取得し、ドローンから処理端末へ送信する必要がある。しかしながら、ドローンと処理端末との通信は無線であり、短期間に大量のデータを送受信するには不向きである。または、そのような送受信を実現するような高速・大容量の無線通信モジュールを搭載しようとすると、ドローンのコストが増大する。

本発明はこうした課題に鑑みてなされたものであり、その目的は、コストの増大を抑制しつつ、ドローンを用いた対象の詳細な検査を可能とする支援技術の提供にある。

本発明のある態様は、コンピュータプログラムに関する。このコンピュータプログラムは、撮像機能を備えた無人飛翔装置を制御する端末に、対象を撮像するように無人飛翔装置の第１動作を設定するための情報を取得する機能と、無人飛翔装置が第１動作を行った結果得られた画像を無人飛翔装置から取得する機能と、画像を用いてユーザから対象の一部の指定を受け付ける機能と、第１動作において得られた対象の指定された一部の画像よりも詳しい対象の指定された一部の画像を取得するように、無人飛翔装置の第２動作を設定する機能と、前記対象の指定された一部を特定する特定情報と、当該一部を撮像するために決定された飛行経路と、を対応付けて保持手段に登録する機能と、前記対象の指定された一部を再度撮像するための要求を受けると、前記保持手段を参照し、当該一部に対応付けて保持される飛行経路を再度設定する機能と、を実現させ、無人飛翔装置の第１動作を設定するための情報を取得する機能は、地図画像上で指定された対象の情報を取得するように構成され、画像を用いてユーザから対象の一部の指定を受け付ける機能は、対象の一部の指定を示す領域を画像上に表示することを含む。

なお、以上の構成要素の任意の組み合わせや、本発明の構成要素や表現を装置、方法、システム、コンピュータプログラムを格納した記録媒体などの間で相互に置換したものもまた、本発明の態様として有効である。

本発明によれば、コストの増大を抑制しつつ、ドローンを用いた対象の詳細な検査を可能とする支援技術を提供できる。

実施の形態に係る検査支援システムを説明するための模式図である。 基地局装置に対応して設定された概要飛行経路に従いドローンが飛行し、基地局装置を撮像する様子を示す模式図である。 生成された概要三次元モデルにおいてユーザから詳細を確認する部位の指定を受け付ける様子を示す模式図である。 基地局装置の指定部位に対応して設定された詳細飛行経路に従いドローンが飛行し、指定部位を撮像する様子を示す模式図である。 生成された詳細三次元モデルをユーザが確認している様子を示す模式図である。 図１の携帯端末のハードウエア構成図である。 図１の携帯端末の機能および構成を示すブロック図である。 図７の概要画像情報保持部の一例を示すデータ構造図である。 図７の詳細画像情報保持部の一例を示すデータ構造図である。 図７の詳細飛行履歴保持部の一例を示すデータ構造図である。 図１の携帯端末における一連の処理の流れを示すフローチャートである。 携帯端末のディスプレイに表示される詳細撮像履歴選択画面の代表画面図である。 携帯端末のディスプレイに表示される指定部位確認画面の代表画面図である。 携帯端末のディスプレイに表示される指定部位変遷画面の代表画面図である。

以下、各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付するものとし、適宜重複した説明は省略する。また、各図面において説明上重要ではない部材の一部は省略して表示する。

図１は、実施の形態に係る検査支援システム２を説明するための模式図である。検査支援システム２は、作業者（ユーザ４）が行う検査対象の検査を、ドローン８などの無人飛翔装置を用いて支援する。本実施の形態では、検査対象として携帯電話網の基地局装置６を想定するが、検査対象は基地局装置６に限られず、他の実施の形態では例えば送電線などの電力関連のインフラ設備や、ビル、橋梁、ダムなどの建築物を検査対象としてもよい。

検査支援システム２は、ユーザ４の携帯端末１０と、ドローン８と、を備える。携帯端末１０とドローン８とは通信可能に構成され、この通信は、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＷｉＦｉ（登録商標）などの直接的な無線通信手段により実現されてもよいし、携帯電話網やインターネットなどのネットワークを介して実現されてもよい。携帯端末１０はドローン８を制御する端末である。

携帯端末１０は、スマートフォンやタブレット型端末やノートＰＣや専用のコントローラなどの携帯端末である。ユーザ４は、ダウンロードサイトからネットワークを介して検査支援アプリケーションプログラム（以下、検査支援アプリという）を携帯端末１０にダウンロードし、インストールする。あるいはまた、検査支援アプリは携帯端末１０にプリインストールされていてもよい。さらにまた、検査支援アプリはＡＳＰ型やＳａａＳ型で構成されてもよい。検査支援アプリが携帯端末１０により実行されることにより、携帯端末１０はドローン８と通信し、各種機能を実現する。以下、携帯端末１０（のＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等の処理ユニット）が検査支援アプリを実行することにより実現する機能を携帯端末１０の機能として説明することがあるが、それらの機能は実際は検査支援アプリが携帯端末１０に実現させる機能である。

ドローン８は、無人で飛行する比較的小型の装置であり、無線通信を介した遠隔操作により飛行してもよいし、自律飛行してもよい。本実施の形態では、ドローン８として、カメラなどの撮像機能と、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）などの測位機能と、携帯端末１０との通信機能と、を備える汎用のドローン、例えばＤＪＩ Ｍａｖｉｃ Ｐｒｏ（非特許文献１参照）等、を想定している。

図１を参照すると、まずユーザ４は携帯端末１０のディスプレイ１０２上で、ドローン８により撮像する領域（以下、撮像領域１２と称す）を指定する。特にユーザ４は、ディスプレイ１０２に表示される電子地図上で、検査対象である基地局装置６を指定した上で、当該基地局装置６が撮像領域１２に入るように、撮像領域１２を設定する。基地局装置６などの検査対象は、電子地図上で指定可能なオブジェクトとして表示されてもよい。撮像領域１２は、ユーザ４がディスプレイ１０２上でタップした点１４を結ぶ多角形により指定されてもよい。あるいはまた、撮像領域１２は、基地局装置６に対応するオブジェクトが電子地図上で選択されると自動的に設定されてもよい。例えば、撮像領域１２は、基地局装置６の位置を中心とする所定の半径の円領域に設定されてもよい。

図２は、基地局装置６に対応して設定された概要飛行経路１６に従いドローン８が飛行し、基地局装置６を撮像する様子を示す模式図である。ユーザ４により基地局装置６およびそれに関連する撮像領域１２が指定されると、携帯端末１０は指定された基地局装置６の概要的なまたは粗い三次元モデル（以下、概要三次元モデルと称す）を生成するために必要な画像を取得できるように、ドローン８の概要飛行経路１６を設定する。

図２を参照すると、ドローン８は概要飛行経路１６に従って飛行しながら、基地局装置６を撮像し、得られた画像を携帯端末１０に送信する。携帯端末１０は、取得した画像を用いて基地局装置６の概要三次元モデルを生成する。ドローン８の概要飛行経路１６の設定およびドローン８から取得された画像を用いた概要三次元モデルの生成は、公知のＤｒｏｎｅ ３Ｄ Ｍａｐｐｐｉｎｇ技術（例えば、非特許文献２参照）を用いて実現されてもよい。

図３は、生成された概要三次元モデル１８においてユーザ４から詳細を確認する部位の指定を受け付ける様子を示す模式図である。携帯端末１０は、生成された基地局装置６の概要三次元モデル１８をディスプレイ１０２に表示させる。ユーザ４は、基地局装置６の部位のうち詳細を確認したい部位を、ディスプレイ１０２に表示された概要三次元モデル１８に対して矩形２０を描くことで指定する。携帯端末１０は、矩形２０内の部位を指定部位として特定する。携帯端末１０は、概要飛行経路１６において指定部位を撮像したときの測位情報などに基づいて、指定部位の詳細なまたは精細な三次元モデル（以下、詳細三次元モデルと称す）を生成するために必要な画像を取得できるように、ドローン８の詳細飛行経路２２を設定する。詳細三次元モデルは概要三次元モデルよりも粒度が小さい、および／または、解像度が高い、および／または、オブジェクトごとのデータ量が大きい。

なお、色や線種や形状の異なる複数の種類の矩形２０が使用可能であってもよく、その場合、異なる種類の矩形は異なる指示内容に対応してもよい。例えば、赤枠の矩形で指定した場合、携帯端末１０はそれを当該矩形の面のみを詳細に撮像する指示として解釈してもよい。青枠の矩形で指定した場合、携帯端末１０はそれを当該矩形内の部位を全方位で詳細に撮像する指示として解釈してもよい。また、矩形だけでなく、円、三角等の形状でもよく、領域を指定できるものであればよい。領域ではなく、ユーザは点のみを指定し、その点の周りを対象領域とするものであってもよい。

図４は、基地局装置６の指定部位に対応して設定された詳細飛行経路２２に従いドローン８が飛行し、指定部位を撮像する様子を示す模式図である。ドローン８は詳細飛行経路２２に従って飛行しながら、基地局装置６の指定部位を撮像し、得られた画像を携帯端末１０に送信する。携帯端末１０は、取得した画像を用いて指定部位の詳細三次元モデル２４を生成する。

図５は、生成された詳細三次元モデル２４をユーザ４が確認している様子を示す模式図である。携帯端末１０は、生成された指定部位の詳細三次元モデル２４をディスプレイ１０２に表示させる。ユーザ４は、表示されている指定部位の詳細な画像から、指定部位の状態（ひび、われ、変色、劣化、脱落、異物付着等）を確認する。

インフラや建築物の検査では、通常、１ｍｍ～数ｍｍオーダーのひびなどの異常を見つけることが要求される。このレベルの異常を見つけるためには、比較的詳細な画像を取得する必要があるが、検査対象の全体の三次元モデルを生成する際にそのレベルの画像を取得することは、時間的にも処理負荷的にも現実的でない。そこで、本実施の形態に係る支援システム２では、まず検査対象の概要三次元モデル１８を生成し、当該概要三次元モデル１８を用いてユーザ４から、検査したい部位の指定を受け付ける。次いでユーザ４が指定した部位を詳細に撮像するようドローン８をもう一度飛ばし、詳細三次元モデル２４を生成するようにしている。これにより、ユーザ４は検査において、検査対象の全体を概要的に把握した上で、必要な部位の状態を詳細に確認することができる。加えて、検査対象全体の詳細な三次元モデルを生成する必要はないので、検査にかかる時間も短縮することができる。さらに、ドローン８により高い通信性能が要求されることもないので、コストを抑制することができる。

図６は、図１の携帯端末１０のハードウエア構成図である。携帯端末１０は、メモリ１０４と、プロセッサ１０６と、通信インタフェース１０８と、ディスプレイ１０２と、入力インタフェース１１０と、を含む。これらの要素はそれぞれバス１１２に接続され、バス１１２を介して互いに通信する。

メモリ１０４は、データやプログラムを記憶するための記憶領域である。データやプログラムは、メモリ１０４に恒久的に記憶されてもよいし、一時的に記憶されてもよい。特にメモリ１０４は検査支援アプリを記憶する。プロセッサ１０６は、メモリ１０４に記憶されているプログラム、特に検査支援アプリを実行することにより、携帯端末１０における各種機能を実現する。通信インタフェース１０８は、携帯端末１０の外部との間でデータの送受信を行うためのインタフェースである。例えば、通信インタフェース１０８は、ネットワークにアクセスするためのインタフェースや、ドローン８と直接無線通信するためのインタフェースを含む。ディスプレイ１０２は、各種情報を表示するためのデバイスであり、例えば、液晶ディスプレイや有機ＥＬ（Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイなどである。入力インタフェース１１０は、ユーザからの入力を受け付けるためのデバイスである。入力インタフェース１１０は、例えば、ディスプレイ１０２上に設けられたタッチパネルや、各種入力キー等を含む。

図７は、図１の携帯端末１０の機能および構成を示すブロック図である。ここに示す各ブロックは、ハードウエア的には、コンピュータのＣＰＵをはじめとする素子や機械装置で実現でき、ソフトウエア的にはコンピュータプログラム等によって実現されるが、ここでは、それらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックはハードウエア、ソフトウエアの組合せによっていろいろなかたちで実現できることは、本明細書に触れた当業者には理解されるところである。

携帯端末１０は、概要処理部１１４と、詳細処理部１１６と、モデル利用部１１８と、概要画像情報保持部１２０と、三次元モデル保持部１２２と、詳細画像情報保持部１２４と、詳細飛行履歴保持部１２６と、を備える。概要処理部１１４は概要三次元モデル１８の生成に関する処理を行う。詳細処理部１１６は詳細三次元モデル２４の生成に関する処理を行う。モデル利用部１１８は生成された詳細三次元モデル２４の利用に関する処理を行う。

図８は、図７の概要画像情報保持部１２０の一例を示すデータ構造図である。概要画像情報保持部１２０は、ドローン８が概要飛行経路１６に従って飛行しながら取得した概要的なまたは粗い画像（以下、概要画像と称す）および概要画像を取得したときの状況を保持する。概要画像情報保持部１２０は、概要飛行経路１６に従うドローン８の飛行を特定する概要飛行ＩＤと、ドローン８が概要画像を取得したときの時刻と、ドローン８が概要画像を取得したときのドローン８の位置と、概要画像のファイルと、を対応付けて保持する。ドローン８が概要画像を取得したときのドローン８の位置は、ドローン８の測位機能により与えられてもよい。概要画像のファイルのサイズは比較的小さくてもよい。

図９は、図７の詳細画像情報保持部１２４の一例を示すデータ構造図である。詳細画像情報保持部１２４は、ドローン８が詳細飛行経路２２に従って飛行しながら取得した詳細なまたは精細な画像（以下、詳細画像と称す）および詳細画像を取得したときの状況を保持する。詳細画像情報保持部１２４は、詳細飛行経路２２に従うドローン８の飛行（以下、詳細飛行と称す）を特定する詳細飛行ＩＤと、ユーザ４によって指定された部位を特定する指定部位ＩＤと、ドローン８が詳細画像を取得したときの時刻と、ドローン８が詳細画像を取得したときのドローン８の位置と、詳細画像のファイルと、を対応付けて保持する。詳細画像のファイルのサイズは比較的大きくてもよく、例えば概要画像のファイルのサイズよりも大きくてもよい。

図１０は、図７の詳細飛行履歴保持部１２６の一例を示すデータ構造図である。詳細飛行履歴保持部１２６は、詳細飛行の履歴を保持する。詳細飛行履歴保持部１２６は、詳細飛行ＩＤと、検査対象を特定する対象ＩＤと、指定部位ＩＤと、指定矩形画像ファイルと、詳細飛行が行われた時刻と、詳細飛行における詳細飛行経路２２の情報と、指定部位の詳細画像のファイルと、を対応付けて保持する。指定矩形画像ファイルは、ユーザ４から指定部位の指定を受け付けるときに、ユーザ４が概要三次元モデル１８に対して描いた矩形２０を含む画像のファイルである。例えば、指定矩形画像ファイルは、図３に示されるディスプレイ１０２の画面キャプチャであってもよい。指定部位の詳細画像のファイルは後述の指定詳細画像のファイルであってもよい。

図７に戻り、概要処理部１１４は、撮像領域取得部１２８と、概要飛行経路設定部１３０と、概要画像取得部１３２と、概要モデル生成部１３４と、を含む。撮像領域取得部１２８は、基地局装置６を撮像するようにドローン８の動作を設定するための情報を取得する。撮像領域取得部１２８は、携帯端末１０のディスプレイ１０２に電子地図を表示させ、当該電子地図を介してユーザ４から検査対象としての基地局装置６の指定と、撮像領域１２の指定と、を受け付ける。

概要飛行経路設定部１３０は、撮像領域取得部１２８によって取得された情報に基づいて、基地局装置６を撮像するようにドローン８の動作すなわち概要飛行経路１６を生成する。概要飛行経路設定部１３０は、生成された概要飛行経路１６をドローン８に送信することで、ドローン８に概要飛行経路１６を設定する。

概要画像取得部１３２は、ドローン８が概要飛行経路１６に従う飛行（以下、概要飛行と称す）を行った結果得られた概要画像をドローン８から取得する。概要画像取得部１３２は、ドローン８の概要飛行中にドローン８から逐次送られてくる概要画像および当該概要画像の取得時刻および取得位置を受け付け、概要画像情報保持部１２０に格納する。

概要モデル生成部１３４は、概要画像情報保持部１２０に保持される概要画像を読み出し、読み出された概要画像に基づいて基地局装置６の概要三次元モデル１８を生成する。概要モデル生成部１３４は、生成された概要三次元モデル１８を三次元モデル保持部１２２に登録する。

詳細処理部１１６は、指定受付部１３６と、詳細飛行経路設定部１３８と、位置姿勢制御部１４０と、詳細画像取得部１４２と、詳細モデル生成部１４４と、を含む。指定受付部１３６は、概要画像から生成された概要三次元モデル１８を用いて、ユーザ４から基地局装置６の部位の指定を受け付ける。指定受付部１３６は、ユーザ４から基地局装置６の詳細確認要求を受け付けると、三次元モデル保持部１２２に保持される基地局装置６の概要三次元モデル１８を読み出し、ディスプレイ１０２に表示させる。指定受付部１３６は、表示された概要三次元モデル１８に対してユーザ４が描いた矩形２０の中に表示されている基地局装置６の部位を指定部位として特定する。指定受付部１３６の再指定時の機能については後述する。

詳細飛行経路設定部１３８は、概要飛行において得られた指定部位の概要画像よりも詳しい指定部位の詳細画像を取得するように、ドローン８の動作すなわち詳細飛行経路２２を生成する。詳細飛行経路設定部１３８は、生成された詳細飛行経路２２をドローン８に送信することで、ドローン８に詳細飛行経路２２を設定する。

詳細飛行経路設定部１３８は、詳細飛行経路２２を生成する際、概要飛行において得られた測位情報を用いる。具体的には、詳細飛行経路設定部１３８は、まず指定部位が写っている概要画像を特定する。これは、例えば、概要三次元モデル１８における指定部位を構成する元となった概要画像を特定することにより実現されてもよいし、概要画像情報保持部１２０に保持される概要画像のなかから部位の指定時にユーザ４が描いた矩形２０に対応する概要画像を特定することにより実現されてもよい。詳細飛行経路設定部１３８は、概要画像情報保持部１２０を参照し、特定された概要画像に対応付けられた位置を取得する。詳細飛行経路設定部１３８は、取得された位置に基づいて、詳細飛行経路２２の最初の目的地の位置を設定する。詳細飛行経路設定部１３８は、指定部位を複数の異なる視点から撮像するように、最初の目的地に到着した後のドローン８の飛行経路を設定する。スタート地点から最初の目的地までの詳細飛行経路２２の形状は、途中に障害物があればそれを避けるような指定部位（または最初の目的地の位置）への最短経路となるように設定されてもよい。

位置姿勢制御部１４０は、詳細飛行経路設定部１３８により特定された指定部位が写っている概要画像と、ドローン８の撮像機能により取得される現在の画像と、を比較することにより、指定部位を撮像するための位置または姿勢を調整するように、ドローン８を制御する。位置姿勢制御部１４０は、詳細飛行経路設定部１３８により特定された指定部位が写っている概要画像をドローン８に送信する。ドローン８は、詳細飛行経路２２に従い飛行して最初の目的地付近に到達すると、受信した概要画像と、ドローン８の撮像機能により得られる現在の指定部位の画像と、を比較する。ドローン８は両画像の差分が小さくなるように、ドローン８の位置・姿勢および／またはドローン８のカメラの視線方向および焦点距離を調整する。このように位置・姿勢が調整されたドローン８により撮像された指定部位の詳細画像を指定詳細画像と称す。

なお、他の方法によるドローン８の位置・姿勢の調整も可能である。例えば、位置姿勢制御部１４０は、ユーザ４による部位の指定時にディスプレイ１０２に表示されている概要三次元モデル１８の表示向きおよび描かれた矩形２０に対応する位置を用いて、詳細飛行経路設定部１３８により生成された詳細飛行経路２２を調整してもよい。あるいはまた、概要三次元モデル１８の各オブジェクトに比較的詳細な測位情報が付与されている場合（例えば、非特許文献３参照）、位置姿勢制御部１４０は、矩形２０で指定された部位に対応するオブジェクトの測位情報に基づいて、詳細飛行経路２２を生成または調整してもよい。

以下に詳細飛行経路２２の具体例を示す。
（１）スタート地点から最初の目的地まで直線飛行→画像比較による位置・姿勢調整→指定詳細画像の撮像→指定部位の周りを飛行しながら複数の角度から撮像→帰投
（２）スタート地点から最初の目的地まで円弧飛行（障害物を避けるため）→最初の目的地でホバリングしながらＰＴＺ（パン・チルト・ズーム）を制御してカメラを指定された向き、焦点距離に合わせる→指定詳細画像の撮像→指定部位の周りを飛行しながら複数の角度から撮像→帰投

詳細画像取得部１４２は、ドローン８が詳細飛行を行った結果得られた詳細画像をドローン８から取得する。詳細画像取得部１４２は、ドローン８の詳細飛行中にドローン８から逐次送られてくる詳細画像および当該詳細画像の取得時刻および取得位置を受け付け、詳細画像情報保持部１２４に格納する。

詳細モデル生成部１４４は、詳細画像情報保持部１２４に保持される詳細画像を読み出し、読み出された詳細画像に基づいて指定部位の詳細三次元モデル２４を生成する。詳細モデル生成部１４４は、生成された詳細三次元モデル２４を三次元モデル保持部１２２に登録する。

詳細処理部１１６は、ひとつの詳細飛行が完了し、対応する詳細三次元モデル２４が三次元モデル保持部１２２に格納されると、当該詳細飛行に関する情報を詳細飛行履歴保持部１２６に登録する。

モデル利用部１１８は、詳細画像提供部１４６と、対比画像提供部１４８と、を含む。詳細画像提供部１４６は、三次元モデル保持部１２２に保持される指定部位の詳細三次元モデル２４を読み出し、ディスプレイ１０２に表示させる。あるいはまた、詳細画像提供部１４６は、詳細三次元モデル２４の代わりに、指定詳細画像をディスプレイ１０２に表示させてもよい。対比画像提供部１４８の機能については後述する。

以上の構成による携帯端末１０の動作を説明する。
図１１は、図１の携帯端末１０における一連の処理の流れを示すフローチャートである。携帯端末１０は、ユーザ４による撮像領域１２の指定を受け付ける（Ｓ２０２）。携帯端末１０は、受け付けた撮像領域１２に基づいて概要飛行経路１６を設定する（Ｓ２０４）。携帯端末１０は、ドローン８から概要画像を取得する（Ｓ２０６）。携帯端末１０は、取得した概要画像を用いて概要三次元モデル１８を生成する（Ｓ２０８）。携帯端末１０は、概要三次元モデル１８の表示を介してユーザ４から、詳細検査の対象とする部位の指定を受け付ける（Ｓ２１０）。携帯端末１０は、指定部位の詳細画像を取得するように詳細飛行経路２２を設定する（Ｓ２１２）。携帯端末１０は、ドローン８から詳細画像を取得する（Ｓ２１４）。携帯端末１０は、取得した詳細画像を用いて詳細三次元モデル２４を生成する（Ｓ２１６）。携帯端末１０は、指定部位の詳細三次元モデル２４または指定詳細画像をユーザ４に提示する（Ｓ２１８）。携帯端末１０は、指定部位ＩＤと詳細飛行経路２２と指定詳細画像とを詳細飛行履歴保持部１２６に登録する（Ｓ２２０）。

図１２は、携帯端末１０のディスプレイ１０２に表示される詳細撮像履歴選択画面１５０の代表画面図である。詳細撮像履歴選択画面１５０は、過去の詳細飛行ごとに、過去の詳細飛行を特定する情報１５２と、画像で確認ボタン１５４と、を表示する。過去の詳細飛行を特定する情報１５２は、当該詳細飛行が行われた日付と、検査対象の名称と、指定部位の名称と、を含む。指定受付部１３６は、ユーザ４から撮像履歴の表示要求を受け付けると、詳細飛行履歴保持部１２６を参照することで詳細撮像履歴選択画面１５０を生成し、ディスプレイ１０２に表示させる。詳細撮像履歴選択画面１５０の日付は詳細飛行履歴保持部１２６の詳細飛行が行われた時刻に対応し、詳細撮像履歴選択画面１５０の検査対象の名称は詳細飛行履歴保持部１２６の対象ＩＤに対応し、詳細撮像履歴選択画面１５０の指定部位の名称は詳細飛行履歴保持部１２６の指定部位ＩＤに対応する。

図１３は、携帯端末１０のディスプレイ１０２に表示される指定部位確認画面１５６の代表画面図である。詳細撮像履歴選択画面１５０においてユーザ４が所望の詳細飛行の確認ボタン１５４をタップすると、指定受付部１３６は詳細飛行履歴保持部１２６からタップされた確認ボタン１５４の詳細飛行に対応する指定矩形画像ファイルを読み出し、指定部位確認画面１５６を生成する。指定部位確認画面１５６は、タップされた確認ボタン１５４の詳細飛行に関してユーザ４から指定部位の指定を受け付けたときに、ユーザ４が概要三次元モデル１８に対して描いた矩形２０を含む画像と、再指定ボタン１５８と、を有する。例えば、ユーザ４が、図１２の詳細撮像履歴選択画面１５０に示される詳細飛行の履歴のうち、「８／１５、ＢＳ＃１０００、１番アンテナ下端」で特定される過去の詳細飛行の確認ボタンをタップすると、画面が遷移して指定部位確認画面１５６が表示され、当該指定部位確認画面１５６には、ユーザ４が８／１５（過去の時点）にＢＳ＃１０００（基地局装置６の名称）の概要三次元モデルが表示されているディスプレイ１０２上で、１番アンテナ下端（指定部位）を指定するために描いた矩形が、当該概要三次元モデルと共に表示される。

ユーザ４は、指定部位確認画面１５６において指定部位を確認し、問題なければ再指定ボタン１５８をタップする。すると、指定受付部１３６は、当該タップを指定部位を再度撮像するための要求として受け付ける。詳細飛行経路設定部１３８は、指定部位確認画面１５６の生成の際に読み出された指定矩形画像ファイルに対応する詳細飛行経路を詳細飛行履歴保持部１２６から読み出してドローン８に送信することで、過去の詳細飛行経路と同じ詳細飛行経路をドローン８に再度設定する。

なお、他の実施の形態では、指定受付部１３６は、指定部位確認画面１５６の代わりに過去に取得された指定詳細画像または詳細三次元モデルを表示する画面をディスプレイ１０２に表示させてもよい。この場合、ユーザ４が再指定を要求すると、指定受付部１３６は表示されている指定詳細画像または詳細三次元モデルに対応する詳細飛行経路を詳細飛行履歴保持部１２６から読み出してドローン８に再度設定する。

基地局装置などのインフラ設備や建築物の検査では、経験的に、優先して検査すべき箇所や毎回必ず検査すべき箇所が分かっている。基地局装置の例では、アンテナの先端部から劣化が始まるので、当該先端部は毎回の検査で必ず確認する部位である。本実施の形態では、そのように繰り返し検査する必要がある指定部位について、最初の検査で概要三次元モデルから特定してしまえば、次回以降の検査では詳細飛行の履歴から選択するだけで簡便にドローン８への詳細飛行経路の設定が完了する。これによりユーザ利便性が向上する。

図１４は、携帯端末１０のディスプレイ１０２に表示される指定部位変遷画面１６０の代表画面図である。対比画像提供部１４８は、異なる時点の詳細飛行経路２２において得られた同じ指定部位の詳細画像または詳細三次元モデルを比較可能な態様で表示する指定部位変遷画面１６０を、ディスプレイ１０２に表示させる。対比画像提供部１４８は、ユーザ４から検査対象および指定部位の指定を伴う対比要求を受け付けると、指定された検査対象（対象ＩＤ）および指定された指定部位（指定部位ＩＤ）に対応する指定詳細画像のファイルを詳細飛行履歴保持部１２６から取得する。対比画像提供部１４８は、取得された指定詳細画像を時系列で並べることで指定部位変遷画面１６０を生成する。なお、指定詳細画像に代えてまたは加えて、三次元モデル保持部１２２から取得可能な詳細三次元モデルを指定部位変遷画面１６０に表示してもよい。

指定部位変遷画面１６０に表示される指定詳細画像において、同画面に表示される一つ前の指定詳細画像との差分は強調して表示される。例えば、図１４の指定部位変遷画面１６０の「８／１７」に対応する指定詳細画像において、その一つ前の「８／１５」の指定詳細画像との差分である新たなひび１６２は、他のひびとは異なる態様で、例えば太く表示するなど強調された態様で、表示される。

このように、指定された指定部位の指定詳細画像を時系列で表示することで、ユーザ４は劣化箇所や劣化の進み具合を一目でより的確に確認することができる。

上述の実施の形態において、保持部の例は、ハードディスクや半導体メモリである。また、本明細書の記載に基づき、各部を、図示しないＣＰＵや、インストールされたアプリケーションプログラムのモジュールや、システムプログラムのモジュールや、ハードディスクから読み出したデータの内容を一時的に記憶する半導体メモリなどにより実現できることは本明細書に触れた当業者には理解される。

本実施の形態に係る検査支援システム２によると、ドローン８の空撮による三次元モデルの生成を概要、詳細の二段階としたことで、検査対象のうち所望の／必要な部位以外の詳細三次元モデルを生成する必要がなくなる。これにより、所望の／必要な部位の詳細な確認を実現しつつ、処理負荷および処理時間を軽減することができる。また、ドローン８に求められる通信性能もそれほど高くないので、比較的廉価なドローンを用いることでコストの増大を抑制することができる。

以上、実施の形態に係る検査支援システム２の構成と動作について説明した。この実施の形態は例示であり、各構成要素や各処理の組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解される。

実施の形態では、ユーザ４が基地局装置６の付近に赴いて携帯端末１０を操作することにより検査を行う場合を説明したが、これに限られない。例えば、検査対象としての基地局装置６の指定、撮像領域１２の指定、得られた概要三次元モデル１８を用いた指定部位の指定、指定詳細画像の確認は、基地局装置６から離れた位置にあるセンタ施設のオペレータにより行われてもよい。作業者はドローン８を基地局装置６の付近に運搬するだけでよい。この場合の処理は、実施の形態の携帯端末１０を、オペレータのデスクトップ端末で置き換えることで理解される。

あるいはまた、オペレータのデスクトップ端末に予め基地局装置６の各部品の三次元モデルを格納しておき、オペレータに当該三次元モデルから指定部位を選択させるようにしてもよい。

２ 検査支援システム、 ４ ユーザ、 ６ 基地局装置、 ８ ドローン、 １０ 携帯端末。

Claims (8)

1. 撮像機能を備えた無人飛翔装置を制御する端末に、
   対象を撮像するように前記無人飛翔装置の第１動作を設定するための情報を取得する機能と、
   前記無人飛翔装置が前記第１動作を行った結果得られた画像を前記無人飛翔装置から取得する機能と、
   前記画像を用いてユーザから前記対象の一部の指定を受け付ける機能と、
   前記第１動作において得られた前記対象の指定された一部の画像よりも詳しい前記対象の指定された一部の画像を取得するように、前記無人飛翔装置の第２動作を設定する機能と、
   前記対象の指定された一部を特定する特定情報と、当該一部を撮像するために決定された飛行経路と、を対応付けて保持手段に登録する機能と、
   前記対象の指定された一部を再度撮像するための要求を受けると、前記保持手段を参照し、当該一部に対応付けて保持される飛行経路を再度設定する機能と、を実現させ、
   前記無人飛翔装置の前記第１動作を設定するための前記情報を取得する機能は、地図画像上で指定された前記対象の情報を取得するように構成され、
   前記画像を用いて前記ユーザから前記対象の一部の指定を受け付ける機能は、前記対象の一部の指定を示す領域を前記画像上に表示することを含む、
   ためのコンピュータプログラム。
2. 前記無人飛翔装置は測位機能を備え、
   前記設定する機能は、前記第１動作において得られた測位情報に基づいて、前記対象の指定された一部を撮像するための前記無人飛翔装置の飛行経路を設定する機能を含む請求項１に記載のコンピュータプログラム。
3. 前記対象の一部の指定を受け付ける際に用いられた画像と、前記無人飛翔装置の撮像機能により取得される現在の画像と、を比較することにより、前記対象の指定された一部を撮像するための位置または姿勢を調整するように、前記無人飛翔装置を制御する機能をさらに前記端末に実現させる請求項１から２のいずれか一項に記載のコンピュータプログラム。
4. 異なる時点の前記第２動作において得られた前記対象の指定された一部の画像または当該画像により生成された三次元モデルを、比較可能な態様でディスプレイに表示させる機能をさらに前記端末に実現させる請求項１から３のいずれか一項に記載のコンピュータプログラム。
5. 前記対象の一部の指定を示す領域を前記画像上に表示することは、前記対象の一部の前記指定を示す、前記画像上に重ねられた色の付加された領域を表示することを含む、請求項１から４のいずれか一項に記載のコンピュータプログラム。
6. 前記第２動作において取得された前記対象の指定された一部の画像を再度取得するように、前記第２動作に対応する過去の飛行のために構成された情報を用いて前記無人飛翔装置の第３動作を設定する機能を更に備える、請求項１又は２に記載のコンピュータプログラム。
7. 前記第１動作において取得された前記対象の指定された一部の画像よりも詳しい前記対象の指定された一部の画像である第１画像を取得したときの前記無人飛翔装置の位置と、前記第１画像のファイルとを互いに関連付けて保持する手段を更に備える、請求項１から６のいずれか一項に記載のコンピュータプログラム。
8. 前記第１動作の間に取得され、前記無人飛翔装置から逐次送信される、前記対象の指定された一部の画像である第２画像と、当該第２画像が取得された時刻と、当該第２画像が取得された位置とを受け付けて保持する手段を更に備える、請求項１から７のいずれか一項に記載のコンピュータプログラム。

Images