JP6478329B2 - 構造物の点検システムおよび点検方法 - Google Patents

Description

本発明は、無人飛行ユニットとそこに搭載されたカメラ等の撮影手段を有し、住宅や工場等の構造物における屋根や外壁の塗装の剥がれや腐食等の劣化を点検する構造物の点検システムおよび点検方法に関するものである。

構造物の中でも殊に屋根は、年間を通して雨風や夏の強い日射しといった厳しい自然環境に曝される箇所で劣化の進行が早く、劣化したまま放置すると、構造物の老朽化を早める原因にもなる。構造物の良好な状態を長期に亘って維持するためには、定期的な点検を行い、必要に応じて屋根の修理・補修や葺き替えを行うことが肝要である。

従来、このような点検作業は作業員が実際に屋根に登り、歩行しながら点検を行っていたが、屋根へのアクセスが困難な建物や桁行方向の長さが数百メートルにも及ぶ大きな工場等の屋根を点検する場合には、点検に多大な時間を要し、また落下防止のための安全対策を講じる必要もあって点検に掛かる費用も高く、定期的な点検を躊躇する所有者もいるのが現状である。

ところで、点検が必要な場所から離れた位置で点検するためには、カメラを搭載した無人飛行ユニットを使用することが考えられ、このような無人飛行ユニットとしては例えば、改正航空法でいうドローン（無人航空機）のうち、複数のロータにより浮上、飛行および空中での静止（ホバリング）を行うマルチコプタが知られている。マルチコプタは一般に、マイクロコンピュータおよび、ＧＰＳ（全地球測位システム）や３軸ジャイロ、３軸加速度計等を搭載していて自立飛行が可能であるとともに、無線通信機を搭載していてその通信機能によりスマートフォン等からなる操縦装置での遠隔操作が可能である。しかも前方や下方等の視界を撮影する飛行用カメラを搭載していて、操縦員の操縦装置にそのマルチコプタからの視界の画像を送ることができ、現在では多種のものが比較的安価に市販されている。

下記特許文献１には、このようなマルチコプタを利用してダムの点検を行う技術が提案されており、この技術は具体的には、飛行経路があらかじめ定められた無線操縦式の回転翼機に搭載されたカメラで構造物の画像を撮影し、撮影された画像を画像解析して構造物に不良があるか否かを判定するものである。

特開２０１５−１９４０６９号公報

しかしながら、上述したようなマルチコプタを利用した遠隔での点検では、人が近づき難い場所の点検が可能となるとともに、人手により点検作業を行うのと比較して、高所等における事故を防止して作業の安全性を高めることができるという利便性がある反面、次のような危険性がある。すなわち、マルチコプタを利用した遠隔での点検では、飛行中に周囲の障害物に衝突して操縦不能に陥り、墜落した際に人を死傷させたり、物を破損したりしてしまう危険性がある。最近では、周囲の障害物への衝突回避のためのセンサが搭載されたマルチコプタも開発されているが、このようなセンサでは、住宅や工場に備え付けられたアンテナやそれを固定するためのワイヤ等の細い障害物を検知できない場合もあり、衝突の危険性は依然として高いといえる。

飛行中の周囲の障害物への衝突を回避するためには、マルチコプタの飛行経路を障害物を避けるようにしてあらかじめ設定することが有効であると考えるが、上記特許文献１では飛行経路の具体的な設定方法について検討がなされておらず、障害物を回避することはできない。

それ故この発明は、上述した従来技術の問題点を解決し、構造物にアンテナやそれを固定するためのワイヤ等の細い障害物が備え付けられている場合であっても、安全にかつ簡単に構造物点検用の画像を撮影することが可能な点検システムおよび点検方法を提供することを目的とする。

上記課題を解決するための本発明の構造物の点検システムは、点検対象である構造物をその外側から撮影して構造物の点検を行う点検システムであって、自立飛行可能な無人飛行ユニットと、前記無人飛行ユニットに搭載された撮影手段と、少なくとも、前記撮影手段で構造物から比較的遠距離の位置で撮影された構造物の画像に基づき、構造物の三次元形状モデルを生成する三次元形状モデル生成手段と、前記三次元形状モデルを構成する各面から前記遠距離よりは近距離の位置に、前記無人飛行ユニットの飛行可能面をそれぞれ作成する飛行可能面作成手段と、前記無人飛行ユニットが自立飛行中に構造物に付属する障害物に衝突するのを避けるために、前記飛行可能面の少なくとも一部分を、対応する三次元形状モデルの面に対して移動して修正する飛行可能面修正手段と、を備え、前記無人飛行ユニットは、前記飛行可能面内に計画された飛行経路に従って自立飛行し、前記撮影手段は、前記無人飛行ユニットの自立飛行中に構造物の点検用の画像を撮影することを特徴とするものである。ここで、「遠距離の位置」とは、無人飛行ユニットを飛行させた際に、構造物に付属するアンテナやワイヤ等の障害物に衝突するおそれのない、構造物から十分に離れた位置であり、具体的には、３ｍ以上が好ましい。但し、過度に離れた位置から撮影すると、撮影した画像に基づき生成される三次元形状モデルの精度が低下する可能性があるため、３０ｍ未満とすることが好ましい。

なお、本発明の構造物の点検システムにあっては、前記飛行可能面を修正するに際しての障害物の確認は、構造物から比較的遠距離の前記位置で撮影された構造物の前記画像を参照することにより行うことが好ましい。

また、本発明の構造物の点検システムにあっては、構造物から比較的遠距離の前記位置から構造物を撮影するにあたって、前記無人飛行ユニットを離陸させるとともに所定の高度まで垂直上昇させる自動離陸指令手段を備えることが好ましい。

さらに、本発明の構造物の点検システムにあっては、構造物から比較的遠距離の前記位置から構造物を撮影した後に、前記無人飛行ユニットを垂直降下させ着陸させる自動着陸指令手段を備えることが好ましい。

さらに、本発明の構造物の点検システムにあっては、前記飛行可能面内に、前記無人飛行ユニットの飛行経路を作成する飛行経路作成手段を備えることが好ましい。

しかも、本発明の構造物の点検システムにあっては、構造物から比較的遠距離の位置で撮影された構造物の前記画像内の任意の範囲または前記三次元形状モデルの任意の面の少なくも一部を、あらかじめ用意されたリフォーム用のサンプル画像で置き換えてリフォーム後の画像イメージを作成する画像イメージ作成手段を備えることが好ましい。

また、上記課題を解決するための本発明の構造物の点検方法は、点検対象である構造物をその外側から撮影して構造物の点検を行う点検方法であって、自立飛行可能な無人飛行ユニットと、前記無人飛行ユニットに搭載された撮影手段と、少なくとも、前記撮影手段で構造物から比較的遠距離の位置で撮影された構造物の画像に基づき、構造物の三次元形状モデルを生成する三次元形状モデル生成手段と、前記三次元形状モデルを構成する各面から前記遠距離よりは近距離の位置に、前記無人飛行ユニットの飛行可能面をそれぞれ作成する飛行可能面作成手段と、前記無人飛行ユニットが構造物に付属する障害物に衝突するのを避けるために、前記飛行可能面の少なくとも一部分を、対応する三次元形状モデルの面に対して移動して修正する飛行可能面修正手段と、を用い、前記無人飛行ユニットを、前記飛行可能面内に計画した飛行経路に従って自立飛行させ、前記撮影手段を用いて、前記無人飛行ユニットの自立飛行中に構造物の点検用の画像を撮影することを特徴とするものである。

なお、本発明の構造物の点検方法にあっては、前記飛行可能面を修正するに際しての障害物の確認を、構造物から比較的遠距離の前記位置で撮影された構造物の前記画像を参照することにより行うことが好ましい。

また、本発明の構造物の点検方法にあっては、構造物から比較的遠距離の前記位置から構造物を撮影するにあたって、前記無人飛行ユニットを自動で離陸させるとともに所定の高度まで自動で垂直上昇させることが好ましい。

さらに、本発明の構造物の点検方法にあっては、構造物から比較的遠距離の前記位置から構造物を撮影した後に、前記無人飛行ユニットを自動で垂直降下させ着陸させることが好ましい。

しかも、本発明の構造物の点検方法にあっては、構造物から比較的遠距離の位置で撮影された構造物の前記画像内の任意の範囲または前記三次元形状モデルの任意の面の少なくも一部を、あらかじめ用意されたリフォーム用のサンプル画像で置き換えてリフォーム後の画像イメージを作成することが好ましい。

本発明の構造物の点検システムおよび点検方法にあっては、無人飛行ユニットに搭載された撮影手段により比較的遠距離の位置から撮影した画像に基づき構造物の三次元形状モデルを生成する構成としたので、構造物の外形の把握を簡単に行うことができると共にこの撮影時に無人飛行ユニットが構造物に付属する障害物に衝突するのを防止することができる。さらに、生成された三次元形状モデルから近距離の位置に無人飛行ユニットの飛行可能面を作成すると共に、必要に応じてその飛行可能面を修正する構成としたので、三次元形状としてモデル化されなかったアンテナやワイヤ等の細い障害物が存在する場合に、このような障害物を考慮して飛行可能面を修正することで、無人飛行ユニットが障害物に衝突するのを防止することができる。そして、無人飛行ユニットは、このようにして設定された飛行可能面内に計画された飛行経路に従って自立飛行するので、無人飛行ユニットの熟練操縦者でなくても安全かつ簡単に構造物点検用の画像を構造物から比較的近距離の位置で撮影することができる。

したがって、本発明の構造物の点検システムおよび点検方法によれば、構造物にアンテナやそれを固定するためのワイヤ等の細い障害物が備え付けられている場合であっても、安全かつ簡単に構造物点検用の画像を撮影することができる。

この発明に従う一実施形態の点検システムのシステム構成を示す概略図である。 本発明の構造物の点検方法の一実施点検方法を示すフローチャートである。 （ａ），（ｂ）は、上記点検システムを用い、無人飛行ユニットを自動で離陸させるとともに所定の高度まで自動で上昇させる様子を示す模式図であり、（ｃ）は上昇後に微調整を行う様子を示す模式図である。 上記点検システムを用い、構造物に対して比較的遠距離の位置から構造物を撮影する様子を示す模式図である。 上記点検システムを用い、無人飛行ユニットを遠隔操縦すると共に構造物を撮影する様子を示す模式図である。 上記点検システムを用い、構造物の一対のステレオ画像（写真）から三次元形状モデルを生成する様子を示す模式図である。 上記点検システムを用い、三次元形状モデルに対して飛行可能面を作成し表示した様子を示す模式図であり、（ａ）は三次元形状モデルおよび飛行可能面を斜めから表示したものであり、（ｂ）は三次元形状モデルおよび飛行可能面を正面側から表示したものである。 上記点検システムを用い、飛行可能面を修正する様子を示した模式図である。 上記点検システムを用い、飛行可能面上に離着陸点および通過点を指定して飛行経路を作成する様子を示す模式図である。 上記点検システムを用い、飛行可能面上に離着陸点および通過点を指定して飛行経路を作成する様子を示す模式図である。 上記点検システムを用い、離着陸点および実際に飛行させたい飛行可能面を指定して飛行経路を作成する様子を示す模式図である。 上記点検システムを用い、リフォームのシミュレーションを行う様子を示す模式図である。 上記点検システムを用い、飛行可能面を部分的に修正する様子を示す模式図である。

以下、この発明の実施の形態を図面に基づき詳細に説明する。ここに、図１は、この発明に従う一実施形態の点検システムのシステム構成を示す概略図である。

図１に示すこの実施形態の点検システムは、主に無人飛行ユニット１００と地上側の情報端末装置２００とによって構成される。本実施形態では、無人飛行ユニット１００は、以下に詳細に説明する方法により作成した飛行経路に従って自立飛行可能であるが、情報端末装置２００に組み込まれた遠隔操縦部２４３を用いて手動での遠隔操縦も可能である。また、この遠隔操縦部２４３からデジタルプロポーショナル型の遠隔操縦装置３００（図５）に切り替えて無人飛行ユニット１００を遠隔操縦することも可能である。

無人飛行ユニット１００は、それに搭載されたバッテリの電力で回転駆動する複数（例えば４つ）のロータを有し、各ロータで生じる揚力を互いにバランスさせることにより、浮上および空中での停止（ホバリング）が可能であり、飛行方向に対し後方側のロータの揚力を前方側のロータの揚力よりも大きくすることにより機体の姿勢を飛行方向へ傾斜させて任意の方向へ飛行することができ、またそれらのロータの半数ずつを互いに逆方向へ回転させることにより、ロータの回転の反作用を相互に打ち消して機体の回転を防止することができる。

無人飛行ユニット１００は、図１に示すように、撮影手段としての撮影装置１１０、無線通信部１２０、３軸加速度センサ１３０、３軸ジャイロセンサ１４０、ＧＰＳ（全地球測位システム）１５０、高度計１６０、制御部１８０、記憶部１９０を有している。

撮影装置１１０は、静止画像および動画像を撮影できるものが好ましい。撮影装置１１０としては、市販のデジタルカメラを用いることができる。撮影装置１１０は、撮影する方向（上下、左右）を変更する機構を有することが好ましい。

無線通信部１２０は、情報端末装置２００との間で無線通信を行うための通信インターフェースであり、無人飛行ユニット１００の位置情報や撮影装置１１０で撮影された画像データ等を情報端末装置２００に送信し、反対に情報端末装置２００から無人飛行ユニット１００を遠隔操縦する場合の指令信号や飛行経路データ等を受信する。

制御部１８０は、無人飛行ユニット１００の全体を制御するものであり、姿勢制御部１８２、飛行制御部１８４、撮影制御部１８６、および画像データ処理部１８８を有する。実際には、これらの機能部に対応するプログラムを図示しないＲＯＭ（リードオンリーメモリ）や不揮発性メモリに格納しておき、これらのプログラムをＣＰＵ（中央演算ユニット）に読み込んで実行することにより、それぞれに対応する処理を実行させることになる。

姿勢制御部１８４は、無人飛行ユニット１００の姿勢を安定化させるものであり、３軸加速度センサ１３０および３軸ジャイロセンサ１４０等から無人飛行ユニット１００の姿勢情報を取得し、得られた姿勢情報に基づき無人飛行ユニット１００の各ロータのモータの回転数を制御する。

飛行制御部１８４は、無人飛行ユニット１００の飛行に関する制御を行うものであり、例えば、ＧＰＳ１５０および高度計１６０等から得られた機体の現在の位置情報（緯度、経度および高度）と、記憶部１９０に格納された飛行経路とに基づき、無人飛行ユニット１００が当該飛行経路通りに飛行するよう無人飛行ユニット１００の各ロータのモータの回転数を制御したり、無人飛行ユニット１００を遠隔操縦する場合に、情報端末装置２００から送信された飛行制御に関する信号に基づき、無人飛行ユニット１００の各ロータのモータの回転数を制御したりする。

撮影制御部１８６は、情報端末装置２００からの指令に基づき、静止画または動画での撮影に関する制御、撮影装置１１０のレンズの向き（上下、左右方向）の変更に関する制御等を行う。

画像データ処理部１８８は、撮影装置１１０が静止画像を撮影した場合には、該静止画像データを取得し、この静止画像データに撮影時の無人飛行ユニット１００の位置情報等を付加して記憶部１９０に保存する。また、画像データ処理部１８８は、撮影装置１１０が動画像を撮影した場合には、動画像データを取得し記憶部１９０に保存する。この際、画像データ処理部１８８は、所定の時間毎に動画像データから静止画像データを取得し、この静止画像データに撮影時の無人飛行ユニット１００の位置情報等を付加して記憶部１９０に保存してもよい。

情報端末装置２００は、例えば、パーソナルコンピュータ、タブレット端末およびスマートフォンのうちの少なくとも１つで構成され、構造物周辺に位置する点検作業者が保持することができる。

情報端末装置２００は、図１に示すように、表示部２１０、入力部２２０、無線通信部２３０、制御部２４０、記憶部２５０を有している。

表示部２１０は、撮影装置１１０で撮影された構造物の画像データや後述する三次元形状モデルＰ、飛行可能面Ｑ等を表示するものであり、モニタやタッチパネル等を用いることができる。

入力部２２０は、情報端末装置２００への各種入力、例えば、撮影装置１１０による撮影に関する入力、後述する飛行経路の設定に関する入力、後述する飛行可能面Ｑの修正に関する入力、無人飛行ユニット１００の遠隔操縦に関する入力を行うものであり、キーボードやマウス、タッチパネル等を用いることができる。タッチパネルを用いる場合には、上記表示部２１０の機能を兼用させることができる。

無線通信部２３０は、無人飛行ユニット１００との間で無線通信を行うための通信インターフェースであり、無人飛行ユニット１００に無人飛行ユニット１００を遠隔操縦するための指令信号や飛行経路データ等を送信し、反対に無人飛行ユニット１００から無人飛行ユニット１００の位置情報や撮影装置１１０で撮影された画像データ等を受信する。

制御部２４０は、情報端末装置２００の全体を制御するものであり、自動離陸指令手段としての自動離陸指令部２４１、自動着陸指令手段としての自動着陸指令部２４２、遠隔操縦部２４３、撮影指令部２４４、三次元形状モデル生成手段としての三次元形状モデル生成部２４５、飛行可能面作成手段としての飛行可能面作成部２４６、飛行可能面修正手段としての飛行可能面修正部２４７、飛行経路作成手段としての飛行経路作成部２４８、および画像イメージ作成手段としての画像イメージ作成部２４９を有する。実際には、これらの機能部に対応するプログラムを図示しないＲＯＭ（リードオンリーメモリ）や不揮発性メモリに格納しておき、これらのプログラムをＣＰＵ（中央演算ユニット）に読み込んで実行することにより、それぞれに対応する処理を実行させることになる。

自動離陸指令部２４１は、点検作業者に離陸後の高度を指定させると共に、「上昇」指示を入力させ、「上昇」指示に基づき、無人飛行ユニット１００を離陸させると共に、指定された高度までその場で垂直に無人飛行ユニット１００を上昇させるための指令を無人飛行ユニット１００の飛行制御部１８４に出す。

自動着陸指令部２４２は、点検作業者に「着陸」指示を入力させ、「着陸」指示に基づき、無人飛行ユニット１００をその場で垂直に降下させ着陸させるための指令を無人飛行ユニット１００の飛行制御部１８４に出す。

遠隔操縦部２４３は、無人飛行ユニット１００を手動で遠隔操縦するためのものであり、点検作業者から入力部２２０を通じて入力された遠隔操縦に関する指令を無人飛行ユニット１００の飛行制御部１８４に出す。

撮影指令部２４４は、入力部２２０を通して入力された撮影に関する指示に基づき、静止画または動画での撮影に関する指令や撮影装置１１０のレンズの向き（上下、左右方向）の変更に関する指令を無人飛行ユニット１００の撮影制御部１８６に出す。

三次元形状モデル生成部２４５は、周知の写真測量法に従い、構造物を異なる角度で撮影した一対の画像（ステレオ画像）から構造物の三次元形状モデルＰ（図６）を生成し、記憶部２５０に格納する。具体的には、三次元形状モデル生成部２４５は先ず、上記一対の画像を記憶部２５０に記憶された画像群から取得し、次いで、これら一対の画像間で対応する対応点を自動的に取得した後、これらの画像を標定することで構造物の三次元情報を演算し、構造物の三次元形状モデルＰを生成する。

飛行可能面作成部２４６は、三次元形状モデル生成部２４５によって生成された構造物の三次元形状モデルＰを構成する各面から外側に所定距離離間した飛行可能面Ｑを演算し、三次元形状モデルＰと共に表示部２１０に表示させる（図７）。ここで、飛行可能面Ｑは、三次元形状モデルＰを構成する各面から３〜１０ｍ離れた位置に作成することが好ましい。また、飛行可能面作成部２４６は、飛行可能面Ｑの修正の要否を点検作業者に入力させてもよく、具体的には、飛行可能面作成部２４６は、修正の必要がない場合に入力部２２０を介して点検作業者に飛行可能面Ｑの「修正不要」指示を入力させ、作成した飛行可能面Ｑを確定して記憶部２５０に記憶させることができる。

飛行可能面修正部２４７は、修正が必要な飛行可能面Ｑに対して、修正範囲と修正距離を指定させ、指定された修正範囲と修正距離に基づき、指定された修正範囲を指定された修正距離だけ、対応する三次元形状モデルの面に対して移動し、修正後の飛行可能面Ｑを三次元形状モデルＰと共に表示部２１０に出力させる（図８）。この際、点検作業者は、例えば、三次元形状モデル生成用に撮影した構造物の画像（図４（ｂ））を参照しまたは実際の現場での目視により、アンテナやワイヤ等の細い障害物の有無および障害物の、構造物外面からの突出長さを確認し、当該障害物を考慮して飛行可能面Ｑの修正を行うことができる。飛行可能面修正部２４７は、修正された飛行可能面Ｑを確定して記憶部２５０に記憶させる。

飛行経路作成部２４８は、確定された飛行可能面Ｑを記憶部２５０から読み出し、表示部２１０に表示させると共に、点検作業者に、離着陸点ａ，ｃと、無人飛行ユニット１００を通過させたい通過点ｂ１，ｂ２，ｂ３・・・ｂｎ（図９，１０）および無人飛行ユニット１００を飛行させたい飛行可能面Ｑ（図１１）のうちの少なくとも一方と、を指定させ、指定された条件内で飛行経路を演算し、作成された飛行経路を記憶部２５０に記憶させる。この際、飛行経路作成部２４８は、例えば、構造物の撮影対象部分から無人飛行ユニット１００に搭載された撮影装置１１０までの距離を考慮した撮影装置１１０の撮影範囲に基づき、構造物の撮影対象部分が漏れなく撮影されるよう飛行経路を演算する。なお、飛行経路は、点検作業者が飛行可能面Ｑ上に手動設定してもよい。

画像イメージ作成部２４９は、記憶部２５０から構造物の三次元形状モデルＰを読み出し、利用者（点検作業者に限らず、リフォーム担当者や顧客等であってもよい。）に三次元形状モデルＰを構成する面の中からリフォーム対象面または範囲を指定させると共に、あらかじめ記憶部２５０に格納された複数のリフォームサンプル画像ｍ１，ｍ２，ｍ３（図１２）の中から１つのリフォームサンプル画像（例えばｍ１）を選択させ、選択されたリフォームサンプル画像ｍ１を上記で指定されたリフォーム対象面または範囲に貼り付けてリフォーム後の画像イメージを作成する。あるいは、画像イメージ作成部２４９は、例えば三次元形状モデルＰの生成時に使用した構造物の画像（図４（ｂ））を読み出し、利用者に該画像内でリフォーム対象範囲を指定させると共に、あらかじめ記憶部２５０に格納された複数のリフォームサンプル画像ｍ１，ｍ２，ｍ３の中から１つのリフォームサンプル画像（例えばｍ１）を選択させ、選択されたリフォームサンプル画像ｍ１を上記で指定されたリフォーム対象範囲に貼り付けてリフォーム後の画像イメージを作成してもよい。

次に、上述した、本発明の構造物の点検システムの一実施形態を用いた、本発明の構造物の点検方法の一実施形態について説明する。ここで、図２は、本発明の構造物の点検方法の一実施点検方法を示すフローチャートである。

この実施形態の構造物の点検方法は、大きく３つのステップ群に分けることができる。第一に、無人飛行ユニット１００を飛行させ、構造物を比較的遠距離から撮影するステップ群（ステップＳ１、Ｓ２）であり、第二に、遠距離から撮影された構造物の画像に基づき、無人飛行ユニット１００が安全に飛行することができる飛行経路を求めるステップ群（ステップＳ３〜Ｓ６）であり、第三に、得られた飛行経路に従って無人飛行ユニット１００を自立飛行させながら、構造物を比較的近距離から撮影し、点検用の画像を取得し、点検を実施するステップ群（ステップＳ７、Ｓ８）である。なお、本例では、情報端末装置２００として、表示部２１０および入力部２２０の機能を併せ持ったタッチパネル画面を有するタブレット端末を使用するが、表示部２１０と入力部２２０が別々のパーソナルコンピュータを用いてもよく、あるいは、一部のステップをタブレット端末で行い、残りのステップをパーソナルコンピュータで行うようにしてもよい。また、本例では、上記３つのステップ群に加えて、生成された三次元形状モデルＰまたは遠距離から撮影された構造物の画像を利用して、リフォームのシミュレーションを行うステップを有している。以下各ステップについて順に説明する。

ステップＳ１では、図３（ａ）に示すように、点検作業者が無人飛行ユニット１００を構造物近くの安全に離着陸できる場所に配置する。情報端末装置２００では自動離陸指令部２４１および撮影指令部２４４が起動される。自動離陸指令部２４１は、タッチパネル画面２１０，２２０上に高度設定欄および「上昇」ボタンを表示し、点検作業者は、高度設定欄（例えば３〜１００ｍ）の中から構造物の高さを考慮して所望の高度（図示例では「２０ｍ」）を選択し、「上昇」ボタンを押す。これにより、無人飛行ユニット１００は、図３（ｂ）に示すように、指定された高度まで垂直に上昇しそこでホバリング飛行をする。このときタッチパネル画面２１０，２２０上には、撮影装置１１０のリアルタイム映像が表示されている。リアルタイム映像内に構造物の全体が納まっていない場合には、点検作業者は、図３（ｃ）に示すように、無人飛行ユニット１００の高度、方向を微調整することができる。

ステップＳ２では、図４（ａ）に示すように、撮影指令部２４４は、タッチパネル画面上に「測定」ボタンを表示する。点検作業者はリアルタイム映像内に構造物の全体が納まっていることを確認し、「測定」ボタンを押す。「測定」ボタンが押されると、撮影装置１１０は、図４（ｂ）に示すように、レンズを段階的に回転させ、異なる方向から構造物を複数回（少なくとも２回）撮影する。この際、構造物の死角となる部分をも撮影する必要がある場合には、無人飛行ユニット１００を遠隔操縦モードに切り替え、無人飛行ユニット１００を遠隔操縦しながら撮影を行ってもよいが、点検作業者が無人飛行ユニット１００の熟練操縦者でない場合には、無人飛行ユニット１００を一度自動着陸させ、無人飛行ユニット１００を所定位置まで運んでからステップＳ１の操作を再度行うことが好ましい。撮影された画像データは、無人飛行ユニット１００の記憶部に、撮影時の無人飛行ユニット１００の位置情報（緯度、経度および高度）等と共に格納される。格納された画像データおよびそれに関連した情報は、無線通信部を介して情報端末装置２００に伝送してもよいし、無人飛行ユニット１００を着陸させた後に、ＵＳＢフラッシュメモリ等の可搬記憶媒体または伝送ケーブルを用いて情報端末装置２００に移してもよい。

なお、点検作業者が無人飛行ユニット１００の熟練操縦者である場合には、ステップＳ１、２に代わるステップＳ１’、２’として図５（ａ）に示すように、情報端末装置２００の遠隔操縦部２４３を起動しまたは遠隔操縦装置３００を用いて、無人飛行ユニット１００を手動で離陸させ、地上から目視で無人飛行ユニット１００を確認しながら、停止（ホバリング）、撮影および移動を繰り返し、構造物を異なる位置から複数回撮影してもよい。地上から目視で無人飛行ユニット１００を確認できない場合には、表示部２１０（本作動例ではタッチパネル画面）上に表示される撮影装置１１０のリアルタイム映像およびＧＰＳ１５０位置情報を見ながら操縦および撮影を行ってもよいし、点検作業者が無人飛行ユニット１００を目視確認できる位置に移動しながら操縦および撮影を行ってもよい。なお、無人飛行ユニット１００を遠隔操縦しながら撮影を行う場合には、図５（ｂ）に示すように、無人飛行ユニット１００を構造物から十分に離した状態で構造物の周囲を螺旋状に飛行させてもよい。このとき、図５（ｃ）に示すように、屋根の軒裏を撮影することもでき、三次元形状モデルに反映させることができる。

ステップＳ３では、情報端末装置２００内で三次元形状モデル生成部２４５が起動される。三次元形状モデル生成部２４５は、ステップＳ２またはステップＳ２’で比較的遠距離から撮影され、情報端末装置２００の記憶部２５０内に格納された複数の画像の中から、図６に示すような、構造物が互いに異なる角度から撮影された一対の画像（ステレオ画像）を取得し、次いで、これらの画像間で対応する対応点を自動的に取得した後、これらの画像を標定することで構造物の三次元情報を演算し、構造物の三次元形状モデル（例えばサーフェスモデル）を生成する。本作動例では、三次元形状モデルを構成する各面に上記画像由来のテクスチャが貼り付けられている。構造物にアンテナ等の細い障害物が付属されている場合、このような障害物も二次元画像として三次元形状モデルに表現されることになり、細い障害物の有無および位置を確認することができる。

ステップＳ４では、情報端末装置２００内で飛行可能面作成部２４６が起動される。飛行可能面作成部２４６は、図７に示すように、構造物の三次元形状モデルＰを構成する各面から外側に所定距離（例えば２〜５ｍ）離間した飛行可能面Ｑを演算し、三次元形状モデルＰと共にタッチパネル画面２１０，２２０上に表示させる。飛行可能面作成部２４６は、タッチパネル画面２１０，２２０上で飛行可能面Ｑの修正の要否を点検作業者に入力させ、修正の必要がない場合、つまり、点検作業者が飛行可能面の「修正不要」指示を入力した場合、飛行可能面作成部２４６は、作成した飛行可能面Ｑを記憶部２５０に記憶させ、ステップＳ６へと進む。「修正必要」指示が入力された場合には、飛行可能面修正部２４７が起動され、ステップＳ５へと進む。

ステップＳ５では、飛行可能面修正部２４７は、図８に示すように、タッチパネル画面２１０，２２０上で点検作業者に、修正が必要な飛行可能面Ｑに対して修正範囲および修正距離を指定させる。点検作業者は、飛行可能面Ｑの修正範囲および修正距離を入力する。飛行可能面修正部２４７は、飛行可能面Ｑの指定された修正範囲を、対応する三次元形状モデルの面に対して指定された修正距離だけ移動し、修正後の飛行可能面Ｑを三次元形状モデルＰと共にタッチパネル画面２１０，２２０上に表示させる。この際、点検作業者は、例えば、三次元形状モデル生成用に遠距離から撮影した構造物の画像（図４（ｂ））を参照することによりまたは実際の現場での目視により、アンテナやワイヤ等の細い障害物の、構造物外面からの突出長さを確認し、当該障害物を考慮して飛行可能面Ｑの修正を行うことができる。飛行可能面修正部２４７は、修正された飛行可能面Ｑを確定し記憶部２５０に記憶させる。

ステップＳ６では、情報端末装置２００内で飛行経路作成部２４８が起動される。飛行経路作成部２４８は、確定された飛行可能面Ｑを記憶部２５０から読み出し、図９中の上図に示すように、タッチパネル画面２１０，２２０上に表示させると共に、点検作業者に、無人飛行ユニット１００の離着陸点ａ，ｃと無人飛行ユニット１００を通過させたい通過点ｂ１，ｂ２，・・・ｂ８とを指定させる。飛行経路作成部２４８は、指定された条件内で飛行経路を演算し（図９中の下図）、作成された飛行経路を記憶部２５０に記憶させる。飛行経路作成部２４８は、例えば、構造物の撮影対象部分から無人飛行ユニット１００に搭載された撮影装置１１０までの距離を考慮した撮影装置１１０の撮影範囲に基づき、構造物の撮影対象部分が漏れなく撮影されるよう飛行経路を演算することができる。なお、工場のような大きな構造物の場合には、図１０に示すように、通過点ｂ１，ｂ２，・・・ｂｎを多数指定することができる。また、飛行経路作成部２４８は、図１１に示すように、離着陸点ａ，ｃと複数の飛行可能面Ｑのうち飛行させたい飛行可能面Ｑ（クロスマークで示す。）とを指定させることもできる。

ステップＳ７では、ステップＳ６で作成された飛行経路が無人飛行ユニット１００の記憶部１９０に格納され、飛行制御部１８４は、ＧＰＳ１５０および高度計１６０等から得られた機体の現在の位置情報（緯度、経度および高度）と、記憶部１９０に格納された飛行経路とに基づき、無人飛行ユニット１００が当該飛行経路通りに自立飛行するよう無人飛行ユニット１００の各ロータのモータの回転数を制御する。また、この自立飛行中、撮影装置１１０は構造物を比較的近距離（例えば３〜５ｍ）から撮影する。撮影する画像は動画でも静止画でもよいが、動画のほうが好ましい。また、撮影された画像は、撮影時の無人飛行ユニット１００の位置情報と共に記憶部１９０に記憶するのが好ましく、これによれば、後から撮影された画像を見て構造物の点検を行う際に、劣化箇所の位置を容易に把握することができる。撮影された画像データは、無線通信部２３０を介して逐次情報端末装置２００に送信してもよいし、着陸後、ＵＳＢフラッシュメモリ等の可搬記憶媒体または伝送ケーブルを介して情報端末装置２００に移してもよい。

ステップＳ８では、ステップ７で撮影した画像をタッチパネル画面２１０，２２０上に表示ないし再生し、構造物の屋根や外壁の劣化の有無、程度を点検する。構造物の屋根や外壁の部分的なまたは全体のリフォーム（補修）が必要な場合には、次のステップＳ９でリフォームのシミュレーションを行うことができる。

ステップＳ９では、画像イメージ作成部２４９が起動される。画像イメージ作成部２４９は、図１２に示すように、記憶部２５０から構造物の三次元形状モデルＰを読み出し、タッチパネル画面２１０，２２０上に表示させ、利用者に三次元形状モデルＰを構成する面のうちリフォーム対象面または範囲を指定させると共に、あらかじめ記憶部２５０に格納された複数のリフォームサンプル画像ｍ１，ｍ２，ｍ３の中から１つのリフォームサンプル画像（例えばｍ１）を選択させ、選択されたリフォームサンプル画像ｍ１を上記指定されたリフォーム対象面または範囲に貼り付けてリフォーム後の画像イメージを作成する。あるいは、画像イメージ作成部２４９は、遠距離から撮影された構造物の画像（図４（ｂ））を記憶部２５０から読み出し、タッチパネル画面２１０，２２０上に表示させ、利用者に上記画像内でリフォーム対象範囲を指定させると共に、あらかじめ記憶部２５０に格納された複数のリフォームサンプル画像ｍ１，ｍ２，ｍ３の中から１つのリフォームサンプル画像（例えばｍ１）を選択させ、選択されたリフォームサンプル画像ｍ１を上記リフォーム対象範囲に貼り付けてリフォーム後の画像イメージを作成する。例えば顧客は、このようにして得られたリフォーム後の画像イメージを確認することで、建材の種類や色の決定を容易に行うことができる。

上述した実施形態の構造物の点検システムおよび点検方法よれば、無人飛行ユニット１００に搭載された撮影装置１１０により比較的遠距離の位置から撮影した画像に基づき構造物の三次元形状モデルＰを生成する構成としたので、構造物の外形の把握を簡単に行うことができると共にこの撮影時に無人飛行ユニット１００が構造物に付属する障害物に衝突するのを防止することができる。さらに、生成された三次元形状モデルＰから近距離の位置に無人飛行ユニット１００の飛行可能面Ｑを作成すると共に、必要に応じてその飛行可能面Ｑを修正する構成としたので、三次元形状としてモデル化されなかったアンテナやワイヤ等の細い障害物が存在する場合に、このような障害物を考慮して飛行可能面Ｑを修正することで、無人飛行ユニット１００が障害物に衝突するのを防止することができる。そして、無人飛行ユニット１００は、このようにして設定された飛行可能面Ｑ内に計画された飛行経路に従って自立飛行するので、無人飛行ユニット１００の熟練操縦者でなくても安全かつ簡単に構造物点検用の画像を構造物から近距離の位置で撮影することができる。

さらに、上述した実施形態の構造物の点検システムおよび点検方法よれば、構造物に対して遠距離の位置から撮影された構造物の画像を参照して、飛行可能面Ｑを修正するに際しての障害物の確認を行うようにしたで、障害物の確認を容易に行うことができる。

さらに、上述した実施形態の構造物の点検システムおよび点検方法よれば、構造物に対して遠距離の位置から構造物を撮影するにあたって、無人飛行ユニット１００を自動で離陸させるとともに所定の高度まで自動で垂直上昇させるようにしたので、無人飛行ユニット１００の熟練操縦者でなくても簡単かつ安全に当該撮影を行うことができる。

さらに、上述した実施形態の構造物の点検システムおよび点検方法よれば、構造物に対して遠距離の位置から構造物を撮影した後に、無人飛行ユニット１００を自動で垂直降下させ着陸させるようにしたので、無人飛行ユニット１００の熟練操縦者でなくても簡単かつ安全に無人飛行ユニット１００を着陸させることができる。

さらに、上述した実施形態の構造物の点検システムおよび点検方法よれば、構造物に対して遠距離の位置から撮影された構造物の画像内の任意の範囲または三次元形状モデルの任意の面の少なくも一部を、あらかじめ用意されたリフォーム用のサンプル画像ｍ１，ｍ２，ｍ３で置き換えてリフォーム後の画像イメージを作成するようにしたので、リフォーム後のシミュレーションを簡単に行うことができる。

なお、上述した実施形態では、構造物を異なる角度から撮影した一対のステレオ画像に基づき構造物の三次元形状モデルＰを生成したが、これに限らず、レーザー距離センサや赤外線距離センサ等のセンサを用いて構造物の三次元形状を取得してもよい。具体的には、無人飛行ユニット１００に撮影装置１１０（デジタルカメラ）と共にレーザー距離センサ等のセンサを搭載し、撮影装置１１０およびセンサの、構造物に対する向きを一緒に変更させながら、構造物の撮影およびスキャンを行う。そしてセンサにより得られた三次元形状に撮影装置１１０で撮影された画像を重ね合わせることで、細い障害物が描かれた三次元形状モデルＰを生成することができる。

また、上記図示例では、飛行可能面Ｑの修正は全体的に行われていたが、飛行可能面Ｑは部分的に修正してもよい。図１３にその一例として、構造物の屋根に付属するアンテナを避けるように飛行可能面Ｑを部分的に修正した例を示す。

かくして本発明の構造物の点検システムおよび点検方法によれば、構造物にアンテナやそれを固定するためのワイヤ等の細い障害物が備え付けられている場合であっても、安全かつ簡単に構造物点検用の画像を撮影することができる。

１００ 無人飛行ユニット
１１０ 撮影装置
１２０ 無線通信部
１３０ ３軸加速度センサ
１４０ ３軸ジャイロセンサ
１５０ ＧＰＳ
１６０ 高度計
１８０ 制御部
１８２ 姿勢制御部
１８４ 飛行制御部
１８６ 撮影制御部
１８８ 画像データ処理部
１９０ 記憶部
２００ 情報端末装置
２１０ 表示部
２２０ 入力部
２３０ 無線通信部
２４０ 制御部
２４１ 自動離陸指令部
２４２ 自動着陸指令部
２４３ 遠隔操縦部
２４４ 撮影指令部
２４５ 三次元形状モデル生成部
２４６ 飛行可能面作成部
２４７ 飛行可能面修正部
２４８ 飛行経路作成部
２４９ 画像イメージ作成部
２５０ 記憶部
ａ 離陸点
ｂ１，ｂ２，・・・ｂｎ 通過点
ｃ 着陸点
ｍ１，ｍ２，ｍ３ リフォームサンプル画像
Ｐ 三次元形状モデル
Ｑ 飛行可能面

Claims (11)

1. 点検対象である構造物をその外側から撮影して構造物の点検を行う点検システムであって、
   自立飛行可能な無人飛行ユニットと、
   前記無人飛行ユニットに搭載された撮影手段と、
   少なくとも、前記撮影手段で構造物から比較的遠距離の位置で撮影された構造物の画像に基づき、構造物の三次元形状モデルを生成する三次元形状モデル生成手段と、
   前記三次元形状モデルを構成する各面から前記遠距離よりは近距離の位置に、前記無人飛行ユニットの飛行可能面をそれぞれ作成する飛行可能面作成手段と、
   前記無人飛行ユニットが自立飛行中に構造物に付属する障害物に衝突するのを避けるために、前記飛行可能面の少なくとも一部分を、対応する三次元形状モデルの面に対して移動して修正する飛行可能面修正手段と、を備え、
   前記無人飛行ユニットは、前記飛行可能面内に計画された飛行経路に従って自立飛行し、
   前記撮影手段は、前記無人飛行ユニットの自立飛行中に構造物の点検用の画像を撮影することを特徴とする、構造物の点検システム。
2. 前記飛行可能面を修正するに際しての障害物の確認は、構造物から比較的遠距離の前記位置で撮影された構造物の前記画像を参照することにより行う、請求項１に記載の構造物の点検システム。
3. 構造物から比較的遠距離の前記位置から構造物を撮影するにあたって、前記無人飛行ユニットを離陸させるとともに所定の高度まで垂直上昇させる自動離陸指令手段を備える、請求項１または２に記載の構造物の点検システム。
4. 構造物から比較的遠距離の前記位置から構造物を撮影した後に、前記無人飛行ユニットを垂直降下させ着陸させる自動着陸指令手段を備える、請求項１〜３のいずれか一項に記載の構造物の点検システム。
5. 前記飛行可能面内に、前記無人飛行ユニットの飛行経路を作成する飛行経路作成手段を備える、請求項１〜４のいずれか一項に記載の構造物の点検システム。
6. 構造物から比較的遠距離の位置で撮影された構造物の前記画像内の任意の範囲または前記三次元形状モデルの任意の面の少なくも一部を、あらかじめ用意されたリフォーム用のサンプル画像で置き換えてリフォーム後の画像イメージを作成する画像イメージ作成手段を備える、請求項１〜５のいずれか一項に記載の構造物の点検システム。
7. 点検対象である構造物をその外側から撮影して構造物の点検を行う点検方法であって、
   自立飛行可能な無人飛行ユニットと、
   前記無人飛行ユニットに搭載された撮影手段と、
   少なくとも、前記撮影手段で構造物から比較的遠距離の位置で撮影された構造物の画像に基づき、構造物の三次元形状モデルを生成する三次元形状モデル生成手段と、
   前記三次元形状モデルを構成する各面から前記遠距離よりは近距離の位置に、前記無人飛行ユニットの飛行可能面をそれぞれ作成する飛行可能面作成手段と、
   前記無人飛行ユニットが構造物に付属する障害物に衝突するのを避けるために、前記飛行可能面の少なくとも一部分を、対応する三次元形状モデルの面に対して移動して修正する飛行可能面修正手段と、を用い、
   前記無人飛行ユニットを、前記飛行可能面内に計画した飛行経路に従って自立飛行させ、
   前記撮影手段を用いて、前記無人飛行ユニットの自立飛行中に構造物の点検用の画像を撮影することを特徴とする、構造物の点検方法。
8. 前記飛行可能面を修正するに際しての障害物の確認を、構造物から比較的遠距離の前記位置で撮影された構造物の前記画像を参照することにより行う、請求項７に記載の構造物の点検方法。
9. 構造物から比較的遠距離の前記位置から構造物を撮影するにあたって、前記無人飛行ユニットを自動で離陸させるとともに所定の高度まで自動で垂直上昇させる、請求項７または８に記載の構造物の点検方法。
10. 構造物から比較的遠距離の前記位置から構造物を撮影した後に、前記無人飛行ユニットを自動で垂直降下させ着陸させる、請求項７〜９のいずれか一項に記載の構造物の点検方法。
11. 構造物から比較的遠距離の位置で撮影された構造物の前記画像内の任意の範囲または前記三次元形状モデルの任意の面の少なくも一部を、あらかじめ用意されたリフォーム用のサンプル画像で置き換えてリフォーム後の画像イメージを作成する、請求項７〜１０のいずれか一項に記載の構造物の点検方法。

Images