JP6681102B2 - 検査システム - Google Patents

Description

本発明は、検査システムに関する。

近年、ドローン（Ｄｒｏｎｅ）や無人航空機（ＵＡＶ：Ｕｎｍａｎｎｅｄ Ａｅｒｉａｌ Ｖｅｈｉｃｌｅ）などの飛行体（以下、「飛行装置」と総称する。）が産業に利用され始めている。特許文献１では、ドローンに搭載したカメラで撮影した画像から３次元画像を作成して表示することが記載されている。

特開２０１８−１０６３０号公報

複数の２次元画像から点群を抽出して３次元モデルを作成することが行われる。しかしながら、２次元画像に撮影されているものが３次元モデルのどこに位置するのかを特定することは難しい。特許文献１においても、劣化位置が３次元画像におけるどの座標に位置するかを特定することは行っていない。

本発明はこのような背景を鑑みてなされたものであり、複数の２次元画像から作成される３次元モデルについて、２次元画像に撮影されているものが３次元モデルの座標系におけるどの座標に位置するかを特定することのできる技術を提供することを一つの目的とする。

上記課題を解決するための本発明の主たる発明は、検査対象物を検査する検査システムであって、カメラを備える飛行装置が前記検査物を撮影した複数の画像に基づいて、前記検査対象物の３次元モデルを生成する３次元モデル生成部と、前記複数の画像のそれぞれについて、３次元座標系における前記画像を撮影した撮影位置および前記カメラの視点軸方向を取得する撮影情報取得部と、前記複数の画像のそれぞれについて、前記画像に基づいて前記検査対象物の異常を検出する異常検出部と、検出した前記異常について、前記撮影位置および前記視点軸方向に応じて前記３次元座標系における位置である異常位置を特定する異常位置特定部と、前記異常位置をマッピングした前記３次元モデルを表示する３次元モデル表示部と、を備えることとする。

その他本願が開示する課題やその解決方法については、発明の実施形態の欄および図面により明らかにされる。

本発明によれば、複数の２次元画像から作成される３次元モデルについて、２次元画像に撮影されているものが３次元モデルの座標系におけるどの座標に位置するかを特定することができる。

本発明の一実施形態に係る検査システムの全体構成を示す図である。 飛行装置１０のハードウェア構成例を示す図である。 フライトコントローラ１１のソフトウェア構成例を示す図である。 位置姿勢情報記憶部１５１に記憶される位置姿勢情報の構成例を示す図である。 撮影情報記憶部１５２に格納される撮影情報の構成例を示す図である。 検査サーバ３０のハードウェア構成例を示す図である。 検査サーバ３０のソフトウェア構成例を示す図である。 ３次元モデル記憶部３５２の構成例を示す図である。 異常情報記憶部３５３に登録される異常情報の構成例を示す図である。 検査対象物１を撮影する処理の流れを説明する図である。 検査サーバ３０により実行される検査処理の流れを示す図である。 ３次元モデル表示部３１５が表示する３次元投影画像を説明する図である。 指定された位置の異常箇所が撮影されている撮影画像を表示する処理の流れを示す図である。 ３次元モデル表示部３１５が表示する３次元投影画像を説明する他の図である。

本発明の実施形態の内容を列記して説明する。本発明の実施の形態による飛行装置は、以下のような構成を備える。

［項目１］
検査対象物を検査する検査システムであって、
カメラを備える飛行装置が前記検査物を撮影した複数の画像に基づいて、前記検査対象物の３次元モデルを生成する３次元モデル生成部と、
前記複数の画像のそれぞれについて、３次元座標系における前記画像を撮影した撮影位置および前記カメラの視点軸方向を取得する撮影情報取得部と、
前記複数の画像のそれぞれについて、前記画像に基づいて前記検査対象物の異常を検出する異常検出部と、
検出した前記異常について、前記撮影位置および前記視点軸方向に応じて前記３次元座標系における位置である異常位置を特定する異常位置特定部と、
前記異常位置をマッピングした前記３次元モデルを表示する３次元モデル表示部と、
を備えることを特徴とする検査システム。
［項目２］
項目１に記載の検査システムであって、
前記異常位置特定部は、前記撮影位置および前記視点軸方向に基づいて、前記撮影位置から前記異常箇所に向けた直線が前記３次元モデルと交差する座標を前記異常位置として特定すること、
を特徴とする検査システム。
［項目３］
項目１に記載の検査システムであって、
前記異常位置に対応付けて前記画像を記憶する異常位置記憶部と、
前記３次元モデル上の位置の指定を受け付ける入力部と、
指定された前記位置に対応する前記画像を特定する画像特定部と、
を備えることを特徴とする検査システム。
［項目４］
検査対象物を検査する検査システムであって、
カメラを備える飛行装置が前記検査物を撮影した複数の画像に基づいて、前記検査対象物の３次元モデルを生成する３次元モデル生成部と、
前記複数の画像のそれぞれについて、３次元座標系における前記画像を撮影した撮影位置および前記カメラの視点軸方向を取得する撮影情報取得部と、
前記複数の画像のそれぞれについて、前記撮影位置から前記視点軸方向に前記３次元モデルと交差する交差位置を算出する交差位置算出部と、
前記３次元モデル上の指定位置を受け付け、前記指定位置および前記交差位置の距離に応じて、前記指定位置が撮影された前記画像を特定する画像特定部と、
を備えることを特徴とする検査システム。
［項目５］
項目４に記載の検査システムであって、
前記複数の画像のそれぞれについて、前記画像に基づいて前記検査対象物の異常を検出する異常検出部と、
前記撮影位置および前記視点軸方向に基づいて、前記撮影位置から前記異常箇所に向けた直線が前記３次元モデルと交差する座標である異常位置を特定する異常位置特定部と、
を備えることを特徴とする検査システム。

＝＝概要・全体構成＝＝
図１は、本発明の一実施形態に係る検査システムの全体構成例を示す図である。本実施形態の検査システムは、飛行装置１０によって撮影された検査対象物１に関する複数の画像に基づいて、検査対象物１の３次元モデルを作成するものである。また、本実施形態の検査システムでは、撮影した画像を解析して異常箇所を検出し、検出した異常箇所を３次元モデル上にマッピングする。検査対象物１は、法面やダムなどのコンクリート構造物であってもよいし、鉄塔や鉄橋などの鋼構造物であってもよいし、太陽光パネルや建物などであってもよい。本実施形態では、検査対象部１として建物を想定する。なお、検査対象物１は撮影可能な物であれば何でもよく、例えば動物や自動車などであってもよいし、災害時の被災地域であってもよい。

本実施形態の検査システムは、検査対象物１を撮影する飛行装置１０と、飛行装置１０が撮影した画像を解析する検査サーバ３０とを含んで構成される。飛行装置１０と検査サーバ３０とは通信ネットワーク５０を介して相互に通信可能に接続される。本実施形態では通信ネットワーク５０はインターネットを想定する。通信ネットワーク５０は、例えば無線通信路、携帯電話回線網、衛星通信路、公衆電話回線網、専用回線網、イーサネット（登録商標）などにより構築される。

（飛行装置１０）
図２は、飛行装置１０のハードウェア構成例を示す図である。飛行装置１０は、プロペラ１８と、プロペラ１８にＥＳＣ（Electronic Speed Controller）１６を介して接続された推進機構（本実施形態ではモータ１７を想定する。）と、これらを制御するフライトコントローラ１１とを備える。

飛行装置１０は検査対象物１の一部または全部を撮影するカメラ１２を備える。本実施形態では、カメラ１２は機体に固定されるものとする。また、カメラ１２は、鉛直方向下向きのレンズを備え、鉛直方向に真下の画像のみを撮影するものとする。したがって、飛行装置１０の姿勢が固定される場合には、カメラ１２の視点軸（光軸）１２１も固定される。本実施形態では、カメラ１２は可視光線を捉えたＲＧＢ画像を撮影することを想定するが、赤外線を捉えたサーマル画像を撮影するようにしてもよいし、ＲＧＢ画像とサーマル画像の両方を同時にまたは順次撮影するようにしてもよい。また、カメラ１２に代えて、またはカメラ１２に加えて、人感センサなどの各種のセンサを備えるようにしてもよい。

フライトコントローラ１１は、プログラマブルプロセッサ（本実施形態では、中央演算処理装置（ＣＰＵ）を想定する。）などの１つ以上のプロセッサ１０１を有することができる。また、フライトコントローラ１１は、メモリ１０２を有しており、当該メモリ１０２にアクセス可能である。メモリ１０２は、１つ以上のステップを行うためにフライトコントローラ１１が実行可能であるロジック、コード、および／またはプログラム命令を記憶する。メモリ１０２は、例えば、ＳＤカードやランダムアクセスメモリ（ＲＡＭ）などの分離可能な媒体または外部の記憶装置を含んでいてもよい。カメラ１２やセンサなどから取得したデータは、メモリ１０２に直接に伝達されかつ記憶されてもよい。

フライトコントローラ１１はまた、各種のセンサ類１０３を備える。本実施形態においてセンサ類１０３は、例えば、慣性センサ（加速度センサ、ジャイロセンサ）、ＧＰＳ（Global Positioning System）センサ、近接センサ（例えば、ライダー）、またはビジョン／イメージセンサ（例えば、カメラ）を含み得る。

フライトコントローラ１１は、１つ以上の外部のデバイス（例えば、送受信機（プロポ）、端末、表示装置、または他の遠隔の制御器などである。）からのデータを送信および／または受け取るように構成された送受信部１４と通信可能である。送受信部１４は、有線通信または無線通信などの任意の適当な通信手段を使用することができる。本実施形態では、送受信部１４は、主に検査サーバ３０と通信を行う。送受信部１４は、例えば、ローカルエリアネットワーク（Local Area Network；ＬＡＮ）、ワイドエリアネットワーク（Wide Area Network；ＷＡＮ）、赤外線、無線、ＷｉＦｉ、ポイントツーポイント（Ｐ２Ｐ）ネットワーク、電気通信ネットワーク、クラウド通信などのうちの１つ以上を利用することができる。送受信部１４は、センサ類で取得したデータ、フライトコントローラが生成した処理結果、所定の制御データ、端末または遠隔の制御器からのユーザコマンドなどのうちの１つ以上を送信および／または受け取ることもできる。

図３は、フライトコントローラ１１のソフトウェア構成例を示す図である。フライトコントローラ１１は、指示受信部１１１、飛行制御部１１２、位置姿勢情報取得部１１３、撮影処理部１１４、撮影情報送信部１１５、位置姿勢情報記憶部１５１、撮影情報記憶部１５２、ＧＰＳセンサ１０４、気圧センサ１０５、温度センサ１０６および加速度センサ１０７を備える。

なお、指示受信部１１１、飛行制御部１１２、位置姿勢情報取得部１１３、撮影処理部１１４および撮影情報送信部１１５は、プロセッサ１０１がメモリ１０２に格納されているプログラムを実行することにより実現される。また、位置姿勢情報記憶部１５１および撮影情報記憶部１５２は、メモリ１０２の提供する記憶領域として実現される。

指示受信部１１１は、飛行装置１０の動作を指示する各種のコマンド（以下、飛行操作コマンドという。）を受け付ける。本実施形態では、指示受信部１１１は、検査サーバ３０から飛行操作コマンドを受信することを想定するが、プロポなどの送受信機から飛行操作コマンドを受信するようにしてもよい。

飛行制御部１１２は、飛行装置１０の動作を制御する。飛行制御部１１２は、例えば、６自由度（並進運動ｘ、ｙおよびｚ、並びに回転運動θｘ、θｙおよびθｚ）を有する飛行装置１０の空間的配置、速度、および／または加速度を調整するために、ＥＳＣ１６を経由してモータ１７を制御する。モータ１７によりプロペラ１８が回転することで飛行装置１０の揚力を生じさせる。また、飛行制御部１１２は、搭載部、センサ類の状態のうちの１つ以上を制御することができる。本実施形態では、飛行制御部１１２は、指示受信部１１１が受信した飛行操作コマンドに応じて飛行装置１０の動作を制御するものとする。また、飛行制御部１１２は、自律飛行を可能とするべく、コマンドによらずに飛行装置１０が飛行を継続するように各種の制御を行うこともできる。

位置姿勢情報取得部１１３は、飛行装置１０の現在位置および姿勢を示す情報（以下、位置姿勢情報という。）を取得する。本実施形態では、位置姿勢情報には、飛行装置１０の地図上の位置（緯度経度で表される。）と、飛行装置１０の飛行高度と、飛行装置１０のｘ、ｙ、ｚ軸の夫々に対する傾きが含まれるものとする。なお、飛行装置１０のｘ、ｙ、ｚ軸は夫々互いに直交する座標軸であり、機体の平面座標および鉛直方向を表すことができる。

センサ類１０３にはＧＰＳセンサ１０４が含まれ、位置姿勢情報取得部１１３は、ＧＰＳセンサ１０４がＧＰＳ衛星から受信した電波から、飛行装置１０の地図上の位置を算出することができる。

また、センサ類１０３には気圧センサ１０５および温度センサ１０６が含まれ、位置姿勢情報取得部１１３は、飛行前に気圧センサ１０５により測定した大気圧（以下、基準気圧という。）と、飛行中に気圧センサ１０５により測定した大気圧（以下、現在気圧という。）との差分と、飛行中に温度センサ１０６により測定した気温とに基づいて、飛行装置１０の飛行高度を計算することができる。

さらに、センサ類１０３には３軸の加速度センサ１０７が含まれ、位置姿勢情報取得部１１３は、加速度センサ１０７からの出力に基づいて、飛行装置１０の姿勢を求めることができる。また、飛行装置１０の姿勢からカメラ１２の光軸１２１（視点軸）を決定することができる。

位置姿勢情報取得部１１３は、ＧＰＳセンサ１０４を用いて取得した飛行装置１０の地図上の位置（緯度経度）と、気圧センサ１０５および温度センサ１０６を用いて取得した飛行装置１０の飛行高度と、加速度センサ１０７を用いて取得した飛行装置１０の姿勢とを設定した位置姿勢情報を、メモリ１４の位置姿勢情報記憶部１５１に格納する。

図４は位置姿勢情報記憶部１５１に記憶される位置姿勢情報の構成例を示す図である。図４に示すように、位置姿勢情報記憶部１５１には、飛行装置１０の現在位置を示す緯度経度、上記のようにして計算した飛行高度、飛行前に測定した基準気圧、飛行中に測定した現在気圧、飛行中に測定した気温、および加速度センサ１０７を用いて取得した飛行装置１０の姿勢（カメラ１２の光軸１２１の傾き）が格納される。

撮影処理部１１４は、カメラ１２を制御して検査対象物１の一部または全部を撮影させ、カメラ１２が撮影した撮影画像を取得する。撮影処理部１１４は、事前に設定されたタイミングで撮影を行うものとする。例えば、撮影処理部１１４は、所定の時間（例えば、５秒、３０秒など任意の時間を指定することができる。）ごとに撮影を行うようにすることができる。なお、撮影処理部１１４は、検査サーバ３０からの指示に応じて撮影するようにしてもよい。

撮影処理部１１４は、取得した撮影画像を撮影情報記憶部１５２に格納する。撮影処理部１１４は、撮影画像に付帯させて、撮影日時、その時点における飛行装置１０の地図上の緯度経度（撮影位置）、その時点における飛行装置１０の飛行高度（撮影高度）、飛行装置１０の姿勢（カメラ１２の光軸１２１の傾き）も撮影情報記憶部１５２に格納する。なお、これらの情報が付帯された画像を撮影情報という。

図５は撮影情報記憶部１５２に格納される撮影情報の構成例を示す図である。撮影情報記憶部１５２に格納される撮影情報には、撮影日時、撮影位置、撮影高度、傾きおよび画像データが含まれる。撮影情報は、例えば、ファイルシステム上のファイルとして記憶させることができる。また、撮影日時、撮影位置、撮影高度および傾きは、例えば、ＪＰＥＧ（Joint Photographic Experts Group）画像ファイルのＥｘｉｆ（Exchangeable image file format）情報として格納するようにしてもよいし、画像データをファイルとしてファイルシステムに格納し、撮影日時、撮影位置、撮影高度および傾きと、ファイル名とを対応付けたレコードをデータベースに登録するようにしてもよい。また、撮影情報には、焦点距離やシャッター速度などのカメラ１２の特性を含めるようにしてもよい。

撮影情報送信部１１５は、カメラ１２が撮影した画像を検査サーバ３０に送信する。本実施形態では、撮影情報送信部１１５は、撮影画像に、撮影日時、撮影位置、撮影高度および傾きを付帯させた撮影情報を検査サーバ３０に送信するものとする。

（検査サーバ３０）
図６は、検査サーバ３０のハードウェア構成例を示す図である。検査サーバ３０は、ＣＰＵ３０１、メモリ３０２、記憶装置３０３、通信装置３０４、入力装置３０５、出力装置３０６を備える。記憶装置３０３は、各種のデータやプログラムを記憶する、例えばハードディスクドライブやソリッドステートドライブ、フラッシュメモリなどである。通信装置３０４は、通信ネットワーク５０を介して他の装置と通信を行う。通信装置３０４は、例えばイーサネット（登録商標）に接続するためのアダプタ、公衆電話回線網に接続するためのモデム、無線通信を行うための無線通信機、シリアル通信のためのＵＳＢコネクタやＲＳ２３２Ｃコネクタなどを含んで構成される。入力装置３０５は、データを入力する、例えばキーボードやマウス、タッチパネル、ボタン、マイクロフォンなどである。出力装置３０６は、データを出力する、例えばディスプレイやプリンタ、スピーカなどである。

図７は、検査サーバ３０のソフトウェア構成例を示す図である。検査サーバ３０は、飛行制御部３１１、撮影情報受信部３１２、３次元モデル作成部３１３、異常検出部３１４、３次元モデル表示部３１５、撮影画像表示部３１６、撮影情報記憶部３５１、３次元モデル記憶部３５２および異常情報記憶部３５３を備える。

なお、飛行制御部３１１、撮影情報受信部３１２、３次元モデル作成部３１３、異常検出部３１４、３次元モデル表示部３１５および撮影画像表示部３１６は、検査サーバ３０が備えるＣＰＵ３０１が記憶装置３０３に記憶されているプログラムをメモリ３０２に読み出して実行することにより実現され、撮影情報記憶部３５１、３次元モデル記憶部３５２および異常情報記憶部３５３は、検査サーバ３０の備えるメモリ３０２および記憶装置３０３が提供する記憶領域の一部として実現される。

飛行制御部３１１は、飛行装置１０を飛行させる制御を行う。本実施形態では、飛行制御部３１１は、飛行装置１０に対して飛行操作コマンドを送信することにより飛行装置１０を操作する。飛行制御部３１１は、例えば、オペレータから地図上における飛行経路の指定を受け付けて、受け付けた飛行経路上を飛行するように飛行操作コマンドを送信することができる。また、飛行制御部３１１は、後述するように検査対象物１の３次元モデルを作成するべく、飛行装置１０に検査対象物１の周囲を飛行させて撮影領域の少なくとも一部が重なるように連続させて撮影できるように飛行装置１０を制御する。なお、本実施の形態においては、飛行装置１０は、検査サーバ３０の飛行制御部３１１によって制御されているが、例えば、あらかじめ保存された自動飛行のためのソフトウェア（データ）によって飛行装置１０が自律的に制御される方法や、オペレータの手動操作によって制御（操作）される方法や、これらの組み合わせであってもよい。

撮影情報受信部３１２は、飛行装置１０から送信される撮影情報を受信する。撮影情報受信部３１２は、受信した撮影情報を撮影情報記憶部３５１に格納する。なお、本実施形態では、撮影情報記憶部３５１の構成は、図５に示す飛行装置１０の撮影情報記憶部１５２と同一の構成であるものとする。なお、検査サーバ３０が備える撮影情報記憶部３５１は、撮影情報の送信元である飛行装置１０を特定する情報に対応付けて、撮影情報を記憶するようにしてもよい。

３次元モデル作成部３１３は、複数の撮影画像から３次元の構造体を表現する３次元モデルを作成する。３次元モデル作成部３１３は、いわゆるフォトグラメトリー（写真測量）の技術を用いて３次元モデルを作成することができる。本実施形態において、３次元モデルのワールド座標系は、緯度、経度および高度で表されるものとする。撮影情報に含まれる撮影位置、撮影高度および光軸１２１の傾きにより、カメラ１２のワールド座標系における位置および視点方向を示すことができる。３次元モデル作成部３１３は、撮影情報に含まれている画像データから特徴点を抽出し、撮影情報に含まれる撮影位置、撮影高度および傾きに基づいて複数の画像データから抽出された特徴点の対応付けを行い、ワールド座標系における３次元点群（ポイントクラウドとも呼ばれる。）を取得する。本実施形態では、３次元モデルは３次元点群により構成されるものとするが、３次元モデル作成部３１３は、点群に基づいてポリゴン等の面データを生成することもできる。さらに、３次元モデル作成部３１３は、３次元モデルと撮影画像に基づいてオルソ画像を生成することもできる。

３次元モデル作成部３１３は、作成した３次元モデル（本実施形態では３次元点群）を３次元モデル記憶部３５２に登録する。図８は３次元モデル記憶部３５２の構成例を示す図である。同図に示すように、３次元モデル記憶部３５２には、３次元点群を構成する各点についての座標が登録される。なお、３次元モデル作成部３１３が３次元点群に基づいてポリゴン等の面データを作成した場合には、３次元モデル記憶部３５２は点の座標に加えて、または点の座標に代えて、面データを記憶するようにしてもよい。

異常検出部３１４は、飛行装置１０からの撮影画像を解析して、検査対象物１の異常を検出する。異常検出部３１４は、例えば、過去に異常が発生した検査対象物１を撮影した画像を教師信号としてニューラルネットワーク等の機械学習を用いた学習を行っておき、飛行装置１０から受信した撮影画像を入力信号として異常を判定することができる。また、異常検出部３１４は、正常時の画像をメモリ３０２に予め記憶しておき、正常時の画像と撮影画像とを比較して、所定値以上の差分のある画素により構成される領域を認識し、当該領域の面積が所定値以上となるものについて異常と判定することもできる。なお、異常検出部３１４は、公知の技術を用いて画像から異常部分を検出するようにすることができる。

異常検出部３１４は、検出した撮影画像上の異常箇所について、ワールド座標系の位置を特定する。異常検出部３１４は、たとえば、３次元点群に含まれる点のそれぞれについて、撮影情報に含まれている撮影位置および撮影高度に設置したカメラから、撮影情報に含まれている傾きが示す方向に撮影した場合の画像上の位置を特定し、特定した画像上の位置が、異常箇所として検出した領域に含まれているか否かにより、当該点が異常箇所を構成するか否かを判定し、異常箇所を構成する点の座標を異常箇所の位置として特定することができる。異常常検出部３１５は、検出した異常に関する情報（以下、異常情報という。）を異常情報記憶部３５３に登録する。

図９は異常情報記憶部３５３に登録される異常情報の構成例を示す図である。同図に示すように、異常情報には、異常箇所を示すワールド座標系上の座標位置（異常位置）と、当該異常箇所を撮影した画像に係る撮影情報を特定するための情報（例えばＪＰＥＧファイル名とすることができる。）と、画像上における異常が検出された位置（以下、画像異常位置という。）とが含まれる。図８の例では、画像異常位置に矩形を示す２つの頂点の座標が含まれた例が示されているが、画像異常位置には、例えば１つの座標のみが含まれるようにしてもよいし、多角形を構成する３つ以上の座標が含まれるようにしてもよいし、楕円形を表す中心座標と２つの半径とが含まれるようにしてもよい。すなわち、画像異常位置は、点または幾何図形を表す情報であればよい。なお、上述した例の他、例えば、画像における異常位置に当該異常を示す箇所を直接描画することとしてもよい。この場合、異常位置に関する座標位置は利用せず、例えば、撮影画像に関する情報と異常位置とを直接関連付けることとしてもよい。

３次元モデル表示部３１５は、３次元モデル作成部３１３が作成した３次元モデルを平面に投影した画像（以下、３次元投影画像という。）を表示する。３次元モデル表示部３１５は、３次元投影画像を、ワイヤーフレームで表示するようにしてもよいし、撮影画像を３次元モデルにマッピングしてもよい。また、３次元モデル表示部３１５は、３次元モデルを作成した各撮影画像について、カメラ１２の位置および視点軸の方向を３次元モデルに重畳させて表示している。本実施の形態においては、説明を容易にするためにカメラ１２の位置および視点軸の方向を表示することとしているが、表示の有無の設定、その切替方法については、用途及びニーズに合わせて適宜変更することができる。

＝＝処理＝＝
以下、本実施形態の検査システムにおける処理について説明する。

＝＝撮影処理＝＝
図１０は、検査対象物１を撮影する処理の流れを説明する図である。図１０に示す撮影処理は、飛行装置１０が飛行している間、定期的に実行される。

飛行装置１０において、撮影処理部１１４は、カメラ１２を制御して、カメラ１２が撮影した撮影画像を取得し（Ｓ２０１）、位置姿勢情報取得部１１３は、ＧＰＳセンサ１０４、気圧センサ１０５、温度センサ１０６および加速度センサ１０７からの信号に基づいて、撮影位置、撮影高度および姿勢を求める（Ｓ２０２）。撮影情報送信部１１５は、カメラ１２から取得した撮影画像に、現在の日時（撮影日時）、撮影位置、撮影高度および姿勢を付帯させた撮影情報を作成して検査サーバ３０に送信する（Ｓ２０３）。

検査サーバ３０では、撮影情報受信部３１２は、飛行装置１０から送信される撮影情報を受信し（Ｓ２０４）、受信した撮影情報を撮影情報記憶部３５１に登録する（Ｓ２０５）。

以上のようにして、飛行装置１０において撮影された画像は、撮影日時、撮影位置、撮影高度および飛行装置１０の姿勢（光軸１２１の傾き）とともに、撮影情報記憶部３５１に順次登録されていくことになる。

＝＝検査処理＝＝
図１１は検査サーバ３０により実行される検査処理の流れを示す図である。本実施形態では、図１１に示す処理は、飛行装置１０による撮影が全て終了した後に行われることを想定するが、飛行装置１０が撮影を続けている間に行うようにすることもできる。

３次元モデル作成部３１３は、撮影情報記憶部３５１に登録されている撮影情報に基づいて３次元モデルを作成する（Ｓ２１１）。なお、３次元モデルの作成処理については、一般的な写真測量（フォトグラメトリ）の手法により３次元モデルを作成するものとする。たとえば、３次元モデル作成部３１３は、撮影時間の順に連続する２つの撮影情報のペアについて、対応点を探索し、見つかった対応点について、飛行位置および飛行高度ならびに姿勢に応じて対応点のワールド座標系における位置を特定することができる。なお、３次元モデルの作成は例示であり、上記のほか、種々の方法で作成することができる。

３次元モデル作成部３１３は、作成した３次元モデルを３次元モデル記憶部３５２に登録する（Ｓ２１２）。本実施形態では、３次元モデルは３次元点群により構成されるものとする。そこで対応点のワールド座標系における座標を３次元モデル記憶部３５２に登録することができる。

次に、異常検出部３１４は、撮影情報記憶部３５１に登録されている各撮影情報について、以下の処理を行う。すなわち、異常検出部３１４は、撮影情報に含まれている画像データを解析して、検査対象物１の異常の有無を検査する（Ｓ２１３）。画像データから検査対象物１の異常が検出された場合（Ｓ２１４：ＹＥＳ）、異常検出部３１４は、撮影情報の撮影位置および撮影高度が示すワールド座標系の座標から、撮影情報の傾きが示す光軸１２１（視点軸）の方向に延ばした直線と、３次元モデルとが交差する座標を異常の発生した位置（異常位置）として特定する（Ｓ２１５）。なお、異常検出部３１４は、３次元点群に含まれる点のいずれにも、カメラ１２からの光軸１２１が交差しない場合、最も近くを通り、かつ光軸１２１に平行な距離が最も近い点の座標を異常位置として決定してもよい。異常検出部３１４は、撮影情報を特定する情報（例えばファイル名とすることができる。）と、画像データ上で異常を発見した箇所（画像異常位置）とを異常位置に対応付けて異常情報記憶部３５３に登録する（Ｓ２１６）。

以上の処理を撮影情報のそれぞれについて行った後、３次元モデル表示部３１５は、３次元モデルを投影した画像を表示する（Ｓ２１７）。図１２は、３次元モデル表示部３１５が表示する３次元投影画像を説明する図である。図１２の例では、３次元モデル作成部３１３が複数の撮影画像に基づいて作成した３次元モデルに対して、撮影画像をマッピングした３次元投影画像４１が画面４０に表示されている。３次元モデル表示部３１５は、たとえば、３次元モデル記憶部３５２に登録されている点群を投影して３次元投影画像４１を作成することができる。

次に３次元モデル表示部３１５は、撮影画像を撮影したカメラ１２を示す図形を３次元投影画像４１に重ねて表示する。具体的には、３次元モデル表示部３１５は、撮影情報記憶部３５１に登録されている各撮影情報について、撮影情報に含まれている撮影位置および撮影高度から傾きが示す方向に傾けたカメラ１２を表す図形を３次元モデル上に重ねて表示させるようにする。図１２の例では、カメラ１２の位置および視点軸の方向を示す円錐体４２を３次元投影画像４１に重畳させて表示している。上述したように本実施の形態においては、説明を容易にするためにカメラ１２の位置および視点軸の方向を表示することとしているが、表示の有無の設定、その切替方法については、用途及びニーズに合わせて適宜変更することができる。

３次元モデル表示部３１５は、異常箇所を示す図形を３次元投影画像４１上に重ねて表示する（Ｓ２１９）。具体的には、３次元モデル表示部３１５は、異常情報記憶部３５３に登録されている各異常情報につて、異常位置が示す座標に所定の図形を表示させる。図１２の例では、マーク４３を３次元投影画像４１に重畳させて表示している。なお、図１２の例では、マーク４３は１つのみが表示されているが、異常情報記憶部３５３に複数の異常箇所が登録されている場合には複数のマーク４３が表示されることになる。

以上のようにして、飛行装置１０が撮影した複数の画像に基づいて３次元モデルを作成するとともに、撮影画像から検出した異常箇所を３次元モデル上にマッピングして表示することができる。

＝＝確認処理＝＝
図１３は、指定された位置の異常箇所が撮影されている撮影画像を表示する処理の流れを示す図である。画面４０において、ユーザが、たとえばマーク４３をクリックすることにより、詳細を確認したい異常箇所の位置を指定した場合に、撮影画像表示部３１６は、当該位置の指定を受け付け（Ｓ２３１）、受け付けた位置に対応する異常情報を異常情報記憶部３５３から検索する（Ｓ２３２）。撮影画像表示部３１６は、検索した異常情報に含まれる画像が示す撮影情報を撮影情報記憶部３５１から読み出し（Ｓ２３３）、読み出した撮影情報に含まれている画像データを画面４０に出力する（Ｓ２３４）。

以上のようにして、撮影画像表示部３１６は、ユーザから指示された位置を撮影した撮影画像を画面４０に表示することができる。

＝＝効果＝＝
以上説明したように、本実施形態の検査システムによれば、撮影位置、撮影高度および姿勢に基づいて、撮影画像上の位置を３次元モデル上の位置に対応付けることができる。したがって、画像から検出した異常箇所についても、画像としてのみではなく、３次元モデル上に異常箇所として取り込むことが可能となる。また、３次元モデル上の位置が指定された場合に、当該指定された位置に対応する異常情報と特定して、当該異常箇所を撮影した画像を容易に特定することが可能となり、ユーザに対して詳細な２次元画像を迅速かつ的確に提供することができる。

以上、本発明の一実施形態について説明したが、上記実施形態は本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得るとともに、本発明にはその等価物も含まれる。

例えば、本実施形態では、カメラ１２は機体の下部に固定されるものとしたが、これに限らず、ジンバルを介して可動式に装着するようにしてもよい。この場合、撮影情報には飛行装置１０の傾きに加えて、カメラ１２の撮影方向も含めるようにする。

また、本実施形態では、気圧センサ１０５および温度センサ１０６を用いて撮影高度を求めるものとしたが、これに限らず、公知の手法を用いて撮影高度を求めるようにしてもよい。

また、本実施形態では、飛行装置１０からの撮影情報はカメラ１２で撮影が行われる都度検査サーバ３０に送信されるものとしたが、飛行装置１０は撮影情報記憶部１５２に撮影情報を蓄積しておき、飛行中に定期的に、あるいは、飛行終了後に一度に撮影情報記憶部１５２に記憶されている撮影情報を検査サーバ３０に送信するようにしてもよい。

また、本実施形態では、ユーザは画面４０において異常箇所の位置を選択し、選択した位置に対応する異常箇所が検索され、検索された異常箇所に対応する撮影画像が表示されるものとしたが、マーク４３に異常情報を対応付けておき、選択されたマーク４３から異常情報を特定するようにしてもよい。

また、本実施形態では、ユーザは画面４０において異常箇所の位置のみが選択可能であるものとしたが、異常箇所以外の任意の位置（座標）を選択可能としてもよい。この場合、図１４に示されるように、選択した個所（例えば、４３ａ、４３ｂ、４３ｃ）に対応する画像（４４ａ、４４ｂ、４４ｃ）が表示される。この場合、撮影画像表示部３１６はまず、撮影情報記憶部３５１に登録されている撮影情報のそれぞれについて、飛行位置および飛行高度の座標から指定された座標に向けた直線が、飛行位置および飛行高度の座標から視点軸にカメラ１２を向けた場合のカメラ１２の画角の中に入っているか否かにより、当該撮影情報に係る画像データに、指定された座標が撮影されうるか否かを判断する。次に、撮影画像表示部３１６は、指定された座標が撮影されうると判断した撮影情報について、上記直線が３次元モデルの他の点を通る（もしくは他の点から所定の距離以下となる）か否かにより、または３次元モデルのポリゴンを通るか否かにより、指定された座標の撮影が妨げられるか否かを判断する。最後に撮影画像表示部３１６は、指定された座標の撮影が妨げられないと判断した撮影情報について、画像データを表示するようにすることができる。

１０ 飛行装置
１１ フライトコントローラ
１２ カメラ
１４ 送受信部
１６ ＥＳＣ
１７ モータ
１８ プロペラ
３０ 検査サーバ
５０ 通信ネットワーク
１０１ プロセッサ
１０２ メモリ
１０３ センサ類
１０４ ＧＰＳセンサ
１０５ 気圧センサ
１０６ 温度センサ
１０７ 加速度センサ
１１１ 指示受信部
１１２ 飛行制御部
１１３ 位置姿勢情報取得部
１１４ 撮影処理部
１１５ 撮影情報送信部
１５１ 位置姿勢情報記憶部
１５２ 撮影情報記憶部
３０１ ＣＰＵ
３０２ メモリ
３０３ 記憶装置
３０４ 通信装置
３０５ 入力装置
３０６ 出力装置
３１１ 飛行制御部
３１２ 撮影情報受信部
３１３ ３次元モデル作成部
３１４ 異常検出部
３１５ ３次元モデル表示部
３１６ 撮影画像表示部
３５１ 撮影情報記憶部
３５２ ３次元モデル記憶部
３５３ 異常情報記憶部

Claims (1)

1. 検査対象物を検査する検査システムであって、
   カメラを備える飛行装置が前記検査対象物を撮影した複数の画像に基づいて、前記検査対象物の３次元モデルを生成する３次元モデル生成部と、
   前記複数の画像のそれぞれについて、前記画像に基づいて前記検査対象物の異常を検出する異常検出部と、
   前記異常の位置をマッピングした前記３次元モデルを表示する３次元モデル表示部と、
   を備え、
   前記異常位置は、前記異常の形状とは異なるマークにより表示されており、
   当該マークを選択すると、前記異常位置に対応する画像を表示する撮影画像表示部をさらに備え、
   前記異常位置に対応する画像は、前記マークの選択に基づいて指定された前記異常位置に対応する異常情報を前記撮影画像表示部により異常情報記憶部から検索し、当該検索した異常情報に含まれる画像であって、
   前記異常情報記憶部は、前記検出した異常に関する異常情報が登録される、
   ことを特徴とする検査システム。