JPWO2020145004A1

JPWO2020145004A1 - 撮影ガイド装置

Info

Publication number: JPWO2020145004A1
Application number: JP2020565638A
Authority: JP
Inventors: 巡高田; 中野　学
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2019-01-10
Filing date: 2019-12-10
Publication date: 2021-10-28
Also published as: US20220076399A1; WO2020145004A1

Abstract

撮影ガイド装置は、検出手段と出力手段とを有する。検出手段は、構造物を撮影候補位置から撮影候補方向で撮影した候補画像と、構造物を所定の撮影位置から所定の撮影方向で撮影し予め事前に記憶している登録画像とを比較することにより、撮影候補位置と所定の撮影位置との位置の差を検出する。出力手段は、検出手段によって検出された位置の差を示す情報を出力する。

Description

本発明は、撮影ガイド装置、撮影ガイド方法、および記録媒体に関する。

橋梁などの構造物を撮像装置で撮影した画像を解析して、構造物の健全性の診断を行う技術が、種々提案されている（例えば、特許文献１、２参照）。

また、特許文献３に、前回測定点の位置の特定を迅速、正確、容易に行えるようにする診断装置が提案されている。具体的には、診断装置は、測定する位置を検出して、コンピュータに入力するＧＰＳ受信機を備える。また診断装置は、測定位置情報、測定データ、測定条件等をデータベースに格納して一元管理する。また診断装置は、ＧＰＳ受信機で測定した現在位置を中心として、所定範囲内にある過去の測定点情報をデータベースから検索して表示し、測定者が前回測定位置を特定する作業を支援する。

特開２００６−１６２４７７号公報特許６３７９４７５号公報特開２００３−１９４７５７号公報再表２０１５／１５９４６９

ところで、カメラ等の計測装置群に長期耐候性を付与することは一般に困難である。また、コスト軽減のために同じ計測装置群を複数の構造物の点検・診断で共用しなければならないことがある。そのため、橋梁などの構造物に計測装置群を常設することができないことがある。そのような状況では、数か月に１度といった周期でオペレータが計測装置群を診断対象となる構造物の近くまで運んで設置し、計測を実施することになる。その場合、経年変化による劣化診断を精度良く実施するためには、毎回、同じ撮影位置から構造物の同じ箇所を撮影する必要がある。しかしながら、ＧＰＳで計測される位置にはある程度の誤差が含まれている。また橋梁などの構造物の近傍ではＧＰＳの精度が劣化する。そのため、構造物を毎回同じ撮影位置から撮影するのは困難であった。

本発明の目的は、上述した課題を解決する撮影ガイド装置を提供することにある。

本発明の一形態に係る撮影ガイド装置は、
構造物を撮影候補位置から撮影候補方向で撮影した候補画像と、前記構造物を所定の撮影位置から所定の撮影方向で撮影し予め事前に記憶している登録画像とを比較することにより、前記撮影候補位置と前記所定の撮影位置との位置の差を検出する検出手段と、
前記検出された位置の差を示す情報を出力する出力手段と、
を含む。

また本発明の他の形態に係る撮影ガイド方法は、
構造物を撮影候補位置から撮影候補方向で撮影した候補画像と、前記構造物を所定の撮影位置から所定の撮影方向で撮影し予め事前に記憶している登録画像とを比較することにより、前記撮影候補位置と前記所定の撮影位置との位置の差を検出し、
前記検出された位置の差を示す情報を出力する。

また本発明の他の形態に係るコンピュータ読み取り可能な記録媒体は、
コンピュータに、
構造物を撮影候補位置から撮影候補方向で撮影した候補画像と、前記構造物を所定の撮影位置から所定の撮影方向で撮影し予め事前に記憶している登録画像とを比較することにより、前記撮影候補位置と前記所定の撮影位置との位置の差を検出する処理と、
前記検出された位置の差を示す情報を出力する処理と、
を行わせるためのプログラムを記録する。

本発明は上述した構成を有することにより、構造物を毎回同じ撮影位置から撮影することができる。

本発明の第１の実施形態に係る診断装置の構成例を示す図である。本発明の第１の実施形態に係る診断装置におけるコンピュータの構成の一例を示すブロック図である。本発明の第１の実施形態に係る診断装置におけるコンピュータの診断箇所データベースに記憶されている診断箇所情報のフォーマットの一例を示す図である。本発明の第１の実施形態に係る診断装置におけるコンピュータの診断結果データベースに記憶されている診断結果情報のフォーマットの一例を示す図である。本発明の第１の実施形態に係る診断装置におけるコンピュータのマッチング成功時の画像マッチング結果に含まれる合成画像の幾つかの例を示す図である。本発明の第１の実施形態に係る診断装置の動作の一例を示すフローチャートである。本発明の第１の実施形態に係る診断装置の画面表示部に表示される初期画面の例を示す図である。本発明の第１の実施形態に係る診断装置におけるコンピュータが実行する新規診断処理の一例を示すフローチャートである。本発明の第１の実施形態に係る診断装置の画面表示部に表示される新規診断画面の一例を示す図である。本発明の第１の実施形態に係る診断装置におけるコンピュータが実行する継続診断処理の一例を示すフローチャートである。本発明の第１の実施形態に係る診断装置の画面表示部に表示される診断箇所選択画面の一例を示す図である。本発明の第１の実施形態に係る診断装置の画面表示部に表示される撮影位置・撮影方向ガイド画面の一例を示す図である。本発明の第１の実施形態に係る診断装置が撮影位置・撮影方向ガイド画面を作成して表示する動作の詳細を示すフローチャートである。本発明の第２の実施形態に係る診断装置の構成例を示す図である。本発明の第２の実施形態に係る診断装置におけるコンピュータの構成の一例を示すブロック図である。本発明の第２の実施形態に係る診断装置におけるコンピュータの診断箇所データベースに記憶されている診断箇所情報のフォーマットの一例を示す図である。本発明の第２の実施形態に係る診断装置におけるコンピュータのマッチング成功時のひび割れ画像マッチング結果に含まれる合成画像の幾つかの例を示す図である。本発明の第２の実施形態に係る診断装置が撮影位置・撮影方向ガイド画面を作成して表示する動作の詳細を示すフローチャートである。本発明の第３の実施形態に係る診断装置の構成例を示す図である。本発明の第３の実施形態に係る診断装置におけるコンピュータの構成の一例を示すブロック図である。本発明の第３の実施形態に係る診断装置におけるコンピュータの診断箇所データベースに記憶されている診断箇所情報のフォーマットの一例を示す図である。本発明の第３の実施形態に係る診断装置におけるコンピュータのマッチング成功時の３次元形状マッチング結果に含まれる合成画像の幾つかの例を示す図である。本発明の第３の実施形態に係る診断装置が撮影位置・撮影方向ガイド画面を作成して表示する動作の詳細を示すフローチャートである。本発明の第４の実施形態に係る撮影ガイド装置のブロック図である。

次に本発明の実施の形態について図面を参照して詳細に説明する。
[第１の実施形態]
図１は、本発明の第１の実施形態に係る診断装置１００の構成例を示す図である。図１を参照すると、診断装置１００は、コンピュータ１１０とこれにケーブル１２０を介して接続されたカメラ１３０とから構成されている。

カメラ１３０は、診断対象である構造物１４０の表面に存在する部分領域１４１を所定のフレームレートで撮影する撮像装置である。構造物１４０は、例えば橋梁などである。部分領域１４１は、例えば橋梁の主桁や橋脚の診断箇所となる部分である。部分領域１４１のサイズは、例えば数十センチメートル乃至数メートル四方である。カメラ１３０は、任意の方向にカメラの撮影方向を固定できるように三脚１５０上の雲台１５１に取り付けられている。カメラ１３０は、例えば、数百万画素程度の画素容量を有するＣＣＤ（Ｃｈａｒｇｅ−ＣｏｕｐｌｅｄＤｅｖｉｃｅ）イメージセンサやＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭＯＳ）イメージセンサを備えたハイスピードカメラであってよい。またカメラ１３０は、可視光かつ白黒カメラであってもよいし、赤外線カメラやカラーカメラであってもよい。またカメラ１３０は、カメラの位置を測定するＧＰＳ受信機を備えている。またカメラ１３０は、カメラの撮影方向を測定する方位センサおよび加速度センサを備えている。

コンピュータ１１０は、カメラ１３０によって撮影された構造物１４０の画像を取り込み、所定の画像処理を行って構造物１４０の健全度を判定し、その判定結果を出力する診断機能を有している。また、コンピュータ１１０は、数か月に１度といった所定の周期で実施する診断において、毎回、同じ撮影位置から構造物１４０の同じ部分領域１４１を撮影できるようにオペレータを支援するガイド機能を有している。

図２は、コンピュータ１１０の構成の一例を示すブロック図である。図２を参照すると、コンピュータ１１０は、カメラＩ／Ｆ（インターフェース）部１１１と、通信Ｉ／Ｆ部１１２と、操作入力部１１３と、画面表示部１１４と、音声出力部１１５と、記憶部１１６と、演算処理部１１７とから構成されている。

カメラＩ／Ｆ部１１１は、ケーブル１２０を通じてカメラ１３０に接続され、カメラ１３０と演算処理部１１７との間でデータの送受信を行うように構成されている。カメラ１３０は、イメージセンサや光学系などを含むメインユニット１３１と、前述したＧＰＳ受信機１３２、方位センサ１３３、および加速度センサ１３４を備えている。カメラＩ／Ｆ部１１１は、上記メインユニット１３１、ＧＰＳ受信機１３２、方位センサ１３３、および加速度センサ１３４と演算処理部１１７との間でデータの送受信を行うように構成されている。

通信Ｉ／Ｆ部１１２は、データ通信回路から構成され、有線または無線を介して接続された図示しない外部装置との間でデータ通信を行うように構成されている。操作入力部１１３は、キーボードやマウスなどの操作入力装置から構成され、オペレータの操作を検出して演算処理部１１７に出力するように構成されている。画面表示部１１４は、ＬＣＤ（ＬｉｑｕｉｄＣｒｙｓｔａｌＤｉｓｐｌａｙ）などの画面表示装置から構成され、演算処理部１１７からの指示に応じて、メニュー画面などの各種情報を画面表示するように構成されている。音声出力部１１５は、スピーカなどの音響出力装置から構成され、演算処理部１１７からの指示に応じて、ガイドメッセージなどの各種音声を出力するように構成されている。

記憶部１１６は、ハードディスクやメモリなどの記憶装置から構成され、演算処理部１１７における各種処理に必要な処理情報およびプログラム１１６１を記憶するように構成されている。プログラム１１６１は、演算処理部１１７に読み込まれて実行されることにより各種処理部を実現するプログラムであり、通信Ｉ／Ｆ部１１２などのデータ入出力機能を介して図示しない外部装置や記録媒体から予め読み込まれて記憶部１１６に保存される。記憶部１１６に記憶される主な処理情報には、撮影位置１１６２、撮影方向１１６３、撮影画像１１６４、画像マッチング結果１１６５、診断箇所データベース１１６６、診断結果データベース１１６７がある。

撮影位置１１６２は、ＧＰＳ受信機１３２で測定されたカメラの位置を表す緯度、経度、および高度と、現在時刻とを含むデータである。

撮影方向１１６３は、カメラ１３０に設けられた方位センサ１３３および加速度センサ１３４で測定されたデータに基づいて算出されたカメラ１３０の撮影方向を表すデータである。撮影方向１１６３は、カメラ１３０の姿勢を表すピッチ、ロール、ヨーの３つの角度から構成されている。

撮影画像１１６４は、カメラ１３０で撮影された画像である。この撮影画像１１６４は、カメラ１３０で撮影された構造物１４０の部分領域１４１の動画を構成するフレーム画像であってよい。

画像マッチング結果１１６５は、撮影画像１１６４と診断箇所データベース１１６６に記憶されている画像（登録画像）との間のマッチング結果を表すデータである。

診断箇所データベース１１６６は、過去の診断箇所に係る情報を記憶する記憶部である。図３は、診断箇所データベース１１６６に記憶されている診断箇所情報１１６６１のフォーマットの一例を示す。この例の診断箇所情報１１６６１は、診断箇所ＩＤ１１６６２、登録日時１１６６３、登録撮影位置１１６６４、登録撮影方向１１６６５、登録撮影画像１１６６６から構成される。

診断箇所ＩＤ１１６６２は、診断箇所を一意に識別する識別情報である。登録日時１１６６３は、診断箇所情報１１６６１を登録した日時である。登録撮影位置１１６６４は、診断を行ったときのカメラ１３０の位置を表す緯度、経度、高度である。登録撮影方向１１６６５は、診断を行ったときのカメラ１３０の姿勢を表すピッチ、ロール、ヨーの３つの角度である。登録撮影画像１１６６６は、登録撮影位置１１６６４から登録撮影方向１１６６５で構造物１４０の部分領域１４１をカメラ１３０で撮影した画像である。

診断結果データベース１１６７は、診断結果に係る情報を記憶する記憶部である。図４は、診断結果データベース１１６７に記憶されている診断結果情報１１６７１のフォーマットの一例を示す。この例の診断結果情報１１６７１は、診断箇所ＩＤ１１６７２、診断日時１１６７３、診断結果１１６７４から構成される。診断箇所ＩＤ１１６７２は、診断箇所を一意に識別する識別情報である。診断日時１１６７３は、診断を行った日時である。診断結果１１６７４は、診断の結果を表す情報である。

演算処理部１１７は、ＭＰＵなどのプロセッサとその周辺回路を有し、記憶部１１６からプログラム１１６１を読み込んで実行することにより、上記ハードウェアとプログラム１１６１とを協働させて各種処理部を実現するように構成されている。演算処理部１１７で実現される主な処理部は、撮影位置取得部１１７１、撮影方向取得部１１７２、撮影画像取得部１１７３、画像マッチング部１１７４、診断部１１７５、制御部１１７６である。

撮影位置取得部１１７１は、カメラＩ／Ｆ部１１１を通じてＧＰＳ受信機１３２で測定されているカメラ１３０の位置および現在時刻を定期的に取得し、取得した位置で記憶部１１６の撮影位置１１６２を更新するように構成されている。

撮影方向取得部１１７２は、カメラＩ／Ｆ部１１１を通じて方位センサ１３３および加速度センサ１３４で測定されている方位角および縦横高さの三方向の加速度を定期的に取得するように構成されている。また撮影方向取得部１１７２は、取得した方位角および加速度からカメラ１３０の姿勢、即ち撮影方向を表すピッチ、ロール、ヨーの３つの角度を計算し、その計算結果で記憶部１１６の撮影方向１１６３を更新するように構成されている。

撮影画像取得部１１７３は、カメラＩ／Ｆ部１１１を通じてメインユニット１３１からカメラ１３０で撮影されている画像を取得し、取得した画像で記憶部１１６の撮影画像１１６４を更新するように構成されている。

画像マッチング部１１７４は、撮影画像１１６４と診断箇所データベース１１６６に記憶されている画像（登録画像）を比較し、カメラ１３０の位置と登録画像を取得した際のカメラ１３０の位置との位置の差、およびカメラ１３０の撮影方向と登録画像を取得した際のカメラ１３０の撮影方向との方向の差を検出するように構成されている。画像マッチングの具体的な手法は特に限定されない。例えば、画像類似度に基づくマッチング手法、特徴点抽出と特徴点対応付けによるマッチング手法など、任意のマッチング手法を使用することができる。以下では、画像マッチング部１１７４の一例を説明する。

例えば、画像マッチング部１１７４は、特徴点の抽出、特徴点の対応付け、幾何学的変換行列の一種であるホモグラフィ行列の推定、位置および方向の差の算出、ホモグラフィ行列に基づく画像変換、画像合成、画像マッチング結果出力をその順に実施する。

即ち、まず画像マッチング部１１７４は、ＳＩＦＴ（ＳｃａｌｅＩｎｖａｒｉａｎｔＦｅａｔｕｒｅＴｒａｎｓｆｏｒｍ）、Ｒａｎｄｏｍ等、任意の手法を用いて、撮影画像および登録画像から複数の特徴点を抽出する。次に画像マッチング部１１７４は、撮像画像から抽出した特徴点とそれに類似する登録画像から抽出した特徴点とを特徴点ペアとして対応付ける。所定個数以上の特徴点ペアが得られない場合、画像マッチング部１１７４はマッチング失敗と判断し、マッチング失敗を示す画像マッチング結果１１６５を記憶部１１６に保存して処理を終了する。所定個数以上の特徴点ペアが得られた場合、画像マッチング部１１７４は、対応付けられた複数の特徴点のペアに基づいて、撮影画像と登録画像間のホモグラフィ行列を算出する。

次に画像マッチング部１１７４は、ホモグラフィ行列から、カメラ１３０の位置と登録撮影位置との位置の差、およびカメラ１３０の撮影方向と登録撮影方向との方向の差を検出する。一般に、ホモグラフィ行列Ｇは、次式のように書ける。
Ｇ＝ｄＲ＋ｔｎ^T …（１）
式１において、Ｒはｘ軸、ｙ軸、ｚ軸周りの３つの回転角から計算することができる回転行列、ｎは部分領域１４１の平面の法線ベクトル、ｔはカメラ１３０と登録撮影画像を撮影した際のカメラとの相対距離ベクトル、カメラと部分領域１４１の平面までの距離である。ホモグラフィ行列Ｇが推定されているので、式１からｄ、Ｒ、ｔ、ｎを求めることができる。画像マッチング部１１７４は、式１から求めたｔを、カメラ１３０の位置と登録撮影位置との位置の差として検出する。また画像マッチング部１１７４は、式１から求めた回転行列Ｒの３つの回転角を、カメラ１３０の撮影方向と登録撮影方向との方向の差として検出する。

次に画像マッチング部１１７４は、ホモグラフィ行列Ｇに基づき登録撮影画像を変換する。次に画像マッチング部１１７４は、変換後の登録撮影画像と撮影画像１１６４とを合成する。次に画像マッチング部１１７４は、マッチング成功と判断し、上記合成した画像、検出した位置および方向の差を含むマッチング成功を示す画像マッチング結果１１６５を作成して記憶部１１６に保存する。

図５は、マッチング成功時の画像マッチング結果１１６５に含まれる合成画像の幾つかの例を示す。それぞれの合成画像中、実線は撮影画像１１６４、破線は登録撮影画像を示す。

合成画像ＭＡは、撮影画像１１６４の全体に適合するように同サイズの登録撮影画像が合成されている。このような合成画像は、カメラ１３０の位置および撮影方向が登録撮影画像のときのカメラ１３０の位置および撮影方向と一致していることを表している。

合成画像ＭＢは、撮影画像１１６４に、相似形状かつ大サイズの登録撮影画像が合成されている。このような合成画像は、カメラ１３０の位置が登録撮影画像のときのカメラ１３０の位置より構造物側に接近し過ぎていることを表している。

合成画像ＭＣは、撮影画像１１６４に、相似形状かつ小サイズの登録撮影画像が合成されている。このような合成画像は、カメラ１３０の位置が登録撮影画像のときのカメラ１３０の位置より構造物から遠ざかっていることを表している。

合成画像ＭＤは、撮影画像１１６４に、右辺が左辺より短い登録撮影画像が合成されている。このような合成画像は、カメラ１３０の位置が登録撮影画像のときのカメラ１３０より左寄りであり、且つ、その分だけ撮影方向が右寄りになっていることを表している。

上記の合成画像は一例である。カメラ１３０の位置および撮影方向によっては、合成画像ＭＥに示すように、撮影画像１１６４および登録撮影画像のそれぞれに登録撮影画像および撮影画像１１６４に一致しない領域が生じることがある。

以上が、画像マッチング部１１７４の一構成例である。

診断部１１７５は、カメラ１３０で撮影された構造物１４０の画像に基づいて、構造物１４０の劣化診断を行うように構成されている。劣化診断の手法は特に限定されない。例えば、診断部１１７５は、車両の通行などにより励振された橋梁などの構造物１４０の部分領域１４１をカメラ１３０で高速撮影した動画を解析して表面の振動を計測し、その振動のパターンから、ひび割れ・剥離・空洞などの内部劣化状態を推定するように構成されている。また診断部１１７５は、推定した診断結果に係る情報を診断結果データベース１１６７に記憶するように構成されている。

制御部１１７６は、診断装置１００の主たる制御を司るように構成されている。

図６は診断装置１００の動作の一例を示すフローチャートである。以下、各図を参照して、構造物１４０の劣化診断を行う際の診断装置１００の動作を説明する。

オペレータが、構造物１４０の劣化診断を行うために、コンピュータ１１０およびカメラ１３０などの計測装置群を現場に設置し、操作入力部１１３から起動指示を入力すると、制御部１１７６による制御が開始される。

先ず、制御部１１７６は、図７に示すような初期画面を画面表示部１１４に表示する（ステップＳ１）。初期画面には、新規診断ボタンと継続診断ボタンとが表示されている。新規診断ボタンは、新たに診断対象となった構造物１４０に対して初回の診断を行うときに選択するボタンである。これに対して継続診断ボタンは、同じ構造物１４０の同じ箇所に対して２回目以降の診断を行うときに選択するボタンである。以下、新規診断時の動作を説明し、その後に継続診断時の動作を説明する。

＜新規診断＞
オペレータが初期画面上の新規診断ボタンをオンすると、制御部１１７６は、そのことを検出し（ステップＳ２）、新規診断処理を実行する（ステップＳ３）。図８は新規診断処理の一例を示すフローチャートである。制御部１１７６は、先ず、新規診断画面を画面表示部１１４に表示する（ステップＳ１１）。

図９は新規診断画面の一例を示す。この例の新規診断画面は、カメラ１３０で撮影されている画像を表示するモニタ画面と、登録ボタンと、診断ボタンと、終了ボタンとを有する。カメラ１３０で撮影されている最新の画像は、撮影画像取得部１１７３によってカメラ１３０から取得され、記憶部１１６に撮影画像１１６４として記憶されている。制御部１１７６は、記憶部１１６から撮影画像１１６４を取得して新規診断画面のモニタ画面に表示する。オペレータは、構造物１４０の診断箇所を決定し、決定した診断箇所を部分領域１４１とする。そして、新規診断画面のモニタ画面に部分領域１４１の画像が適切なサイズで表示されるように、三脚１５０の設置場所を調整し、また雲台１５１によってカメラ１３０の撮影方向を調整する。本実施形態ではカメラ１３０の画角、倍率は固定されている。そのため、オペレータは、部分領域１４１の画像サイズが小さい場合、三脚１５０を構造物１４０により近い位置に移動することにより、部分領域１４１の画像サイズを拡大する。反対に部分領域１４１の画像サイズが大きい場合、オペレータは、三脚１５０を構造物１４０からより遠い位置に移動することにより、部分領域１４１の画像サイズを縮小する。また、診断のためには部分領域１４１を真正面から撮影することが望ましい。

オペレータは、カメラ１３０の位置および撮影方向の調整を終えると、その位置と撮影方向の情報を登録する場合、登録ボタンをオンする。また、オペレータは、調整を終えた位置および撮影方向で診断を実施する場合、診断ボタンをオンする。また、オペレータは、新規診断を終了する場合には、終了ボタンをオンする。制御部１１７６は、終了ボタンがオンされたことを検出すると（ステップＳ１４）、図８の処理を終える。

また制御部１１７６は、登録ボタンがオンされたことを検出すると（ステップＳ１２）、新たな診断箇所情報１１６６１を作成して診断箇所データベース１１６６に登録する（ステップＳ１５）。カメラ１３０の現在位置および現在時刻は、撮影位置取得部１１７１によってＧＰＳ受信機１３２から取得され、記憶部１１６に撮影位置１１６２として記憶されている。またカメラ１３０の撮影方向は、方位センサ１３３および加速度センサ１３４から取得された方位および加速度に基づいて撮影方向取得部１１７２で算出され、記憶部１１６に撮影方向１１６３として記憶されている。さらにカメラ１３０で撮影されている画像は、撮影画像取得部１１７３によってカメラ１３０から取得され、記憶部１１６に撮影画像１１６４として記憶されている。制御部１１７６は、記憶部１１６から撮影位置１１６２、撮影方向１１６３、および撮影画像１１６４を取得し、それらの情報に基づいて診断箇所情報１１６６１を作成し、診断箇所データベース１１６６に登録する。その際、制御部１１７６は、診断箇所情報１１６６１の診断箇所ＩＤ１１６６２に新たに採番したＩＤを設定し、登録日時１１６６３には現在時刻を設定する。

また制御部１１７６は、診断ボタンがオンされたことを検出すると（ステップＳ１３）、診断部１１７５を起動し、診断の実行を行う（ステップＳ１６）。診断部１１７５は、例えば、前述したように構造物１４０の部分領域１４１をカメラ１３０で高速撮影した動画を解析して表面の振動を計測し、その振動のパターンから、ひび割れ・剥離・空洞などの内部劣化状態を推定する。そして、診断部１１７５は、推定した診断結果に係る情報を診断結果データベース１１６７に記憶する。制御部１１７６は、診断部１１７５の診断結果を診断結果データベース１１６７から読み出し、画面表示部１１４に表示し、または／および通信Ｉ／Ｆ部１１２を通じて外部の端末へ出力する（ステップＳ１７）。

＜継続診断＞
オペレータが初期画面上の継続診断ボタンをオンすると、制御部１１７６は、そのことを検出し（ステップＳ４）、継続診断処理を実行する（ステップＳ５）。図１０は継続診断処理の一例を示すフローチャートである。制御部１１７６は、先ず、診断箇所選択画面を画面表示部１１４に表示する（ステップＳ２１）。

図１１は診断箇所選択画面の一例を示す。この例の診断箇所選択画面は、マップと、選択ボタンと、終了ボタンとを有する。マップには、カメラ１３０の現在位置を示す現在位置アイコン（図の丸印）と、過去の撮影位置を示す過去位置アイコン（図の×印）とが表示されている。制御部１１７６は、カメラ１３０の現在位置をキーに診断箇所データベース１１６６を検索することにより、現在位置から所定距離内の位置を登録撮影位置１１６６４に有する診断箇所情報１１６６１を診断箇所データベース１１６６から取得する。そして、制御部１１７６は、取得した診断箇所情報１１６６１の登録撮影位置１１６６４が示す位置に過去位置アイコンを表示する。オペレータは、過去の診断箇所と同じ箇所の診断を行う場合、所望の過去位置アイコンにマウスカーソルを当てて選択ボタンをオンする。また、オペレータは、診断箇所の選択を終了する場合、終了ボタンをオンする。制御部１１７６は、終了ボタンがオンされたことを検出すると（ステップＳ２２）、図１０の処理を終了する。

また制御部１１７６は、選択ボタンがオンされたことを検出すると（ステップＳ２３）、選択された過去位置アイコンに対応する診断箇所情報１１６６１に基づいて撮影位置・撮影方向ガイド画面を作成し、画面表示部１１４に表示する（ステップＳ２４）。

図１２は撮影位置・撮影方向ガイド画面の一例を示す。この例の撮影位置・撮影方向ガイド画面は、モニタ画面と、診断箇所ＩＤの表示欄と、撮影位置・撮影方向ガイド情報の表示欄と、診断ボタンと、終了ボタンとを有する。モニタ画面は、カメラ１３０の撮影画像をモニタ表示する。またモニタ画面は、カメラ１３０の撮影画像と登録撮影画像とのマッチング成功時には画像マッチング結果１１６５に含まれる前述した合成画像を表示する。撮影位置・撮影方向ガイド情報の表示欄は、カメラ１３０の位置と登録撮影画像を撮影したときのカメラ１３０の位置との位置の差、およびカメラ１３０の撮影方向と登録撮影画像を撮影したときのカメラ１３０の撮影方向との方向の差に係る情報を表示する。また制御部１１７６は、撮影位置・撮影方向ガイド情報の表示欄に表示した情報を音声に変換して、音声出力部１１５から出力する。例えば、「位置および撮影方向とも良好です」、「近づきすぎなので、後ろに下がって下さい」、「位置が右寄りなので、左に移動して下さい」、「撮影方向が右寄りなので、左に向けて下さい」といったガイドメッセージを出力する。

オペレータは、表示および音声出力された撮影位置・撮影方向ガイド情報により、カメラ１３０の位置および撮影方向が適切であるか否かを認識することができる。またオペレータは、表示および音声出力された撮影位置・撮影方向ガイド情報により、カメラ１３０の位置および撮影方向をどのように変更すればよいかを判断することができる。

制御部１１７６は、撮影位置・撮影方向ガイド画面の表示後、終了ボタンがオンされたかどうか（ステップＳ２５）、診断ボタンがオンされたかどうか（ステップＳ２６）を検出し、何れのボタンもオンされない場合、ステップＳ２４に戻る。そのため、カメラ１３０の位置および撮影方向がオペレータによって変更されると、その変更に応じて撮影位置・撮影方向ガイド画面が再作成・再描画されることになる。そして、制御部１１７６は、診断ボタンがオンされると、診断部１１７５を起動し、診断の実行を行う（ステップＳ２７）。また診断部１１７５の診断が終了すると、制御部１１７６は、診断部１１７５の診断結果を診断結果データベース１１６７から読み出し、画面表示部１１４に表示し、または／および通信Ｉ／Ｆ部１１２を通じて外部の端末へ出力する（ステップＳ２８）。そして制御部１１７６は、ステップＳ２４に戻る。他方、終了ボタンがオンされると、制御部１１７６は、図１０の処理を終える。

図１３は、図９のステップＳ２４の詳細を示すフローチャートである。制御部１１７６は、先ず、選択された過去位置アイコンに対応する診断箇所情報１１６６１から診断箇所ＩＤ、登録撮影位置、登録撮影方向、登録撮影画像を取得する（ステップＳ３１）。次に制御部１１７６は、記憶部１１６から撮影位置１１６２、撮影方向１１６３、撮影画像１１６４を取得する（ステップＳ３２）。次に制御部１１７６は、撮影位置１１６２および撮影方向１１６３と登録撮影位置および登録撮影方向とを比較し、両者の位置の差および方向の差を検出する（ステップＳ３３）。次に制御部１１７６は、撮影画像１１６４と登録撮影画像との比較を画像マッチング部１１７４に行わせる（ステップＳ３４）。次に制御部１１７６は、記憶部１１６から画像マッチング結果１１６５を取得し、マッチングに成功したか否かを判定する（ステップＳ３５）。

次に制御部１１７６は、マッチングに成功した場合、画像マッチング結果１１６５に含まれる合成画像をモニタ画像として作成し、また画像マッチング結果１１６５に含まれるカメラ１３０の位置と登録撮影画像を撮影したときのカメラ１３０の位置との位置の差、および、カメラ１３０の撮影方向と登録撮影画像を撮影したときのカメラ１３０の撮影方向との方向の差に基づいて、撮影位置・撮影方向ガイド情報を作成する（ステップＳ３６）。また制御部１１７６は、マッチングに失敗した場合、撮影画像１１６４をモニタ画面として作成し、ステップＳ３３で検出した位置の差および方向の差に基づいて、撮影位置・撮影方向ガイド情報を作成する（ステップＳ３７）。次に制御部１１７６は、上記作成したモニタ画面、撮影位置・撮影方向ガイド情報と、その他の画面要素とから撮影位置・撮影方向ガイド画面を組み立てて画面表示部１１４に表示する（ステップＳ３８）。

以上のような処理により撮影位置・撮影方向ガイド画面が作成される。そのため、カメラ１３０で登録撮影画像と同じ箇所が撮影されておらずマッチングに成功しない状況では、撮影位置・撮影方向ガイド情報には、ＧＰＳ受信機１３２で検出されたカメラ１３０の位置と登録撮影位置との差の情報が表示される。また、撮影位置・撮影方向ガイド情報には、方位センサ１３３および加速度センサ１３４で検出された方位および加速度によって算出されたカメラ１３０の撮影方向と登録撮影方向との差の情報が表示される。このような情報によって、オペレータは、カメラ１３０の位置と撮影方向を大まかに調整することができる。

また、カメラ１３０で登録撮影画像と同じ箇所が撮影されておりマッチングに成功している状況では、モニタ画面には、推定されたホモグラフィ行列を登録撮影画像に適用して変換した画像と撮影画像とを合成した合成画像が表示されている。また、撮影位置・撮影方向ガイド情報には、推定されたホモグラフィ行列に基づいて検出した、カメラ１３０の位置と登録撮影画像を撮影したときのカメラの位置との差、および、カメラ１３０の撮影方向と登録撮影画像を撮影したときのカメラの撮影方向との差の情報に基づいて作成した撮影位置・方向ガイド情報が表示される。さらに、作成した撮影位置・方向ガイド情報が音声に変換されて出力される。そのため、オペレータは、カメラ１３０の位置と撮影方向を正しく微調整して、構造物１４０の部分領域１４１を登録撮影画像と正確に同じ位置から同じ撮影方向で撮影することができる。

［第２の実施形態］
次に、本発明の第２の実施形態に係る診断装置２００について説明する。

図１４は、本実施形態に係る診断装置２００の構成例を示す図である。図１４において、図１と同一符号は同一部分を示し、２１０はコンピュータである。コンピュータ２１０は、第１の実施形態における方法と同様な方法でカメラの撮影位置・方向と過去の診断箇所の位置・方向との差を検出すると共に、カメラ１３０で撮影した構造物１４０の部分領域１４１の画像から構造物１４０上のひび割れを強調したひび割れ画像を生成し、そのひび割れ画像と予め記憶している登録ひび割れ画像とを比較することにより、カメラの撮影位置・方向と過去の診断箇所の位置・方向との差を検出するように構成されている。

図１５は、コンピュータ２１０の構成の一例を示すブロック図である。図１５を参照すると、コンピュータ２１０は、カメラＩ／Ｆ部２１１と、通信Ｉ／Ｆ部２１２と、操作入力部２１３と、画面表示部２１４と、音声出力部２１５と、記憶部２１６と、演算処理部２１７とから構成されている。そのうち、カメラＩ／Ｆ部２１１、通信Ｉ／Ｆ部２１２、操作入力部２１３、画面表示部２１４、および、音声出力部２１５は、図１のカメラＩ／Ｆ部１１１、通信Ｉ／Ｆ部１１２、操作入力部１１３、画面表示部１１４、および、音声出力部１１５と同じである。

記憶部２１６は、ハードディスクやメモリなどの記憶装置から構成され、演算処理部２１７における各種処理に必要な処理情報およびプログラム２１６１を記憶するように構成されている。プログラム２１６１は、演算処理部２１７に読み込まれて実行されることにより各種処理部を実現するプログラムであり、通信Ｉ／Ｆ部２１２などのデータ入出力機能を介して図示しない外部装置や記録媒体から予め読み込まれて記憶部２１６に保存される。記憶部２１６に記憶される主な処理情報には、撮影位置２１６２、撮影方向２１６３、撮影画像２１６４、画像マッチング結果２１６５、診断箇所データベース２１６６、診断結果データベース２１６７、ひび割れ画像２１６８、ひび割れ画像マッチング結果２１６９がある。そのうち、撮影位置２１６２、撮影方向２１６３、撮影画像２１６４、画像マッチング結果２１６５、診断結果データベース２１６７は、図２の撮影位置１１６２、撮影方向１１６３、撮影画像１１６４、画像マッチング結果１１６５、診断結果データベース１１６７と同じである。

ひび割れ画像２１６８は、カメラ１３０で撮影した構造物１４０の部分領域１４１の画像（撮影画像）から構造物１４０上のひび割れを強調した画像である。

ひび割れ画像マッチング結果２１６９は、カメラ１３０で撮影した構造物１４０の部分領域１４１の画像（撮影画像）から作成したひび割れ画像と診断箇所データベース２１６６に記憶されているひび割れ画像（登録ひび割れ画像）との間のマッチング結果を表すデータである。

診断箇所データベース２１６６は、診断箇所に係る情報を記憶する記憶部である。図１６は、診断箇所データベース２１６６に記憶されている診断箇所情報２１６６１のフォーマットの一例を示す。この例の診断箇所情報２１６６１は、診断箇所ＩＤ２１６６２、登録日時２１６６３、登録撮影位置２１６６４、登録撮影方向２１６６５、登録撮影画像２１６６６、登録ひび割れ画像２１６６７から構成される。そのうち、診断箇所ＩＤ２１６６２、登録日時２１６６３、登録撮影位置２１６６４、登録撮影方向２１６６５、登録撮影画像２１６６６は、図３の診断箇所ＩＤ１１６６２、登録日時１１６６３、登録撮影位置１１６６４、登録撮影方向１１６６５、登録撮影画像１１６６６と同じである。登録ひび割れ画像２１６６７は、登録撮影位置２１６６４から登録撮影方向２１６６５で構造物１４０の部分領域１４１をカメラ１３０で撮影した画像から生成したひび割れ画像である。

演算処理部２１７は、ＭＰＵなどのプロセッサとその周辺回路を有し、記憶部２１６からプログラム２１６１を読み込んで実行することにより、上記ハードウェアとプログラム２１６１とを協働させて各種処理部を実現するように構成されている。演算処理部２１７で実現される主な処理部は、撮影位置取得部２１７１、撮影方向取得部２１７２、撮影画像取得部２１７３、画像マッチング部２１７４、診断部２１７５、制御部２１７６、ひび割れ画像作成部２１７７、ひび割れ画像マッチング部２１７８である。そのうち、撮影位置取得部２１７１、撮影方向取得部２１７２、撮影画像取得部２１７３、画像マッチング部２１７４、診断部２１７５は、図２の撮影位置取得部１１７１、撮影方向取得部１１７２、撮影画像取得部１１７３、画像マッチング部１１７４、診断部１１７５と同じである。

ひび割れ画像作成部２１７７は、カメラ１３０で撮影した構造物１４０の部分領域１４１の画像（撮影画像）から構造物１４０上のひび割れを強調した画像を生成するように構成されている。撮影画像からひび割れ画像を生成する手法は任意である。例えば、ひび割れ画像作成部２１７７は、特許文献４に記載される方法、即ち、構造物上の複数の測定点における位置の変化を検出し、その検出した各測定点の位置の変化に基づいてひび割れを検出し、その検出したひび割れ部分を例えば値１、非ひび割れ部分を値０とする２値画像を生成するように構成されていてよい。またひび割れ画像作成部２１７７は、診断部２１７５における方法と同様な方法で撮影画像からひび割れを検出し、その検出したひび割れ部分を例えば値１、非ひび割れ部分を値０とする２値画像を生成するように構成されていてよい。

ひび割れ画像マッチング部２１７８は、ひび割れ画像２１６８と診断箇所データベース２１６６に記憶されている登録ひび割れ画像を比較し、カメラ１３０の位置と登録撮影画像を撮影したときのカメラ１３０の位置との位置の差、およびカメラ１３０の撮影方向と登録撮影画像を撮影したときのカメラ１３０の撮影方向との方向の差を検出するように構成されている。ひび割れ画像のマッチング手法は特に限定されない。例えば、画像類似度に基づくマッチング手法、特徴点抽出と特徴点対応付けによるマッチング手法など、任意のマッチング手法を使用することができる。以下では、ひび割れ画像マッチング部２１７８の構成例を説明する。

例えば、ひび割れ画像マッチング部２１７８は、特徴点の抽出、特徴点の対応付け、ホモグラフィ行列の推定、位置および方向の差の算出、ホモグラフィ行列に基づく画像変換、画像合成、画像マッチング結果出力をその順に実施する。

即ち、先ず、ひび割れ画像マッチング部２１７８は、ＳＩＦＴ、Ｒａｎｄｏｍ等、任意の手法を用いて、ひび割れ画像２１６８および登録ひび割れ画像から複数の特徴点を抽出する。次にひび割れ画像マッチング部２１７８は、ひび割れ画像２１６８から抽出した特徴点とそれに類似する、登録ひび割れ画像から抽出した特徴点とを特徴点ペアとして対応付ける。所定個数以上の特徴点ペアが得られない場合、ひび割れ画像マッチング部２１７８はマッチング失敗と判断し、マッチング失敗を示すひび割れ画像マッチング結果２１６９を記憶部２１６に保存して処理を終了する。所定個数以上の特徴点ペアが得られた場合、ひび割れ画像マッチング部２１７８は、対応付けられた複数の特徴点のペアに基づいて、ひび割れ画像と登録ひび割れ画像間のホモグラフィ行列を算出する。

次にひび割れ画像マッチング部２１７８は、ホモグラフィ行列から、カメラ１３０の位置と登録撮影位置との位置の差、およびカメラ１３０の撮影方向と登録撮影方向との方向の差を検出する。次にひび割れ画像マッチング部２１７８は、ホモグラフィ行列に基づき登録ひび割れ画像を変換する。次にひび割れ画像マッチング部２１７８は、変換後の登録ひび割れ画像とひび割れ画像２１６８とを合成する。次にひび割れ画像マッチング部２１７８は、マッチング成功と判断し、上記合成した画像、検出した位置および方向の差を含むマッチング成功を示すひび割れ画像マッチング結果２１６５を作成して記憶部２１６に保存する。

図１７は、マッチング成功時のひび割れ画像マッチング結果２１６９に含まれる合成画像の幾つかの例を示す。それぞれの合成画像中、実線はひび割れ画像２１６８、破線は登録ひび割れ画像を示す。

合成画像ＮＡは、ひび割れ画像２１６８の全体に適合するように同サイズの登録ひび割れ画像が合成されている。このような合成画像は、カメラ１３０の位置および撮影方向が登録撮影画像のときのカメラ１３０の位置および撮影方向と一致していることを表している。

合成画像ＮＢは、ひび割れ画像２１６８に、相似形状かつ大サイズの登録ひび割れ画像が合成されている。このような合成画像は、カメラ１３０の位置が登録撮影画像のときのカメラ１３０の位置より構造物側に接近し過ぎていることを表している。

合成画像ＮＣは、ひび割れ画像２１６８に、相似形状かつ小サイズの登録ひび割れ画像が合成されている。このような合成画像は、カメラ１３０の位置が登録撮影画像のときのカメラ１３０の位置より構造物から遠ざかっていることを表している。

合成画像ＮＤは、ひび割れ画像２１６８に、右辺が左辺より短い登録ひび割れ画像が合成されている。このような合成画像は、カメラ１３０の位置が登録撮影画像のときのカメラ１３０より左寄りであり、且つ、その分だけ撮影方向が右寄りになっていることを表している。

上記の合成画像は一例である。カメラ１３０の位置および撮影方向によっては、合成画像ＮＥに示すように、ひび割れ画像２１６８および登録ひび割れ画像のそれぞれに登録ひび割れ画像およびひび割れ画像２１６８に一致しない領域が生じることがある。

以上が、ひび割れ画像マッチング部２１７８の構成例である。

制御部２１７６は、診断装置２００の主たる制御を司るように構成されている。

以下、構造物１４０の劣化診断を行う際の診断装置２００の動作を説明する。診断装置２００は、以下の動作が診断装置１００と相違し、それ以外は診断装置１００と同じである。
（１）診断箇所情報を作成する動作
（２）撮影位置・撮影方向ガイド画面を作成する動作

（１）診断箇所情報を作成する動作
オペレータが、カメラ１３０の位置および撮影方向の情報を次回以降の診断に利用するために新規診断画面の登録ボタンをオンすると、制御部２１７６は、新たな診断箇所情報２１６６１を作成して診断箇所データベース２１６６に登録する。このとき、ひび割れ画像作成部２１７７は、カメラ１３０で撮影された構造物１４０の部分領域１４１の画像から構造物１４０のひび割れを強調した画像を作成し、ひび割れ画像２１６８として記憶部２１６に記憶する。制御部２１７６は、記憶部２１６から撮影位置２１６２、撮影方向２１６３、撮影画像２１６４、および、ひび割れ画像２１６８を取得し、それらの情報に基づいて図１６に示したような診断箇所情報２１６６１を作成し、診断箇所データベース２１６６に登録する。

（２）撮影位置・撮影方向ガイド画面を作成する動作
図１８は、撮影位置・撮影方向ガイド画面を作成して表示する動作の詳細を示すフローチャートである。制御部２１７６は、先ず、選択された過去位置アイコンに対応する診断箇所情報２１６６１から診断箇所ＩＤ、登録撮影位置、登録撮影方向、登録撮影画像、登録ひび割れ画像を取得する（ステップＳ４１）。次に制御部２１７６は、記憶部２１６からカメラ１３０の撮影位置２１６２、撮影方向２１６３、撮影画像２１６４、ひび割れ画像２１６８を取得する（ステップＳ４２）。次に制御部２１７６は、図１３のステップＳ３３〜Ｓ３４と同様のステップＳ４３〜Ｓ４４を実行する。

次に制御部２１７６は、ひび割れ画像２１６８と登録ひび割れ画像とのマッチングをひび割れ画像マッチング部２１７８に行わせる（ステップＳ４５）。次に制御部２１７６は、記憶部２１６からひび割れ画像マッチング結果２１６９を取得し、マッチングに成功したか否かを判定する（ステップＳ４６）。制御部２１７６は、ひび割れ画像のマッチングに成功した場合、ひび割れ画像マッチング結果２１６９に含まれる合成画像をモニタ画像として作成し、またひび割れ画像マッチング結果２１６９に含まれるカメラ１３０の位置と登録ひび割れ画像が得られた際のカメラ１３０の位置との位置の差、および、カメラ１３０の撮影方向と登録ひび割れ画像が得られた際のカメラ１３０の撮影方向との方向の差に基づいて撮影位置・撮影方向ガイド情報を作成する（ステップＳ４７）。また制御部２１７６は、ひび割れ画像のマッチングに失敗した場合、記憶部２１６から画像マッチング結果２１６５を取得し、マッチングに成功したか否かを判定する（ステップＳ４８）。制御部２１７６は、画像マッチングに成功した場合、図１３のステップＳ３６と同様なステップＳ４９を実行する。また制御部２１７６は、画像マッチングに失敗した場合、図１３のステップＳ３７と同様なステップＳ５０を実行する。次に制御部２１７６は、上記作成したモニタ画面、撮影位置・撮影方向ガイド情報と、その他の画面要素とから撮影位置・撮影方向ガイド画面を組み立てて画面表示部２１４に表示する（ステップＳ５１）。

以上のような処理により撮影位置・撮影方向ガイド画面が作成される。そのため、カメラ１３０で登録撮影画像と同じ箇所が撮影されておらずマッチングに成功しない状況では、撮影位置・撮影方向ガイド情報には、ＧＰＳ受信機１３２で検出されたカメラ１３０の位置と登録撮影位置との差、および方位センサ１３３および加速度センサ１３４で検出された方位および加速度によって算出されたカメラ１３０の撮影方向と登録撮影方向との差の情報が表示される。このような情報によって、オペレータは、カメラ１３０の位置と撮影方向を大まかに調整することができる。

また、カメラ１３０で登録撮影画像と同じ箇所が撮影されており、且つ、ひび割れ画像のマッチングに成功している状況では、モニタ画面には、推定されたホモグラフィ行列を登録ひびわれ画像に適用して変換した画像と今回撮影されたひび割れ画像とを合成した合成画像が表示されている。また、撮影位置・撮影方向ガイド情報には、推定されたホモグラフィ行列に基づいて検出した、カメラ１３０の位置と登録撮影画像を撮影したときのカメラの位置との差、および、カメラ１３０の撮影方向と登録撮影画像を撮影したときのカメラの撮影方向との差の情報が表示される。そのため、オペレータは、カメラ１３０の位置と撮影方向を正しく微調整して、構造物１４０の部分領域１４１を登録撮影画像と正確に同じ位置から同じ撮影方向で撮影することができる。ひび割れ画像のマッチングは、撮影画像のマッチングと比較して、経年の表面汚れ、照明変化等によるミスマッチが少ない利点がある。

また、カメラ１３０で登録撮影画像と同じ箇所が撮影されているが、ひび割れが全く存在しないか極めて少ない場合、ひび割れ画像のマッチングに失敗することになる。しかし、そのような状況であっても、カメラ１３０で登録撮影画像と同じ箇所が撮影されていれば、撮影画像のマッチングには成功する。そして、撮影画像のマッチングに成功している状況では、モニタ画面には、推定されたホモグラフィ行列を登録撮影画像に適用して変換した画像と今回撮影されたひび画像とを合成した合成画像が表示されている。また、撮影位置・撮影方向ガイド情報には、推定されたホモグラフィ行列に基づいて検出した、カメラ１３０の位置と登録撮影画像を撮影したときのカメラの位置との差、および、カメラ１３０の撮影方向と登録撮影画像を撮影したときのカメラの撮影方向との差の情報が表示される。そのため、オペレータは、カメラ１３０の位置と撮影方向を正しく微調整して、構造物１４０の部分領域１４１を登録撮影画像と正確に同じ位置から同じ撮影方向で撮影することができる。

本実施形態では、画像マッチング部２１７４による画像マッチングとひび割れ画像マッチング部２１７８によるひび割れ画像マッチングとを常に行うようにした。しかし、本実施形態の変形例として、登録ひび割れ画像中のひび割れの多寡に応じて、何れか一方のマッチングのみ実行するようにしてもよい。すなわち、ひび割れが所定量以上あるときはひび割れ画像マッチング部２１７８のみ実行し、ひび割れが所定量未満のときは画像マッチング部２１７４のみ実行するようにしてもよい。

［第３の実施形態］
次に、本発明の第３の実施形態に係る診断装置３００について説明する。

図１９は、本実施形態に係る診断装置３００の構成例を示す図である。図１９において、図１と同一符号は同一部分を示し、３１０はコンピュータ、１６０は３次元形状計測器、１２１はコンピュータ３１０と３次元形状計測器１６０とを接続するケーブルである。

３次元形状計測器１６０は、カメラ１３０の周辺環境に存在する３次元形状を計測するセンサである。３次元形状計測器１６０は、カメラ１３０と一定の位置関係を保つようにカメラ１３０あるいは雲台１５１に装着されている。例えば、３次元形状計測器１６０のスキャニング角の中心が向いている方向（以下、３次元形状計測方向と呼ぶ）がカメラ１３０の撮影方向と一致するように、３次元形状計測器１６０がカメラ１３０に装着されている。３次元形状計測器１６０は、例えばＬＩＤＡＲ（ＬｉｇｈｔＤｅｔｅｃｔｉｏｎａｎｄＲａｎｇｉｎｇ）、ステレオカメラ、Ｓｔｒｕｃｔｕｒｅ−ｆｒｏｍ−Ｍｏｔｉｏｎなどを使用して構成することができる。計測する３次元形状は、構造物１４０およびそれ以外の３次元形状であってよい。

コンピュータ３１０は、第２の実施形態における方法と同様な方法でカメラの撮影位置・方向と過去の診断箇所の位置・方向との差を検出すると共に、３次元形状計測器１６０で計測した構造物１４０の３次元形状と予め記憶している登録３次元形状とを比較することにより、カメラ１３０の撮影位置・方向と過去の診断箇所の位置・方向との差を検出するように構成されている。

図２０は、コンピュータ３１０の構成の一例を示すブロック図である。図２０を参照すると、コンピュータ３１０は、カメラＩ／Ｆ部３１１と、通信Ｉ／Ｆ部３１２と、操作入力部３１３と、画面表示部３１４と、音声出力部３１５と、記憶部３１６と、演算処理部３１７と、計測器Ｉ／Ｆ部１６０とから構成されている。そのうち、カメラＩ／Ｆ部３１１、通信Ｉ／Ｆ部３１２、操作入力部３１３、画面表示部３１４、および、音声出力部３１５は、図１５のカメラＩ／Ｆ部２１１、通信Ｉ／Ｆ部２１２、操作入力部２１３、画面表示部２１４、および、音声出力部２１５と同じである。計測器Ｉ／Ｆ部１６０は、３次元形状計測器１６０と演算処理部３１７との間のデータの授受を行うように構成されている。

記憶部３１６は、ハードディスクやメモリなどの記憶装置から構成され、演算処理部３１７における各種処理に必要な処理情報およびプログラム３１６１を記憶するように構成されている。プログラム３１６１は、演算処理部３１７に読み込まれて実行されることにより各種処理部を実現するプログラムであり、通信Ｉ／Ｆ部３１２などのデータ入出力機能を介して図示しない外部装置や記録媒体から予め読み込まれて記憶部３１６に保存される。記憶部３１６に記憶される主な処理情報には、撮影位置３１６２、撮影方向３１６３、撮影画像３１６４、画像マッチング結果３１６５、診断箇所データベース３１６６、診断結果データベース３１６７、ひび割れ画像３１６８、ひび割れ画像マッチング結果３１６９、３次元形状３１６Ａ、３次元形状マッチング結果３１６Ｂがある。そのうち、撮影位置３１６２、撮影方向３１６３、撮影画像３１６４、画像マッチング結果３１６５、診断結果データベース３１６７、ひび割れ画像３１６８、ひび割れ画像マッチング結果３１６９は、図１５の撮影位置２１６２、撮影方向２１６３、撮影画像２１６４、画像マッチング結果２１６５、診断結果データベース２１６７、ひび割れ画像３１６８、ひび割れ画像マッチング結果２１６９と同じである。

３次元形状３１６Ａは、３次元形状計測器１６０で計測した周辺環境に存在する３次元形状を表すデータである。３次元形状３１６Ａは、点群、ポリゴン、テクスチャの何れであってもよい。

３次元形状マッチング結果３１６Ｂは、３次元形状３１６Ａと診断箇所データベース３１６６に記憶されている登録３次元形状との間のマッチング結果を表すデータである。

診断箇所データベース３１６６は、診断箇所に係る情報を記憶する記憶部である。図２１は、診断箇所データベース３１６６に記憶されている診断箇所情報３１６６１のフォーマットの一例を示す。この例の診断箇所情報３１６６１は、診断箇所ＩＤ３１６６２、登録日時３１６６３、登録撮影位置３１６６４、登録撮影方向３１６６５、登録撮影画像３１６６６、登録ひび割れ画像３１６６７、登録３次元形状３１６６８から構成される。そのうち、診断箇所ＩＤ３１６６２、登録日時３１６６３、登録撮影位置３１６６４、登録撮影方向３１６６５、登録撮影画像３１６６６、登録ひび割れ画像３１６６７は、図１６の診断箇所ＩＤ２１６６２、登録日時２１６６３、登録撮影位置２１６６４、登録撮影方向２１６６５、登録撮影画像２１６６６、登録ひび割れ画像２１６６７と同じである。登録３次元形状３１６６８は、３次元形状計測器１６０で計測した、登録撮影画像を撮影したときのカメラ１３０の位置周辺の３次元形状を示すデータである。

演算処理部３１７は、ＭＰＵなどのプロセッサとその周辺回路を有し、記憶部３１６からプログラム３１６１を読み込んで実行することにより、上記ハードウェアとプログラム３１６１とを協働させて各種処理部を実現するように構成されている。演算処理部３１７で実現される主な処理部は、撮影位置取得部３１７１、撮影方向取得部３１７２、撮影画像取得部３１７３、画像マッチング部３１７４、診断部３１７５、制御部３１７６、ひび割れ画像作成部３１７７、ひび割れ画像マッチング部３１７８、３次元形状取得部３１７９、３次元形状マッチング部３１７Ａである。そのうち、撮影位置取得部３１７１、撮影方向取得部３１７２、撮影画像取得部３１７３、画像マッチング部３１７４、診断部３１７５、ひび割れ画像作成部３１７７、ひび割れ画像マッチング部３１７８は、図１５の撮影位置取得部２１７１、撮影方向取得部２１７２、撮影画像取得部２１７３、画像マッチング部２１７４、診断部２１７５、ひび割れ画像作成部２１７７、ひび割れ画像マッチング部２１７８と同じである。

３次元形状取得部３１７９は、３次元形状計測器１６０から３次元物体の計測データを取得し、３次元形状３１６Ａとして記憶部３１６に記憶するように構成されている。

３次元形状マッチング部３１７Ａは、３次元形状３１６Ａと診断箇所データベース３１６６に記憶されている登録３次元形状を比較し、３次元形状計測器１６０の位置と登録３次元形状を計測したときの３次元形状計測器１６０の位置の差、および３次元形状計測器１６０の計測方向の中心と登録３次元形状を計測したときの３次元形状計測器１６０の計測方向の中心との方向の差を検出するように構成されている。３次元形状のマッチング手法は特に限定されない。例えば、画像類似度に基づくマッチング手法、ＩＣＰ（ＩｔｅｒａｔｉｖｅＣｌｏｓｅｓｔＰｏｉｎｔ：点群位置合わせ）などの任意のマッチング手法を使用することができる。以下では、ＩＣＰを使用した場合の３次元形状マッチング部３１７Ａの動作の例を説明する。

３次元形状マッチング部３１７Ａは、３次元形状３１６Ａを一方の点群、登録３次元形状３１６６８を他方の点群とし、２つの点群間の最近傍点を対応点として求め、対応点の距離を縮小する幾何変換行列を推定する処理を繰り返すことで、２つの点群の位置合わせを行う。３次元形状マッチング部３１７Ａは、マッチングに失敗した場合、その旨を示す３次元形状マッチング結果３１６Ｂを記憶部３１６に保存して処理を終了する。

また３次元形状マッチング部３１７Ａは、マッチングに成功した場合、推定した幾何変換行列に基づき登録３次元形状を変換する。次に３次元形状マッチング部３１７Ａは、変換後の登録３次元形状と３次元形状３１６Ａとを合成する。次に３次元形状マッチング部３１７Ａは、推定した幾何変換行列に基づいて、３次元形状計測器１６０の位置と登録３次元形状を計測したときの３次元形状計測器１６０の位置との位置の差、および、３次元形状計測器１６０の３次元形状計測方向と登録３次元形状を計測したときの３次元形状計測器１６０の３次元形状計測方向との方向の差を、カメラ１３０の位置と登録撮影画像を撮影したときのカメラ１３０の位置との差、および、カメラ１３０の撮影方向と登録撮影画像を撮影したときのカメラ１３０の撮影方向との方向の差として検出する。次に３次元形状マッチング部３１７Ａは、上記合成した画像、検出した位置および方向の差を含むマッチング成功を示す３次元形状マッチング結果３１６Ｂを作成して記憶部３１６に保存する。

図２２は、マッチング成功時の３次元マッチング結果３１６Ｂに含まれる合成画像の幾つかの例を示す。合成画像中、実線は３次元形状３１６Ａ、破線は登録３次元形状を示す。

合成画像ＬＡは、３次元形状３２６Ａの全体に適合するように同サイズの登録３次元形状が合成されている。このような合成画像は、カメラ１３０の位置および撮影方向が登録撮影画像と同じ位置および撮影方向である場合に生成される。

合成画像ＬＢは、３次元形状３２６Ａの中央部分に、３次元形状３２６Ａより小サイズの登録３次元形状が合成されている。このような合成画像は、登録撮影画像の撮影位置より近い位置から同じ撮影方向で撮影画像が取得された場合に生成される。

合成画像ＬＣは、３次元形状３２６Ａに、大サイズの登録３次元形状が合成されている。このような合成画像は、登録撮影画像の撮影位置より遠い位置から同じ撮影方向で撮影画像が取得された場合に生成される。

合成画像ＬＤは、３次元形状３２６Ａの中央部分に、右辺が左辺より短い登録３次元形状が合成されている。このような合成画像は、登録撮影画像の撮影位置より左に寄った位置から右よりの撮影方向で撮影画像が取得された場合に生成される。

上記の合成画像は一例である。カメラ１３０の位置および撮影方向によっては、合成画像ＬＨに示すように、３次元形状および登録３次元形状のそれぞれに登録３次元形状および３次元形状に一致しない領域が生じることがある。

以上が、３次元形状マッチング部３１７Ａの構成例である。

制御部３１７６は、診断装置３００の主たる制御を司るように構成されている。

以下、構造物１４０の劣化診断を行う際の診断装置３００の動作を説明する。診断装置３００は、以下の動作が診断装置２００と相違し、それ以外は診断装置２００と同じである。
（１）診断箇所情報を作成する動作
（２）撮影位置・撮影方向ガイド画面を作成する動作

（１）診断箇所情報を作成する動作
オペレータが、カメラ１３０の位置および撮影方向の情報を次回以降の診断に利用するために新規診断画面の登録ボタンをオンすると、制御部３１７６は、新たな診断箇所情報３１６６１を作成して診断箇所データベース３１６６に登録する。このとき、３次元形状取得部３１７９は、３次元形状計測器１６０から３次元物体の計測データを取得し、３次元形状３１６Ａとして記憶部３１６に記憶する。制御部３１７６は、記憶部３１６から撮影位置３１６２、撮影方向３１６３、撮影画像３１６４、ひび割れ画像３１６８、３次元形状３１６Ａを取得し、それらの情報に基づいて図２１に示したような診断箇所情報３１６６１を作成し、診断箇所データベース３１６６に登録する。

（２）撮影位置・撮影方向ガイド画面を作成する動作
図２３は、撮影位置・撮影方向ガイド画面を作成して表示する動作の詳細を示すフローチャートである。制御部３１７６は、先ず、選択された過去位置アイコンに対応する診断箇所情報３１６６１から診断箇所ＩＤ、登録撮影位置、登録撮影方向、登録撮影画像、登録ひび割れ画像、３次元形状を取得する（ステップＳ６１）。次に制御部３１７６は、３次元形状計測器１６０から３次元物体の計測データを取得し、３次元形状３１６Ａとして記憶部３１６に記憶する（ステップＳ７５）。次に制御部３１７６は、図１８のステップＳ４２〜Ｓ４５と同様なステップＳ６２〜Ｓ６５を実行する。

次に制御部３１７６は、３次元形状３１６Ａと登録３次元形状とのマッチングを３次元形状マッチング部３１７Ａに行わせる（ステップＳ６６）。次に制御部３１７６は、記憶部３１６からひび割れ画像マッチング結果３１６９を取得し、マッチングに成功したか否かを判定する（ステップＳ６７）。制御部３１７６は、ひび割れ画像のマッチングに成功した場合、図１８のステップＳ４７と同様なステップＳ６８を実行する。また制御部３１７６は、ひび割れ画像のマッチングに失敗した場合、記憶部３１６から画像マッチング結果３１６５を取得し、マッチングに成功したか否かを判定する（ステップＳ６９）。制御部３１７６は、画像マッチングに成功した場合、図１８のステップＳ４９と同様なステップＳ７０を実行する。また制御部３１７６は、画像マッチングに失敗した場合、記憶部３１６から３次元形状マッチング結果３１６Ｂを取得し、マッチングに成功したか否かを判定する（ステップＳ７１）。制御部３１７６は、３次元形状のマッチングに成功した場合、３次元形状マッチング結果３１６Ｂに含まれる合成画像をモニタ画像として作成し、また３次元形状マッチング結果３１６Ｂに含まれるカメラ１３０の位置と登録撮影画像が得られた際のカメラ１３０の位置との位置の差、および、カメラ１３０の撮影方向と登録撮影画像が得られた際のカメラ１３０の撮影方向との方向の差に基づいて撮影位置・撮影方向ガイド情報を作成する（ステップＳ７２）。また制御部３１７６は、３次元形状のマッチングに失敗した場合、図１８のステップＳ５０と同様なステップＳ７３を実行する。次に制御部３１７６は、上記作成したモニタ画面、撮影位置・撮影方向ガイド情報と、その他の画面要素とから撮影位置・撮影方向ガイド画面を組み立てて画面表示部３１４に表示する（ステップＳ７４）。

以上のような処理により撮影位置・撮影方向ガイド画面が作成される。そのため、カメラ１３０で登録撮影画像と同じ箇所が撮影されておらずマッチングに成功しない状況であっても、３次元形状のマッチングに成功している場合には、モニタ画面には、推定された幾何変換を登録３次元形状に適用して変換した３次元形状と今回測定された３次元形状とを合成した合成画像が表示されている。また、撮影位置・撮影方向ガイド情報には、推定された幾何変換に基づいて検出した、カメラ１３０の位置と登録撮影画像を撮影したときのカメラの位置との差、および、カメラ１３０の撮影方向と登録撮影画像を撮影したときのカメラの撮影方向との差の情報が表示される。そのため、オペレータは、構造物１４０の部分領域１４１を登録撮影画像と同じ位置から同じ撮影方向で撮影するようにカメラ１３０の位置と撮影方向を調整することができる。３次元形状のマッチングは、撮影画像のマッチングと比較して、広範囲の視野のマッチングが可能である。広範囲の視野の中には特徴的な形状を有する物体や部材が含まれる可能性が高いため、コンクリート壁などの一部分である部分領域１４１のような特徴の少ない局部的な画像マッチングに比べてミスマッチが少ない利点がある。

また、３次元形状のマッチングに失敗している場合には、撮影位置・撮影方向ガイド情報には、ＧＰＳ受信機１３２で検出されたカメラ１３０の位置と登録撮影位置との差、および方位センサ１３３および加速度センサ１３４で検出された方位および加速度によって算出されたカメラ１３０の撮影方向と登録撮影方向との差の情報が表示される。このような情報によって、オペレータは、カメラ１３０の位置と撮影方向を大まかに調整することができる。

本実施形態では、画像マッチング部３１７４による画像マッチングとひび割れ画像マッチング部３１７８によるひび割れ画像マッチングとを常に行うようにした。しかし、本実施形態の変形例として、登録ひび割れ画像中のひび割れの多寡に応じて、何れか一方のマッチングのみ実行するようにしてもよい。例えば、ひび割れが所定量以上あるときはひび割れ画像マッチング部３１７８のみ実行し、ひび割れが所定量未満のときは画像マッチング部３１７４のみ実行ようにしてもよい。

［第４の実施形態］
図２４を参照すると、本発明の第４の実施形態に係る撮影ガイド装置４００は、検出手段４０１と出力手段４０２とを含んで構成されている。

検出手段４０１は、構造物を撮影候補位置から撮影候補方向で撮影した候補画像と、上記構造物を所定の撮影位置から所定の撮影方向で撮影し予め事前に記憶している登録画像とを比較することにより、上記撮影候補位置と上記所定の撮影位置との位置の差を検出するように構成されている。検出手段４０１は、例えば、図２の画像マッチング部１１７４と同様に構成することができるが、それに限定されない。

また出力手段４０２は、検出手段４０１によって検出された位置の差を示す情報を出力するように構成されている。出力手段４０２は、例えば、図２の制御部１１７６と同様に構成することができるが、それに限定されない。

このように構成された撮影ガイド装置４００は、以下のように動作する。すなわち、先ず、検出手段４０１は、構造物を撮影候補位置から撮影候補方向で撮影した候補画像と、上記構造物を所定の撮影位置から所定の撮影方向で撮影し予め事前に記憶している登録画像とを比較することにより、上記撮影候補位置と上記所定の撮影位置との位置の差を検出する。次に、出力手段４０２は、検出手段４０１によって検出された位置の差を示す情報を出力する。

このように本実施形態によれば、検出手段４０１が構造物を撮影候補位置から撮影候補方向で撮影した候補画像と上記構造物を所定の撮影位置から所定の撮影方向で撮影し予め事前に記憶している登録画像とを比較することにより、上記撮影候補位置と上記所定の撮影位置との位置の差を検出し、出力手段４０２が検出手段４０１によって検出された位置の差を示す情報を出力するため、オペレータは出力される位置の差が小さくなるように撮影候補位置を変更することにより、構造物を毎回同じ撮影位置から撮影することができる。

以上、上記各実施形態を参照して本発明を説明したが、本発明は、上述した実施形態に限定されるものではない。本発明の構成や詳細には、本発明の範囲内で当業者が理解しうる様々な変更をすることができる。

なお、本発明は、日本国にて２０１９年１月１０日に特許出願された特願２０１９−００２５０１の特許出願に基づく優先権主張の利益を享受するものであり、当該特許出願に記載された内容は、全て本明細書に含まれるものとする。

本発明は、橋梁などの構造物を撮像装置で撮影した画像を解析して構造物の健全性の診断を定期的に実施する場合などに利用できる。

上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
［付記１］
構造物を撮影候補位置から撮影候補方向で撮影した候補画像と、前記構造物を所定の撮影位置から所定の撮影方向で撮影し予め事前に記憶している登録画像とを比較することにより、前記撮影候補位置と前記所定の撮影位置との位置の差を検出する検出手段と、
前記検出された位置の差を示す情報を出力する出力手段と、
を含む撮影ガイド装置。
［付記２］
前記検出手段は、更に、前記撮影候補方向と前記所定の撮影方向との方向の差を検出し、
前記出力手段は、更に、前記検出された方向の差を示す情報を出力する、
付記１に記載の撮影ガイド装置。
［付記３］
前記検出手段は、前記候補画像と前記登録画像のホモグラフィ行列を推定し、前記ホモグラフィ行列に基づいて、前記方向の差を検出する、
付記２に記載の撮影ガイド装置。
［付記４］
前記検出手段は、前記候補画像と前記登録画像のホモグラフィ行列を推定し、前記ホモグラフィ行列に基づいて、前記位置の差を検出する、
付記１乃至３の何れかに記載の撮影ガイド装置。
［付記５］
前記検出手段は、前記候補画像と前記登録画像のホモグラフィ行列を推定し、前記ホモグラフィ行列に基づき前記登録画像を変換し、該変換後の前記登録画像と前記候補画像とを合成した合成画像を生成する、
付記１乃至４の何れかに記載の撮影ガイド装置。
［付記６］
前記検出手段は、更に、前記候補画像から前記構造物上のひび割れを強調したひび割れ画像を生成し、前記生成したひび割れ画像と、前記登録画像から生成され予め記憶している登録ひび割れ画像とを比較することにより、前記撮影候補位置と前記所定の撮影位置との位置の差を検出する、
付記１または２に記載の撮影ガイド装置。
［付記７］
前記検出手段は、更に、前記候補画像から前記構造物上のひび割れを強調したひび割れ画像を生成し、前記生成したひび割れ画像と、前記登録画像から生成され予め記憶している登録ひび割れ画像とを比較することにより、前記撮影候補方向と前記所定の撮影方向との方向の差を検出する、
付記５に記載の撮影ガイド装置。
［付記８］
前記検出手段は、前記ひび割れ画像と前記登録ひび割れ画像のホモグラフィ行列を推定し、前記ホモグラフィ行列に基づいて、前記方向の差を検出する、
付記７に記載の撮影ガイド装置。
［付記９］
前記検出手段は、前記ひび割れ画像と前記登録ひび割れ画像のホモグラフィ行列を推定し、前記ホモグラフィ行列に基づいて、前記位置の差を検出する、
付記６乃至８の何れかに記載の撮影ガイド装置。
［付記１０］
前記検出手段は、前記ひび割れ画像と前記登録ひび割れ画像のホモグラフィ行列を推定し、前記ホモグラフィ行列に基づき前記登録ひび割れ画像を変換し、該変換後の前記登録ひび割れ画像と前記ひび割れ画像とを合成した合成画像を生成する、
付記６乃至９の何れかに記載の撮影ガイド装置。
［付記１１］
前記検出手段は、更に、前記撮影候補位置から周辺環境の３次元形状を計測した候補３次元形状と、前記所定の撮影位置から周辺環境の３次元形状を計測し予め事前に記憶している登録３次元形状とを比較することにより、前記撮影候補位置と前記所定の撮影位置との位置の差を検出する、
付記１または２に記載の撮影ガイド装置。
［付記１２］
前記検出手段は、更に、前記撮影候補位置から周辺環境の３次元形状を計測した候補３次元形状と、前記所定の撮影位置から周辺環境の３次元形状を計測し予め事前に記憶している登録３次元形状とを比較することにより、前記撮影候補方向と前記所定の撮影方向との方向の差を検出する、
付記１１に記載の撮影ガイド装置。
［付記１３］
前記検出手段は、前記候補３次元形状と前記登録３次元形状の幾何変換行列を推定し、前記幾何変換行列に基づいて、前記方向の差を検出する、
付記１２に記載の撮影ガイド装置。
［付記１４］
前記検出手段は、前記候補３次元形状と前記登録３次元形状の幾何変換行列を推定し、前記幾何変換行列に基づいて、前記位置の差を検出する、
付記１１乃至１３の何れかに記載の撮影ガイド装置。
［付記１５］
前記検出手段は、前記候補３次元形状と前記登録３次元形状の幾何変換行列を推定し、前記幾何変換行列に基づき前記登録３次元形状を変換し、該変換後の前記登録３次元形状と前記候補３次元形状とを合成した合成画像を生成する、
付記１１乃至１４の何れかに記載の撮影ガイド装置。
［付記１６］
構造物を撮影候補位置から撮影候補方向で撮影した候補画像と、前記構造物を所定の撮影位置から所定の撮影方向で撮影し予め事前に記憶している登録画像とを比較することにより、前記撮影候補位置と前記所定の撮影位置との位置の差を検出し、
前記検出された位置の差を示す情報を出力する、
撮影ガイド方法。
［付記１７］
コンピュータに、
構造物を撮影候補位置から撮影候補方向で撮影した候補画像と、前記構造物を所定の撮影位置から所定の撮影方向で撮影し予め事前に記憶している登録画像とを比較することにより、前記撮影候補位置と前記所定の撮影位置との位置の差を検出する処理と、
前記検出された位置の差を示す情報を出力する処理と、
を行わせるためにプログラム。

１００…診断装置
１１０…コンピュータ
１１１…カメラＩ／Ｆ部
１１２…通信Ｉ／Ｆ部
１１３…操作入力部
１１４…画面表示部
１１５…音声出力部
１１６…記憶部
１１７…演算処理部
１２０…ケーブル
１３０…カメラ
１４０…構造物
１４１…部分領域
１５０…三脚
１５１…雲台

Claims

構造物を撮影候補位置から撮影候補方向で撮影した候補画像と、前記構造物を所定の撮影位置から所定の撮影方向で撮影し予め事前に記憶している登録画像とを比較することにより、前記撮影候補位置と前記所定の撮影位置との位置の差を検出する検出手段と、
前記検出された位置の差を示す情報を出力する出力手段と、
を含む撮影ガイド装置。
前記検出手段は、更に、前記撮影候補方向と前記所定の撮影方向との方向の差を検出し、
前記出力手段は、更に、前記検出された方向の差を示す情報を出力する、
請求項１に記載の撮影ガイド装置。
前記検出手段は、前記候補画像と前記登録画像のホモグラフィ行列を推定し、前記ホモグラフィ行列に基づいて、前記方向の差を検出する、
請求項２に記載の撮影ガイド装置。
前記検出手段は、前記候補画像と前記登録画像のホモグラフィ行列を推定し、前記ホモグラフィ行列に基づいて、前記位置の差を検出する、
請求項１乃至３の何れかに記載の撮影ガイド装置。
前記検出手段は、前記候補画像と前記登録画像のホモグラフィ行列を推定し、前記ホモグラフィ行列に基づき前記登録画像を変換し、該変換後の前記登録画像と前記候補画像とを合成した合成画像を生成する、
請求項１乃至４の何れかに記載の撮影ガイド装置。
前記検出手段は、更に、前記候補画像から前記構造物上のひび割れを強調したひび割れ画像を生成し、前記生成したひび割れ画像と、前記登録画像から生成され予め記憶している登録ひび割れ画像とを比較することにより、前記撮影候補位置と前記所定の撮影位置との位置の差を検出する、
請求項１または２に記載の撮影ガイド装置。
前記検出手段は、更に、前記候補画像から前記構造物上のひび割れを強調したひび割れ画像を生成し、前記生成したひび割れ画像と、前記登録画像から生成され予め記憶している登録ひび割れ画像とを比較することにより、前記撮影候補方向と前記所定の撮影方向との方向の差を検出する、
請求項５に記載の撮影ガイド装置。
前記検出手段は、前記ひび割れ画像と前記登録ひび割れ画像のホモグラフィ行列を推定し、前記ホモグラフィ行列に基づいて、前記方向の差を検出する、
請求項７に記載の撮影ガイド装置。
前記検出手段は、前記ひび割れ画像と前記登録ひび割れ画像のホモグラフィ行列を推定し、前記ホモグラフィ行列に基づいて、前記位置の差を検出する、
請求項６乃至８の何れかに記載の撮影ガイド装置。
前記検出手段は、前記ひび割れ画像と前記登録ひび割れ画像のホモグラフィ行列を推定し、前記ホモグラフィ行列に基づき前記登録ひび割れ画像を変換し、該変換後の前記登録ひび割れ画像と前記ひび割れ画像とを合成した合成画像を生成する、
請求項６乃至９の何れかに記載の撮影ガイド装置。
前記検出手段は、更に、前記撮影候補位置から周辺環境の３次元形状を計測した候補３次元形状と、前記所定の撮影位置から周辺環境の３次元形状を計測し予め事前に記憶している登録３次元形状とを比較することにより、前記撮影候補位置と前記所定の撮影位置との位置の差を検出する、
請求項１または２に記載の撮影ガイド装置。
前記検出手段は、更に、前記撮影候補位置から周辺環境の３次元形状を計測した候補３次元形状と、前記所定の撮影位置から周辺環境の３次元形状を計測し予め事前に記憶している登録３次元形状とを比較することにより、前記撮影候補方向と前記所定の撮影方向との方向の差を検出する、
請求項１１に記載の撮影ガイド装置。
前記検出手段は、前記候補３次元形状と前記登録３次元形状の幾何変換行列を推定し、前記幾何変換行列に基づいて、前記方向の差を検出する、
請求項１２に記載の撮影ガイド装置。
前記検出手段は、前記候補３次元形状と前記登録３次元形状の幾何変換行列を推定し、前記幾何変換行列に基づいて、前記位置の差を検出する、
請求項１１乃至１３の何れかに記載の撮影ガイド装置。
前記検出手段は、前記候補３次元形状と前記登録３次元形状の幾何変換行列を推定し、前記幾何変換行列に基づき前記登録３次元形状を変換し、該変換後の前記登録３次元形状と前記候補３次元形状とを合成した合成画像を生成する、
請求項１１乃至１４の何れかに記載の撮影ガイド装置。
構造物を撮影候補位置から撮影候補方向で撮影した候補画像と、前記構造物を所定の撮影位置から所定の撮影方向で撮影し予め事前に記憶している登録画像とを比較することにより、前記撮影候補位置と前記所定の撮影位置との位置の差を検出し、
前記検出された位置の差を示す情報を出力する、
撮影ガイド方法。
コンピュータに、
構造物を撮影候補位置から撮影候補方向で撮影した候補画像と、前記構造物を所定の撮影位置から所定の撮影方向で撮影し予め事前に記憶している登録画像とを比較することにより、前記撮影候補位置と前記所定の撮影位置との位置の差を検出する処理と、
前記検出された位置の差を示す情報を出力する処理と、
を行わせるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。