JP6675927B2 - 構造物の劣化検査装置 - Google Patents

Description

本発明は、構造物、特に、コンクリート構造物の劣化を検査する構造物検査装置に関する。

コンクリート壁やトンネル壁、路面をはじめとする、コンクリート構造物やアスファルト構造物などの構造物は、劣化の進行による破損を防止するため、構造物内で発生したクラックや空洞などの破損の兆候を早期に発見し、劣化が進行する前に補修する必要がある。
構造物の表面に発生する破損の兆候は、画像解析を介して検出するさまざまな技術が提案されている。

このような画像解析は、近年、構造物の内部の非破壊検査にも利用され始めている。
例えば、特開２０１５−１５８４４１号では、コンクリート構造物の表面をハンマー等で打撃し、発生する打撃音をデータ化し、検査対象となるコンクリート構造物の表面に対応する画像上に、打撃音のデータを画像化したデータ画像を重畳して表示させる。

この従来技術では、検査対象面、例えば、従来技術の図２に示されるように、コンクリート壁面にメッシュ状の区画を設定し、予め設定された打撃点を、ハンマーなどの打撃手段で打撃したり、従来技術の図１０に示されるように、予め定められた経路で打撃を行う打撃位置制御手段を有する打撃手段で打撃したりして、解析対象となる打撃音を得ていた。

つまり、従来技術では、事前に定められた打撃点を打撃して、打撃がなされた位置を特定するものであって、予め定められた打撃点を打撃して得られた打撃音を、その打撃点に紐付けし、コンクリート構造物の表面画像に重畳して表示するものである。
この従来技術では、予め打撃点を設定、管理し、設定された打撃点に応じて、打撃を行う必要があって、検査に手間とコストがかかるという問題があった。

特開２０１５−１５８４４１

本発明は、上記の問題を解決するためになされたものであって、ユーザがランダムに打撃した打撃位置を打撃の撮影画像から特定し、検査対象の撮影画像中の、特定された打撃位置に、打撃音から得られる打撃位置の内部構造の判定結果の情報を画像化して表示できるようにすることを目的とする。

本発明の発明にかかる構造物検査装置は、
検査対象を打撃する打撃手段と、
打撃音を取得する音声入力装置と、
音声入力装置によって得られた打撃音の打撃時間を特定する打撃時間の情報を生成する打撃時間生成手段と、
音声入力装置によって得られた打撃音から、打撃位置の内部構造を判定し、少なくとも打撃時間生成手段によって生成された打撃音の打撃時間の情報、および、打撃位置の内部構造を判定する情報を含む判定結果の情報を生成する判定結果生成手段と、
検査対象の複数位置を打撃する打撃手段を特定箇所から撮影し、撮影時間の情報を含む撮影画像の情報を生成する撮影手段と、
撮影手段によって生成された撮影画像から、打撃時間生成手段によって生成された打撃時間の情報に対応する、撮影時間の情報を有する打撃画像を抽出する打撃画像抽出手段と、
打撃画像抽出手段によって抽出された打撃画像から、打撃手段の位置を打撃位置として特定し、少なくともその打撃画像の撮影時間の情報、および、その打撃位置を特定する情報を含む打撃位置の情報を生成する打撃位置生成手段と、
判定結果生成手段によって生成された判定結果の情報を画像化し、その判定結果の打撃時間の情報、および、その打撃時間に対応する撮影時間の情報を有する打撃位置の情報を組み合わせ、打撃位置の情報を含む判定画像を生成する判定画像生成手段と、
撮影手段によって得られる検査対象の画像に、判定画像を重畳し、検査対象の画像の所要の位置に、画像化された判定結果の情報を合成した判定結果画像を生成する判定結果生成手段と、
判定結果生成手段によって生成された判定結果画像を表示するディスプレイ手段と
を具備することを特徴とする。

また、本発明の第２発明にかかる構造物検査装置は、上記の発明において、
打撃手段がハンマーであって、ヘッドの打撃部とは反対側には、画像解析よって検出可能な材料によって形成されたマーカーが装着されるハンマーであり、
打撃位置生成手段が、打撃画像中からマーカーを検出することによって打撃手段の位置を特定する
ことを特徴とする。

また、本発明の第３発明にかかる構造物検査装置は、上記の発明において、
打撃時間生成手段、および、判定結果生成手段によって生成される情報が、データベース上の同一のテーブルで管理され、
撮影手段が、動画情報を生成し、
打撃画像抽出手段が、動画情報の中から所要の打撃時間に対応する静止画を打撃画像として切り出し、その打撃画像のファイルに撮影時刻を含むファイル名を付し、
判定画像生成手段が、データベース上のテーブルの情報と、打撃画像のファイル名とを関連付けることによって判定画像を生成する
ことを特徴とする。

また、本発明の第４発明にかかる構造物検査装置は、上記の発明において、
打撃位置生成手段が、打撃画像中の打撃手段の位置の座標を取得することによって打撃位置の情報を生成する
ことを特徴とする。

また、本発明の第５発明にかかる構造物検査方法は、
検査対象を特定箇所からの撮影を開始すると共に、音声の録音を開始する記録開始ステップと、
検査対象を打撃手段で打撃する打撃ステップと、
打撃ステップの実行によって、時間の情報を伴った打撃音を取得すると共に、撮影時間の情報、および、打撃位置の情報を含む撮影画像を取得する情報収集ステップと、
打撃音を解析する打撃音解析ステップと、撮影画像を解析する撮影画像解析ステップとを並行して実行する解析ステップと
打撃音の情報と、その打撃音の打撃時間に対応する撮影時間の撮影画像とを組み合わせ、打撃位置の情報を伴った、その打撃位置の、打撃音の解析に基づいた内部構造の情報を画像化した判定画像を生成する判定画像生成ステップと、
判定画像生成ステップで生成された判定画像を、検査対象の撮影画像に合成した判定結果画像を生成する判定結果生成ステップと、
判定結果生成ステップによって生成された判定結果画像を表示する表示ステップと
を含むことを特徴とする。

また、本発明の第６発明にかかる構造物検査方法は、上記の発明において、
打撃音解析ステップが、
打撃音の打撃時間を特定する打撃時間生成ステップと、
打撃音から、打撃位置の内部構造を判定し、少なくとも打撃時間の情報、および、打撃位置の内部構造を判定する情報を含む判定結果の情報を生成する判定結果生成ステップと
を含み、
撮影画像解析ステップが、
打撃時間の情報に対応する、撮影時間の情報を有する打撃画像を抽出する打撃画像抽出ステップと、
抽出された打撃画像から、打撃手段の位置を打撃位置として特定し、少なくともその打撃画像の撮影時間の情報、および、その打撃位置を特定する情報を含む打撃位置の情報を生成する打撃位置生成ステップと
を含むことを特徴とする。

本発明では、検査対象に対して予め打撃位置の設定をすることなしに、打撃音の録音、および、検査対象の撮影をするだけで、打撃位置に対応する内部構造の判定の結果を、検査対象の撮影画像に合成して表示できるようになる。
このため、例えば、ユーザが検査対象となる壁面をランダムに打撃していくだけで、その壁面の打撃位置における内部構造の判定を簡単、迅速に、かつ、低コストで評価することが可能になり、本発明によれば、構造物の劣化状況に関する検査を効果的に実施できるようになる。

図１は本発明にかかる構造物検査装置の一実施例のブロック図である。 図２は図１の撮影手段によって得られる検査開始前の撮影画像である。 図３は図１の構造物検査装置において抽出された打撃画像である。 図４は図３の打撃画像中から、ハンマーヘッドが検出された状態を示す解析画像である。 図５は図４の解析画像上のハンマーヘッドの座標を示す位置画像である。 図６は図１の構造物検査装置によって生成された判定結果画像である。 図７は図１の構造物検査装置において生成される情報の一例を示す説明画像である。 図８は図１の構造物検査装置の動作を示すフローチャートである。

本発明は、打撃時間の情報を含み、打撃位置の内部構造の判定情報を含み、打撃位置の情報を含まない打撃音に関する情報と、打撃時間に対応する撮影時間の情報を含み、打撃位置の内部構造の判定情報を含まず、打撃位置の情報を含む撮影画像に関する情報とを、打撃時間と撮影時間を基準に関連付け、検査対象の撮影画像に、判定情報を画像化した判定画像を、検査対象の打撃位置に合成して表示するものである。
つまり、検査対象の打撃によって得られた打撃音の打撃時間と、撮影画像の撮影時間を規準として、両者の時間が共通する打撃音の情報と撮影画像とを組み合わせ、打撃音の解析結果の可視化情報と、その打撃音を発生した打撃位置の情報を、撮影画像に合成して重畳し、検査対象の打撃位置の内部構造の判定を、簡単に評価できるようにする。

以下、本発明を、図面に基づき説明する。
図１は本発明にかかる構造物検査装置の一実施例のブロック図、図２は図１の撮影手段によって得られる撮影装置の視野を示す撮影画像、図３は図１の構造物検査装置において抽出された打撃画像、図４は図３の打撃画像中から、ハンマーヘッドが検出された状態を示す解析画像、図５は図４の解析画像上のハンマーヘッドの座標を示す位置画像、図６は図１の構造物検査装置によって生成された判定結果画像、図７は図１の構造物検査装置において生成される情報の一例を示す説明画像、図８は図１の構造物検査装置の動作を示すフローチャートである。

まず、図１に基づき、本発明の基本的な構成を説明する。
図中、１は本発明にかかる構造物検査装置、１０は打撃手段、１１０は構造物検査装置１の動作を制御する中央処理ユニット、１１１は構造物検査装置１を操作するための各種入力を行う操作パネル、１１２は各種情報を記録し格納する格納手段、１２０は打撃音を録音するための音声入力手段、１２１は打撃時間生成手段、１２２は判定結果生成手段、１３０は検査対象を打撃する打撃手段１０を撮影する撮影手段、１３１は打撃画像抽出手段、１３２は打撃位置生成手段、１４０は判定画像生成手段、１４１は判定結果生成手段、１４２はディスプレイ装置である。

構造物検査装置１は、図１に示した各種要素を含む装置であり、ユーザによる操作パネル１１１への入力に応じて発信される中央処理ユニットの制御信号に基づいて動作する。
操作パネル１１１は、例えばキーボードである。

格納手段１１２は、中央処理ユニット１１０の命令に応じ、検査のために得られた情報、生成された情報を少なくとも一時的に格納し、必要に応じて、格納された情報を出力する。
なお、以下の説明では、格納手段１１２への入力および出力の動作については、その説明を一部省略しているが、基本的に、この構造物検査装置１における各種情報は、格納手段１１２を介して取り扱われる。
ディスプレイ手段１４２は、各種入力に必要な画面や、取得された情報、撮影された画像、生成された画像などが表示されるモニタである。

打撃手段１０は、ハンマーである。
このハンマーは、ハンマーヘッドの打撃部とは反対側に、画像解析によって検出可能な材料によって形成されたマーカーが装着される。

このマーカーは、検査に、汎用の検査用ハンマーを用いる場合に装着されるものであって、後述する画像解析を介した、ハンマーヘッドの検出を容易にするため設けられるものであり、検査対象の色彩とは明確に異なる色、例えば、赤色、オレンジ色などが推奨される。

なお、ハンマーヘッドに識別用の色彩を塗布するなどして、予め識別機能を有するハンマーヘッドを用いてもよい。
また、近赤外線を反射するマーカーと、近赤外線照明を用い、近赤外線透過フィルタをカメラに取り付けて利用すれば、夜間でも、打撃位置の特定が可能になる。

音声入力手段１２０は、例えば、マイクロフォンである。
この音声入力手段１２０が、マイクロフォンであれば、図示しない検査対象に近接した位置、好ましくは、打撃位置に近接した位置に配置される。

なお、音声入力手段１２０は、打撃音を振動として検知するセンサも含み、例えば、検査対象の表面に取り付けられる振動センサであっても構わない。
また、音声入力手段１２０で録音される音声は、格納手段１１２に保存される。

打撃時間生成手段１２１は、音声入力手段１２０を介して録音された打撃音の音声情報から、打撃音が記録された打撃時間を検出し、打撃のあった時間を特定し、打撃時間の情報を生成する。
判定結果生成手段１２２は、音声入力手段１２０を介して録音された音声情報から打撃音を検出し、検出された打撃音の音響解析によって、打撃位置の内部構造を判定する。

そして、判定結果生成手段１２２は、打撃時間生成手段１２１によって生成された打撃時間の情報に基づき、判定が実行された打撃音に対応する打撃時間を特定し、その打撃時間の情報と、その打撃音が発生した打撃位置の内部構造を判定する情報を含む判定結果の情報を生成する。

撮影手段１３０は、動画を撮影し得るカメラである。
この撮影手段１３０は、図示しない検査対象、例えば、コンクリート製の壁面の検査領域の全面を撮影し得る位置に配置され、検査中には移動されない。

撮影手段１３０は、撮影時間の情報を含む、または、撮影時間の情報に関連付けられた撮影画像の情報を生成し、生成された撮影画像（動画）は、撮影時間の情報と対応可能に格納手段１１２に格納される。

打撃画像抽出手段１３１は、打撃時間生成手段１２１によって生成された打撃時間の情報に基づき、その打撃時間に対応する撮影時間の情報を特定し、撮影手段１３０によって生成された撮影画像の中から、その撮影時間に撮影された画像、すなわち、打撃画像を抽出する。

打撃位置生成手段１３２は、打撃画像抽出手段１３１によって抽出された打撃画像を解析し、打撃画像中に含まれる打撃手段１０の位置、具体的には、ハンマーヘッドに装着されたマーカーの、打撃画像中の位置の座標を取得し、その座標を打撃位置として、打撃位置の情報を生成する。

判定画像生成手段１４０は、判定結果生成手段１２２によって生成された判定結果の情報を、その判定結果に応じて画像化し、その判定結果の打撃時間の情報、および、その打撃時間に対応する撮影時間の情報を有する打撃位置の情報を組み合わせ、打撃位置の情報を含む判定画像を生成する。

この判定画像は、判定結果の優劣に応じ、例えば、色彩、大きさなどが変更された画像であり、劣化の程度が高いほど、視認性の高い色、大きさの表示で構成される。

判定結果生成手段１４１は、撮影手段１３０によって得られる検査対象の画像に、判定画像を重畳し、検査対象の画像の所要の位置、すなわち、打撃位置の情報に基づく打撃位置に、画像化された判定結果の画像の情報を合成した判定結果画像を生成する。
生成された判定結果画像は、ディスプレイ手段１４２に表示され、ユーザに対して提示され、構造物の検査の資料として供される。

次に、図２に基づき、図１に示した構造物検査装置の動作を、この装置の動作によって生成される画像を用いて説明する。
上記の構造物検査装置１を用いて検査を実施する場合、まず、図２に示されるように、撮影手段１３０を検査対象、具体的には、コンクリート製壁面の少なくとも全面を撮影し得る位置に設置する。

そして、一連の検査中は、撮影装置の移動はせず、一定の場所からの撮影が実施される。
打撃画像抽出手段１３１で抽出される打撃画像は、例えば、図３に示される。
打撃位置生成手段１３２では、本実施例では、２段階の画像解析を実行するものであり、まず、図４に示されるように、打撃画像中のハンマーのマーカーを検出し、次に、図５に示されるように、打撃画像中のハンマーのマーカーの位置を画像上の座標として特定する。

判定結果生成手段１４１で生成される判定画像は、図６に示されるように、検査対象の打撃位置に、ユーザ等が写りこまない検査対象の画像に、判定画像生成手段１４０によって生成された判定画像を合成したものである。

この図６に示される判定結果画像には、自動的に検出された打撃位置に、その打撃位置の内部構造の劣化状態が反映された判定画像が表示され、この判定結果画像を見たユーザは、劣化が存在する、さらには、劣化が進んだ箇所を直感的に判別できる。

次に、図７に基づき、判定結果生成手段１２２において生成される情報と、撮影手段１３０によって生成される撮影画像の情報の取り扱いについて説明する。
図７の左側には、判定結果生成手段１２２によって生成される、判定結果に関するデータシートの一例が示されており、判定結果は、１打撃音ごとに管理される。

判定結果には、打撃時間（図中では打撃日時）、打撃音の解析によって得られた形状距離およびスコアが含まれる。
ここでいう形状距離およびスコアとは、特願2015-18596の特許出願に開示される事項である。

具体的には、ここでいう形状距離は、コンクリート構造物の打撃音点検における損傷判定の新たな評価手法であり、音の形状距離という類似性尺度のことを示す。
この形状距離は、複数の音の類似性を定量的に数値化したものであり、打音点検でのコンクリートの損傷の有無を客観的に判断するための指標となる。
そして、スコアとは、形状距離に基づき、導き出された損傷の程度を示すものである。

なお、本実施例では、打撃音から得られたデータを形状距離およびスコアとしたが、このデータは、打撃音の解析によって得られる、損傷判定を評価するデータであれば、どのようなものであってもよい。
図７に右側には、撮影手段１３０を介して生成された撮影画像のファイルが示される。

本実施例では、撮影手段１３０は動画を撮影するが、撮影された動画は、所定の間隔で分割され、静止画ファイルとして格納手段１１２に格納される。
この静止画ファイルは、そのファイル名に撮影時間（図中では撮影時刻に相当）が埋め込まれている。

打撃画像抽出手段１３１では、判定結果の打撃時間と同一、または、もっとも近似した撮影時間をファイル名に有する撮影画像を打撃画像として抽出することによって、判定結果と撮影画像とを関連付ける。

次に、図８に基づき、上記の構造物検査装置１の動作について説明する。
なお、各構成要素の具体的な動作については、既に説明しているので、以下では詳細についてはその説明を省略し、動作の流れを中心に説明する。

この構造物検査装置１を使用するときには、まず、既に説明したとおり、撮影手段１３０を配置し、打撃手段１０と音声入力手段１２０を手にしたユーザが検査対象に近接して立ち、音声入力手段１２０による録音、および、撮影手段１３０による撮影を開始させる（ステップＳ０１）。

次に、ユーザは、打撃手段１０で検査対象、（本実施例ではコンクリート製壁面）を適当な間隔で順次打撃する（ステップＳ０２）。
このとき、ユーザは、打撃を行う手とは反対側の手に、音声入力手段１２０、すなわちマイクロフォンを持ち、打撃を行う打撃手段１０に近接させて、打撃音を確実に拾って録音できるようにする。

次に、打撃の実行によって、音声入力手段１２０、時間の情報を伴った打撃音を取得すると共に、撮影手段１３を介して撮影時間の情報、打撃位置の情報を含む撮影画像を取得し、得られたそれらの情報を格納手段１１２に格納する（ステップＳ０３）。

次に、得られた情報の解析が開始される（ステップＳ０４）。
情報の解析が開始されると、打撃音の解析（ステップＳ０５）と、撮影画像の解析（ステップＳ０６）が並行して実行される。

打撃音の解析では、まず、打撃時間生成手段１２１を介し、打撃音を含む音声情報中から打撃音を特定し、その打撃音が発生した打撃時間を特定し、打撃時間の情報を生成する（ステップＳ０５１）

次に、判定結果生成手段１２２を介し、打撃音から、打撃位置の内部構造を判定し、少なくとも打撃時間の情報、および、打撃位置の内部構造を判定する情報を含む結果の情報を生成する（ステップＳ０５２）。

また、撮影画像の解析では、まず、打撃画像抽出手段１３１を介し、打撃時間の情報に対応する、撮影時間の情報を有する打撃画像を抽出する（ステップＳ０６１）。
次に、打撃位置生成手段１３２を介し、抽出された打撃画像から、打撃手段の位置を打撃位置として特定し、少なくともその打撃映像の撮影時間の情報、および、その打撃位置を特定する情報を含む打撃位置の情報を生成する（ステップＳ０６２）。

打撃音の解析と、撮影画像の解析が終了した後、判定結果生成ステップで生成された打撃音の情報と、その打撃音の打撃時間に対応する撮影時間の情報を含む撮影画像とを組み合わせ、打撃位置の情報を含む、その打撃位置の内部構造の情報を画像化した判定画像を生成する（ステップＳ０７）。

次に、判定画像を生成するステップで生成された判定画像を、打撃時間が対応する検査対象の撮影画像に合成し、判定結果画像を生成する（ステップＳ０８）。
そして、判定結果画像を生成するステップで生成された判定結果画像を、ディスプレイ手段１４２に表示する（ステップＳ０９）。

本発明では、ユーザは、撮影手段１３０をセットし、検査対象の壁面などをランダムに打撃していくだけで、打撃位置の構造物の内部の状態を、可視画像として得ることができ、検査におけるユーザの負担を軽減することができる。

なお、本発明は上記の実施例に限定されるものではなく、例えば、図７に示される判定結果および撮影画像に示される画面は、上記の実施例に限定されるものではなく、打撃の音声情報と、撮影画像とをリンクできれば、どのようなものであってもよい。

また、打撃手段は、検査対象を打撃することによって打撃音を発することが可能であれば、専用品、汎用品を問わず、どのようなものであってもよく、汎用品を用いる場合、打撃手段の位置を画像検索で検出するためのマークは、打撃手段の一部に特徴的な色彩を有するマーカーをかぶせたり、粘着シールを貼り付けるなど、適宜選択できる。

また、撮影手段は、家庭向けの汎用の画像撮影装置や、モバイル機器などに内臓されている撮影装置を利用してもよい。

ユーザが単身で機材を持ち込み、セッティングさえすれば、極めて簡単な操作で、壁面等の検査対象の内部構造のクラックや空洞などの不具合を見つけることができるようになる。

１ 構造物検査装置
１０ 打撃手段
１１０ 中央処理ユニット
１１１ 操作パネル
１１２ 格納手段
１２０ 音声入力手段
１２１ 打撃時間生成手段
１２２ 判定結果生成手段
１３０ 撮影手段
１３１ 打撃画像抽出手段
１３２ 打撃位置生成手段
１４０ 判定画像生成手段
１４１ 判定結果生成手段
１４２ ディスプレイ装置

Claims (6)

1. 検査対象を打撃する打撃手段と、
   打撃音を取得する音声入力装置と、
   音声入力装置によって得られた打撃音の打撃時間を特定する打撃時間の情報を生成する打撃時間生成手段と、
   音声入力装置によって得られた打撃音から、打撃位置の内部構造を判定し、少なくとも打撃時間生成手段によって生成された打撃音の打撃時間の情報、および、打撃位置の内部構造を判定する情報を含む判定結果の情報を生成する判定結果生成手段と、
   検査対象の複数位置を打撃する打撃手段を特定箇所から撮影し、撮影時間の情報を含む撮影画像の情報を生成する撮影手段と、
   撮影手段によって生成された撮影画像から、打撃時間生成手段によって生成された打撃時間の情報に対応する、撮影時間の情報を有する打撃画像を抽出する打撃画像抽出手段と、
   打撃画像抽出手段によって抽出された打撃画像から、打撃手段の位置を打撃位置として特定し、少なくともその打撃画像の撮影時間の情報、および、その打撃位置を特定する情報を含む打撃位置の情報を生成する打撃位置生成手段と、
   判定結果生成手段によって生成された判定結果の情報を画像化し、その判定結果の打撃時間の情報、および、その打撃時間に対応する撮影時間の情報を有する打撃位置の情報を組み合わせ、打撃位置の情報を含む判定画像を生成する判定画像生成手段と、
   撮影手段によって得られる検査対象の画像に、判定画像を重畳し、検査対象の画像の所要の位置に、画像化された判定結果の情報を合成した判定結果画像を生成する判定結果生成手段と、
   判定結果生成手段によって生成された判定結果画像を表示するディスプレイ手段と
   を具備する構造物検査装置。
2. 打撃手段がハンマーであって、ヘッドの打撃部とは反対側には、画像解析よって検出可能な材料によって形成されたマーカーが装着されるハンマーであり、
   打撃位置生成手段が、打撃画像中からマーカーを検出することによって打撃手段の位置を特定する
   ことを特徴とする請求項１に記載の構造物検査装置。
3. 打撃時間生成手段、および、判定結果生成手段によって生成される情報が、データベース上の同一のテーブルで管理され、
   撮影手段が、動画情報を生成し、
   打撃画像抽出手段が、動画情報の中から所要の打撃時間に対応する静止画を打撃画像として切り出し、その打撃画像のファイルに撮影時刻を含むファイル名を付し、
   判定画像生成手段が、データベース上のテーブルの情報と、打撃画像のファイル名とを関連付けることによって判定画像を生成する
   ことを特徴とする請求項１または２に記載の構造物検査装置。
4. 打撃位置生成手段が、打撃画像中の打撃手段の位置の座標を取得することによって打撃位置の情報を生成する請求項１ないし３のいずれかに記載の構造物検査装置。
5. 検査対象を特定箇所からの撮影を開始すると共に、音声の録音を開始する記録開始ステップと、
   検査対象を打撃手段で打撃する打撃ステップと、
   打撃ステップの実行によって、時間の情報を伴った打撃音を取得すると共に、撮影時間の情報、および、打撃位置の情報を含む撮影画像を取得する情報収集ステップと、
   打撃音を解析する打撃音解析ステップと、撮影画像を解析する撮影画像解析ステップとを並行して実行する解析ステップと
   打撃音の情報と、その打撃音の打撃時間に対応する撮影時間の撮影画像とを組み合わせ、打撃位置の情報を伴った、その打撃位置の、打撃音の解析に基づいた内部構造の情報を画像化した判定画像を生成する判定画像生成ステップと、
   判定画像生成ステップで生成された判定画像を、検査対象の撮影画像に合成した判定結果画像を生成する判定結果生成ステップと、
   判定結果生成ステップによって生成された判定結果画像を表示する表示ステップと
   を含む構造物検査方法。
6. 打撃音解析ステップが、
   打撃音の打撃時間を特定する打撃時間生成ステップと、
   打撃音から、打撃位置の内部構造を判定し、少なくとも打撃時間の情報、および、打撃位置の内部構造を判定する情報を含む判定結果の情報を生成する判定結果生成ステップと
   を含み、
   撮影画像解析ステップが、
   打撃時間の情報に対応する、撮影時間の情報を有する打撃画像を抽出する打撃画像抽出ステップと、
   抽出された打撃画像から、打撃手段の位置を打撃位置として特定し、少なくともその打撃画像の撮影時間の情報、および、その打撃位置を特定する情報を含む打撃位置の情報を生成する打撃位置生成ステップと
   を含むことを特徴とする請求項５に記載の構造物検査方法。