JP6609057B2 - 画像処理装置 - Google Patents

Description

本発明は画像処理装置及び画像処理方法に係り、特に橋梁等の構造物の全体画像と全体画像の一部の拡大画像とを容易に比較可能にする技術に関する。

橋梁等の社会インフラ構造物は、定期的に点検を行う必要がある。また、構造物の点検を効率的に行うために、構造物を撮影した画像を処理することにより欠陥（ひび割れ欠陥）を自動的に検出するひび割れ欠陥検出方法が提案されている（特許文献１）。

特許文献１に記載のひび割れ欠陥検出方法は、構造物の所定範囲を全体的に撮影した全体画像から、カメラの焦点距離及び構造物の既知寸法に基づいて、正射影変換された全体画像を取得し、全体画像の撮影位置と同一位置を基点としてカメラを回転させ、構造物の所定範囲を分割し且つ拡大して撮影した部分画像を取得し、更に部分画像の撮影範囲内のひび割れ欠陥が識別可能となるように十分に拡大して撮影した拡大画像を取得する。

正射影変換された全体画像と部分画像とを照合することにより、全体画像と部分画像との位置関係及び正射影変換した部分画像を求め、正射影変換された部分画像と拡大画像とを照合することにより、部分画像と拡大画像との位置関係及び正射影変換した拡大画像を求める。

そして、正射影変換された拡大画像を用いてひび割れ欠陥を検出するようにしている。これにより、構造物を正面から撮影できないような条件下においても、正射影変換された拡大画像を用いて、正確なひび割れ欠陥を検出できるようにしている。また、正射影変換された全体画像と正射影変換された部分画像との位置関係が求められ、かつ正射影変換された部分画像と正射影変換された拡大画像との位置関係が求められているため、拡大画像から検出されたひび割れ欠陥の、全体画像（構造物）に対する位置も特定できるようにしている。

特開２００２−３２８０９６号公報

特許文献１に記載のひび割れ欠陥検出方法は、構造物の所定範囲を撮影した全体画像を正射影変換するために、建造物の所定範囲内に寸法が既知である矩形部位が存在する建造物が点検対象となっており、建造物の所定範囲内に存在する矩形部位の寸法を取得する必要がある。

また、特許文献１には、正射影変換された全体画像と、全体画像の撮影位置と同一位置を基点としてカメラを回転させ、構造物の所定範囲を分割し且つ拡大して撮影した部分画像とを照合することにより、相互の位置関係を求める記載があるが、全体画像と部分画像との具体的な照合方法に関する記載がない。

同様に、特許文献１には、正射影変換された部分画像と拡大画像とを照合することにより、相互の位置関係を求める記載があるが、部分画像と拡大画像との具体的な照合方法に関する記載がない。

更に特許文献１には、全体画像と部分画像との照合、又は部分画像と拡大画像との照合に誤りが発生する場合の対策に関する記載がない。全体画像と部分画像との照合、又は部分画像と拡大画像との照合に誤りが発生すると、画像間の相互の位置関係も誤り、その結果、ひび割れ欠陥が検出された位置（構造物の所定範囲におけるひび割れ欠陥の位置）を誤るという問題がある。

本発明はこのような事情に鑑みてなされたもので、橋梁等の構造物の所定範囲を示す全体画像と全体画像の一部の拡大画像との照合結果の確認をユーザが簡便に行うことができる画像処理装置及び画像処理方法を提供することを目的とする。

上記目的を達成するために本発明の一の態様に係る画像処理装置は、構造物の所定範囲を示す全体画像を取得する第１の画像取得部と、所定範囲内における構造物の欠陥を拡大して撮影された拡大画像を取得する第２の画像取得部と、全体画像と拡大画像とを照合し、全体画像内における拡大画像の領域に関連する位置関係情報を算出する照合処理部と、拡大画像と、位置関係情報に基づいて特定される全体画像内の拡大画像の候補領域に対応する候補画像とを比較可能に表示部に表示させる表示制御部と、を備える。

本発明の一の態様によれば、全体画像と拡大画像とを照合し、全体画像内における拡大画像の領域に関連する位置関係情報を算出する。表示制御部は、拡大画像と、位置関係情報に基づいて特定される全体画像内の拡大画像の候補領域に対応する候補画像とを比較可能に表示部に表示させる。ユーザは、表示部に比較可能に表示された拡大画像と全体画像内の拡大画像の候補領域に対応する候補画像とを目視で確認することで、全体画像と拡大画像との照合結果の適否を確認することができる。尚、全体画像と拡大画像との照合が適切に行われている場合には、全体画像内における拡大画像の領域に関連する位置関係情報も誤りなく算出することができる。

本発明の他の態様に係る画像処理装置において、照合処理部は、全体画像及び拡大画像からそれぞれ特徴量が一致する複数の対応点を検出し、検出した複数の対応点に基づいて拡大画像又は全体画像を幾何変換する変換パラメータを位置関係情報として算出することが好ましい。

本発明の更に他の態様に係る画像処理装置において、表示制御部は、変換パラメータに基づいて幾何変換した拡大画像を、全体画像内の拡大画像に対応する候補領域に合成した全体画像と、合成前の全体画像とを表示部に切り替えて表示させることが好ましい。変換パラメータに基づいて幾何変換した拡大画像は、全体画像内の拡大画像に対応する候補領域の画像と同じ形状及び同じサイズになる。そして、幾何変換した拡大画像を全体画像内の拡大画像に対応する候補領域に合成した全体画像と、合成前の全体画像とを表示部に切り替えて表示させることにより、両画像を容易に比較することができる。

本発明の更に他の態様に係る画像処理装置において、表示制御部は、変換パラメータに基づいて幾何変換した拡大画像を、全体画像内の拡大画像に対応する候補領域に合成した全体画像と、合成前の全体画像とを表示部に並べて表示させることが好ましい。幾何変換した拡大画像を全体画像内の拡大画像に対応する候補領域に合成した全体画像と、合成前の全体画像とを表示部に並べて表示させることにより、両画像を容易に比較することができる。

本発明の更に他の態様に係る画像処理装置において、表示制御部は、拡大画像と、全体画像内の拡大画像に対応する候補領域の候補画像を、変換パラメータに基づいて幾何変換した変換画像とを表示部に切り替えて表示させることが好ましい。全体画像内の拡大画像に対応する候補領域の候補画像を、変換パラメータに基づいて幾何変換した変換画像は、拡大画像と同じ形状及び同じサイズになる。そして、拡大画像と全体画像内の拡大画像に対応する候補領域の候補画像を幾何変換した変換画像とを表示部に切り替えて表示させることにより、両画像を容易に比較することができる。

本発明の更に他の態様に係る画像処理装置において、表示制御部は、拡大画像と、全体画像内の拡大画像に対応する候補領域の候補画像を、変換パラメータに基づいて幾何変換した変換画像とを表示部に並べて表示させることが好ましい。拡大画像と、全体画像内の拡大画像に対応する候補領域の候補画像を幾何変換した変換画像とを表示部に並べて表示させることにより、両画像を容易に比較することができる。

本発明の更に他の態様に係る画像処理装置において、拡大画像上での構造物の欠陥の位置及び形状を含む欠陥情報を入力する欠陥情報入力部を備え、表示制御部は、欠陥情報に基づいて構造物の欠陥をトレースした欠陥描画線を、表示部に表示した拡大画像及び全体画像に重畳表示させることが好ましい。これにより、拡大画像上及び全体画像上で、構造物の欠陥を容易に視認することができる。

本発明の更に他の態様に係る画像処理装置において、拡大画像を画像解析し、構造物の欠陥を識別する欠陥識別部を備え、欠陥情報入力部は、欠陥識別部から欠陥情報を入力することが好ましい。これにより、欠陥情報を自動的に入力することができる。

本発明の更に他の態様に係る画像処理装置において、欠陥情報入力部は、拡大画像上での構造物の欠陥の位置及び形状を手動で指示するポインティングデバイスを含むことが好ましい。これにより、欠陥情報を手動で入力することができる。

本発明の更に他の態様に係る画像処理装置において、重畳表示された欠陥情報を手動で修正する修正部を備えることが好ましい。これにより、欠陥識別部から入力した欠陥情報に誤りがあった場合、又はポインティングデバイスによる欠陥情報の指示に誤りがあった場合に、その欠陥情報を修正することができる。

本発明の更に他の態様に係る画像処理装置において、構造物の図面データを記憶する記憶部と、構造物の所定範囲を図面データの対応する範囲に一致させる幾何変換を行う変換部であって、全体画像に重畳表示された欠陥描画線のみを幾何変換する変換部と、図面データに関連付けて幾何変換した欠陥描画線を示すデータを出力するデータ出力部と、を備えることが好ましい。これにより、欠陥描画線が描画された図面データを取得することができる。

本発明の更に他の態様に係る画像処理装置において、構造物の欠陥は、ひび割れであり、欠陥識別部は、拡大画像から構造物のひび割れを示すひび割れ画像を抽出し、表示制御部は、ひび割れ画像を輝度又は色により強調した欠陥描画線を生成することが好ましい。

本発明の更に他の態様に係る画像処理装置において、構造物の欠陥は、ひび割れであり、表示制御部は、ひび割れを示す欠陥描画線と、ひび割れの幅及び隣接するひび割れ間の間隔を示すひび割れ情報とを表示部に表示させることが好ましい。

本発明の更に他の態様に係る画像処理装置において、構造物の欠陥は、ひび割れであり、表示制御部は、ひび割れを示す欠陥描画線を、ひび割れの幅に応じて分類して表示させることが好ましい。例えば、ひび割れの幅ごとに分類して（色分けし、又は表示するひび割れ幅を選択して）欠陥描画線を表示する。

本発明の更に他の態様に係る画像処理装置において、構造物の欠陥は、ひび割れであり、ひび割れの幅及び隣接するひび割れ間の間隔を示すひび割れ情報に基づいてひび割れの進捗レベルを判別する判別部を備え、表示制御部は、ひび割れを示す欠陥描画線を、判別されたひび割れの進捗レベルに応じて分類して表示させることが好ましい。構造物のひび割れの進捗レベルは、ひび割れの幅及び隣接するひび割れ間の間隔により判定可能であり、判別部は、ひび割れの幅及び隣接するひび割れ間の間隔を示すひび割れ情報に基づいてひび割れの進捗レベルを判別し、表示制御部は、判別されたひび割れの進捗レベルに応じて、ひび割れを示す欠陥描画線を分類して（例えば、色分けして）表示させる。

本発明の更に他の態様に係る画像処理装置において、表示制御部は、全体画像内の拡大画像に対応する候補領域を示す枠を表示部に表示させることが好ましい。これにより、拡大画像と全体画像内の拡大画像の候補領域に対応する候補画像とを更に比較可能に表示させることができる。

本発明の更に他の態様に係る画像処理装置において、第２の画像取得部が複数の拡大画像を取得すると、照合処理部は、全体画像と複数の拡大画像とを照合し、全体画像内における複数の拡大画像の候補領域に関連する複数の位置関係情報をそれぞれ算出し、表示制御部は、複数の拡大画像のうちから選択された１の拡大画像と、選択された１の拡大画像に対応する位置関係情報に基づいて特定される全体画像内の選択された１の拡大画像の候補領域に対応する候補画像とを比較可能に表示部に表示させることが好ましい。これにより、複数の拡大画像が取得された場合でも、１枚ずつ選択された拡大画像と全体画像内の選択された拡大画像の候補領域に対応する候補画像とを比較可能に表示することができる。

本発明の更に他の態様に係る画像処理装置において、照合処理部は、全体画像と拡大画像とを照合し、全体画像内における拡大画像を示す複数の候補領域を検出すると、複数の候補領域に関連する複数の位置関係情報をそれぞれ算出し、表示制御部は、拡大画像と、複数の位置関係情報に基づいて特定される全体画像内の拡大画像の複数の候補領域に対応する複数の候補画像とを比較可能に表示部に表示し、表示部に表示された複数の候補領域に対応する複数の候補画像のうちの１の候補画像の選択を受け付ける画像選択部を備えることが好ましい。全体画像と拡大画像とを照合した結果、全体画像内における拡大画像を示す複数の候補領域が検出された場合、拡大画像と全体画像内の拡大画像の複数の候補領域に対応する複数の候補画像とを比較可能に表示する。そして、画像選択部により複数の候補画像のうちの１の候補画像の選択を受け付けることにより、全体画像内の拡大画像に対応する領域をユーザにより選択させることができる。

本発明の更に他の態様に係る画像処理装置において、照合処理部により算出された位置関係情報が不正解の場合、又は位置関係情報を算出することができない場合、表示部に表示された全体画像上で、拡大画像に対応する画像の位置情報を受け付ける位置情報受付部を備え、照合処理部は、位置情報受付部により受け付けた位置情報を元に全体画像と拡大画像との照合を再実行することが好ましい。照合処理部は、位置情報受付部が受け付けた拡大画像に対応する画像の位置情報（例えば、全体画像上で受け付けたクリックした位置情報）を元に、全体画像における照合範囲を絞り込んで再照合することができる。

本発明の更に他の態様に係る画像処理装置において、構造物は橋梁の床版であり、所定範囲は床版の格間であり、第１の画像取得部は、撮像装置により撮影された１つの格間を含む床版画像を全体画像として取得することが好ましい。橋梁の床版の点検は、格間ごとに行われるためである。

本発明の更に他の態様に係る画像処理装置において、第１の画像取得部は、撮像装置により格間を複数回に分割して撮影された複数の分割画像を取得し、取得した複数の分割画像を合成して床版画像を生成し、生成した床版画像を全体画像として取得することが好ましい。１つの格間を含む床版画像（全体画像）は、少なくとも拡大画像との照合が可能な解像で撮影する必要があるが、格間の大きさによっては１回の撮影では、１つの格間を含む床版画像を撮影できない場合がある。この場合には、格間を複数回に分割して撮影し、複数の分割画像を取得する。そして、取得した複数の分割画像を合成して床版画像を生成する。

本発明の更に他の態様に係る画像処理方法は、構造物の所定範囲を示す全体画像を取得する第１の画像取得工程と、所定範囲内における構造物の欠陥を拡大して撮影された拡大画像を取得する第２の画像取得工程と、全体画像と拡大画像とを照合し、全体画像内における拡大画像の領域に関連する位置関係情報を算出する照合処理工程と、拡大画像と、位置関係情報に基づいて特定される全体画像内の拡大画像の候補領域に対応する候補画像とを比較可能に表示部に表示させる表示制御工程と、を含む。

本発明によれば、橋梁等の構造物の所定範囲を示す全体画像と全体画像の一部の拡大画像とを照合し、全体画像内における拡大画像の領域に関連する位置関係情報を算出し、拡大画像と、位置関係情報に基づいて特定される全体画像内の拡大画像の候補領域に対応する候補画像とを比較可能に表示部に表示させるようにしたため、ユーザは、表示部に比較可能に表示された拡大画像と全体画像内の拡大画像の候補領域に対応する候補画像とを目視で確認することができ、全体画像と拡大画像との照合結果の適否を確認することができる。

本発明に係る画像処理装置の概念図 ユーザ端末１１の機能構成例を示すブロック図 床版を含む橋梁を撮影した画像の一例を示す図であり、特に床版の１つの格間を複数回に分割して撮影した複数の分割画像を示す図 床版の１つの格間を含む全体画像１００を示す図 床版の所定範囲（格間）内の欠陥を拡大して撮影した拡大画像の一例を示す図であり、４枚の拡大画像を示す図 画像処理サーバ１０の機能構成例を示すブロック図 ユーザ端末１１の表示部２６に表示された複数の拡大画像を含む表示画面の一実施形態を示す図 全体画像と拡大画像との対応関係を確認するための表示部２６の表示画面の一例を示す図 全体画像と拡大画像との対応関係を確認するための表示部２６の表示画面の他の実施形態を示す図 全体画像と拡大画像との対応関係を確認するための表示部２６の表示画面の一例を示す図であり、特に全体画像内に拡大画像に対応する２つの候補画像が存在する場合の図 ユーザ端末１１の表示部２６に表示される拡大画像の画像解析後の確認修正画面の実施形態を示す図であり、１枚目の拡大画像に関する図 ユーザ端末１１の表示部２６に表示される拡大画像の画像解析後の確認修正画面の実施形態を示す図であり、２枚目の拡大画像に関する図 ユーザ端末１１の表示部２６に表示される拡大画像の画像解析後の確認修正画面の実施形態を示す図であり、３枚目の拡大画像に関する図 ユーザ端末１１の表示部２６に表示される拡大画像の画像解析後の確認修正画面の実施形態を示す図であり、４枚目の拡大画像に関する図 １つの格間を示す格間画像１２０を含む全体画像１００と、床版の図面２００との関係を説明するために用いた図

以下、添付図面に従って本発明に係る画像処理装置及び画像処理方法の実施の形態について説明する。

［画像処理装置］
図１は本発明に係る画像処理装置の概念図である。本実施形態に係る画像処理装置１は、ユーザ端末１１と、インターネット等のネットワーク１２を介して各ユーザ端末１１に接続される画像処理サーバ１０とを備える。

ユーザ端末１１は、ユーザが構造物の点検調書等を作成する際に操作する端末であり、例えば、パーソナルコンピュータ、タブレットデバイス等のポータブル端末などの形態をとりうる。

本例の点検対象の構造物は、橋梁であり、特に橋梁を構成する床版を点検対象とする場合について説明する。

橋梁は、橋台や橋脚の間に渡された主桁と、橋梁の長手方向に設けられた主桁と直交する方向に設けられ、主桁間を連結する横桁と、風、地震等の横荷重に抵抗するために主桁を相互に連結する対傾構及び横構とを含む各種の部材から構成され、主桁等の上部には、車輌等が走行するための床版が打設されている。床版は、鉄筋コンクリート製のものが一般的である。

床版は、通常、主桁と横桁とにより画成された矩形形状の格間が基本単位となっており、床版の損傷（ひび割れ、遊離石灰、コンクリートの剥離、及び鉄筋露出等）を点検する場合、格間単位で行われる。

画像処理サーバ１０は、ユーザ端末１１から送られてくる点検対象の構造物（橋梁の床版）を撮影した画像及び指示等に応じて、ユーザが点検調書を作成する際に必要な情報を生成し、生成した情報をユーザ端末１１に返す。

＜ユーザ端末１１＞
この画像処理装置１において、まずユーザ端末１１の機能構成について説明する。

図２はユーザ端末１１の機能構成例を示すブロック図である。

本例のユーザ端末１１は、主として端末通信部２１、入出力インターフェース２２、操作部２３、記憶部２４、表示制御部２５、表示部２６及び端末制御部２７から構成されている。

端末通信部２１は、ネットワーク１２（図１参照）を介して床版を撮影した画像及び画像の解析実行等の指示を画像処理サーバ１０に送信し、また、画像処理サーバ１０により画像解析された解析結果等を画像処理サーバ１０からネットワーク１２を介して受信する通信部である。

入出力インターフェース２２は、無線又は有線により外部機器との間で情報のやり取りを行う部分であり、本例では、デジタルカメラ（撮像装置）２０により撮影された床版の画像をデジタルカメラ２０から無線通信により入力する。

図３は、床版を含む橋梁を撮影した画像の一例を示す図であり、特に床版の１つの格間を複数回に分割して撮影した複数の分割画像に関して示している。

図３に示す複数（３枚）の分割画像１００Ａ、１００Ｂ及び１００Ｃは、後述するように画像処理サーバ１０により１枚の画像に合成される合成用の画像である。この１枚の画像は、床版の１つの格間を含む画像であり、以下、構造物の所定範囲（床版の１つの格間に対応する範囲）を示す「全体画像１００（図４）」という。

分割画像１００Ａ、１００Ｂ及び１００Ｃは、隣接する分割画像間で重複する重複領域を含む必要があり、適切に合成するためには重複領域は、各分割画像の全領域の３０％程度有することが好ましい。即ち、撮影者は、デジタルカメラ２０により床版の１つの格間を複数回に分割して撮影する場合には、隣接する分割画像間で３０％程度重複するように画角を決定して撮影することが好ましい。

図４において、全体画像１００には、主桁の一部を示す画像１０２、１０４と、横桁の一部を示す画像１１２、１１４と、床版の一部（主桁と横桁とにより画成された１つの格間）の画像（格間画像）１２０とが含まれている。

尚、本例の全体画像１００は、３枚の分割画像１００Ａ、１００Ｂ及び１００Ｃを合成して生成された画像であるが、例えば、格間のサイズが小さく、デジタルカメラ２０による１回の撮影で１つの格間を含む床版の画像（全体画像）を、適当な解像度で撮影することができる場合には、１回の撮影により取得した画像でもよい。

また、デジタルカメラ２０は、例えば、５０００×４０００画素程度の画素数を有する汎用のコンパクトデジタルカメラでよい。

図５は、床版の所定範囲（格間）内の欠陥を拡大して撮影した拡大画像の一例を示す図であり、特に床版の欠陥の一つであるひび割れを拡大して撮影した複数の拡大画像に関して示している。

図５に示す複数（４枚）の拡大画像１５０Ａ、１５０Ｂ、１５０Ｃ及び１５０Ｄは、床版の欠陥の一つであるひび割れ（ひび割れの幅、長さ等）を画像解析により識別可能な解像度で撮影されたものである。尚、図５において、符号３０Ａ、３０Ｂ、３０Ｃ、３０Ｄは、それぞれ床版に発生したひび割れを示すひび割れ画像である。尚、ひび割れ画像３０Ｂは２本のひび割れを示し、ひび割れ画像３０Ｃ，３０Ｄはそれぞれ一本のひび割れの一部を示している。

拡大画像は、画像解析により識別する必要があるひび割れの最小幅に応じて拡大画像の解像度を決定する必要があり、例えば０．１ｍｍのひび割れ幅を画像解析により識別する必要がある場合、拡大画像は、０．１ｍｍのひび割れ幅を識別できる解像度以上で撮影する必要がある。

また、デジタルカメラ２０により欠陥を拡大した拡大画像を撮影する場合、デジタルカメラ２０の光学ズームのズーム倍率を高くして撮影する方法、床版に近づいて撮影する方法、及びこれらの方法を組み合わせて撮影する方法がある。また、拡大画像を撮影する場合には、床版に正対して撮影することが好ましい。

図２に戻って、デジタルカメラ２０により撮影された床版の画像（図３に示した合成用の分割画像、図５に示した拡大画像）は、デジタルカメラ２０から入出力インターフェース２２を介してユーザ端末１１に取り込まれ、記憶部２４に保存される。

操作部２３は、マウス、表示部２６がタッチパネルを有する場合にはそのタッチパネル等を含むポインティングデバイス、及びキーボードを含み、表示部２６の画面に表示されるポインタやアイコンを操作するために使用されるとともに、拡大画像上での構造物の欠陥の位置及び形状を含む欠陥情報を入力する欠陥情報入力部、欠陥情報を手動で修正する修正部、ひび割れの幅及び隣接するひび割れ間の間隔を示すひび割れ情報等のテキスト情報を入力するテキスト情報入力部として機能する。

記憶部２４には、入出力インターフェース２２を介して入力した床版の画像が記憶されるとともに、本例ではユーザ端末１１が、本発明に係る画像処理装置の一部として機能するための専用のソフトウェアが格納され、更に後述する欠陥描画線を示すデータが記憶される。

端末制御部２７は、操作部２３からの入力に応じて記憶部２４に格納されたソフトウェアを実行し、ユーザ端末１１の各部を統括制御する部分である。

表示制御部２５は、端末制御部２７から入力する画像を含む各種のデータ及び指令に基づいて表示部２６に表示させる表示画面全般を制御する。表示制御部２５は、主として構造物（床版）の欠陥を拡大して撮影された拡大画像と、構造物の所定範囲（床版の格間）を示す全体画像内の拡大画像の候補領域に対応する候補画像とを比較可能に表示部２６に表示させる（表示制御工程）。尚、表示制御部２５により表示部２６に表示させる各種の表示画面の詳細については後述する。

＜画像処理サーバ１０＞
次に、画像処理装置１を構成する画像処理サーバ１０機能構成について説明する。

図６は画像処理サーバ１０の機能構成例を示すブロック図である。

本例の画像処理サーバ１０は、主としてサーバ通信部５１、画像の記憶部として機能する画像ＤＢ（ＤＢ：database）５２、構造物の図面データを記憶する図面ＤＢ５３、照合処理部５４、欠陥識別部５５、変換部５６、及びサーバ制御部５７から構成されている。

画像ＤＢ５２及び図面ＤＢ５３は、１又は複数のハードディスク装置を含んで構成される。照合処理部５４、欠陥識別部５５、変換部５６、及びサーバ制御部５７は、１又は複数のＣＰＵ（Central Processing Unit）と、ＣＰＵのワーキングメモリと、ハードディスク装置等に記憶され、メモリ上に展開された画像処理プログラムとにより構成され、ＣＰＵが画像処理プログラムを実行することにより各部の機能を担う。

サーバ通信部５１は、ユーザ端末１１からネットワーク１２（図１参照）を介して床版の画像及び画像の解析実行等の指示を受信し、また、画像処理サーバ１０により画像解析された解析結果等をネットワーク１２を介してユーザ端末１１に送信する通信部である。

画像ＤＢ５２は、ユーザ端末１１からサーバ通信部５１を介して受信した画像（分割画像、全体画像、拡大画像等）を、サーバ制御部５７による制御の元で記憶する記憶部であり、床版の格間単位で、複数の分割画像（又は全体画像）と、１乃至複数の拡大画像とを関連付けて記憶する。

図面ＤＢ５３は、構造物の図面データを記憶する記憶部であり、複数の橋梁（床版を含む）の図面データ（ＣＡＤ（computer-aided design）図）を保存及び管理する。図面ＤＢ５３には、橋梁の最初の点検時にユーザ端末１１から送信された図面データが保存されるが、図面データの保存方法はこれに限定されない。

図１５には、１つの格間を示す格間画像１２０を含む全体画像１００と、点線で示した床版の図面２００とが示されている。これらの全体画像１００及び図面２００は、ユーザ端末１１の表示部２６に表示させることが可能である。尚、床版の図面２００は、図面ＤＢ５３に格納された図面データに基づいて表示部２６に表示させることができる。

図１５に示す床版の図面２００は、３つの主桁と５つの横桁とに対応する図面である。Ｍｇ０１〜Ｍｇ０３は、それぞれ主桁（Ｍｇ：Main girder）の部材番号であり、Ｃｒ０１〜Ｃｒ０５は、それぞれ横桁（Ｃｒ：Cross beam）の部材番号である。尚、１画面に橋梁の床版全体の図面を適切に表示することができない場合（橋梁の全長が長い場合）には、床版の一部の図面を表示し、床版の図面をスクロールできるようにすることが好ましい。

ユーザ端末１１から画像処理サーバ１０に床版の画像をアップロードする場合、ユーザは、点検対象の橋梁（床版）を特定する情報を画像処理サーバ１０に送信し、画像処理サーバ１０から床版の図面データを取得する。画像処理サーバ１０は、ユーザ端末１１から床版を特定する情報を取得すると、図面ＤＢ５３から対応する図面データを読み出し、読み出した図面データをユーザ端末１１に送信することができる。

ユーザ端末１１の表示制御部２５は、画像処理サーバ１０から取得した図面データに基づいて表示部２６に床版の図面２００（図１５）を表示させるとともに、記憶部２４に記憶させた床版の画像（合成用の分割画像、全体画像、拡大画像）の一覧を表示させる。

ユーザは、床版の図面２００内の１つの格間を特定し、その格間に対応する合成用の複数の分割画像又は全体画像を特定した格間にドラックアンドドロップし、床版の格間と複数の分割画像又は全体画像との関連付けを行う。同様に、拡大画像を特定した格間にドラックアンドドロップし、床版の格間と拡大画像との関連付けを行う。

尚、記憶部２４において、格間毎に床版の画像がフォルダにより管理されている場合には、図面２００内の１つの格間を特定し、その格間に対応するフォルダを特定した格間にドラックアンドドロップし、床版の格間と格間毎の画像とを関連付けるようにしてもよい。また、合成用の複数の分割画像を画像処理サーバ１０にアップロードする場合、図３に示すように複数の分割画像１００Ａ、１００Ｂ、１００Ｃの格間内の位置関係を特定してアップロードすることが好ましい。画像処理サーバ１０において、複数の分割画像１００Ａ、１００Ｂ、１００Ｃから１枚の全体画像１００を合成する合成処理の演算負荷を軽減するためである。

上記のように床版の格間に関連付けられた格間毎の合成用の複数の分割画像又は全体画像は、ユーザ端末１１の端末通信部２１からネットワーク１２及びサーバ通信部５１を介して画像処理サーバ１０に取得され、サーバ制御部５７による制御の元で画像ＤＢ５２に保存される。ここで、サーバ通信部５１、サーバ制御部５７及び画像ＤＢ５２は、床版の格間を示す全体画像（合成用の複数の分割画像を含む）を取得する第１の画像取得部として機能し、この第１の画像取得部は、床版の格間を示す全体画像を取得する（第１の画像取得工程）。

また、床版の格間に関連付けられた格間毎の拡大画像は、ユーザ端末１１の端末通信部２１からネットワーク１２及びサーバ通信部５１を介して画像処理サーバ１０に取得され、サーバ制御部５７による制御の元で画像ＤＢ５２に保存される。ここで、サーバ通信部５１、サーバ制御部５７及び画像ＤＢ５２は、拡大画像を取得する第２の画像取得部として機能し、この第２の画像取得部は、床版の格間内の欠陥を拡大して撮影した拡大画像を取得する（第２の画像取得工程）。

次に、画像処理サーバ１０が合成用の複数の分割画像を取得した場合について説明する。

この場合、第１の画像取得部の一部として機能するサーバ制御部５７は、画像ＤＢ５２から合成用の複数の分割画像を読み出し、これらの複数の分割画像を合成し、床版の１つの格間を含む床版画像を生成し、生成した床版画像を全体画像として取得する。

いま、合成用の複数の分割画像として、図３に示す３枚の分割画像１００Ａ、１００Ｂ及び１００Ｃを取得した場合について説明する。

３枚の分割画像１００Ａ、１００Ｂ及び１００Ｃは、床版の１つの格間を３回に分割して撮影された画像であり、それぞれデジタルカメラ２０による撮影方向及び撮影位置等が異なっているが、隣接する分割画像間（分割画像１００Ａと分割画像１００Ｂ、及び分割画像１００Ｂと分割画像１００Ｃ）には、互いに重複する重複領域を含んでいる。

サーバ制御部５７は、隣接する分割画像間の互いに重複する重複領域からそれぞれ特徴量（局所特徴量）が一致する複数の対応点を検出する。

画像間の拡大縮小、回転及び照明変化等に強いロバストな局所特徴量として、SIFT (Scale-invariant feature transform)特徴量、SURF (Speed-Upped Robust Feature)特徴量、及びAKAZE (Accelerated KAZE)特徴量が知られている。

特徴量が一致する対応点の数（セット数）は、２つの画像のうちの一方の画像を幾何変換するために使用する変換パラメータの算出に必要な数以上検出する必要があり、例えば、幾何変換として射影変換を適用する場合には、４つの対応点を検出する。

射影変換式は、次式の通りである。

射影変換の変換パラメータは、［数１］式中のａ、ｂ、ｓ、ｃ、ｄ、ｔ、ｐ、ｑの８個のパラメータを指す。また、(x,y)、(X,Y)は、それぞれ射影変換前後の座標値を示す。

従って、４つの対応点の座標値をそれぞれ［数１］式に代入した８つの連立方程式を立て、８つの連立方程式を解くことにより、射影変換に使用する８個の変換パラメータを算出することができる。

ここで、分割画像１００Ａを基準の画像とすると、分割画像１００Ａを基準とした場合の、分割画像１００Ｂを射影変換する変換パラメータを算出し、算出した変換パラメータを有する射影変換式を使用して分割画像１００Ｂを射影変換し、分割画像１００Ａと射影変換した分割画像１００Ｂとを合成する。同様に、射影変換した分割画像１００Ｂを基準とした場合の、分割画像１００Ｃを射影変換する変換パラメータを算出し、算出した変換パラメータを有する射影変換式を使用して分割画像１００Ｃを射影変換し、射影変換して合成した分割画像１００Ｂと射影変換した分割画像１００Ｃとを合成する。

図４は、図３に示した３枚の分割画像１００Ａ、１００Ｂ及び１００Ｃを上記のようにして合成することにより生成された全体画像１００を示す図である。この全体画像１００は、画像ＤＢ５２に保存され、また、ユーザ端末１１に送信されてユーザ端末１１の記憶部２４に保存される。

図７は、ユーザ端末１１の表示部２６に表示された複数の拡大画像を含む表示画面の一実施形態を示す図である。

図７に示す表示部２６の表示画面には、ひび割れが拡大して撮影された４枚の拡大画像１５０Ａ、１５０Ｂ、１５０Ｃ及び１５０Ｄと、ソフトウェアボタンである「解析実行」ボタン４０が表示されている。

ユーザは、拡大画像の解析を画像処理サーバ１０に依頼する場合、ユーザ端末１１の表示部２６の画面上で解析対象の拡大画像を、マウス等のポインティングデバイス（画像選択部）により選択し、「解析実行」ボタン４０を押下する。画像処理サーバ１０は、ユーザ端末１１から拡大画像の選択指示及び解析実行のリクエストを受け付けると、アップロードされて画像ＤＢ５２に登録された画像群から選択指示された拡大画像を読み出し、読み出した拡大画像から各種の欠陥（本例では、ひび割れ）の検出等の処理を行う。

図６に戻って、照合処理部５４は、１つの格間を含む床版の画像（全体画像）と格間内の欠陥を拡大して撮影した拡大画像とを照合し、全体画像内における拡大画像の領域に関連する位置関係情報を算出する部分である。

いま、拡大画像１５０Ｂが選択され、拡大画像１５０Ｂに対する解析実行のリクエストを受け付けると、照合処理部５４は、全体画像１００（図４）と拡大画像１５０Ｂ（図７）とを照合し、拡大画像１５０Ｂが全体画像１００のどの部分の拡大画像であるかを求める。

照合処理部５４による全体画像１００と拡大画像１５０Ｂとの照合は、画像間の拡大縮小及び回転に依存しない特徴量（前述したSIFT特徴量、又はSURF特徴量）の抽出により行う。具体的には、照合処理部５４は、全体画像１００と拡大画像１５０Ｂとの間で局所特徴量が一致する複数の対応点を検出し、全体画像１００に対して拡大画像１５０Ｂを射影変換するための射影変換式（変換パラメータ）を算出する（照合処理工程、［数１］式参照）。算出された射影変換式（変換パラメータ）は、全体画像内における拡大画像の領域に関連する位置関係情報である。

本例では、拡大画像１５０Ｂに対する解析実行のリクエストを受け付けると、画像処理サーバ１０は、拡大画像１５０Ｂの解析結果の一部として、照合処理部５４により算出された射影変換式の変換パラメータをユーザ端末１１に返す。

ユーザ端末１１の表示制御部２５は、拡大画像と、位置関係情報（変換パラメータ）に基づいて特定される全体画像内の拡大画像の候補領域に対応する候補画像とを比較可能に表示部２６に表示させる部分である。

解析実行をリクエストした拡大画像が、全体画像（格間）のどの部分の拡大画像であるか確認することは、後述するように拡大画像から自動的に識別した欠陥（ひび割れ等）が、格間のどの位置に発生しているかを特定する上で重要である。そのため、本発明では、照合処理部５４により行われた照合結果を、ユーザが容易に確認できるようにしている。

＜照合確認の第１の実施形態＞
第１の実施形態では、ユーザ端末１１の表示制御部２５は、画像処理サーバ１０から受け取った変換パラメータを有する射影変換式に基づいて拡大画像１５０Ｂを射影変換し、図８に示すように射影変換した拡大画像１５０Ｂ−１を全体画像１００に合成した全体画像１００−１と、合成前の全体画像１００とを切り替え可能に表示する（表示処理工程）。

図８は、全体画像と拡大画像との対応関係を確認するための表示部２６の表示画面の一例を示す図である。

図８に示す表示画面には、射影変換されて合成された拡大画像１５０Ｂ−１を含む全体画像１００−１、解析実行をリクエストした拡大画像１５０Ｂ、及びソフトウェアボタンである「切替え」ボタン４１等が表示されている。

表示制御部２５は、「切替え」ボタン４１がクリックされる毎に、拡大画像１５０Ｂ−１を含む全体画像１００−１と、拡大画像１５０Ｂ−１を合成する前のオリジナルの全体画像１００（図４参照）とを交互に切り替えて表示部２６に表示させる。

図８において、オリジナルの全体画像１００（図４参照）を表示する場合、射影変換した拡大画像１５０Ｂ−１の代わりに、オリジナルの全体画像１００内における拡大画像１５０Ｂ−１の候補領域に対応する候補画像１５０Ｂ−２が表示されることになる。この場合、図４に示した全体画像１００では、候補画像１５０Ｂ−２が全体画像１００内のどの領域の画像であるかが不明であるため、拡大画像１５０Ｂ−１に対応する候補領域を示す枠を全体画像１００に重畳表示することが好ましい。また、拡大画像１５０Ｂ−１を含む全体画像１００−１を表示する場合も、拡大画像１５０Ｂ−１の領域を示す枠を表示することが好ましい。拡大画像１５０Ｂ−１が全体画像１００内のどの領域に合成されたかを明確にするためである。

ユーザは、「切替え」ボタン４１により拡大画像１５０Ｂ−１を含む全体画像１００−１（拡大画像１５０Ｂ−１）と、オリジナルの全体画像１００（候補画像１５０Ｂ−２）とを交互に表示させ、両画像を比較することにより、拡大画像１５０Ｂ−１と候補画像１５０Ｂ−２とが、床版の同じ領域の画像であるか否かを確認することができる。

ここで、拡大画像１５０Ｂ−１は、射影変換されているため、拡大画像１５０Ｂ−１と候補画像１５０Ｂ−２とは、同じ大きさ及び同じ外形形状で表示される。これにより、ユーザは、拡大画像１５０Ｂ−１と候補画像１５０Ｂ−２とが、床版の同じ領域の画像であるか否かを目視により容易に確認することができる。即ち、画像処理サーバ１０の照合処理部５４による全体画像と拡大画像との照合（局所特徴量の検出）が適切に行われたか否かを確認することができる。

拡大画像とその拡大画像に対応する全体画像内の画像（候補画像）とが、床版の同じ領域の画像でない場合、照合処理部５４による拡大画像の探索が失敗したこと（候補画像が不正解）になる。即ち、照合処理部５４により算出された射影変換式の変換パラメータが不正解になる。

この場合、ユーザは、拡大画像の探索が失敗している旨を画像処理サーバ１０に通知するとともに、表示部２６に表示された全体画像１００上で拡大画像に対応する画像の位置をポインティングデバイスにより指定し、その指定した位置を拡大画像に対応する画像の位置情報として画像処理サーバ１０に通知する。画像処理サーバ１０は、全体画像上で、拡大画像に対応する画像の位置情報を受け付ける位置情報受付部を備え、照合処理部５４は、位置情報受付部により受け付けた画像の位置情報（例えば、全体画像上で受け付けたクリックした位置情報）を元に、全体画像における照合範囲を絞り込んで照合の再実行を行う。また、照合処理部５４による拡大画像の探索が不能の場合（候補画像が見つからない場合）も、拡大画像の探索失敗と同様に、照合処理部５４に照合の再実行を行わせることができる。

＜照合確認の第１の実施形態の変形例＞
照合確認の第１の実施形態では、表示制御部２５は、図８に示したように射影変換した拡大画像１５０Ｂ−１を全体画像１００に合成した全体画像１００−１と、合成前の全体画像１００とを、「切替え」ボタン４１の操作に応じて表示部２６の表示画面上で切り替え表示し、両画像を比較できるようにしたが、第１の実施形態の変形例では、表示制御部２５は、「切替え」ボタン４１を設けずに、合成後の全体画像１００−１と、合成前の全体画像１００とを表示部２６の表示画面上で並べて表示させる。

これにより、ユーザは、拡大画像１５０Ｂ−１の合成後の全体画像１００−１と、合成前の全体画像１００との比較（特に拡大画像１５０Ｂ−１と全体画像１００内の候補画像１５０Ｂ−２とが同一の床版の画像であるか否かの確認）を、より正確に行うことができる。

＜照合確認の第２の実施形態＞
第２の実施形態では、照合処理部５４は、全体画像と拡大画像との間で局所特徴量が一致する複数の対応点を検出する点で共通するが、拡大画像に対して全体画像内の拡大画像に対応する候補領域を射影変換するための射影変換式（変換パラメータ）を算出する点で相違する。

また、ユーザ端末１１の表示制御部２５は、画像処理サーバ１０から受け取った変換パラメータを有する射影変換式に基づいて全体画像内の拡大画像に対応する領域の画像を射影変換し、図９に示すように拡大画像１５０Ｂと、全体画像内の拡大画像１５０Ｂに対応する領域の画像を射影変換した候補画像１５０Ｂ−３とを切り替え可能に表示する（表示処理工程）。

図９は、全体画像と拡大画像との対応関係を確認するための表示部２６の表示画面の他の実施形態を示す図である。

図９に示す表示画面には、解析実行をリクエストした拡大画像１５０Ｂ、全体画像１００内の拡大画像１５０Ｂに対応する領域の画像を射影変換した候補画像１５０Ｂ−３、全体画像１００及びソフトウェアボタンである「切替え」ボタン４１等が表示されている。

表示制御部２５は、「切替え」ボタン４１がクリックされる毎に、拡大画像１５０Ｂと射影変換した候補画像１５０Ｂ−３とを交互に切り替えて表示部２６に表示させる。

図９に示す表示画面では、全体画像１００も表示しているため、拡大画像１５０Ｂ又は射影変換した候補画像１５０Ｂ−３と、射影変換前の全体画像１００内の拡大画像１５０Ｂに対応する領域の画像とを比較することが可能である。この場合、全体画像１００では、射影変換した候補画像１５０Ｂ−３が全体画像１００内のどの領域の画像であるかを示す枠を全体画像１００に重畳表示することが好ましい。

ユーザは、「切替え」ボタン４１により解析実行をリクエストした拡大画像１５０Ｂと、全体画像１００内の拡大画像１５０Ｂに対応する領域の画像を射影変換した候補画像１５０Ｂ−３とを交互に表示させ、両画像を比較することにより、拡大画像１５０Ｂ−１と候補画像１５０Ｂ−３とが、床版の同じ領域の画像であるか否かを確認することができる。

ここで、候補画像１５０Ｂ−３は、射影変換されているため、拡大画像１５０Ｂと候補画像１５０Ｂ−３とは、同じ大きさ及び同じ外形形状で表示される。これにより、ユーザは、拡大画像１５０Ｂと候補画像１５０Ｂ−３とが、床版の同じ領域の画像であるか否かを目視により容易に確認することができる。

拡大画像とその拡大画像に対応する全体画像内の画像（候補画像）とが、床版の同じ領域の画像でない場合、照合処理部５４による拡大画像の探索が失敗したこと（候補画像が不正解）になる。

この場合には、照合確認の第１の実施形態と同様に、ユーザは、拡大画像の探索が失敗している旨を画像処理サーバ１０に通知するとともに、表示部２６に表示された全体画像１００上で拡大画像に対応する画像の位置をポインティングデバイスにより指定し、その指定した位置を拡大画像に対応する画像の位置情報として画像処理サーバ１０に通知し、照合処理部５４に照合の再実行を行わせる。

＜照合確認の第２の実施形態の変形例＞
照合確認の第２の実施形態では、表示制御部２５は、図９に示したように拡大画像１５０Ｂと射影変換した候補画像１５０Ｂ−３とを、「切替え」ボタン４１の操作に応じて表示部２６の表示画面上で切り替え表示し、両画像を比較できるようにしたが、第２の実施形態の変形例では、表示制御部２５は、「切替え」ボタン４１を設けずに、拡大画像１５０Ｂと射影変換した候補画像１５０Ｂ−３とを表示部２６の表示画面上で並べて表示させる。

これにより、ユーザは、拡大画像１５０Ｂと射影変換した候補画像１５０Ｂ−３との比較（特に拡大画像１５０Ｂと射影変換した候補画像１５０Ｂ−３とが同一の床版の画像であるか否かの確認）を、より正確に行うことができる。

上記のようにしてユーザは、ユーザ端末１１を使用して拡大画像を指定して解析実行をリクエストすると、画像処理サーバ１０の照合処理部５４での照合が正しく行われたか否かを確認することができる。また、図７に示した例では、４枚の拡大画像１５０Ａ、１５０Ｂ、１５０Ｃ及び１５０Ｄが存在するため、１枚ずつ拡大画像を選択して解析実行をリクエストし、上記の照合確認を４回行うことになる。

＜照合確認の第３の実施形態＞
照合処理部５４は、全体画像１００内の複数の領域において、それぞれ拡大画像１５０Ｂと局所特徴量が一致する複数の対応点を検出した場合（即ち、複数の候補画像を検出した場合）、全体画像１００に対して拡大画像１５０Ｂを射影変換するための変換パラメータを、複数の候補画像毎に算出し、算出した複数の候補画像毎の変換パラメータをユーザ端末１１に返す。

第３の実施形態では、ユーザ端末１１の表示制御部２５は、画像処理サーバ１０から受け取った、複数の候補画像毎の変換パラメータを有する複数の射影変換式に基づいて拡大画像１５０Ｂをそれぞれ射影変換し、図１０に示すようにそれぞれ射影変換した拡大画像１５０Ｂ−１Ａ，１５０Ｂ−１Ｂを全体画像１００に合成した全体画像１００−１と、合成前の全体画像１００とを切り替え可能に表示する。

図１０は、全体画像と拡大画像との対応関係を確認するための表示部２６の表示画面の一例を示す図であり、全体画像内に拡大画像に対応する２つの候補画像が存在する場合に関して示している。

図１０において、オリジナルの全体画像１００（図４参照）を表示する場合、射影変換した拡大画像１５０Ｂ−１Ａ，１５０Ｂ−１Ｂの代わりに、オリジナルの全体画像１００内における拡大画像１５０Ｂ−１Ａ，１５０Ｂ−１Ｂ１の候補領域に対応する候補画像１５０Ｂ−２Ａ，１５０Ｂ−２Ｂが表示されることになる。この場合、図４に示した全体画像１００では、候補画像１５０Ｂ−２Ａ，１５０Ｂ−２Ｂが全体画像１００内のどの領域の画像であるかが不明であるため、拡大画像１５０Ｂ−１Ａ，１５０Ｂ−１Ｂに対応する候補領域を示す枠を全体画像１００に重畳表示することが好ましい。また、拡大画像１５０Ｂ−１Ａ，１５０Ｂ−１Ｂを含む全体画像１００−１を表示する場合も、拡大画像１５０Ｂ−１Ａ，１５０Ｂ−１Ｂの領域を示す枠を表示することが好ましい。拡大画像１５０Ｂ−１Ａ，１５０Ｂ−１Ｂが全体画像１００内のどの領域に合成されたかを明確にするためである。

ユーザは、「切替え」ボタン４１により拡大画像１５０Ｂ−１Ａ，１５０Ｂ−１Ｂを含む全体画像１００−１（拡大画像１５０Ｂ−１Ａ，１５０Ｂ−１Ｂ）と、オリジナルの全体画像１００（候補画像１５０Ｂ−２Ａ，１５０Ｂ−２Ｂ）とを交互に表示させ、両画像を比較することにより、拡大画像１５０Ｂ−１Ａと候補画像１５０Ｂ−２Ａとが床版の同じ領域の画像であるか否か、又は拡大画像１５０Ｂ−１Ｂと候補画像１５０Ｂ−２Ｂとが床版の同じ領域の画像であるか否かを確認することができる。

ユーザは、複数の候補画像（この実施形態では、２つの候補画像１５０Ｂ−２Ａ，１５０Ｂ−２Ｂ）から拡大画像に対応する１つの（正解の）候補画像を選択し、その選択結果を画像処理サーバ１０に通知する。

＜欠陥の確認及び修正＞
次に、画像処理サーバ１０により検出された床版の欠陥の確認及び修正について説明する。

図６において、画像処理サーバ１０の欠陥識別部５５は、ユーザ端末１１から床版の欠陥（本例では、ひび割れ）を拡大して撮影された拡大画像に対する解析実行のリクエストを受け付けると、拡大画像を画像解析することによりひび割れを識別し、識別したひび割れを示すラスターデータを細線化し、ベクトルデータにする。また、ひび割れ毎にラベリングし、ひび割れのベクトルデータをラベリング番号で管理可能にする。

そして、ひび割れのベクトルデータを含むひび割れ情報（欠陥情報）は、画像処理サーバ１０からユーザ端末１１に送信される。尚、ひび割れのベクトルデータに限らず、ひび割れ画像を示すラスターデータを欠陥情報として送信するようにしてもよい。

ユーザ端末１１の表示制御部２５は、画像処理サーバ１０から受け取った欠陥情報に基づいて床版の欠陥をトレースした欠陥描画線を、表示部２６に表示した拡大画像及び全体画像に重畳表示させる。

図１１から図１４は、それぞれユーザ端末１１の表示部２６に表示される拡大画像の画像解析後の確認修正画面の実施形態を示す図である。

図１１に示す確認修正画面には、解析実行をリクエストした１枚目の元の拡大画像１５０Ａ、解析結果を示す拡大画像１５０Ａ−４、全体画像１００、及び欠陥情報入力部及び修正部として機能する各種のアイコンボタン４２〜４７等が表示される。

ここで、解析結果を示す拡大画像１５０Ａ−４には、欠陥（ひび割れ）をトレースした欠陥描画線３０Ａ−１が重畳表示されている。欠陥描画線３０Ａ−１は、元の拡大画像１５０Ａのひび割れ画像３０Ａと識別可能にひび割れ画像を輝度又は色により強調し、又はひび割れを示すベクトルデータに基づいて太線化したひび割れ画像にすることが好ましい。

ユーザは、元の拡大画像１５０Ａと欠陥描画線３０Ａ−１が重畳表示された拡大画像１５０Ａ−４とを比較することにより、欠陥識別部５５による欠陥（ひび割れ）の識別が適切に行われたか否かを目視で確認することができる。

ここで、欠陥が自動認識されていない場合には、ユーザは、ペンを示すアイコンボタン４２を選択し、アイコンボタン４２のカーソル（図示せず）を手動操作し、拡大画像１５０Ａ−４上で床版の欠陥（ひび割れ）の位置及び形状を指示することで、欠陥描画線（欠陥情報）を追記する。自動認識されたひび割れが途中で途切れている場合、これらのひび割れを一本のひび割れにつなぎ合わせる修正も可能である。

一方、床版の汚れ等が欠陥（ひび割れ）として誤って認識されている場合には、ユーザは、消しゴムを示すアイコンボタン４３を選択し、アイコンボタン４３のカーソル（図示せず）を手動操作し、拡大画像１５０Ａ−４上で欠陥描画線（欠陥情報）を消去する。

尚、ひび割れ欠陥情報の確認及び修正に限らず、遊離石灰、コンクリートの剥離、及び鉄筋露出等の欠陥情報の確認及び修正も行うことができる。この場合、欠陥の種類に応じて色や表示形態が異なる欠陥描画線を重畳表示させることが好ましい。

上記のようにして確認及び修正された情報は、画像処理サーバ１０に送信される。

図１１に示した確認修正画面上で、「次へ」ボタン４４がクリックされると、２枚目の拡大画像に対する確認修正画面（図１２）に遷移する。

図１２に示す確認修正画面には、２枚目の元の拡大画像１５０Ｂ、解析結果を示す拡大画像１５０Ｂ−４、全体画像１００、及びアイコンボタン４２〜４７等が表示される。

ユーザは、１枚目の拡大画像１５０Ａに対する解析結果の確認及び修正と同様にして、図１２に示す確認修正画面を使用し、２枚目の拡大画像１５０Ｂに対する解析結果の確認及び修正を行うことができる。尚、図１２において、元の拡大画像１５０Ｂの解析結果を示す拡大画像１５０Ｂ−４には、自動認識したひび割れをトレースした欠陥描画線３０Ｂ−１が重畳表示される。

図１２に示した確認修正画面上で、２枚目の拡大画像１５０Ｂに対する解析結果の確認及び修正後、「次へ」ボタン４４がクリックされると、３枚目の拡大画像に対する確認修正画面（図１３）に遷移する。また、図１２に示した確認修正画面上で、「戻る」ボタン４５がクリックされると、図１１に示した１枚目の拡大画像に対する確認修正画面に戻る。

図１３に示す確認修正画面には、３枚目の元の拡大画像１５０Ｃ、解析結果を示す拡大画像１５０Ｃ−４、全体画像１００、及びアイコンボタン４２〜４７等が表示される。

ユーザは、１枚目の拡大画像１５０Ａに対する解析結果の確認及び修正と同様にして、図１３に示す確認修正画面を使用し、３枚目の拡大画像１５０Ｃに対する解析結果の確認及び修正を行うことができる。尚、図１３において、元の拡大画像１５０Ｃの解析結果を示す拡大画像１５０Ｃ−４には、自動認識したひび割れをトレースした欠陥描画線３０Ｃ−１が重畳表示される。

図１３に示した確認修正画面上で、３枚目の拡大画像１５０Ｃに対する解析結果の確認及び修正後、「次へ」ボタン４４がクリックされると、４枚目の拡大画像に対する確認修正画面（図１４）に遷移する。また、図１３に示した確認修正画面上で、「戻る」ボタン４５がクリックされると、図１２に示した２枚目の拡大画像に対する確認修正画面に戻る。

図１４に示す確認修正画面には、４枚目の元の拡大画像１５０Ｄ、解析結果を示す拡大画像１５０Ｄ−４、全体画像１００、及びアイコンボタン４２〜４７等が表示される。

ユーザは、１枚目の拡大画像１５０Ａに対する解析結果の確認及び修正と同様にして、図１４に示す確認修正画面を使用し、４枚目の拡大画像１５０Ｄに対する解析結果の確認及び修正を行うことができる。尚、図１４において、元の拡大画像１５０Ｄの解析結果を示す拡大画像１５０Ｄ−４には、自動認識したひび割れをトレースした欠陥描画線３０Ｄ−１が重畳表示される。また、本例では、床版の１つの格間内の欠陥を拡大して撮影した拡大画像は、４枚であるため、図１４に示す４枚目の拡大画像１５０Ｄに対する解析結果の確認修正画面では、「次へ」ボタン４４は操作不能にグレーアウトされている。

また、ユーザは、床版の欠陥を含む拡大画像を撮影する際に、クラックスケール等を使用してひび割れの幅及び隣接するひび割れ間の間隔を計測し、野帳に記録しておく。そして、図１１から図１４に示した確認修正画面と操作部２３とを使用し、野帳を参照しながらひび割れの幅及び隣接するひび割れ間の間隔を示すひび割れ情報を入力することができる。

ユーザ端末１１の表示制御部２５は、操作部２３により入力されたひび割れ情報に基づいて、ひび割れの幅及び隣接するひび割れ間の間隔を表示部２６に表示させる。また、ユーザ端末１１において入力されたひび割れ情報は、画像処理サーバ１０に送信される。

＜欠陥描画線のデータ出力＞
次に、拡大画像の全体画像内の位置関係情報の確認、及び拡大画像内の欠陥の確認及び修正後に、格間を示す図面に記載すべき欠陥描画線を示すデータを生成する。

図６に示す変換部５６は、全体画像に重畳表示された欠陥描画線を幾何変換（射影変換）する部分であり、変換部５６には、図１５に示す全体画像１００が入力される。尚、全体画像１００には、確認修正された欠陥描画線の情報が付帯している。

全体画像１００は、ユーザ端末１１から全体画像１００（又は複数の分割画像）がアップロードされる際に、床版の図面２００のうちのいずれの格間に対応する画像であるかが特定されている。また、全体画像１００内の矩形の格間画像１２０は、全体画像１００を画像解析することにより把握することができる。

変換部５６は、矩形の格間画像１２０の４隅の４点と、図面２００の対応する格間の４隅の４点とをそれぞれ対応する対応点とし、格間画像１２０を図面２００の対応する格間に幾何変換（射影変換）するための変換パラメータを算出し、算出した変換パラメータを有する射影変換式により格間画像１２０内の欠陥描画線を射影変換する。

画像処理サーバ１０は、変換部５６により射影変換された欠陥描画線を示すデータをユーザ端末１１に送信する。

ユーザ端末１１は、床版の図面データに対応するように射影変換された欠陥描画線を示すデータを、図面データに関連付けて出力するデータ出力部（入出力インターフェース２２）を備える。入出力インターフェース２２から欠陥描画線が合成された図面データを取得することにより、床版の図面に欠陥描画線を印刷した点検調書等を作成することができる。

［その他］
画像処理サーバ１０は、ユーザ端末１１から入力するひび割れ情報（ひび割れの幅及び隣接するひび割れの間隔）に基づいて床版のひび割れの進捗レベルを判別する判別部を備え、ひび割れの進捗レベルをユーザ端末１１に送信し、ユーザ端末１１の表示制御部２５は、画像処理サーバ１０から入力するひび割れの進捗レベルに応じて、ひび割れを示す欠陥描画線を分類して表示させることが好ましい。また、ユーザ端末１１の表示制御部２５は、ひび割れの幅に応じてひび割れを示す欠陥描画線を分類して表示するようにしてもよく、例えば、ひび割れ幅の範囲（２ｍｍ以上のひび割れ幅）を指定することで、指定されたひび割れ幅を有する欠陥描画線を選択的に表示させることができる。

本実施形態では、画像処理サーバとユーザ端末とにより画像処理装置を構成したが、これに限らず、ネットワーク等を使用せずに独立した装置により画像処理装置を実現するようにしてもよい。

また、本実施形態では、全体画像と拡大画像との間で射影変換する場合について説明したが、これに限らず、アフィン変換、ヘルマート変換などの他の幾何変換を用いることも当然可能である。

更に、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

１ 画像処理装置
１０ 画像処理サーバ
１１ ユーザ端末
１２ ネットワーク
２０ デジタルカメラ
２１ 端末通信部
２２ 入出力インターフェース
２３ 操作部
２４ 記憶部
２５ 表示制御部
２６ 表示部
２７ 端末制御部
３０Ａ、３０Ｂ、３０Ｃ、３０Ｄ、１０２、１０４、１１２、１１４ 画像
３０Ａ−１、３０Ｂ−１、３０Ｃ−１、３０Ｄ−１ 欠陥描画線
４０ 「解析実行」ボタン
４１ 「切替え」ボタン
４２、４３、４６、４７ アイコンボタン
４４ 「次へ」ボタン
４５ 「戻る」ボタン
５１ サーバ通信部
５２ 画像ＤＢ
５３ 図面ＤＢ
５４ 照合処理部
５５ 欠陥識別部
５６ 変換部
５７ サーバ制御部
１００、１００−１ 全体画像
１００Ａ、１００Ｂ、１００Ｃ 分割画像
１２０ 格間画像
１５０Ａ、１５０Ａ−４、１５０Ｂ、１５０Ｂ−１、１５０Ｂ−１Ａ、１５０Ｂ−１Ｂ、１５０Ｂ−４、１５０Ｃ、１５０Ｃ−４、１５０Ｄ、１５０Ｄ−４ 拡大画像
１５０Ｂ−２、１５０Ｂ−２Ａ、１５０Ｂ−２Ｂ、１５０Ｂ−３ 候補画像
２００ 図面

Claims (17)

1. 構造物の所定範囲を示す全体画像を取得する第１の画像取得部と、
   前記所定範囲内における前記構造物の欠陥を拡大して撮影された拡大画像を取得する第２の画像取得部と、
   前記全体画像と前記拡大画像とを照合し、前記全体画像内における前記拡大画像の領域に関連する位置関係情報を算出する照合処理部と、
   前記拡大画像と、前記位置関係情報に基づいて特定される前記全体画像内の前記拡大画像の候補領域に対応する候補画像とを比較可能に表示部に表示させる表示制御部と、を備え、
   前記照合処理部は、前記全体画像及び前記拡大画像からそれぞれ特徴量が一致する複数の対応点を検出し、前記検出した複数の対応点に基づいて前記拡大画像又は前記全体画像を幾何変換する変換パラメータを前記位置関係情報として算出し、
   前記表示制御部は、前記拡大画像と、前記全体画像内の前記拡大画像に対応する候補領域の候補画像を、前記変換パラメータに基づいて幾何変換した変換画像とを前記表示部に切り替えて表示させる画像処理装置。
2. 構造物の所定範囲を示す全体画像を取得する第１の画像取得部と、
   前記所定範囲内における前記構造物の欠陥を拡大して撮影された拡大画像を取得する第２の画像取得部と、
   前記全体画像と前記拡大画像とを照合し、前記全体画像内における前記拡大画像の領域に関連する位置関係情報を算出する照合処理部と、
   前記拡大画像と、前記位置関係情報に基づいて特定される前記全体画像内の前記拡大画像の候補領域に対応する候補画像とを比較可能に表示部に表示させる表示制御部と、を備え、
   前記照合処理部は、前記全体画像及び前記拡大画像からそれぞれ特徴量が一致する複数の対応点を検出し、前記検出した複数の対応点に基づいて前記拡大画像又は前記全体画像を幾何変換する変換パラメータを前記位置関係情報として算出し、
   前記表示制御部は、前記拡大画像と、前記全体画像内の前記拡大画像に対応する候補領域の候補画像を、前記変換パラメータに基づいて幾何変換した変換画像とを前記表示部に並べて表示させる画像処理装置。
3. 前記拡大画像上での前記構造物の欠陥の位置及び形状を含む欠陥情報を入力する欠陥情報入力部を備え、
   前記表示制御部は、前記欠陥情報に基づいて前記構造物の欠陥をトレースした欠陥描画線を、前記表示部に表示した前記拡大画像及び前記全体画像に重畳表示させる請求項１または２に記載の画像処理装置。
4. 前記拡大画像を画像解析し、前記構造物の欠陥を識別する欠陥識別部を備え、
   前記欠陥情報入力部は、前記欠陥識別部から前記欠陥情報を入力する請求項３に記載の画像処理装置。
5. 前記欠陥情報入力部は、前記拡大画像上での前記構造物の欠陥の位置及び形状を手動で指示するポインティングデバイスを含む請求項３又は４に記載の画像処理装置。
6. 前記重畳表示された前記欠陥情報を手動で修正する修正部を備えた請求項３から５のいずれか１項に記載の画像処理装置。
7. 前記構造物の図面データを記憶する記憶部と、
   前記構造物の所定範囲を前記図面データの対応する範囲に一致させる幾何変換を行う変換部であって、前記全体画像に重畳表示された前記欠陥描画線のみを幾何変換する前記変換部と、
   前記図面データに関連付けて前記幾何変換した前記欠陥描画線を示すデータを出力するデータ出力部と、
   を備えた請求項３から６のいずれか１項に記載の画像処理装置。
8. 前記構造物の欠陥は、ひび割れであり、
   前記欠陥識別部は、前記拡大画像から前記構造物のひび割れを示すひび割れ画像を抽出し、
   前記表示制御部は、前記ひび割れ画像を輝度又は色により強調した前記欠陥描画線を生成する請求項４に記載の画像処理装置。
9. 前記構造物の欠陥は、ひび割れであり、
   前記表示制御部は、前記ひび割れを示す前記欠陥描画線と、前記ひび割れの幅及び隣接するひび割れ間の間隔を示すひび割れ情報とを前記表示部に表示させる請求項３から８のいずれか１項に記載の画像処理装置。
10. 前記構造物の欠陥は、ひび割れであり、
    前記表示制御部は、前記ひび割れを示す前記欠陥描画線を、前記ひび割れの幅に応じて分類して表示させる請求項３から９のいずれか１項に記載の画像処理装置。
11. 前記構造物の欠陥は、ひび割れであり、
    前記ひび割れの幅及び隣接するひび割れ間の間隔を示すひび割れ情報に基づいて前記ひび割れの進捗レベルを判別する判別部を備え、
    前記表示制御部は、前記ひび割れを示す前記欠陥描画線を、前記判別された前記ひび割れの進捗レベルに応じて分類して表示させる請求項３から９のいずれか１項に記載の画像処理装置。
12. 前記表示制御部は、前記全体画像内の前記拡大画像に対応する候補領域を示す枠を前記表示部に表示させる請求項１から１１のいずれか１項に記載の画像処理装置。
13. 前記第２の画像取得部が複数の前記拡大画像を取得すると、前記照合処理部は、前記全体画像と前記複数の拡大画像とを照合し、前記全体画像内における前記複数の拡大画像の候補領域に関連する複数の位置関係情報をそれぞれ算出し、
    前記表示制御部は、前記複数の拡大画像のうちから選択された１の拡大画像と、前記選択された１の拡大画像に対応する前記位置関係情報に基づいて特定される前記全体画像内の前記選択された１の拡大画像の候補領域に対応する候補画像とを比較可能に前記表示部に表示させる請求項１から１２のいずれか１項に記載の画像処理装置。
14. 構造物の所定範囲を示す全体画像を取得する第１の画像取得部と、
    前記所定範囲内における前記構造物の欠陥を拡大して撮影された拡大画像を取得する第２の画像取得部と、
    前記全体画像と前記拡大画像とを照合し、前記全体画像内における前記拡大画像の領域に関連する位置関係情報を算出する照合処理部と、
    前記拡大画像と、前記位置関係情報に基づいて特定される前記全体画像内の前記拡大画像の候補領域に対応する候補画像とを比較可能に表示部に表示させる表示制御部と、を備え、
    前記照合処理部は、前記全体画像と前記拡大画像とを照合し、前記全体画像内における前記拡大画像を示す複数の候補領域を検出すると、前記複数の候補領域に関連する複数の位置関係情報をそれぞれ算出し、
    前記表示制御部は、前記拡大画像と、前記複数の位置関係情報に基づいて特定される前記全体画像内の前記拡大画像の複数の候補領域に対応する複数の候補画像とを比較可能に前記表示部に表示し、
    前記表示部に表示された前記複数の候補領域に対応する複数の候補画像のうちの１の候補画像の選択を受け付ける画像選択部を備えた画像処理装置。
15. 前記照合処理部により算出された前記位置関係情報が不正解の場合、又は前記位置関係情報を算出することができない場合、前記表示部に表示された前記全体画像上で、前記拡大画像に対応する画像の位置情報を受け付ける位置情報受付部を備え、
    前記照合処理部は、前記位置情報受付部により受け付けた位置情報を元に前記全体画像と前記拡大画像との照合を再実行する請求項１から１４のいずれか１項に記載の画像処理装置。
16. 前記構造物は橋梁の床版であり、前記所定範囲は前記床版の格間であり、
    前記第１の画像取得部は、撮像装置により撮影された１つの前記格間を含む床版画像を前記全体画像として取得する請求項１から１５のいずれか１項に記載の画像処理装置。
17. 前記第１の画像取得部は、前記撮像装置により前記格間を複数回に分割して撮影された複数の分割画像を取得し、前記取得した複数の分割画像を合成して前記床版画像を生成し、前記生成した床版画像を前記全体画像として取得する請求項１６に記載の画像処理装置。

Images