WO2019163329A1

WO2019163329A1 - 画像処理装置及び画像処理方法

Info

Publication number: WO2019163329A1
Application number: PCT/JP2019/000855
Authority: WO
Inventors: 修平堀田
Original assignee: 富士フイルム株式会社
Priority date: 2018-02-21
Filing date: 2019-01-15
Publication date: 2019-08-29

Abstract

本発明は、被写体を分割撮影した複数の画像に基づいて被写体の劣化予測を精度良く行うことができる画像処理装置及び画像処理方法を提供することを目的とする。本発明の第１の態様に係る画像処理装置は、被写体を分割撮影した複数の画像を入力する画像入力部と、複数の画像についての損傷の検出結果が合成された情報である合成損傷情報を取得する合成損傷情報取得部と、被写体の劣化予測モデルを取得する劣化予測モデル取得部と、合成損傷情報に基づいて被写体の損傷度を算出する損傷度算出部と、損傷度に基づいて劣化予測モデルを修正する劣化予測モデル修正部と、を備える。

Description

画像処理装置及び画像処理方法

　本発明は、被写体を撮影した画像に基づいて被写体の劣化を予測する画像処理装置及び画像処理方法に関する。

　近年、橋梁、道路、ビル等の「社会インフラストラクチャ」（あるいは、省略して「社会インフラ」）と呼ばれる設備（建築物、建造物、構造物）に関し維持管理コストの削減、長寿命化が課題となってきており、このためこれら設備の劣化を予測して適切な時期に補修を行うための技術が知られている。例えば特許文献１では劣化予測式により変状グレードを予測して劣化曲線を生成すること、及び補修を行った場合の効果を劣化予測曲線に反映することが記載されている。

特開２００６－１７７０８０号公報

　上述した劣化予測の手法には理論に基づいた劣化予測式、あるいは統計的なデータに基づく劣化予測カーブによる手法などがある。しかしながらこれらの手法は理論的あるいは統計的な予測であるため、同種の設備群の全体的、平均的な予測には有用であるが、個別の設備に適用した場合の予測精度は高くない。また、個々の設備についての実際のデータを取得する場合、従来は検査員が目視あるいは検査機器を使用して損傷、変状を直接測定していたが、近年は省力化のためデジタルカメラで画像を取得し、画像処理装置で損傷の検出、測定等が行われている。

　画像処理装置で損傷の検出、測定等を行う場合、微細な損傷（例えば、幅が0.1mm～0.2mm程度の細かなひび割れ）を検出するためには、被写体とカメラとの距離を短くして（例えば約２ｍであるが、ズームが可能な場合はこれよりも距離を長くできる）、検査範囲の全体を複数枚の画像に分割して撮影する必要がある。この場合、１回当たりの撮影範囲は狭いため、その小さな撮影範囲ではひび割れ（損傷の一例）による構造物の劣化を正確に判断することはできない。

　このように、橋梁、道路、ビル等を対象とする場合、微細な損傷が複数の分割撮影画像に跨って取得されるので、劣化予測を正確に行うには多数の画像に基づいてどのような処理を行うかが重要である。しかしながら、上述した特許文献１ではこのような分割撮影の場合の処理について何ら考慮されておらず、劣化予測を精度良く行うのは困難である。

　このように、従来の技術は被写体を分割撮影して複数の画像を取得した場合に、それらの画像に基づく被写体の劣化予測を精度良く行えるものではなかった。

　本発明はこのような事情に鑑みてなされたもので、被写体を分割撮影した複数の画像に基づいて被写体の劣化予測を精度良く行うことができる画像処理装置及び画像処理方法を提供することを目的とする。

　上述した目的を達成するため、本発明の第１の態様に係る画像処理装置は、被写体を分割撮影した複数の画像を入力する画像入力部と、複数の画像についての損傷の検出結果が合成された情報である合成損傷情報を取得する合成損傷情報取得部と、被写体の劣化予測モデルを取得する劣化予測モデル取得部と、合成損傷情報に基づいて被写体の損傷度を算出する損傷度算出部と、損傷度に基づいて劣化予測モデルを修正する劣化予測モデル修正部と、を備える。

　第１の態様では、被写体を分割撮影した複数の画像についての、損傷の検出結果が合成された情報である合成損傷情報を用いる。合成損傷情報は、例えば実際には１つである損傷が複数の画像において撮影されている場合、それら損傷の検出結果が１つの損傷として合成された情報（実際の損傷とその検出結果とが１対１に対応した情報）である。第１の態様に係る画像処理装置はこのような合成損傷情報に基づいて被写体の損傷度を算出しその結果に基づいて劣化予測モデルを修正するので、１つの損傷を複数の損傷として誤認識することがなく、損傷度を正確に算出して劣化予測を精度良く行うことができる。なお、第１の態様では「損傷の検出結果が」合成された情報（合成損傷情報）を用いる。画像は必要に応じて合成すればよい。

　第２の態様に係る画像処理装置は第１の態様において、複数の画像を合成するための合成パラメータを算出するパラメータ算出部と、合成パラメータに基づいて複数の画像を合成して合成画像を得る画像合成部と、合成画像から被写体の損傷を検出する第１の損傷検出部と、をさらに備え、合成損傷情報取得部は第１の損傷検出部による検出の結果を合成損傷情報として取得する。第２の態様では、合成パラメータに基づいて生成した合成画像（例えば、パノラマ合成画像）から損傷を検出し、その結果を合成損傷情報として取得する。第２の態様では第１の損傷検出部が合成画像から損傷を検出するので、検出結果及び合成損傷情報では、１つの損傷は（複数の撮影画像において撮影されている場合でも）１つの損傷として扱われている。また、合成パラメータは画像どうしの移動、回転、変形等を示すパラメータであり、例えば画像間の対応点に基づいて算出することができる。なお第２の態様では、各画像が合成画像で占める領域を合成パラメータに基づいて識別表示してもよい。また、合成画像において指定された領域に対応する画像を表示してもよい。

　第３の態様に係る画像処理装置は第２の態様において、第１の損傷検出部は、被写体に生じたひび割れ、遊離石灰、剥離、鉄筋露出、抜け落ち、うき、及び漏水のうち少なくとも１つを損傷として検出する。第３の態様は画像から検出する損傷の具体例を規定したものである。なお、「うき（浮き）」の検出を行う場合は可視光画像だけでなく赤外線画像を取得することが好ましい。うき部と健全部には温度差があるため、赤外線画像を用いて検出することができる。

　第４の態様に係る画像処理装置は第２または第３の態様のいずれか１つにおいて、第１の損傷検出部による検出の結果をユーザの指示入力に基づいて修正する検出結果修正部をさらに備え、合成損傷情報取得部は修正された検出の結果を合成損傷情報として取得する。画像処理装置が損傷を検出する場合、撮影条件等によって誤検出、検出漏れ等が生じる場合があるが、第４の態様によれば、検出結果修正部がこのような検出結果をユーザの指示入力に基づいて修正するので、精度の良い合成損傷情報を取得し、劣化予測を精度良く行うことができる。

　第５の態様に係る画像処理装置は第２から第４の態様のいずれか１つにおいて、被写体の実サイズを示す実寸情報を取得する実寸情報取得部と、実寸情報に基づいて検出結果を実寸に換算する実寸換算部と、をさらに備え、第１の損傷検出部は実寸に換算した検出結果に基づいて被写体の損傷状態定量データを１つ以上算出する。第５の態様によれば、実寸情報に基づいて検出結果を実寸に換算し、被写体の損傷状態定量データを算出するので、損傷状態の定量化により劣化予測を正確に行うことができる。

　第６の態様に係る画像処理装置は第５の態様において、損傷状態定量データは前写体に生じたひび割れの長さ、ひび割れの幅、ひび割れの間隔、ひび割れの密度、ひび割れの交点の密度、遊離石灰の代表寸法、漏水の代表寸法及び／または面積、剥離の代表寸法及び／または面積、鉄筋露出の代表寸法及び／または面積、抜け落ちの代表寸法及び／または面積、うきの代表寸法及び／または面積、及び遊離石灰の面積のうち少なくとも１つを含む。第６の態様における「代表寸法」として、例えば損傷の範囲に外接する円の最小直径を用いることができるが、これに限定されるものではない。

　第７の態様に係る画像処理装置は第５または第６の態様において、損傷度算出部は損傷状態定量データに基づいて損傷度を算出する。第７の態様によれば、損傷状態定量データに基づき損傷度を定量的に算出することができる。

　第８の態様に係る画像処理装置は第１から第７の態様のいずれか１つにおいて、劣化予測モデル取得部は、被写体の疲労の理論モデル、または損傷度の過去のデータを回帰分析して得られた回帰モデルを劣化予測モデルとして取得する。第８の態様において、被写体（橋梁、道路、ビル等「社会インフラストラクチャ」の設備）の構造、寸法、材質、荷重等に基づくモデルを「理論モデル」とすることができる。また、回帰モデルを取得する場合は、その設備（劣化予測の対象である設備）の過去のデータを用いてもよいし、類似した構造、環境の設備のデータを用いてもよい。

　第９の態様に係る画像処理装置は第１から第８の態様のいずれか１つにおいて、複数の画像の撮影方向の情報を取得する撮影方向情報取得部をさらに備え、合成損傷情報取得部は撮影方向の情報に基づいて合成された合成損傷情報を取得する。撮影された画像では、正面方向（垂直方向）から撮影されているか否かによって被写体及び被写体に生じた損傷の形状、大きさ等が歪む場合がある。そこで、第９の態様のように撮影方向の情報に基づいて合成された合成損傷情報を取得することで被写体の損傷度を正確に算出することができ、算出結果に基づいて劣化予測を精度良く行うことができる。なお第９の態様において、取得した撮影方向の情報に基づいて画像を正対補正し、その結果に基づいて合成損傷情報を取得（生成）してもよい。

　第１０の態様に係る画像処理装置は第１から第９の態様のいずれか１つにおいて、画像入力部は橋梁の床版を撮影した複数の画像を複数の画像として入力し、損傷度算出部は床版におけるひび割れの長さ、ひび割れの幅、ひび割れの間隔、ひび割れの交点の密度、及びひび割れの密度のうち少なくとも１つに基づいて損傷度を算出する。社会インフラストラクチャの設備の中でも、橋梁の維持管理は高コストであり、特に床版（例えばコンクリート製）は車輌等の通行による繰り返し荷重によって劣化が進みやすい。したがって橋梁の床版の劣化予測は重要であり、本発明の第１０の態様を効果的に適用することができる。

　第１１の態様に係る画像処理装置は第１から第１０の態様のいずれか１つにおいて、劣化予測モデル修正部は、劣化予測モデルに基づく劣化予測曲線を損傷度に基づいてシフトさせることにより、または劣化予測曲線の傾きを損傷度に基づいて変化させることにより劣化予測モデルを修正する。第１１の態様は、劣化予測モデル修正の具体的態様の例を規定するものである。

　第１２の態様に係る画像処理装置は第１から第１１の態様のいずれか１つにおいて、劣化予測モデル修正部は、劣化予測モデルに含まれるパラメータを損傷度に基づいて推定し、推定前のパラメータと置き換えることにより劣化予測モデルを修正する。第１２の態様では、劣化予測モデル修正部は、現在（劣化予測の時点）における実際の損傷度に基づいて劣化予測モデルのパラメータを推定し、劣化予測モデルを修正することができる。

　第１３の態様に係る画像処理装置は第１２の態様において、画像入力部は、複数の撮影日時について、それぞれ複数の画像を入力し、損傷度算出部は、複数の撮影日時のそれぞれについて損傷度を算出し、劣化予測モデル修正部は、損傷度に基づいて、複数の撮影日時のそれぞれについて劣化予測モデルに含まれるパラメータを推定し、複数の撮影日時のそれぞれについて推定したパラメータに基づいて修正パラメータを算出し、推定前のパラメータを修正パラメータで置き換えることにより劣化予測モデルを修正する。第１３の態様では複数の撮影日時について複数の画像を入力するので、劣化予測モデルにおける複数のパラメータを推定できる。したがって、撮影日時が増えると（点検回数が増えると）、予測精度を向上させることが可能となる。

　第１４の態様に係る画像処理装置は第１から第１３の態様のいずれか１つにおいて、修正した劣化予測モデルに基づいて被写体の劣化を予測する劣化予測部と、予測の結果を出力する予測結果出力部と、をさらに備える。予測結果は、例えば劣化予測曲線（時系列データ）、特定のタイミングでの損傷度等により表示、印刷、記憶等させることができる。

　第１５の態様に係る画像処理装置は第１の態様において、複数の画像を合成するための合成パラメータを算出するパラメータ算出部と、複数の画像を構成する個々の画像である個別画像から被写体の損傷を検出する第２の損傷検出部と、をさらに備え、合成損傷情報取得部は、第２の損傷検出部による検出の結果を合成パラメータに基づいて合成して合成損傷情報を取得する。第１５の態様は、各画像から損傷を検出し、検出結果を合成して合成損傷情報を取得する態様を規定するものである。

　第１６の態様に係る画像処理装置は第１５の態様において、合成パラメータに基づいて複数の画像を合成して合成画像を得る画像合成部をさらに備える。例えば、パノラマ合成画像のように複数の画像を１つに合成した画像を第１６の態様における「合成画像」とすることができる。なお第１６の態様では、各画像が合成画像で占める領域を合成パラメータ（各画像と合成画像との対応関係）に基づいて識別表示してもよい。また、合成画像において指定された領域に対応する画像を表示してもよい。

　上述した目的を達成するため、本発明の第１７の態様に係る画像処理方法は、被写体を分割撮影した複数の画像を入力する画像入力工程と、複数の画像についての損傷の検出結果が合成された情報である合成損傷情報を取得する合成損傷情報取得工程と、被写体の劣化予測モデルを取得する劣化予測モデル取得工程と、合成損傷情報に基づいて被写体の損傷度を算出する損傷度算出工程と、損傷度に基づいて劣化予測モデルを修正する劣化予測モデル修正工程と、を備える。第１７の態様によれば、第１の態様と同様に被写体を分割撮影した複数の画像に基づいて被写体の劣化予測を精度良く行うことができる。

　第１８の態様に係る画像処理方法は第１７の態様において、複数の画像を合成するための合成パラメータを算出するパラメータ算出工程と、合成パラメータに基づいて複数の画像を合成して合成画像を得る画像合成工程と、合成画像から被写体の損傷を検出する第１の損傷検出工程と、をさらに備え、合成損傷情報取得工程は第１の損傷検出工程による検出の結果を合成損傷情報として取得する。第１８の態様では、第２の態様と同様に合成パラメータに基づいて生成した合成画像（例えば、パノラマ合成画像）から損傷を検出し、その結果を合成損傷情報として取得する。

　第１９の態様に係る画像処理方法は第１７の態様において、複数の画像を合成するための合成パラメータを算出するパラメータ算出工程と、複数の画像を構成する個々の画像である個別画像から被写体の損傷を検出する第２の損傷検出工程と、をさらに備え、合成損傷情報取得工程は、第２の損傷検出工程による検出の結果を合成パラメータに基づいて合成して合成損傷情報を取得する。第１９の態様では、第１５の態様と同様に各画像から損傷を検出し、検出結果を合成して合成損傷情報を取得する。

　なお、第１７から第１９の態様に係る画像処理方法をコンピュータ等に実行させるプログラム、及び斯かるプログラムのコンピュータ読み取り可能なコードを記録した非一時的記録媒体も本発明の態様として挙げることができる。

　以上説明したように、本発明の画像処理装置及び画像処理方法によれば、被写体を分割撮影した複数の画像に基づいて被写体の劣化予測を精度良く行うことができる。

図１は、下面側から見た橋梁の外観図である。図２は、第１の実施形態に係る画像処理装置の構成を示すブロック図である。図３は、第１の実施形態に係る処理部の構成を示す図である。図４は、第１の実施形態に係る記憶部に記憶される情報を示す図である。図５は、第１の実施形態に係る画像処理方法の処理を示すフローチャートである。図６は、床版の撮影手順の例を示す図である。図７は、格間の撮影手順の例を示す図である。図８は、撮影画像を示す図である。図９は、劣化予測モデルのパラメータを示す表である。図１０は、理論式による劣化予測曲線の例を示す図である。図１１は、統計データの回帰式による劣化予測曲線の例を示す図である。図１２は、舗装の劣化曲線の例を示す図である。図１３は、パノラマ合成画像を示す図である。図１４は、合成損傷情報の例を示す図である。図１５は、パノラマ合成画像における表示領域の識別表示及び指定領域表示の例を示す図である。図１６は、損傷状態定量データの例を示す図である。図１７は、劣化予測曲線を修正する様子を示す図である。図１８は、劣化予測曲線を修正する様子を示す他の図である。図１９は、理論式のパラメータ推定及び置き換えにより劣化予測曲線を修正する様子を示す図である。図２０は、補修等の影響を考慮して劣化予測曲線を修正する様子を示す図である。図２１は、第２の実施形態に係る画像処理装置の構成を示すブロック図である。図２２は、第２の実施形態に係る処理部の構成を示す図である。図２３は、第２の実施形態に係る記憶部に記憶される情報を示す図である。図２４は、第２の実施形態に係る画像処理方法の処理を示すフローチャートである。

　以下、添付図面を参照しつつ、本発明に係る画像処理装置及び画像処理装置の実施形態について、詳細に説明する。

　＜橋梁の構造＞
　図１は、建造物の一つである橋梁１を下から見た状態を示す斜視図である。図１に示す橋梁１は、主桁２と、横桁３と、対傾構４と、横構５と、床版６と、橋脚７と、による立体的構造を有し、これらの部材がボルト、リベット、溶接等により連結されて構成されている。主桁２等の上部には、車輌等が走行するための床版６が打設されている。床版６は、鉄筋コンクリート製のものが一般的である。主桁２は橋脚７の間に渡されて床版６上の車輌等の荷重を支える部材であり、また床版６の面（水平面）と直交する面（鉛直方向の面）を有する。横桁３は、荷重を複数の主桁２で支持するため、主桁２を連結する部材である。対傾構４及び横構５は、それぞれ風及び地震の横荷重に抵抗するため、主桁２を相互に連結する部材である。なお、本実施形態では橋梁１を対象（被写体）とする場合について説明するが、対象とする建造物は橋梁に限らずトンネル、ビル等、道路等でもよい。

　＜画像の取得＞
　橋梁１の画像を撮影して損傷を検出する場合、デジタルカメラ１００（図２参照）により橋梁１を撮影し、検査範囲について複数の撮影画像（橋梁１の異なる部分がそれぞれ撮影された複数の画像）を分割して取得する。撮影は、橋梁１の延伸方向及びその直交方向に適宜移動しながら行う。なお橋梁１の周辺状況により検査員の移動が困難な場合は、橋梁１に沿って移動可能な移動体にデジタルカメラ１００を設けて撮影を行ってもよい。このような移動体には、デジタルカメラ１００の昇降機構、回転機構（パン及び／またはチルトを行う機構）を設けてもよい。なお移動体の例としては車輌、ロボット、及び飛翔体（ドローン等）を挙げることができるが、これらに限定されるものではない。

　＜第１の実施形態＞
　＜画像処理装置の構成＞
　図２は、画像処理装置１０（画像処理装置）の概略構成を示すブロック図である。画像処理装置１０はデジタルカメラ１００及び画像処理装置本体２００を備え、被写体を分割撮影して取得した複数の画像について損傷の検出、検出結果の合成等を行うシステムである。画像処理装置１０では、パーソナルコンピュータ、タブレット端末、スマートフォン等の機器（情報端末）を画像処理装置本体２００として用いることができる。画像処理装置１０の各要素は、１つの筐体に収納されていてもよいし、独立した筐体に収納されていてもよい。また、各要素が離れた場所に配置されネットワークを介して接続されていてもよい。

　＜デジタルカメラの構成＞
　デジタルカメラ１００は、図示せぬ撮影レンズ（撮影光学系）、及び撮影レンズにより被写体の光学像が結像する撮像素子（撮像素子）を備える撮影部１１０により画像を取得する。撮影レンズは、可視光用光学系の撮影レンズ及び赤外線用光学系の撮影レンズを備える。撮像素子の例としてはＣＣＤ（Charge Coupled Device）型の撮像素子及びＣＭＯＳ（Complementary Metal-Oxide Semiconductor）型の撮像素子を挙げることができる。可視光用光学系に対応する撮像素子の受光面上にはＲ（赤），Ｇ（緑），またはＢ（青）のカラーフィルタが設けられており、各色の信号に基づいて被写体のカラー画像（可視光画像）を取得することができる。また、赤外線用光学系に対応する撮像素子の受光面上には赤外線を透過させるフィルタが設けられており、被写体の赤外線画像を取得することができる。なお、可視光用と赤線光用の光学系を独立に設けるのではなく、共通の光学系を用いフィルタを切り替えて時分割で画像を撮影してもよい。また、共通の光学系に対応する撮像素子上に可視光用のカラーフィルタを設けた画素と赤外線用のフィルタを設けた画素とを配列して同時に画像を撮影してもよい。また、デジタルカメラ１００はジャイロセンサ１２０（撮影方向取得部）を搭載しており、撮影方向の情報を取得する。撮影方向の測定が可能であればジャイロセンサ以外の機器を用いてもよく、例えば複数のＧＰＳ受信機（ＧＰＳ：Global Positioning System）による位置測定結果から撮影方向を求めることができる。

　デジタルカメラ１００は、無線通信部１３０及びアンテナ１３２を介して画像処理装置本体２００との無線通信を行い、撮影された画像が処理部２１０に入力されて後述する処理が行われる。なお、デジタルカメラ１００は画像処理装置本体２００と別々の筐体に組み込んでもよいし、一体化してもよい。

　＜画像処理装置本体の全体構成＞
　画像処理装置本体２００は処理部２１０、記憶部２２０、表示部２３０、及び操作部２４０を備え、これら各部は互いに接続されて必要な情報が送受信される。また、画像処理装置本体２００はアンテナ２１２を介してデジタルカメラ１００との間で無線通信を行い、デジタルカメラ１００で撮影された撮影画像を取得する。

　＜処理部の構成＞
　図３は処理部２１０の構成を示す図である。処理部２１０は、画像入力部２１０Ａ、合成損傷情報取得部２１０Ｂ、劣化予測モデル取得部２１０Ｃ、損傷度算出部２１０Ｄ、劣化予測モデル修正部２１０Ｅ、パラメータ算出部２１０Ｆ、画像合成部２１０Ｇ、第１の損傷検出部２１０Ｈ、検出結果修正部２１０Ｉ、実寸情報取得部２１０Ｊ、実寸換算部２１０Ｋ、撮影条件取得部２１０Ｌ、劣化予測部２１０Ｍ、表示制御部２１０Ｎ、及び通信制御部２１０Ｏを備え、デジタルカメラ１００で取得した撮影画像の受信、損傷の検出、劣化予測モデルの取得及び修正、予測結果のモニタ２３２への表示制御等を行う。

　画像入力部２１０Ａ（画像入力部）は、デジタルカメラ１００（または記録媒体、ネットワーク等）から橋梁１の撮影画像（被写体である橋梁１を分割撮影した複数の画像）を入力する。合成損傷情報取得部２１０Ｂ（合成損傷情報取得部）は、撮影画像（複数の画像）についての損傷の検出結果が合成された情報である合成損傷情報を取得する。劣化予測モデル取得部２１０Ｃ（劣化予測モデル取得部）は、劣化予測モデル（理論モデル、回帰モデル等）を示すデータを取得する。損傷度算出部２１０Ｄ（損傷度算出部）は、合成損傷情報に基づいて被写体の損傷度を算出する。劣化予測モデル修正部２１０Ｅ（劣化予測モデル修正部）は、損傷度に基づいて劣化予測モデルを修正する。パラメータ算出部２１０Ｆ（パラメータ算出部）は、撮影画像（複数の画像）を合成するための合成パラメータを算出する。

　画像合成部２１０Ｇ（画像合成部）は、合成パラメータに基づいて複数の撮影画像を合成して合成画像を得る。第１の損傷検出部２１０Ｈ（第１の損傷検出部）は、橋梁１に生じたひび割れ、遊離石灰、剥離、鉄筋露出、抜け落ち、うき、及び漏水のうち少なくとも１つを損傷として検出する。検出結果修正部２１０Ｉ（検出結果修正部）は、ユーザの指示入力に基づいて損傷の検出結果を修正する。実寸情報取得部２１０Ｊ（実寸情報取得部）は、被写体の実サイズを示す実寸情報を取得する。実寸換算部２１０Ｋ（実寸換算部）は、実寸情報に基づいて損傷の検出結果を実寸に換算する。撮影条件取得部２１０Ｌ（撮影方向情報取得部）は、撮影条件（撮影日時、場所、露出、ジャイロセンサ１２０により測定された撮影方向等）の情報を取得する。劣化予測部２１０Ｍ（劣化予測部）は、劣化予測モデルに基づいて橋梁１（被写体）の劣化を予測する。表示制御部２１０Ｎ（予測結果出力部）は、取得した画像、損傷の検出結果、劣化の予測結果等をモニタ２３２（表示装置）に表示、プリンタ（不図示）に印刷等させる。通信制御部２１０Ｏは、アンテナ２１２を介してデジタルカメラ１００との間で画像、情報を送受信する。また、通信制御部２１０Ｏは図示せぬネットワークを介して外部サーバ、データベース等との間でデータ（画像、処理結果等）を送受信する。

　なお、処理部２１０の機能の一部または全部をネットワーク上のサーバで実現して、画像処理装置本体２００はデータの入力、通信制御、結果の表示等を行ってもよい。この場合、ネットワーク上のサーバを含めてApplication Service Provider型システムが構築される。

　上述した処理部２１０の機能は、各種のプロセッサ（processor）を用いて実現できる。各種のプロセッサには、例えばソフトウェア（プログラム）を実行して各種の機能を実現する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）が含まれる。また、上述した各種のプロセッサには、画像処理に特化したプロセッサであるＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの、製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）も含まれる。さらに、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路なども、上述した各種のプロセッサに含まれる。

　各部の機能は１つのプロセッサにより実現されてもよいし、同種または異種の複数のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ、またはＣＰＵとＧＰＵの組み合わせ）で実現されてもよい。また、複数の機能を１つのプロセッサで実現してもよい。複数の機能を１つのプロセッサで構成する例としては、第１に、画像処理装置本体、サーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の機能として実現する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、システム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の機能は、ハードウェア的な構造として、上述した各種のプロセッサを１つ以上用いて構成される。さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。

　上述したプロセッサあるいは電気回路がソフトウェア（プログラム）を実行する際は、実行するソフトウェアのプロセッサ（コンピュータ）読み取り可能なコードをＲＯＭ（Read Only Memory）等の非一時的記録媒体に記憶しておき、プロセッサがそのソフトウェアを参照する。非一時的記録媒体に記憶しておくソフトウェアは、画像の入力及び被写体の計測を実行するためのプログラムを含む。ＲＯＭではなく各種光磁気記録装置、半導体メモリ等の非一時的記録媒体にコードを記録してもよい。ソフトウェアを用いた処理の際には例えばＲＡＭ（Random Access Memory）が一時的記憶領域として用いられ、また例えば不図示のＥＥＰＲＯＭ（Electronically Erasable and Programmable Read Only Memory）に記憶されたデータを参照することもできる。

　処理部２１０は、上述の各部の他にＲＯＭ２１４（ROM：Read Only Memory、非一時的記録媒体）を備える。ＲＯＭ２１４には、画像取得、損傷の検出、データの送受信等の処理に必要なプログラム（本発明に係る画像処理方法を実行するためのプログラムを含む）のコンピュータ読み取り可能なコードが記録される。

　＜記憶部の構成＞
　記憶部２２０はＣＤ（Compact Disk）、ＤＶＤ（Digital Versatile Disk）、ハードディスク（Hard Disk）、各種半導体メモリ等の非一時的記録媒体及びその制御部により構成され、図４に示す画像及び情報が互いに関連づけて記憶される。撮影画像２２０Ａは、被写体である橋梁１（床版６、橋脚７、主桁２の部分等）をデジタルカメラ１００で分割撮影し画像入力部２１０Ａにより入力した複数の画像である。なお、デジタルカメラ１００で撮影した画像でなく、ネットワーク、記録媒体経由で取得した画像を記憶してもよい。合成損傷情報２２０Ｂは、複数の画像についての損傷の検出結果が合成された情報である。合成損傷情報２２０Ｂは、ユーザの指示入力に基づいて修正することができる（後述）。劣化予測モデル２２０Ｃは、劣化予測モデル（被写体の疲労の理論モデル、または損傷度の過去のデータを回帰分析して得られた回帰モデル）を示すデータである。合成パラメータ２２０Ｄは、撮影画像（複数の画像）を合成するためのパラメータである。合成画像２２０Ｅは、合成パラメータに基づいて撮影画像（複数の画像）が合成された画像である。

　実寸情報２２０Ｆは、被写体の実サイズを示す情報である。損傷状態定量データ２２０Ｇは、損傷の検出結果に基づいて被写体の損傷度を定量化したデータである。損傷度２２０Ｈは、被写体の損傷の度合いを示す状況であり、時系列データとして記憶することができる。撮影条件２２０Ｉは、撮影画像２２０Ａの撮影条件（日時、場所、露出、撮影方向等）である。撮影条件２２０Ｉは、撮影画像２２０Ａの一部（例えば、ヘッダ部分）として記録してもよいし、別ファイルに記録して撮影画像２２０Ａと関連付けてもよい。修正パラメータ２２０Ｊは、劣化予測モデルに含まれるパラメータを推定結果に基づいて修正したパラメータである。予測結果２２０Ｋは、劣化予測モデルに基づいて被写体の劣化を予測した結果である。

　＜表示部及び操作部の構成＞
　表示部２３０はモニタ２３２（表示装置）を備えており、入力した画像、処理結果、記憶部２２０に記憶されたデータ等を表示することができる。操作部２４０は入力デバイス及び／またはポインティングデバイスとしてのキーボード２４２及びマウス２４４を含んでおり、ユーザはこれらのデバイス及びモニタ２３２の画面を介して、画像の撮影指示、検出結果の修正指示、劣化予測モデルの修正指示等、本発明に係る画像処理方法の実行に必要な操作を行うことができる（後述）。

　＜画像処理の手順＞
　画像処理装置１０による画像処理について説明する。図５は画像処理の手順を示すフローチャートである。

　＜情報取得＞
　ステップＳ１００では、劣化予測等の処理に必要な情報（撮影画像、実寸情報、撮影方向情報、劣化予測モデル等）を取得する。

　＜画像の撮影及び入力＞
　画像入力部２１０Ａは、橋梁１（被写体）を分割撮影して取得した複数の画像を入力する（ステップＳ１００；画像入力工程）。以下、デジタルカメラ１００によりコンクリート製の床版６の画像を撮影及び入力する場合について説明するが、撮影対象は床版６に限らず他の部分（例えば主桁２、横桁３、橋脚７等）でもよい。また、デジタルカメラ１００以外で撮影された画像をネットワーク、記録媒体等を介して入力してもよい。図６は床版６の撮影手順の例を示す図である。図６では、主桁２（ｘ方向に伸びる部材）及び横桁３（ｙ方向に伸びる部材）で規定される格間ＧＯを含む領域Ａを単位として撮影を行い、撮影領域をｙ方向及びｘ方向に（矢印の方向に）順次移動させながら撮影を繰り返す様子を示している。撮影範囲全体の画像が取得できれば、撮影は他の手順で行ってもよい。なお、図６では橋梁１（床版６）の延伸方向をｘ、床版６の面内でｘと直交する方向をｙ、床版６と直交する方向（鉛直下方向）をｚとし、（ｘ，ｙ，ｚ）で右手系の座標を構成している。

　図７は１つの格間ＧＯでの撮影手順の例を示す図である。図７の例では、格間ＧＯの＋ｘ側端部の領域Ａ１から開始して－ｘ方向端部の領域Ａｉに至るまで移動しながら撮影し、再度＋ｘ側端部に戻って領域Ａｊから始めて－ｘ方向端部の領域Ａｎに至るまで、合計ｎ枚（ｎは２以上の整数）の画像を撮影する。これと異なるパターン（例えば領域Ａ１～Ａｉ～Ａｎ～Ａｊの順）で撮影してもよい。撮影の際は、１画像を撮影するごとに撮影位置を移動し常に正対した画像を撮影してもよいし、１つの撮影位置で撮影方向を変えながら複数の画像を撮影してもよい（この場合、斜め方向から撮影された画像が含まれることになる）。また、撮影においては、撮影位置及び撮影方向を適切に設定することにより隣接する画像で十分な（例えば、３０％程度）重複を生じさせることが好ましい。十分な重複を生じさせることにより、合成パラメータの算出に必要な対応点を確保し、損傷の検出結果の合成、及び画像の合成を高精度に行うことが可能となる。

　このような撮影における撮影条件（撮影日時、場所、露出、撮影方向等）は、画像ファイルのヘッダに記録して画像と共に取得することができる。なお、ジャイロセンサ１２０で取得した撮影方向のデータにより「撮影画像が正面方向から撮影できていない」と判断された場合は、デジタルカメラ１００の姿勢を変更して正面方向から再度画像を撮影してもよい。

　図８は撮影画像の例（画像ｉ１～ｉ１０）を示す図である。図８では格間ＧＯの枠Ｆ（主桁２及び横桁３で規定される矩形）を図示しており、その他の部材及び床版６に生じた損傷は図示を省略している。

　＜撮影条件の取得＞
　撮影条件取得部２１０Ｌ（撮影方向情報取得部）は、撮影日時、場所、露出、撮影方向等の撮影条件を取得する（ステップＳ１００：撮影条件取得工程）。撮影条件が画像ファイルのヘッダに記録されている場合は上述した画像の入力により撮影条件も入力でき、ヘッダの情報を読み取ることで撮影条件の情報を取得することができる。撮影条件がヘッダに記録されていない場合は別ファイルとして取得することができ、記録媒体を介して取得してもよい。

　＜実寸情報の取得＞
　実寸情報取得部２１０Ｊ（実寸情報取得部）は、橋梁１の実サイズを示す実寸情報を取得する（ステップＳ１００：実寸情報取得工程）。例えば、主要な部材（主桁２、横桁３等）の長さ及び／または幅の実サイズ、格間ＧＯの面積等を実寸情報として取得することができるが、実寸情報はこれらの情報に限定されるものではなく、実サイズが既知の部材等の情報であればよい。また、大きさが既知の部材（スケール等）を被写体に貼付等して撮影を行ってもよい。記憶部２２０に記憶された情報（実寸情報２２０Ｆ）を実寸情報として取得してもよいし、処理に際して新たに入力して取得してもよい。

　＜劣化予測モデルの取得＞
　劣化予測モデル取得部２１０Ｃ（劣化予測モデル取得部）は、橋梁１（被写体）の疲労の理論モデル、または劣化を示す過去のデータに基づく回帰モデルを示すデータ（いずれのモデルを用いるか、及び用いるモデルにおいて使用するパラメータ）を劣化予測モデルとして取得する（ステップＳ１００：劣化予測モデル取得工程）。劣化予測モデルの取得はユーザの指示入力によらずに行ってもよいし、操作部２４０を介したユーザの指示入力（いずれのモデルを用いるか、及び用いるモデルにおいて使用するパラメータ）に応じて行ってもよい。

　＜疲労の理論モデル＞
　繰り返し荷重による床版の疲労の理論モデルとして、累積疲労損傷度（経過時間ｔにおける損傷度Ｄｔ）は式（１）のように「経過時間ｔにおける基本輪荷重の繰り返し回数Ｎ」と「疲労破壊に至る繰り返し回数Ｎｆ」との比率で表すことができる。なお式（１）は理論モデルの例示であり、他の理論モデルを用いてもよい。

　繰り返し回数Ｎｆは、以下の式（２）により表される。

式（２）中のパラメータの内容は以下の式（３）～（８）の通りである。

　上述した式（１）～（８）におけるパラメータの内容を図９の表に示す。

　上述した理論式では、床版６のコンクリートの圧縮強度（ｆ^’ _ｃ）、基本輪荷重（Ｐ_０）等の値を仮定し、荷重回数（経過時間ｔにおける基本輪荷重の繰り返し回数Ｎ）と破壊に至る繰り返し回数Ｎｆとの比で劣化を予測する（基本輪荷重に満たない荷重は無視する）。例えば、基本輪荷重の繰り返し回数Ｎ（交通量）が初年度の想定回数（例として１，０００回）から年に一定割合（例として３％）で増加すると仮定した場合、損傷度は図１０に示す例のように推移すると予測できる。劣化予測モデル取得部２１０Ｃはこのような劣化予測曲線を取得することができ、これにより任意の経過時間ｔについて損傷度を予測することができる（後述するステップＳ１６０：劣化予測工程）。なお理論式を用いる場合、荷重の大きさ及び／または回数（交通量、大型車数、積載量等に依存）、床版の強度（材料組成、材料均一性、補修の有無等に依存）等が想定値と実際の値とで異なっていると、予測値にばらつきが生じる。

　疲労の理論モデルとして、上述したモデルの他に「コンクリート標準示方書　維持管理編（土木学会）」（以下「示方書」という）に記載の理論式を用いることができる。示方書によれば、累積疲労損傷度Ｄは以下の式（９）により表される。式（９）においてＤは累積疲労損傷度であり、ｎｉは繰り返し回数であり、Ｎｉは疲労破壊に至る繰り返し回数である。

　また、示方書では、過去の輪荷重載荷試験結果から式（１０）が提案されている。

　ここで、Ｐは輪荷重（ｋＮ）であり、ｋ＝０．０７８３５であり、Ｎは疲労破壊に至る繰り返し回数であり、Ｃ＝１．５２（乾燥状態）、１．２３（水張り状態）である。Ｐｓｘは、はり状化した床版の静的せん断耐力（ｋＮ）であり、以下の式（１１）で表される。ｘｍは主鉄筋に直角な断面の引張側コンクリートを無視したときの中立軸深さ（ｍｍ）であり、ｃｍは引張側主鉄筋のかぶり（ｍｍ）である。

　式（１１）において、Ｂは梁（はり）の有効幅（疲労に対する床版の有効幅；ｍｍ）であり、以下の式（１２）で表される。

　ここで、ｂは載荷版の配力鉄筋方向の辺長（＝２００ｍｍ）であり、ｄｄは引っ張り側配力鉄筋方向の有効高さ（ｍｍ）である。また、ｆνはコンクリートのせん断強度（Ｎ／ｍｍ＾２）であり、以下の式（１３）で表される。

　また、コンクリートの引張強度ｆｔ（Ｎ／ｍｍ＾２）は、以下の式（１４）で表される。

　示方書によれば、対象構造物の評価にあたっては、水掛かりに対する対策が完了するまでは湿潤状態のモニタリング結果に基づき乾燥状態と湿潤状態とを反映させた載荷回数に対してそれぞれＣ＝１．５２とＣ＝１．２３の両方を使用し、対策完了後は全ての載荷に対してＣ＝１．５２を使用することが記載されている。

　式（１０）より、軸重荷重を載荷した場合の破壊繰返し回数Ｎｉは式（１５）で表される。

　式（１５）にＰｓｘ＝２５９ｋＮ、ｋ＝０．０７８３５を代入すると式（１６）が得られる。

　＜統計データに基づく回帰モデル＞
　第１の実施形態に係る画像処理装置１０では、上述した理論モデルではなく統計データに基づいた回帰式（損傷度Ｄｔ＝ｆ（ｔ）、ｔは経過時間（年数））による劣化予測曲線を取得することもできる。このような回帰式を用いる場合、橋梁を構造、環境等が類似したグループに分類し、各グループに対して経過時間と損傷度との対応関係のデータを多数収集することにより、経過時間と損傷度との関係を統計的に表す劣化予測回帰モデルを作成することができる。この場合「環境」としては、交通量、気候、海からの距離（飛来塩の量に影響する）、降雪量（凍結防止剤の量に影響する）等が考えられる。このような回帰モデルによる劣化予測曲線の例を図１１に示す。図１１における丸印は個々のデータであり、劣化予測曲線Ｃ１は回帰式による劣化予測曲線である。なお、異なる構造、環境の橋梁についてのデータを分類するのに機械学習の手法を適用してもよい。

　＜機械学習による回帰式の算出＞
　上述した回帰モデルにおいて、劣化予測モデル取得部２１０Ｃは、例えば以下の手法により個々のデータを学習データとした機械学習を行って劣化予測曲線を求めることができる。

　（i）回帰式の多項式展開
　以下の式（１７）のように、経過時間ｔにおける損傷度Ｄｔを表す損傷度関数ｆ_θ（ｔ）を経過時間ｔについて多項式展開する。式（１７）では経過時間ｔについて２次の項まで展開しているが、３次以上の項まで展開してもよい。パラメータθｉは経過時間ｔのｉ次の項に対する係数である。

　（ii）学習データ
　以下の式（１８）のように、個々のデータ（経過時間ｔにおける損傷度Ｄｔ）を学習データとする。なお、上付きの添字ｉはｉ番目の学習データ（ｉ＝１～ｎ；ｎはデータ数）であることを示す。

　（iii）目的関数
　例えば、以下の式（１９）のように各学習データの誤差を２乗して足し合わせて１／２を乗じた関数を目的関数とすることができる。この場合、劣化予測モデル取得部２１０Ｃは目的関数Ｅ（θ）が最小になるようなパラメータθｉ（損傷度関数ｆ_θ（ｔ）を２次の項まで展開した場合、ｉ＝０，１，２）を求める。

　（iv）パラメータθｉの更新式
　目的関数Ｅ（θ）をパラメータθｉで偏微分することにより、以下の式（２０）～（２２）のようにパラメータθｉ（ｉ＝０，１，２）の更新式を求めることができる。式（２０）～（２２）において、左辺におけるθｉは更新後の値、右辺におけるθｉは更新前の値である。なお学習率をηとする。

　（v）パラメータθｉの更新
　劣化予測モデル取得部２１０Ｃは、パラメータθｉ（ｉ＝０，１，２）について、適当な初期値（ランダムに設定してもよいし、初期値を変えながら学習を繰り返してもよい）から始めて終了条件を満たすまで更新を繰り返す。終了条件としては、繰り返し回数、更新前後のパラメータの値の差分に対するしきい値等を採用することができる。なお、学習率ηについては学習が適切に行われるように設定することができる（学習率の設定を変えて学習を繰り返してもよい）。以上の処理により損傷度関数ｆ_θ（ｔ）が求められたら、任意の経過時間ｔについて損傷度Ｄｔを予測することができる（後述する劣化予測の項を参照）。

　＜統計データに基づく劣化予測曲線の他の構造物への適用＞
　統計データに基づく劣化予測曲線は、橋梁の床版に限らず舗装道路、トンネル等様々な建築物、構造物に適用することができる。例えば、図１２は舗装道路のひび割れ率に関する標準的な劣化曲線を示すグラフである（国土交通省「舗装点検要領」による）。第１の実施形態において、画像処理装置１０はこのような劣化曲線を劣化予測モデルとして取得し、実際に得られた損傷の検出結果に基づいて舗装のひび割れ率（損傷度）を算出し、算出した損傷度に基づいて劣化予測モデルを修正することができる。このような処理は、橋梁の床版の場合と同様に画像処理装置１０の各部（例えば合成損傷情報取得部２１０Ｂ、劣化予測モデル取得部２１０Ｃ、損傷度算出部２１０Ｄ、劣化予測モデル修正部２１０Ｅ、第１の損傷検出部２１０Ｈ等）により行うことができる。なお、上述した「舗装点検要領」によれば、道路により管理基準を決め、ひび割れ率が決められた値になったら補修をする等の運用をすることが記載されている。また、「舗装調査・試験法便覧」（社団法人日本道路協会）によれば、舗装のひび割れ率は以下の式（２３）により定義される。

　[数２３]
　　　ひび割れ率（％）＝｛ひび割れ面積（ｍ＾２）／調査対象区画面積（ｍ＾２）｝×１００　　　　　　　　　　　　　　　　　　（２３）
　また、「舗装調査・試験法便覧」によれば、ひび割れ面積の算出方法は以下の通りである。
（１）対象箇所を５０ｃｍ×５０ｃｍのます目に区切る。
（２）各ます目ごとにひび割れの本数をカウントする。
（３）各ます目のひび割れ面積を計上する。ひび割れが０本、１本、２本以上の場合は、ひび割れ面積をそれぞれ０ｍ＾２、０．１５ｍ＾２、０．２５ｍ＾２とする。
（４）全ます目のひび割れ面積を合計し、式（２３）でひび割れ率を算出する。

　＜合成パラメータの算出及び合成画像の生成＞
　図５のフローチャートに戻り、合成パラメータの算出について説明する。パラメータ算出部２１０Ｆは、ステップＳ１００で入力した複数の画像（撮影画像）に関し、画像どうしの対応点から射影変換行列を求めることにより合成パラメータ（合成の際の画像の移動、回転、変形を表すパラメータ）を算出する（ステップＳ１１０：合成パラメータ算出工程）。算出した合成パラメータは合成パラメータ２２０Ｄとして記憶部２２０に記憶される。画像合成部２１０Ｇは、ステップＳ１１０で算出した合成パラメータに基づいて複数の画像（撮影画像）を合成して合成画像を生成する（ステップＳ１２０：画像合成工程）。図１３は合成画像の例を示す図であり、図８の画像ｉ１～ｉ１０に基づいて合成画像ｉ３０が生成された様子を示している。なお、合成パラメータの算出に際し、パラメータ算出部２１０Ｆが撮影方向の情報に基づいて画像をあらかじめ正対補正しておいてもよい。

　＜合成損傷情報の取得＞
　第１の損傷検出部２１０Ｈは、ステップＳ１２０で得られた合成画像から床版６（被写体）の損傷を検出し、合成損傷情報取得部２１０Ｂが検出結果を合成損傷情報として取得する（ステップＳ１３０：第１の損傷検出工程、合成損傷情報取得工程）。第１の実施形態では合成画像から損傷を検出するので、第１の損傷検出部２１０Ｈによる検出結果及び合成損傷情報では１つの損傷は（複数の撮影画像において撮影されている場合でも）１つの損傷として扱われている。このため１つの損傷を複数の損傷として認識することがなく、損傷度を正確に算出して劣化予測を精度良く行うことができる。

　ステップＳ１３０において、第１の損傷検出部２１０Ｈは被写体に生じたひび割れ、遊離石灰、剥離、鉄筋露出、抜け落ち、うき、及び漏水のうち少なくとも１つを損傷として検出する。検出する損傷の種類は建造物（被写体）の種類、特徴、検査の目的等の条件に応じて設定してよい。また、検出する項目としては位置、大きさ、方向、範囲、形状等が挙げられるが、検出項目についても損傷の分類に応じて、また建造物の種類、特徴、検査の目的等の条件に応じて設定してよい。また、損傷の検出手法は特に限定されず、種々の手法を用いることができる。例えば特許４００６００７号公報に記載されたひび割れ検出方法、特表２０１０－５３８２５８号公報に記載された錆及び剥離の検出方法等を用いることができる。

　＜機械学習による損傷の検出＞
　損傷の検出は、例えば「損傷である」（具体的に「ひび割れである」「遊離石灰である」等でもよい）とのラベルを付与した画像を教師データとして与えて機械学習（深層学習等）により学習器を生成し、生成した学習器を用いて損傷を検出してもよい。例えば、画像入力部２１０Ａが取得した画像（記憶部２２０に記憶された撮影画像２２０Ａ、合成画像２２０Ｅ、あるいは学習用に用意された画像でもよい）に対して第１の損傷検出部２１０Ｈが深層学習アルゴリズムに基づき深層学習（ディープラーニング）を用いた画像解析を行うことにより、損傷検出用の学習器を構成することができる。深層学習アルゴリズムでは、コンボリューションニューラルネットワーク（畳み込みニューラルネットワーク）の手法、すなわち畳み込み層及びプーリング層の繰り返しと、全結合層と、出力層とを経て、損傷であるか否かを判定する（損傷を検出する）手法を用いることができる。「このような機械学習を行うか否か」、及び／または「学習結果を利用するか否か」を操作部２４０を介したユーザの指示入力に基づいて設定してもよい。

　＜合成損傷情報の例＞
　合成損傷情報においては、第１の損傷検出部２１０Ｈ及び／または合成損傷情報取得部２１０Ｂが検出結果（検出の結果）をベクトル化し、始点及び終点を有する線分またはその集合（ひび割れ等、線状の損傷の場合）、またはそのような線分により構成される多角形等の図形（剥離、うきのように広がりのある損傷の場合）で表すことができる。例えば、図１４の（ａ）部分は検出結果を示す表の例であり、ひび割れの検出結果（始点及び終点、長さ及び幅（画素数））、検出手法（画像処理装置１０が画像から検出したか、あるいはユーザにより修正されたか）、確認の有無（図１４の（ａ）部分では未確認）を示している。なお、図１４の（ａ）部分において「画像ＩＤ」（ＩＤ：identification）は合成画像の識別情報であり、「元画像ＩＤ」は合成前の元画像（撮影画像）の識別情報である。このように、合成前後の画像の対応関係の情報（対応情報）が保持される。

　＜ユーザの指示入力に応じた検出結果の修正＞
　ステップＳ１３０では、検出結果修正部２１０Ｉがユーザの指示入力（例えば、操作部２４０を介した入力）に基づいて検出結果を修正し（検出結果修正工程）、合成損傷情報取得部２１０Ｂは修正された検出結果を合成損傷情報として取得することができる（合成損傷情報取得工程）。

　検出結果の修正において、検出結果修正部２１０Ｉが「損傷の検出対象となった画像（第１の実施形態では合成画像）を、検出結果をユーザに確認させる確認対象画像とするか否か」を判断し、確認対象画像と判断された画像及びその画像に対する検出結果を表示制御部２１０Ｎによりモニタ２３２に表示させてもよい。この判断は画像の画質、検出結果、撮影条件、及び被写体の構造等に基づいて行うことができる。例えば、明るすぎる画像、暗すぎる画像、ボケの度合いが大きい画像等「画質が低い」画像では誤検出、検出漏れが生じている可能性があるので、検出結果修正部２１０Ｉはこのような画像を「確認対象画像」と判断することができる。なお、検出結果修正部２１０Ｉは、検出結果の「修正」として例えば追加（検出漏れした損傷の情報を加える）、訂正（不適切な検出結果を適切な結果に正す）、削除（誤検出された損傷の情報を削除する）を行うことができる。図１４の（ｂ）部分は、図１４の（ａ）部分に示す検出結果をユーザの指示入力に基づいて修正（追加）した例を示す（ＩＤが「R001-6」のひび割れが追加されている）。

　＜元画像または部分画像の表示による確認、修正＞
　合成画像の画素数（解像度）がモニタ２３２（表示装置）の表示画素数（解像度）を超える場合は、元画像（合成前の撮影画像）もしくは元画像をモニタ２３２の表示領域に合わせて切り出した部分画像を表示してもよい。ユーザが検出結果を確認する際にサイズが大きい合成画像を縮小して表示すると、微細な損傷を見逃す、あるいは誤認する等のおそれがあるが、このような部分画像の表示により画像の縮小に起因する見逃し、誤認等のおそれを低減することができる。また、検出結果を修正する際は、ユーザが既に確認及び／または修正した領域、及び／または現在確認中の領域を識別表示（グレーアウト、あるいは文字、図形、数字、記号の付与等）することが好ましい。これによりユーザは検出結果を効率的に確認及び修正することができる。上述した元画像または部分画像の表示、及び識別表示は表示制御部２１０Ｎ（図３参照）により行うことができる。なお、上述のように画像処理装置１０では合成前後の画像の対応関係の情報（対応情報）が保持されるので、操作部２４０を介したユーザの指示入力に応じて、表示制御部２１０Ｎが指定された領域（画像、部分画像）に対応する画像及びその領域についての検出結果を表示することができる。これによりユーザは所望の領域について検出結果を確認及び修正することができる。

　図１５は、合成画像ｉ３０において画像ｉ１（元の撮影画像）における部分画像ｉ１Ａ～ｉ１Ｃが確認済みであり、現在ユーザが部分画像ｉ１Ｄを確認している状況を示す図である。また、合成画像ｉ３０においてユーザの指示入力により部分画像ｉ２Ｄ（画像ｉ２から切り出した部分画像）が指定されると、表示制御部２１０Ｎは上述した対応情報に基づいて部分画像ｉ２Ｄ及び部分画像ｉ２Ｄについての検出結果を表示する。

　＜損傷度の算出＞
　＜検出結果の実寸換算及び損傷状態定量データの算出＞
　損傷度の算出（図５のステップＳ１４０）においては、検出結果の実寸換算及び損傷状態定量データの算出を行い、損傷状態定量データに基づいて損傷度を算出する。

　＜検出結果の実寸換算＞
　実寸換算部２１０Ｋは実寸情報を用いて検出結果を実寸に換算する。実寸情報としては、ステップＳ１００で取得した実寸情報、または記憶部２２０に記憶された実寸情報２２０Ｆを用いることができる。例えば橋梁１の主要な部材（主桁２、横桁３等）の長さ及び／または幅の実サイズ、格間ＧＯの面積等である。具体的には、実寸換算部２１０Ｋは、以下に例示する式（２４）、（２５）のように合成画像（元の撮影画像でもよい）における損傷の画素数と部材の画素数との比に、その部材の実サイズ（長さ、幅、面積等）を乗じることにより検出結果を実寸換算することができる。

　［数２４］
　実寸換算したひび割れの長さ＝（合成画像におけるひび割れの長さ（画素数））／（合成画像における主桁２の長さ（画素数））×（主桁２の長さ（実サイズ））　　（２４）
　［数２５］
　実寸換算した剥離の面積　　＝（合成画像における剥離領域の画素数）／（合成画像における格間ＧＯの画素数）×（格間ＧＯの面積（実サイズ））　　（２５）
　＜損傷状態定量データの算出＞
　第１の損傷検出部２１０Ｈは、実寸換算した検出結果に基づいて、橋梁１（被写体）の損傷状態定量データを１つ以上算出する。具体的には、第１の損傷検出部２１０Ｈは被写体に生じたひび割れの長さ、ひび割れの幅、ひび割れの間隔、ひび割れの密度、ひび割れの交点の密度、遊離石灰の代表寸法、漏水の代表寸法及び／または面積、剥離の代表寸法及び／または面積、鉄筋露出の代表寸法及び／または面積、抜け落ちの代表寸法及び／または面積、うきの代表寸法及び／または面積、及び遊離石灰の面積のうち少なくとも１つを含む損傷状態定量データを算出する。「代表寸法」としては、例えば損傷の範囲に外接する円の最小直径を用いることができるが、これに限定されるものではない。図１４の（ａ）部分に示す検出結果について損傷状態定量データを算出した例を図１６に示す。図１６の（ａ）部分ではひび割れの損傷状態定量データとして長さ、幅、及びひび割れの密度を示しており、図１６の（ｂ）部分では剥離について外接円の最小直径を代表寸法として示している。なお、上述した検出結果の場合と同様に、このような損傷状態定量データをユーザの指示入力に基づいて修正してもよい。第１の損傷検出部２１０Ｈは、算出した損傷状態定量データを損傷状態定量データ２２０Ｇとして記憶部２２０に記憶する。

　＜損傷状態定量データに基づく損傷度の算出＞
　損傷度算出部２１０Ｄは、ステップＳ１３０で算出した損傷状態定量データに基づいて橋梁１（被写体）の損傷度を算出する（ステップＳ１４０：損傷度算出工程）。例えば、類似の構造及び／または環境における損傷度の統計データあるいは実験データ等から損傷状態定量データと損傷度との関係をあらかじめ定義及び算出しておき、ステップＳ１３０で算出した損傷状態定量データをこの関係に適用することにより損傷度を算出することができる。損傷状態定量データと損傷度との関係は回帰式、ＬＵＴ（Look-Up Table）等により規定することができ、上述した疲労の理論モデルの場合と同様に統計データまたは実験データを機械学習させることで回帰式を求めてもよい。また、損傷の画像と損傷度とを関連付けて学習データとして与えて機械学習により学習器を生成し、生成した学習器に実際の画像（撮影画像、合成画像）を適用することで画像から損傷度を直接算出してもよい。

　損傷度算出部２１０Ｄは、離散的な値（例えば、１，２，３，４，５の５段階）をとる損傷度を算出してもよいし、連続的な値（例えば、０以上１以下）をとる損傷度を算出してもよい。また損傷度算出部２１０Ｄは、損傷度を例えば「橋梁定期点検要項（国土交通省）」（以下「要項」という）に記載された損傷の程度（ａ～ｅの５段階）と対応させて算出することができる。例えば、損傷の状態が要項の「ａ」に相当する場合は０．０≦損傷度＜０．２、状態が「ｂ」に相当する場合は０．２≦損傷度＜０．４、状態が「ｃ」に相当する場合は０．４≦損傷度＜０．６、状態が「ｄ」に相当する場合は０．６≦損傷度＜０．８、状態が「ｅ」に相当する場合は０．８≦損傷度＜１．０と算出することができる。

　＜劣化予測モデルの修正＞
　（例１）劣化予測曲線のシフトによる修正
　劣化予測モデル修正部２１０Ｅは、ステップＳ１４０で算出した損傷度に基づいて劣化予測モデルを修正する（ステップＳ１５０：劣化予測モデル修正工程）。例えば、図１７に示すように元の劣化予測曲線Ｃ２上での現在（ｔ０；２０年経過の時点とする）の損傷度がＤｐであった場合において、ステップＳ１４０で算出した損傷度（現在における実際の損傷度）がＤｒであったと仮定する。この場合、元の劣化予測曲線Ｃ２において損傷度がＤｒとなるのはｔ１（２８年経過）なので、劣化予測モデル修正部２１０Ｅは元の劣化予測曲線Ｃ２を８年分前倒しシフトして劣化予測曲線Ｃ３に修正する。

　（例２）劣化予測曲線の傾きの修正
　劣化予測曲線の修正は、傾きを修正することにより行うこともできる。例えば、図１８に示すように前回点検時（ｔ-1：１５年経過の時点とする）の損傷度をＤ-1、元の劣化予測曲線Ｃ２上での現在（ｔ０；２０年経過の時点とする）の損傷度をＤｐとした場合、損傷度の予測された傾き（変化率）は矢印Ｒｐ（図１８では0.0011/年）で表される。この状況においてステップＳ１４０で算出した損傷度（現在における実際の損傷度）がＤｒであったと仮定すると、経過年数１５年から２０年における損傷度の実際の傾きは矢印Ｒｒ（図１８では0.0021/年）で表される。この場合、劣化予測モデル修正部２１０Ｅは元の劣化予測曲線Ｃ２の傾きに差分0.001（=0.0021-0.0011）を加算して損傷度の実際の傾きを矢印Ｒｒに一致させ、新たな劣化予測曲線Ｃ４とする。

　（例３）理論式のパラメータの推定及び置換による修正
　劣化予測曲線（劣化予測モデル）の修正は、理論式のパラメータを推定し推定前のパラメータと置き換えることにより行うこともできる。例えば、劣化予測モデル修正部２１０Ｅが現在における実際の損傷度に基づいて、理論式のパラメータを１つ推定し、推定前のパラメータと置き換えることにより劣化予測曲線を修正する。理論式のパラメータの推定においては、式（１）から（８）について上述したように、経過時間ｔにおける損傷度Ｄｔは式（２６）のようにＮｔ，Ｐ０，ｆｃ’の関数として表すことができる。

　ただし、Ｎｔは荷重繰り返し回数（床版の新設から経過時間ｔまでの累計）であり、Ｐ０は基本輪荷重であり、ｆｃ’はコンクリート圧縮強度である。

　式（２６）によればＮｔ，Ｐ０，ｆｃ’の値を想定することで将来（任意の経過時間ｔ）の劣化予測を行うことができるが、Ｎｔ，Ｐ０，ｆｃ’の実際の値が想定値と異なると劣化予測精度が低くなる。このため、実際の画像から算出された損傷度に基づいてこれらのパラメータを推定し、置き換えることにより予測精度を向上させることが好ましい。具体的には、劣化予測モデル修正部２１０Ｅは、ある時点の画像から算出された損傷度Ｄｔを既知としてＮｔ，Ｐ０，ｆｃ’のいずれか１つを未知、残りの２つを既知（想定値）として式（２６）の方程式を解くことにより、未知としたパラメータ（Ｎｔ，Ｐ０，ｆｃ’のいずれか１つ）の推定値を得ることができる。推定値はＮｔ，Ｐ０，ｆｃ’のいずれについても算出することができるが、想定値の信頼性が最も低いパラメータについて推定を行うことがこのましい。いずれのパラメータについて推定を行うかを劣化予測モデル修正部２１０Ｅが決定してもよいし、操作部２４０を介したユーザの指示入力に基づいて決定してもよい。

　上述したパラメータの推定を行う場合、複数の撮影日時で点検を行うと損傷度Ｄｔのデータを複数取得することができ、これにより劣化予測モデル修正部２１０Ｅは複数の方程式を立てて複数のパラメータを推定することができる。例えば、２つの方程式を立てれば２つのパラメータを推定することができ（ただしＮｔは過去と現在とで異なる）、複数の撮影日時のそれぞれについて推定したパラメータに基づいて修正パラメータを算出して、修正前のパラメータと置き換えることができる。したがって、点検回数が増えるほどパラメータの推定値をより実体に近い推定値に置き換えることができ、これにより予測精度が向上することが期待できる。劣化予測モデル修正部２１０Ｅが複数の撮影日時のそれぞれについて同一のパラメータを推定する場合、推定したパラメータの平均を修正パラメータとしてもよいし、上述した式（１７）から（２２）と同様に推定値を機械学習により回帰分析して修正パラメータとしてもよい。また、複数の日時で点検を行う場合、複数の方程式を立てることにより異なる複数のパラメータを推定してもよい。この場合も、点検回数が増えるほど多くのパラメータの推定値をより実体に近い推定値に置き換えることができ、これにより予測精度が向上することが期待できる。

　図１９は理論式のパラメータ推定及び置き換えにより劣化予測曲線（劣化予測モデル）を修正する様子を示す図である。劣化予測モデル修正部２１０Ｅは、現在（ｔ０；２０年経過の時点とする）において元の劣化予測曲線Ｃ２で予測された損傷度をＤｐ、実際の損傷度をＤｒとし、上述した予測式においてＮｔ，Ｐ０を既知（想定値）としてコンクリート圧縮強度ｆｃ’を推定する。推定したコンクリート圧縮強度ｆｃ’とＮｔ，Ｐ０についての想定値を用いてＮｆ（疲労破壊に至る繰り返し回数）を再計算し、再計算したＮｆとＮｔ（荷重繰り返し回数）を用いて現在（経過年数２０年）以降の劣化予測曲線Ｃ５を求める。なお、図１９の例では元の劣化予測曲線Ｃ２におけるＮｆを１５０，０００とし、修正後の劣化予測曲線Ｃ５におけるＮｆを１１７，０００としている。

　なお、橋梁が複数の格間から構成されている場合は複数の格間についての情報を用いることができ、１回の点検で格間ごとに「実際の損傷度」を取得することができる。複数の格間で上述したパラメータが共通であると仮定すると、劣化予測モデル修正部２１０Ｅが格間ごとに１つのパラメータを推定し複数の格間についての推定結果を平均する、あるいは上述した式（１７）から（２２）のような機械学習を用いた回帰分析する等により、推定したパラメータの信頼性を向上させることができる。あるいは、上述した方程式を格間の数だけ立てることができるので、１回の点検データに基づいて複数のパラメータを推定してもよい。

　＜補修及び／または補強の影響の考慮＞
　橋梁等の建築物、建造物に補修を行うと損傷度が回復し（損傷度が小さくなる）、補強を行うと劣化の進行速度が遅くなる（劣化曲線の傾きが緩やかになる）。したがって、補修及び／または補強が行われた場合は、その影響を考慮して修正された劣化予測曲線を（劣化予測モデル取得部２１０Ｃが）取得し、取得した劣化予測曲線を（劣化予測モデル修正部２１０Ｅが）実際の損傷度に基づいて修正することが好ましい。

　図２０の（ａ）部分は床版６を補修した場合の劣化予測曲線の変化の例を示す図である。補修前の劣化予測曲線Ｃ２に対しｔ０（３０年経過時点）で補修を実施し、損傷度が約０．３から０．１相当に回復したと仮定すると、この場合、劣化予測モデル修正部２１０Ｅは損傷度が０．１となるのが３０年経過時点となるように劣化予測曲線Ｃ２をシフトして補修後の劣化予測曲線Ｃ６とする。３０年経過以降については補修後の劣化予測曲線Ｃ６をベースとし、劣化予測モデル修正部２１０Ｅが上述した手法により実際の損傷度に基づいて劣化予測曲線を修正することができる。

　図２０の（ｂ）部分は床版６を補強した場合の劣化予測曲線の変化の例を示す図である。補強前の劣化予測曲線Ｃ２に対しｔ０（２０年経過時点）で補強を実施したと仮定すると、劣化予測モデル取得部２１０Ｃは、２０年以降（補強以降）の傾きを補強前の劣化予測曲線Ｃ２に対し緩やかにした劣化予測曲線Ｃ７を取得する。２０年経過以降については補強後の劣化予測曲線Ｃ７をベースとし、劣化予測モデル修正部２１０Ｅが上述した手法により実際の損傷度に基づいて劣化予測曲線を修正することができる。

　＜劣化予測及び予測結果の表示＞
　劣化予測モデル取得部２１０Ｃは上述した手法により劣化予測曲線（劣化予測モデル）を修正することができ、これにより任意の経過時間ｔについて床版６（被写体）の損傷度を予測することができる（ステップＳ１６０：劣化予測工程）。劣化予測曲線（劣化予測モデル）及び予測結果は、劣化予測部２１０Ｍ（劣化予測部）、表示制御部２１０Ｎ（予測結果出力部）等によりモニタ２３２に表示させることができる（ステップＳ１７０：出力工程）。劣化予測曲線（劣化予測モデル）及び予測結果の表示は、指定された経過時間ｔに対する損傷度の数値、テーブル、グラフ等により行うことができる。これらの情報をモニタ２３２に表示するのに代えて、または表示に加えて、図示せぬプリンタにより印刷してもよい。また、劣化予測部２１０Ｍは予測結果を予測結果２２０Ｋとして記憶部２２０に記憶させる（出力の一態様）ことができる。

　以上説明したように、第１の実施形態に係る画像処理装置１０及び画像処理方法によれば、被写体を分割撮影した複数の画像に基づいて被写体の劣化予測を精度良く行うことができる。

　＜第２の実施形態＞
　本発明の第２の実施形態について説明する。図２１は第２の実施形態に係る画像処理装置１１の構成を示す図である。画像処理装置１１では、処理部２１１の構成及び記憶部２２１に記憶される情報が第１の実施形態に係る画像処理装置１０と異なっている。

　具体的には、図２２に示すように、処理部２１１は第１の実施形態における第１の損傷検出部２１０Ｈに代えて第２の損傷検出部２１０Ｐ（第２の損傷検出部）を備える。その他の構成は第１の実施形態における処理部２１０（図３参照）と同様なので、同一の構成要素には同一の参照符号を付し詳細な説明を省略する。また、図２３に示すように、記憶部２２１は第１の実施形態において記憶される情報（図４参照）に加えて検出結果２２０Ｌを記憶する。検出結果２２０Ｌは、個々の撮影画像についての損傷の検出結果である。

　第２の実施形態に係る画像処理装置１１においても、第１の実施形態について上述したのと同様の手法により損傷度の算出、劣化予測モデルの修正等を行うことができる。図２４は第２の実施形態における画像処理の手順（画像処理方法）を示すフローチャートである。図２４に示すフローチャートは、第１の実施形態におけるフローチャート（図５参照）と比較すると、ステップＳ１２０に代えてステップＳ１２２を、ステップＳ１３０に代えてステップＳ１３２をそれぞれ行う点で異なっている。

　＜ステップＳ１２２（合成損傷情報取得工程）＞
　（１）損傷の検出
　第１の実施形態では、上述のように撮影画像を合成し合成画像から損傷を検出する（図５のステップＳ１２０を参照）。これに対し第２の実施形態では、第２の損傷検出部２１０Ｐは、個別画像（ステップＳ１００で取得した複数の画像を構成する個々の画像）から例えば床版６（被写体）の損傷を検出する（第２の損傷検出工程）。検出する損傷の種類、内容、検出手法等は第１の実施形態と同様にすることができる。なお、第２の損傷の検出工程において各画像の撮影方向（ジャイロセンサ１２０で取得した撮影方向の情報（撮影条件２２０Ｉ）に基づいて判断できる）が正面方向でない場合、デジタルカメラ１００の姿勢を変更して正面方向から再度画像を撮影してもよい。あるいは、第２の損傷検出部２１０Ｐが撮影方向の情報に基づいて正対補正を行い、補正後の画像から損傷を検出してもよい。正面方向から撮影した画像もしくは正対補正した画像を対象とすることにより、損傷を精度良く検出することができる。また、第１の実施形態と同様に、検出結果修正部２１０Ｉがユーザの指示入力に基づいて検出結果を修正してもよい（検出結果修正工程）。

　（２）合成損傷情報の取得
　合成損傷情報取得部２１０Ｂは、ステップＳ１１０で算出した合成パラメータに基づいて、個々の画像についての検出結果（第２の損傷検出工程による検出結果）を合成し、合成損傷情報を取得する（合成損傷情報取得工程）。個々の画像についての検出結果（第２の損傷検出工程による検出結果）を合成するので、得られる合成損傷情報は第１の実施形態と同様に１つの損傷が１つの損傷として扱われている。このため１つの損傷を複数の損傷として誤認識することがなく、損傷度を正確に算出して劣化予測を精度良く行うことができる。

　＜ステップＳ１３２（合成画像の生成）＞
　画像合成部２１０Ｇは、ステップＳ１１０で算出した合成パラメータに基づいて複数の撮影画像を合成して合成画像を取得する（ステップＳ１３２：画像合成工程）。

　＜劣化予測モデルの修正及び劣化の予測＞
　第２の実施形態に係る画像処理装置１１及び画像処理方法においても、第１の実施形態と同様に劣化予測モデルの修正及び劣化の予測を行うことができ、これにより第１の実施形態と同様に被写体を分割撮影した複数の画像に基づいて被写体の劣化予測を精度良く行うことができる。

　以上で本発明の実施形態に関して説明してきたが、本発明は上述した態様に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能である。例えば、被写体は橋梁の床版以外の部材でもよいし、また橋梁以外の建築物、建造物、構造物（例えば道路、ビル、ダム、配管等）でもよい。

１　　　　橋梁
２　　　　主桁
３　　　　横桁
４　　　　対傾構
５　　　　横構
６　　　　床版
７　　　　橋脚
１０　　　画像処理装置
１１　　　画像処理装置
１００　　デジタルカメラ
１１０　　撮影部
１２０　　ジャイロセンサ
１３０　　無線通信部
１３２　　アンテナ
２００　　画像処理装置本体
２１０　　処理部
２１０Ａ　画像入力部
２１０Ｂ　合成損傷情報取得部
２１０Ｃ　劣化予測モデル取得部
２１０Ｄ　損傷度算出部
２１０Ｅ　劣化予測モデル修正部
２１０Ｆ　パラメータ算出部
２１０Ｇ　画像合成部
２１０Ｈ　第１の損傷検出部
２１０Ｉ　検出結果修正部
２１０Ｊ　実寸情報取得部
２１０Ｋ　実寸換算部
２１０Ｌ　撮影条件取得部
２１０Ｍ　劣化予測部
２１０Ｎ　表示制御部
２１０Ｏ　通信制御部
２１０Ｐ　第２の損傷検出部
２１１　　処理部
２１２　　アンテナ
２１４　　ＲＯＭ
２２０　　記憶部
２２０Ａ　撮影画像
２２０Ｂ　合成損傷情報
２２０Ｃ　劣化予測モデル
２２０Ｄ　合成パラメータ
２２０Ｅ　合成画像
２２０Ｆ　実寸情報
２２０Ｇ　損傷状態定量データ
２２０Ｈ　損傷度
２２０Ｉ　撮影条件
２２０Ｊ　修正パラメータ
２２０Ｋ　予測結果
２２０Ｌ　検出結果
２２１　　記憶部
２３０　　表示部
２３２　　モニタ
２４０　　操作部
２４２　　キーボード
２４４　　マウス
Ａ　　　　領域
Ａ１　　　領域
Ａｉ　　　領域
Ａｊ　　　領域
Ａｎ　　　領域
Ｃ１　　　劣化予測曲線
Ｃ２　　　劣化予測曲線
Ｃ３　　　劣化予測曲線
Ｃ４　　　劣化予測曲線
Ｃ５　　　劣化予測曲線
Ｃ６　　　劣化予測曲線
Ｃ７　　　劣化予測曲線
Ｄｔ　　　損傷度
Ｆ　　　　枠
ＧＯ　　　格間
Ｓ１００～Ｓ１７０　画像処理方法の各ステップ
ｉ１　　　画像
ｉ２　　　画像
ｉ３　　　画像
ｉ４　　　画像
ｉ５　　　画像
ｉ６　　　画像
ｉ７　　　画像
ｉ８　　　画像
ｉ９　　　画像
ｉ１０　　画像
ｉ３０　　合成画像
ｉ１Ａ　　部分画像
ｉ１Ｄ　　部分画像
ｉ２Ｄ　　部分画像
ｔ　　　　経過時間

Claims

　被写体を分割撮影した複数の画像を入力する画像入力部と、
　前記複数の画像についての損傷の検出結果が合成された情報である合成損傷情報を取得する合成損傷情報取得部と、
　前記被写体の劣化予測モデルを取得する劣化予測モデル取得部と、
　前記合成損傷情報に基づいて前記被写体の損傷度を算出する損傷度算出部と、
　前記損傷度に基づいて前記劣化予測モデルを修正する劣化予測モデル修正部と、
　を備える画像処理装置。
　前記複数の画像を合成するための合成パラメータを算出するパラメータ算出部と、
　前記合成パラメータに基づいて前記複数の画像を合成して合成画像を得る画像合成部と、
　前記合成画像から前記被写体の損傷を検出する第１の損傷検出部と、
　をさらに備え、
　前記合成損傷情報取得部は前記第１の損傷検出部による検出の結果を前記合成損傷情報として取得する請求項１に記載の画像処理装置。
　前記第１の損傷検出部は、前記被写体に生じたひび割れ、遊離石灰、剥離、鉄筋露出、抜け落ち、うき、及び漏水のうち少なくとも１つを前記損傷として検出する請求項２に記載の画像処理装置。
　前記第１の損傷検出部による検出の結果をユーザの指示入力に基づいて修正する検出結果修正部をさらに備え、前記合成損傷情報取得部は前記修正された前記検出の結果を前記合成損傷情報として取得する請求項２または３に記載の画像処理装置。
　前記被写体の実サイズを示す実寸情報を取得する実寸情報取得部と、
　前記実寸情報に基づいて前記検出結果を実寸に換算する実寸換算部と、
　をさらに備え、前記第１の損傷検出部は前記実寸に換算した前記検出結果に基づいて前記被写体の損傷状態定量データを１つ以上算出する請求項２から４のいずれか１項に記載の画像処理装置。
　前記損傷状態定量データは前記被写体に生じたひび割れの長さ、ひび割れの幅、ひび割れの間隔、ひび割れの密度、ひび割れの交点の密度、遊離石灰の代表寸法、漏水の代表寸法及び／または面積、剥離の代表寸法及び／または面積、鉄筋露出の代表寸法及び／または面積、抜け落ちの代表寸法及び／または面積、うきの代表寸法及び／または面積、及び遊離石灰の面積のうち少なくとも１つを含む請求項５に記載の画像処理装置。
　前記損傷度算出部は前記損傷状態定量データに基づいて前記損傷度を算出する請求項５または６に記載の画像処理装置。
　前記劣化予測モデル取得部は、前記被写体の疲労の理論モデル、または前記損傷度の過去のデータを回帰分析して得られた回帰モデルを前記劣化予測モデルとして取得する請求項１から７のいずれか１項に記載の画像処理装置。
　前記複数の画像の撮影方向の情報を取得する撮影方向情報取得部をさらに備え、前記合成損傷情報取得部は前記撮影方向の情報に基づいて合成された合成損傷情報を取得する請求項１から８のいずれか１項に記載の画像処理装置。
　前記画像入力部は橋梁の床版を撮影した複数の画像を前記複数の画像として入力し、前記損傷度算出部は前記床版におけるひび割れの長さ、ひび割れの幅、ひび割れの間隔、ひび割れの交点の密度、及びひび割れの密度のうち少なくとも１つに基づいて前記損傷度を算出する請求項１から９のいずれか１項に記載の画像処理装置。
　前記劣化予測モデル修正部は、前記劣化予測モデルに基づく劣化予測曲線を前記損傷度に基づいてシフトさせることにより、または前記劣化予測曲線の傾きを前記損傷度に基づいて変化させることにより劣化予測モデルを修正する請求項１から１０のいずれか１項に記載の画像処理装置。
　前記劣化予測モデル修正部は、前記劣化予測モデルに含まれるパラメータを前記損傷度に基づいて推定し、推定前の前記パラメータと置き換えることにより前記劣化予測モデルを修正する請求項１から１１のいずれか１項に記載の画像処理装置。
　前記画像入力部は、複数の撮影日時について、それぞれ前記複数の画像を入力し、
　前記損傷度算出部は、前記複数の撮影日時のそれぞれについて前記損傷度を算出し、
　前記劣化予測モデル修正部は、
　前記損傷度に基づいて、前記複数の撮影日時のそれぞれについて前記劣化予測モデルに含まれる前記パラメータを推定し、
　前記複数の撮影日時のそれぞれについて推定した前記パラメータに基づいて修正パラメータを算出し、
　前記推定前の前記パラメータを前記修正パラメータで置き換えることにより前記劣化予測モデルを修正する、
　請求項１２に記載の画像処理装置。
　前記修正した劣化予測モデルに基づいて前記被写体の劣化を予測する劣化予測部と、
　前記予測の結果を出力する予測結果出力部と、
　をさらに備える請求項１から１３のいずれか１項に記載の画像処理装置。
　前記複数の画像を合成するための合成パラメータを算出するパラメータ算出部と、
　前記複数の画像を構成する個々の画像である個別画像から前記被写体の損傷を検出する第２の損傷検出部と、をさらに備え、
　前記合成損傷情報取得部は、前記第２の損傷検出部による検出の結果を前記合成パラメータに基づいて合成して前記合成損傷情報を取得する請求項１に記載の画像処理装置。
　前記合成パラメータに基づいて前記複数の画像を合成して合成画像を得る画像合成部をさらに備える請求項１５に記載の画像処理装置。
　被写体を分割撮影した複数の画像を入力する画像入力工程と、
　前記複数の画像についての損傷の検出結果が合成された情報である合成損傷情報を取得する合成損傷情報取得工程と、
　前記被写体の劣化予測モデルを取得する劣化予測モデル取得工程と、
　前記合成損傷情報に基づいて前記被写体の損傷度を算出する損傷度算出工程と、
　前記損傷度に基づいて前記劣化予測モデルを修正する劣化予測モデル修正工程と、
　を備える画像処理方法。
　前記複数の画像を合成するための合成パラメータを算出するパラメータ算出工程と、
　前記合成パラメータに基づいて前記複数の画像を合成して合成画像を得る画像合成工程と、
　前記合成画像から前記被写体の損傷を検出する第１の損傷検出工程と、
　をさらに備え、
　前記合成損傷情報取得工程は前記第１の損傷検出工程による検出の結果を前記合成損傷情報として取得する請求項１７に記載の画像処理方法。
　前記複数の画像を合成するための合成パラメータを算出するパラメータ算出工程と、
　前記複数の画像を構成する個々の画像である個別画像から前記被写体の損傷を検出する第２の損傷検出工程と、をさらに備え、
　前記合成損傷情報取得工程は、前記第２の損傷検出工程による検出の結果を前記合成パラメータに基づいて合成して前記合成損傷情報を取得する請求項１７に記載の画像処理方法。