WO2022153852A1

WO2022153852A1 - 画像解析装置、画像解析方法及びプログラム

Info

Publication number: WO2022153852A1
Application number: PCT/JP2021/048467
Authority: WO
Inventors: 公人勝山
Original assignee: 富士フイルム株式会社
Priority date: 2021-01-14
Filing date: 2021-12-27
Publication date: 2022-07-21
Also published as: US20230342907A1; EP4279908A1; EP4279908A4; CN116710763A; JPWO2022153852A1

Abstract

欠陥部の誤検出を低減できる画像解析装置、画像解析方法、及びプログラムを提供する。プロセッサを備える画像解析装置であって、プロセッサは、点検対象の構造物を撮影した赤外線熱画像を取得し、点検対象の構造物を撮影した可視画像を取得し、赤外線熱画像から温度変状を判定し、温度変状について、少なくとも、赤外線熱画像から得られる温度変状情報と、可視画像から得られる表面変状情報と、に基づき、温度変状の原因を推定する。

Description

画像解析装置、画像解析方法及びプログラム

　本発明は、画像解析装置、画像解析方法及びプログラムに関する。

　赤外線カメラで、コンクリートなどの構造物を撮影した際に取得される赤外線熱画像を用いて、構造物に含まれる浮き、クラックなどの欠陥部と健全部とを判別する技術が知られている。構造物に欠陥部が有ると、昼間のような温度上昇時には欠陥部の表面温度が健全部の表面温度より高くなり、逆に、夜間のような温度下降時には欠陥部の表面温度が健全部の表面温度より低くなる。したがって、赤外線熱画像に、周囲と表面温度の相違する部分が存在すれば、その部位の内部に欠陥部が有ると判別できる。

　一方で、赤外線調査では、構造物の内部に浮きなどの欠陥部が存在しないにも関わらず、表面温度が周囲と異なる部分が有る。例えば、構造物が補修されている場合、補修材の熱伝導率が周囲のコンクリートと異なることにより、補修跡の表面温度が周囲のコンクリートの表面温度と異なる場合がある。また、補修跡における赤外線放射率が周囲のコンクリートと異なることにより、赤外線熱画像における補修跡の見かけの表面温度が周囲のコンクリートと異なる場合がある。表面に遊離石灰などの異物が付着している場合も、その部分における実際の温度及び／又は見かけの温度が周囲のコンクリートと異なる場合がある。他に、色ムラ（カビ、苔、剥離剤、水影響など）、目地、段差、ノロ、砂すじ、錆汁、錆、漏水、表面凹凸、豆板などによっても、実際及び／又は見かけの表面温度が周囲と異なる部分を生じ得る。このように赤外線調査には、構造物内部に浮きなどの欠陥部が存在しないにも関わらず表面温度が周囲と異なる部分、つまり誤検出が多いという問題がある。

　この課題に対して、特許文献１では、以下方法を開示している。構造物の熱画像に影響を及ぼす因子と、この因子の情報を用いて構造物の熱画像から抽出される異常部に不具合が含まれている確率を求める多変量解析の関係式と、を特定する。そして赤外線カメラで構造物を撮影して熱画像を取得し、その熱画像から周囲と温度が異なる異常部を抽出し、その異常部における因子の情報を判別したら、判別した因子の情報を数値化し、その数値を多変量解析の関係式に当てはめて、抽出した異常部に不具合が含まれている確率を求める。

特開２０１３－０９６７４１公報

　特許文献１では、赤外線熱画像において周囲と表面温度の相違する異常部を抽出した後に、外観画像（可視画像）または人の目視で「ひび割れの有無」及び「表面状態」を判別し多変量解析の式に当てはめて、異常部に不具合が含まれる確率を求める方法を開示している。ここで「表面状態」とは色ムラ、不陸面、遊離石灰など、コンクリート構造物表面における変状の有無を意味している。誤検出（構造物内部の欠陥が存在しないにも関わらず周囲と表面温度が相違する異常部）の多くは構造物表面の変状に起因するため、構造物表面の変状の有無を判別する事は誤検出を減らすために有効であると考えられる。

　しかしながら、特許文献１の発明では、判別した構造物表面の変状（ひび割れを含む）の有無の情報に基づいて統計的に不具合の確率を求めるに留まっており、この方法では誤検出を減らすのには不十分である。

　本発明はこのような事情に鑑みてなされたもので、その目的は、欠陥部の誤検出を低減できる画像解析装置、画像解析方法及びプログラムを提供することである。

　第１の態様に係る画像解析装置は、プロセッサを備える画像解析装置であって、プロセッサは、点検対象の構造物を撮影した赤外線熱画像を取得し、点検対象の構造物を撮影した可視画像を取得し、赤外線熱画像から温度変状を判定し、温度変状について、少なくとも、赤外線熱画像から得られる温度変状情報と、可視画像から得られる表面変状情報と、に基づき温度変状の原因を推定する。

　第２の態様に係る画像解析装置において、温度変状情報は、温度変状について、赤外線熱画像の温度分布及び／又は温度分布から得られる情報を含む。

　第３の態様に係る画像解析装置において、温度変状情報は、温度変状の形状及び／又は大きさの情報を含む。

　第４の態様に係る画像解析装置において、表面変状情報は、可視画像の輝度分布及び／又は輝度分布から得られる情報を含む。

　第５の態様に係る画像解析装置において、表面変状情報は、表面変状の種類、形状及び位置の少なくとも一つの情報を含む。

　第６の態様に係る画像解析装置において、プロセッサは、温度変状情報と表面変状情報との類似性に基づき温度変状の原因を推定する。

　第７の態様に係る画像解析装置において、プロセッサは、温度変状の原因を表面変状であると推定した場合、表面変状による温度分布を推定し、赤外線熱画像から低減する。

　第８の態様に係る画像解析装置において、類似性は部分的な類似性を含む。

　第９の態様に係る画像解析装置において、プロセッサは、温度変状に対応する表面変状をひび又は剥離と判定し、温度変状情報と表面変状情報との類似性を評価し、少なくとも一部分が類似する場合に、温度変状の原因が、ひび又は剥離を伴う浮きであると推定する。

　第１０の態様に係る画像解析装置において、プロセッサは、温度変状に対応する表面変状をひび又は剥離と判定し、温度変状の大きさの中に、及び／又は温度変状の境界付近に表面変状の有無を評価し、有りの場合に温度変状の原因が、ひび又は剥離を伴う浮きであると推定する。

　第１１の態様に係る画像解析装置において、プロセッサは、温度変状の境界の温度の傾きに基づき温度変状の原因を推定する。

　第１２の態様に係る画像解析装置において、表面変状は補修跡、遊離石灰、目地、段差、ひび及び剥離の少なくとも一つを含む。

　第１３の態様に係る画像解析装置において、可視画像は可視光の波長域において２種類以上の異なる波長域での反射強度分布を画像化した画像である。

　第１４の態様に係る画像解析装置において、さらに、表示装置を備え、プロセッサは、表示装置に温度変状の原因の推定結果を表示する。

　第１５の態様に係る画像解析方法は、点検対象の構造物を撮影した赤外線熱画像を取得するステップと、点検対象の構造物を撮影した可視画像を取得するステップと、赤外線熱画像から温度変状を判定するステップと、温度変状について、少なくとも、赤外線熱画像から得られる温度変状情報と、可視画像から得られる表面変状情報と、に基づき、温度変状の原因を推定するステップと、を含む。

　第１６の態様に係るコンピュータに実行させるためのプログラムは、点検対象の構造物を撮影した赤外線熱画像を取得するステップと、点検対象の構造物を撮影した可視画像を取得するステップと、赤外線熱画像から温度変状を判定するステップと、温度変状について、少なくとも、赤外線熱画像から得られる温度変状情報と、可視画像から得られる表面変状情報と、に基づき、温度変状の原因を推定するステップと、をコンピュータに実行させる。

　本発明の画像解析装置、画像解析方法及びプログラムによれば、欠陥部の誤検出を低減できる。

図１は画像解析装置のハードウェア構成の一例を示すブロック図である。図２はＣＰＵで実現される処理機能を示すブロック図である。図３は記憶部に記憶される情報を示す図である。図４は画像解析装置を使用した解析方法を示すフロー図である。図５は錆汁が付着した構造物を撮影した赤外線熱画像と可視画像である。図６は図５の画像に対する変状の形状を２値で示した画像である。図７は補修された箇所を含む構造物を撮影した赤外線熱画像と可視画像である。図８は図７の画像に対する変状の形状を２値で示した画像である。図９は剥離した箇所を含む構造物を撮影した赤外線熱画像と可視画像である。図１０は二つの剥離した箇所を含む構造物を撮影した赤外線熱画像と可視画像である。図１１は図９の画像に対する変状の形状を２値で示した画像である。図１２は図１０の画像に対する変状の形状を２値で示した画像である。図１３はひびが有る箇所を含む構造物を撮影した赤外線熱画像と可視画像である。図１４は、別のひびが有る箇所を含む構造物を撮影した赤外線熱画像と可視画像である。図１５は図１３の画像に対する変状の形状を２値で示した画像である。図１６は図１４の画像に対する変状の形状を２値で示した画像である。図１７は表示装置に推定結果を表示させた表示結果の一例を示す図である。

　実施形態に係る画像解析装置は、プロセッサを備える画像解析装置であって、プロセッサは、点検対象の構造物を撮影した赤外線熱画像を取得し、点検対象の構造物を撮影した可視画像を取得し、赤外線熱画像に基づいて温度変状を判定し、温度変状情報を導出し、温度変状に対応する箇所の可視画像に基づく表面変状から表面変状情報を導出し、温度変状情報と表面変状情報とに基づき、温度変状の原因を推定する。

　上記構成の実施形態に係る発明に関し、本発明者は、欠陥部の誤検出の低減について鋭意検討した結果、以下を見出し、本発明に至っている。

　誤検出を減らすためには、判別した構造物表面の変状（以降は表面変状とも呼ぶ）が赤外線熱画像に及ぼす影響を判定する（異常部の原因を判定する）必要がある。そのために赤外線熱画像から抽出した異常部と可視画像から判別した表面変状の位置や形状などの関係を解析することが不可欠である。本発明者は、コンクリート構造物を撮影した赤外線熱画像と可視画像を比較調査し、可視画像において判別した表面変状（色ムラ、目地、段差、錆汁など）と、赤外線熱画像において判別した温度変状（以降は、赤外線熱画像において局所的に周囲と表面温度の相違する部分を温度変状と呼ぶ）の関係が構造物における位置や撮影時期などの熱環境によって異なること、つまりコンクリート表面の表面変状が表面温度に及ぼす影響が、構造物における位置や撮影時期などの熱環境によって異なることを知見した。

　例えば、橋梁の壁高欄を晴れた昼間に撮影した際に、可視画像から判別した色ムラや錆汁と赤外線熱画像から判別した温度変状の位置、形状が明確に一致、つまり色ムラや錆汁が表面温度に大きく影響していたが、一方で、同時期に同じ橋梁の床版下面を撮影した際に、可視画像には壁高欄と同様の色ムラや錆汁が見られたものの、赤外線熱画像に、それに対応する温度変状が見られない場合があった。この違いについて、晴れた昼間において壁高欄には日射があり、その吸収量が色ムラや錆汁の部分と、他の部分とで異なっていたためと本発明者は考えている。この様に、表面変状が表面温度に及ぼす影響は熱環境によって異なるため、その影響を判定する（温度変状の原因を判定する）必要があり、そのために表面変状と温度変状の位置や形状などの関係を解析することが不可欠であることを本発明者は見出した。

　以下、添付図面に従って本発明に係る画像解析装置、画像解析方法及びプログラムの好ましい実施形態について説明する。

　［画像解析装置のハードウェア構成］
　図１は、実施形態に係る画像解析装置のハードウェア構成の一例を示すブロック図である。

　図１に示す画像解析装置１０としては、コンピュータ又はワークステーションを使用できる。本例の画像解析装置１０は、主として入出力インターフェイス１２、記憶部１６、操作部１８、ＣＰＵ（Central Processing Unit）２０と、ＲＡＭ(Random Access Memory)２２と、ＲＯＭ(Read Only Memory)２４と、表示制御部２６とから構成されている。画像解析装置１０には、表示装置３０が接続され、ＣＰＵ２０の指令の下、表示制御部２６の制御により表示装置３０に表示が行われる。表示装置３０は、例えばモニタで構成される。

　入出力インターフェイス１２（図中の入出力Ｉ／Ｆ）は、画像解析装置１０に様々なデータ（情報）を入力できる。例えば、記憶部１６に記憶されるデータが入出力インターフェイス１２を介して入力される。

　ＣＰＵ（プロセッサ）２０は、記憶部１６、又はＲＯＭ２４等に記憶された各種のプログラムを読み出し、ＲＡＭ２２に展開して計算を行うことにより、各部を統括制御する。また、ＣＰＵ２０は、記憶部１６、又はＲＯＭ２４に記憶されているプログラムを読み出して、ＲＡＭ２２を使用して計算を行い画像解析装置１０の各種処理を行う。

　図１に示される赤外線カメラ３２は、点検対象である構造物３６を撮影し、構造物表面の赤外線熱画像を取得する。可視カメラ３４は、点検対象である構造物３６を撮影し、構造物３６の可視画像を取得する。

　画像解析装置１０は、入出力インターフェイス１２を介して赤外線熱画像を赤外線カメラ３２から取得できる。また、画像解析装置１０は、入出力インターフェイス１２を介して可視画像を可視カメラ３４から取得できる。取得された赤外線熱画像及び可視画像は、例えば、記憶部１６に記憶できる。

　図２は、ＣＰＵ２０で実現される処理機能を示すブロック図である。

　ＣＰＵ２０は、赤外線熱画像取得部５１、可視画像取得部５３、温度変状情報導出部５５、表面変状情報導出部５７、原因推定部５９及び情報表示部６１を有する。各部の具体的な処理機能の説明は後で行う。赤外線熱画像取得部５１、可視画像取得部５３、温度変状情報導出部５５、表面変状情報導出部５７、原因推定部５９及び情報表示部６１はＣＰＵ２０の一部であるので、ＣＰＵ２０が各部の処理を実行するとも称することができる。

　図１に戻って、記憶部１６には、オペレーティングシステム、画像解析方法を実行させるプログラム等、画像解析装置１０を動作させるデータ及びプログラムが記憶されている。また記憶部１６は、以下で説明する実施形態で使用する情報等を記憶する。

　図３は、記憶部１６に記憶される情報等を示す図である。記憶部１６はＣＤ（Compact Disk）、ＤＶＤ（Digital Versatile Disk）、ハードディスク（Hard Disk）、フラッシュメモリ等の各種半導体メモリ等から構成されるメモリである。

　記憶部１６は、主に、赤外線熱画像１０１、温度変状情報１０２、可視画像１０３及び表面変状情報１０４を記憶する。

　赤外線熱画像１０１は、赤外線カメラ３２により撮影された画像であって、構造物３６から放射される赤外放射エネルギーを検出し、その赤外放射エネルギーを温度に変換して、構造物表面の温度分布を示した画像である。

　温度変状情報１０２は、温度変状について、赤外線熱画像１０１の温度分布及び／又は温度分布から得られる情報である。

　可視画像１０３は、可視カメラ３４により撮影された画像であって、構造物３６の表面からの可視光の反射強度の分布を示した画像である。通常、可視画像は、可視光の波長域において３種類の異なる波長域での反射強度分布をそれぞれ画像化したＲＧＢ画像から成り、つまり画素ごとに色情報（ＲＧＢ信号値）を持つ。本例においても色情報を持つものとする。なお、後述する可視画像１０３の輝度とは、可視画像１０３の信号値の事を示しており、可視画像１０３の各画素の輝度は、夫々の画素が対応する構造物３６の表面上の位置における可視光の反射強度を反映している。

　また、表面変状情報１０４は、可視画像１０３において、温度変状に対応する箇所の表面変状の情報であり、可視画像１０３の輝度分布及び／又は輝度分布から得られる情報である。

　図１に示す操作部１８はキーボード及びマウスを含み、ユーザはこれらのデバイスを介して、画像解析装置１０に必要な処理を行わせることができる。タッチパネル型のデバイスを用いることにより、表示装置３０が操作部として機能できる。

　表示装置３０は、例えば液晶ディスプレイ等のデバイスであり、画像解析装置１０によって得られた結果を表示できる。

　図４は、画像解析装置１０を使用した画像解析方法を示すフロー図である。図４に示すように、画像解析方法は、赤外線熱画像取得ステップ（ステップＳ１）と、可視画像取得ステップ（ステップＳ２）と、温度変状情報導出ステップ（ステップＳ３）と、表面変状情報導出ステップ（ステップＳ４）と、原因推定ステップ（ステップＳ５）と、推定結果表示ステップ（ステップＳ６）と、を備える。

　＜赤外線熱画像取得ステップ＞
　赤外線熱画像取得部５１は、点検対象の構造物３６を撮影した赤外線熱画像を取得する（赤外線熱画像取得ステップ：ステップＳ１）。赤外線熱画像は、記憶部１６に記憶された赤外線熱画像１０１である。赤外線熱画像１０１が、赤外線熱画像取得部５１により記憶部１６から取得される。なお、記憶部１６に赤外線熱画像１０１が記憶されていない場合には、赤外線熱画像取得部５１は外部から赤外線熱画像１０１を取得する。例えば、赤外線熱画像取得部５１は、入出力インターフェイス１２を介してネットワークを通して、赤外線熱画像１０１を取得でき、また、赤外線熱画像取得部５１は、入出力インターフェイス１２を介して赤外線カメラ３２から赤外線熱画像１０１を取得できる。

　＜可視画像取得ステップ＞
　可視画像取得部５３は、点検対象の構造物を撮影した可視画像を取得する（可視画像取得ステップ：ステップＳ２）。可視画像は、記憶部１６に記憶された可視画像１０３である。可視画像１０３が、可視画像取得部５３により記憶部１６から取得される。なお、記憶部１６に可視画像１０３が記憶されていない場合には、可視画像取得部５３は外部から可視画像１０３を取得する。例えば、可視画像取得部５３は、入出力インターフェイス１２を介してネットワークを通して、可視画像１０３を取得でき、また、可視画像取得部５３は、入出力インターフェイス１２を介して可視カメラ３４から可視画像１０３を取得できる。

　＜温度変状情報導出ステップ＞
　次に、温度変状情報導出部５５は、赤外線熱画像１０１に基づいて温度変状を判定し、温度変状情報１０２を導出する（温度変状情報導出ステップ：ステップＳ３）。

　温度変状情報導出部５５は、赤外線熱画像１０１から、局所的にまとまりをもって、周囲と表面温度の相違する部分を温度変状と判定して抽出し、温度変状情報１０２を導出する。

　例えば、赤外線熱画像１０１の構造物表面の所定範囲において平均の温度から所定の温度差を超える部分（昼間のような温度上昇時には周囲より温度の高い部分、夜間のような温度下降時には周囲より温度の低い部分）を温度変状と判定して抽出できる。周囲と表面温度が相違し、空間的にまとまりをもって連結する部分、又は連結していなくとも所定より近い距離で分布する部分を一つの温度変状と判定できる。なお、温度変状は、必ずしも実際の表面温度が周囲と相違する部分とは限らない。つまり、実際の表面温度は周囲と同じでも赤外線放射率が異なる事により、赤外線熱画像１０１において周囲と表面温度が相違し、温度変状と判定される場合もあり得る。

　ここで赤外線熱画像１０１は赤外線カメラ３２で対象のコンクリートの構造物３６を撮影した赤外線熱画像そのものでもよい。また、温度変状の判定及び／又は温度変状情報導出を容易にするため、元の赤外線熱画像１０１を加工した画像でもよい。例えば、構造物３６の表面の受熱量又は構造物３６の表面からの放熱量が部分的に異なることに起因して構造物３６の表面温度には傾き（温度勾配）が生じていることが多い。そのため、元の赤外線熱画像１０１に対し温度勾配を低減するように加工し、その加工した画像から温度変状を判定して抽出し、温度変状情報１０２を導出してもよい。

　温度変状情報１０２は温度変状の温度分布（温度の空間的な分布）を表す情報であり、少なくとも温度変状の全体を含む範囲（温度変状が赤外線熱画像１０１の端まで広がっている場合は、端まで含めた範囲）の温度分布を表す情報である。後述する原因推定ステップ（ステップＳ５）において、なるべく広い範囲の温度分布を表す情報であることが、原因推定のために好ましい。

　温度変状情報１０２は、元の赤外線熱画像１０１における温度分布そのものでもよいし、元の温度分布を粗く量子化した分布、例えば２値化、３値化又は４値化した分布でもよい。温度変状情報１０２は温度変状の形状を表す情報でもよい。例えば、２値化した温度分布は温度変状の形状を表す情報とも言える。温度変状情報は温度変状を長方形や楕円などで近似した場合の大きさを表す情報でもよい。

　したがって、温度変状情報１０２は、温度変状に関し、赤外線熱画像１０１の温度分布及び／又はその温度分布から得られる情報である。

　温度変状情報導出部５５は、複数の温度変状（ｉ＝１，２，３，・・・Ｎ）を判定し、温度変状情報１０２を導出できる。

　＜表面変状情報導出ステップ＞
　表面変状情報導出部５７は、可視画像１０３に基づいて表面変状情報１０４を導出する（表面変状情報導出ステップ：ステップＳ４）。

　表面変状情報導出部５７は、可視画像１０３から温度変状（ｉ＝１，２，３，・・・Ｎ）に対応する箇所の表面変状情報１０４を導出する。変状とは「当初の状態から変化した状態」又は「普通とは異なった状態」といった意味を持つが、実施形態では特に、補修跡、遊離石灰等の異物付着、色ムラ（カビ、苔、剥離剤、水影響など）、目地、段差、ノロ、砂すじ、錆汁又は錆、漏水、表面凹凸、豆板など、赤外線熱画像におけるコンクリート表面の温度に影響を及ぼし、温度変状の原因になり得る表面の状態を「表面変状」と呼ぶ。またひびや剥離も「表面変状」と呼ぶ。

　表面変状情報１０４は表面変状の有無、種類、形状、位置などを表す情報であり、可視画像１０３の輝度分布（輝度の空間的な分布）から得られる。また、可視画像１０３における色ムラ、錆汁又は錆などの表面変状においては、その輝度分布が温度変状の原因の推定に有効である。

　可視画像１０３の各画素の輝度は、夫々の画素が対応する構造物３６の表面上の位置における可視光の反射強度を反映している。そして輝度の違いは、構造物３６の表面を一様に照らす可視光に対する反射強度の違い、つまり反射率の違いを反映する。つまり、可視光の吸収率の違いを反映している。したがって、可視画像１０３における構造物３６の表面の輝度分布は、構造物３６の表面を一様に照らす日射などの可視光の吸収率の分布、つまり吸収量の分布を反映しており、同様に、構造物３６の表面上の各表面変状の輝度分布は、その表面変状における可視光の吸収量の分布を反映しているため、温度変状の原因の推定に有効である。このことから、表面変状情報１０４は表面変状の輝度分布を表す情報であってもよく、可視画像１０３の輝度分布そのものでもよいし、その輝度分布を粗く量子化した分布、例えば、２値化、３値化又は４値化した分布でもよい。

　したがって、表面変状情報１０４は、可視画像１０３において、温度変状に対応する箇所の表面変状の情報であり、可視画像１０３の輝度分布及び／又は輝度分布から得られる情報である。

　温度変状に対応する箇所の輝度分布（可視画像１０３の輝度分布そのもの、又は、その輝度分布を粗く量子化した分布）は、その箇所の表面変状の有無、種類、形状、位置及び輝度分布を表す情報（内包する情報）であり、その輝度分布を表面変状情報１０４としてもよい。

　表面変状情報１０４として、温度変状に対応する箇所の輝度分布から、表面変状の有無、種類、形状、位置及び輝度分布の少なくとも一つを明示的に導出する場合は、表面変状の中で、ひび及び剥離と、他の表面変状（赤外線熱画像１０１におけるコンクリート表面の温度に影響を及ぼし、構造物３６の内部の欠陥の判別の誤検出の原因となり得る表面の状態）を区別して判定、抽出する。可視画像１０３から、周囲より所定の輝度差を超えて輝度が低く、所定値以上の長さで線状に繋がる部分をひびと判定して抽出する。ひびの抽出方法については機械学習を使った種々の方法や、線形状に着目して、その特徴に基づき抽出する種々の方法が提案されており、何れの方法を用いてもよい。

　剥離した箇所は、元のコンクリート表面と比べ明確に輝度が相違し、輝度分布のテクスチャやコントラスト、周波数スペクトルも異なることから、まとまりをもって周囲より所定の輝度差、輝度分布のテクスチャ、コントラスト、周波数スペクトルの差を超える部分を剥離と判定して抽出する。剥離した箇所と元のコンクリート表面とには段差が有り、その段差の部分が暗い（輝度が低い）ことから、境界部分の暗さ（輝度の低さ）も剥離の判定に有効な特徴となり得る。また他の表面変状として、可視画像１０３から局所的にまとまりをもって、周囲と輝度の相違する部分及び／又は輝度分布のテクスチャの相違する部分及び／又は輝度分布の周波数スペクトルの相違する部分及び／又は輝度分布のコントラストの相違する部分を判定して抽出する。例えば、平均の輝度から所定の輝度差を超える部分を他の表面変状と判定して抽出する。周囲と輝度、輝度分布のテクスチャ、周波数スペクトル、コントラストの何れか又は複数が相違し、空間的にまとまりをもって連結する部分又は連結していなくとも所定より近い距離で分布する部分を一つの表面変状と判定して抽出する。

　上記の処理により、ひび、剥離及び他の表面変状の夫々について有無、形状、位置及び輝度分布の少なくともひとつが得られる。ここで他の表面変状について、後述する原因推定ステップ（ステップＳ５）において、必ずしも表面変状の種類を細かく判別する必要はない（補修跡、遊離石灰、色ムラ、目地、段差、ノロ、砂すじ、錆汁又は錆、漏水、表面凹凸、豆板など）。しかしながら、表面変状の種類を判別した方が、原因推定ステップ（ステップＳ５）において、より適切に原因推定が可能になる。

　具体的には、色ムラ、錆汁又は錆など可視光の吸収量の周囲コンクリートとの違いが、赤外線熱画像１０１における周囲との表面温度の差異の主原因となる表面変状については、上述した通り、輝度分布が可視光の吸収量の分布を反映していることから、輝度分布が表面変状情報１０４として、原因推定ステップ（ステップＳ５）において、原因推定に有効である。

　一方で、輝度分布が原因推定に有効でない表面変状、すなわち輝度分布が寧ろノイズになる表面形状の場合は以下の通りである。例えば補修跡、遊離石灰など熱伝導率や赤外線放射率の周囲コンクリートとの違いが、赤外線熱画像１０１における周囲との表面温度の差異の主原因となる表面変状や、目地、段差など構造的な原因により赤外線熱画像における周囲との表面温度の差異を生じる表面変状については、形状が表面変状情報１０４として、原因推定ステップ（ステップＳ５）において、原因推定に有効である。したがって、他の表面変状について、種類を細かく判別しておくことが好ましい。抽出した表面変状の平均輝度、コントラスト、輝度分散、テクスチャ、周波数スペクトル、形状などの特徴に基づき、その種類を細かく判別可能である。

　ここで、可視画像１０３は通常、可視光の波長域において３種類の異なる波長域での反射強度分布をそれぞれ画像化したＲＧＢ画像から成る。ＲＧＢの何れの輝度分布からひび、剥離、および他の表面変状を判定、抽出してもよいが、錆汁又は錆などの表面変状はコンクリートとの輝度の差異（反射強度の差異）がＲＧＢによって大きく異なるため、最も差異の大きいチャンネルの輝度分布から判定、抽出することが好ましい。例えば、錆汁又は錆の場合、コンクリートと比べＢの輝度が特に低い、すなわちＢの波長域での反射強度の差異である吸収量の差異が大きいため、Ｂの輝度分布から判定することが好ましい。しかしながら、表面変状の種類によってコンクリートとの輝度の差異が大きいチャンネルは異なると考えられる。例えば、色ムラの種類によっては、錆汁又は錆とは逆にＲチャンネルの輝度の差異が特に大きい場合も考えられる。したがって、ＲＧＢの夫々のチャンネルの輝度分布において輝度のばらつきの大きさを評価し、最もばらつきの大きいチャンネルからひび、剥離及び他の表面変状を判定、抽出することが好ましい。例えば、ＲＧＢの夫々のチャンネルの輝度分布において温度変状に対応する箇所における輝度の標準偏差をコンクリートの平均輝度で割った値、つまり変動係数を求め、変動係数の最も大きいチャンネルからひび、剥離、および他の表面変状を判定、抽出してもよい。コンクリートの平均輝度として、温度変状に対応する箇所における輝度の平均値を採用してもよいし、温度変状に対応する箇所を含む、より広い範囲における輝度の平均値を採用してもよい。他の表面変状について、その種類を細かく判別する場合、抽出した表面変状のＲＧＢ夫々のチャンネルの平均輝度、コントラスト、輝度分散、テクスチャ、周波数スペクトルなどの特徴に基づき判別可能である。可視画像１０３が２種類、または４種類以上ある場合も、同様に、最もばらつきの大きいチャンネルでひび、剥離及び他の表面変状を判定、抽出し、また２種類、または４種類以上の夫々のチャンネルの平均輝度、コントラストなどの特徴に基づき他の表面変状の種類を細かく判別できる。

　ここで、温度変状に対応する箇所は、温度変状情報導出ステップ（ステップＳ３）において、赤外線熱画像１０１から温度変状を判定した際の、温度変状に該当する空間的な範囲よりも広い範囲である。後述するように、原因推定ステップ（ステップＳ５）において、温度変状の原因推定の解析では温度変状に該当する範囲より広い範囲の表面変状情報が必要となる。特に、剥離については温度変状と異なる位置の剥離との関係の解析が必要となる。

　なお、上述では、赤外線熱画像取得ステップ（ステップＳ１）と、可視画像取得ステップ（ステップＳ２）と、温度変状情報導出ステップ（ステップＳ３）と、表面変状情報導出ステップ（ステップＳ４）の順序で説明したが、実施形態の範囲内において、これらの順序は適宜変更できる。

　＜原因推定ステップ＞
　原因推定部５９は、温度変状情報１０２と表面変状情報１０４とに基づき、温度変状の原因を推定する（原因推定ステップ：ステップＳ５）。

　なお、表面変状情報導出ステップ（ステップＳ４）で導出された表面変状情報１０４の種類によって原因推定の処理が若干異なるため、第一態様、第二態様及び第三態様として夫々説明する。

　＜第一態様＞
　第一態様として、表面変状情報導出ステップ（ステップＳ４）で温度変状に対応する箇所の輝度分布を表面変状情報とした場合を説明する。ひび及び剥離と、他の表面変状の夫々について原因推定の方法を説明する。

　（他の表面変状）
　表面変状情報導出ステップ（ステップＳ４）で導出した輝度分布から、温度変状情報導出ステップ（ステップＳ３）で導出した温度変状に該当する範囲、または温度変状を含むやや広い範囲を抽出する。この範囲の輝度分布と温度分布の類似性を評価し、類似する場合、温度変状の原因をこの表面変状であると推定する。一方で、類似しない場合、この表面変状以外であると推定し、例えば浮きなどの内部欠陥であると推定する。

　２つの分布の類似性を評価する手法は多くあるが、例えば、輝度分布と温度分布の最小値と最大値が同じになるように夫々の分布を規格化した上で、以下の式（１）で与えられるユークリッド距離を計算することで類似性を評価できる。例えば、式（１）を計算し、距離が所定値以下（０に近い程、類似すると判定できる）の場合に類似すると判定してもよい。

　なお、表面変状の種類や撮影の時期によって輝度の高低と温度の高低との関係は同じ場合も逆の場合もあるため、両方の場合を計算する必要がある。つまり輝度分布をそのままの場合と、輝度の高低を逆にした分布（例えば２５５から元の輝度値を引いた分布）の両方についてユークリッド距離を計算し、どちらかの距離が所定値以下の場合に類似すると判定する。

　sqrt((v(1,1)-t(1,1))²+ (v(2,1)-t(2,1))² + ・・・)　式（１）
ここで、v(x,y)は規格化した輝度分布における座標(x,y)の画素の値を、t(x,y)は規格化した温度分布における座標(x,y)の画素の値を表す。

　また、別の類似性の評価方法として、例えば、以下の式（２）で与えられるピアソンの積率相関係数を計算し、相関係数の絶対値が所定値以上（１に近い程、類似すると判定できる）の場合に類似すると判定してもよい。ここで、相関係数の絶対値を計算することで、輝度の高低と温度の高低との関係が同じ場合も逆の場合も類似性を評価できる。

　Σ(v(x,y) - v_ave) * (t(x,y) - t_ave) / sqrt(Σ(v(x,y) - v_ave)²) / sqrt(Σ(t(x,y) - t_ave)²)　式（２）
ここでv(x,y)は輝度分布における座標(x,y)の画素の値を、v_aveは輝度分布の平均値を、t(x,y)は温度分布における座標(x,y)の画素の値を、t_aveは温度分布の平均値を表す。

　図５は昼間にコンクリート構造物を撮影した画像であり、図５（Ａ）は可視画像であり、図５（Ｂ）は赤外線熱画像である。なお、図５では、撮影された点検対象のコンクリート構造物の表面に錆汁が付着している。

　本例では、温度変状情報導出ステップ（ステップＳ３）において、赤外線熱画像（図５（Ｂ））から周囲より表面温度の高い温度変状と判定、抽出される。温度変状に対応する箇所の可視画像（図５（Ａ））に錆汁が映っており、その輝度分布と温度変状の温度分布が類似するため（輝度の高低と温度の高低との関係は逆）、温度変状の原因がこの表面変状（錆汁）であると推定される。

　図６は、図５の画像に対する変状の形状を２値で示しており、変状の有る画素を１（白）、無い画素を０（黒）で表している。図６（Ａ）は可視画像（図５（Ａ））から導出した表面変状（錆汁）の形状を表し、図６（Ｂ）は赤外線熱画像（図５（Ｂ））から導出した温度変状の形状を表している。図６（Ａ）と図６（Ｂ）とを比較すると類似すると判定される。

　図７は昼間にコンクリート構造物を撮影した画像であり、図７（Ａ）は可視画像であり、図７（Ｂ）は赤外線熱画像である。撮影された点検対象のコンクリート構造物の表面には補修された箇所を含んでいる。

　本例では、温度変状情報導出ステップ（ステップＳ３）において、赤外線熱画像（図７（Ｂ））から周囲より表面温度の高い温度変状と判定、抽出される。温度変状に対応する箇所の可視画像（図７（Ａ））に補修跡が映っており、その輝度分布と温度変状の温度分布が類似するため（輝度の高低と温度の高低との関係は同じ）、温度変状の原因がこの表面変状（補修跡）であると推定される。

　図８は、図７の画像に対する変状の形状を２値で示しており、上述と同様に変状の有る画素を１（白）、無い画素を０（黒）で表している。図８（Ａ）は可視画像（図７（Ａ））から導出した表面変状（補修跡）の形状であり、図８（Ｂ）は赤外線熱画像（図７（Ｂ））から導出した温度変状の形状である。図８（Ａ）と図８（Ｂ）とを比較すると類似すると判定される。

　図７（Ｂ）の補修跡の赤外線熱画像において、温度変状の境界における温度の傾きが急なことが分かる。この様に表面変状に起因する温度変状は、その境界において温度の傾きが急なことが特徴である（但し、表面変状の種類に依る）。浮きなどの内部欠陥の場合、内部欠陥と表面との間で熱が拡散するために、内部欠陥に依る温度変状の境界における温度の傾きは緩やかであり、内部欠陥が深い程、すなわち内部欠陥と表面との間が拡がる程、より熱が拡散するため、温度の傾きが緩やかになる。

　しかしながら、表面変状の場合、表面変状の熱吸収率、熱伝導率、赤外全放射率などの周囲との相違に起因する、表面変状の周囲との表面温度の相違を直接撮影することとなるため、その表面温度の相違の傾きは、内部欠陥の場合より急になる。したがって、この特徴（温度変状の境界において温度傾きが急である特徴）に基づいて温度変状の原因を推定してもよい。

　具体的には、温度変状情報導出ステップ（ステップＳ３）において導出した温度変状に該当する範囲又はやや広い範囲において温度分布と輝度分布が類似し、且つ／又は、温度変状の境界における温度の傾きが所定値（あらかじめ設定された閾値）以上の場合に、温度変状の原因を表面変状であると推定してもよい。

　温度変状の境界における温度の傾きとして、例えば、温度分布をf(x,y)として温度変状の境界上の各点における最大の傾き、つまりfの勾配ベクトルgrad f(x,y) = ∇f(x,y) = (∂f/∂x, ∂f/∂y)の大きさであるsqrt((∂f/∂x)²+ (∂f/∂y)²)を算出し、境界上の各点の最大傾きの平均値を求めればよい。例えば、境界上の各点(x,y)において、式（３）を算出し、その平均値を求めてもよい。

　sqrt((f(x+1,y)- f(x,y))² + (f(x,y+1)- f(x,y))²)　式（３）
　なお、温度変状の境界における温度の傾きは、日射や外気温などの熱環境によって大きく変化する。そこで温度変状と周囲の温度の差分の絶対値や、温度変状と温度変状を含む広い所定範囲における構造物表面の平均温度の差分の絶対値などを計算し、その差分絶対値の最大値や平均値などによって境界における温度の傾きを規格化し（例えば除する）、規格化した温度の傾きが所定値以上の場合に、温度変状の原因を表面変状であると推定してもよい。

　温度変状の温度分布と輝度分布の類似性を評価する際に、表面変状に起因する温度変状の境界における温度傾きが急である特徴も含めて評価されているが、更に上記の様にして本特徴を評価してもよい。なお、温度の傾きを評価する方法として、上記の方法は一例であり、その方法は上記の方法に限定されない。例えば、温度の空間的な２次微分値を用いても間接的に温度の傾きを評価可能である。何れの方法を用いて温度の傾きを評価してもよい。

　本特徴は、特に「補修跡」「目地」「段差」で顕著であり原因推定に有効である。

　（剥離）
　図９と図１０とは、昼間にコンクリート構造物を撮影した画像である。図９（Ａ）は可視画像であり、図９（Ｂ）は赤外線熱画像である。また、図１０（Ａ）は可視画像であり、図１０（Ｂ）は赤外線熱画像である。図９及び図１０では、撮影された点検対象のコンクリート構造物の表面に剥離した箇所を含んでいる。

　図９（Ａ）の可視画像に示すように、右上の箇所で剥離しており、段差の有ることが理解できる。また、図１０（Ａ）の可視画像に示すように、右側に剥離している箇所があり、左側にも小さいが剥離している箇所があり、共に段差が有ることが理解できる。

　図９（Ｂ）及び図１０（Ｂ）の赤外線熱画像から、剥離している箇所に隣接して表面温度の高い部分（赤外線熱画像で色の薄い部分）が見られる。この部分は剥離している箇所から空気が入り、浮いている状態と考えられる。この様に、表面が剥離した箇所では、そこから空気が入り浮いている部分が多く見られる。

　温度変状情報導出ステップ（ステップＳ３）で導出した温度分布と、表面変状情報導出ステップ（ステップＳ４）で導出した輝度分布とから、この様に剥離を伴う浮き（若しくは浮きを伴う剥離）を判定できる。具体的には、温度変状の全体と部分の夫々において温度分布と輝度分布の類似性を評価し、全体は類似せずに部分的に類似する場合に剥離を伴う浮きと判定する。

　温度変状全体の類似性の評価は、輝度分布から温度変状に該当する範囲を抽出し、この範囲の輝度分布と温度分布の類似性を評価する事で行われる。温度変状の部分の類似性の評価は、輝度分布から、温度変状の形状に基づき、温度変状の境界上の夫々の点を中心とした所定範囲を抽出し、夫々の範囲の輝度分布と温度分布の類似性を評価する事で行われる。何れかの部分において類似する場合に剥離を伴う浮きと判定する。輝度分布における剥離している箇所の境界（段差）と、温度分布における温度変状の境界の形状が一致するため、この様な評価により判定できる。なお、類似性の評価は、既に説明した通り輝度分布の輝度の高低と温度分布の温度の高低との関係が同じ場合も逆の場合もカバーする様に行う。

　図９及び図１０の赤外線熱画像から剥離した箇所においては表面温度が周囲より低いことが分かる。同じ箇所を夜間に赤外撮影した場合には、逆に剥離した箇所における表面温度が周囲より高くなる。この様に剥離した箇所の表面温度が周囲と異なる理由は、剥離した箇所が周囲より奥にあるためと考えている。この様に剥離した箇所の表面温度は周囲と異なるため温度変状と判定され抽出される。剥離に起因する温度変状は、浮きなどの内部欠陥や他の表面変状とは、周囲との温度の高低関係が異なるため区別できる。また、輝度分布の剥離の箇所と温度分布における周囲と異なる個所が一致することから、温度変状の全体の温度分布と輝度分布とが明確に類似している。そのため、段差による暗い部分、すなわち輝度の低い部分を伴う特徴的な輝度分布から剥離と他の表面変状とは区別できるため、この温度変状の原因が剥離であると容易に判定できる。剥離を伴う浮きの場合、温度変状と剥離は隣接しており、位置が異なることに留意する。

　図９及び図１０から理解されるように、剥離を伴う浮きの場合も、他の表面変状の場合と同様に、温度変状の境界における温度の傾きが急なため、この特徴を原因推定に利用できる。但し、剥離を伴う浮きの場合、温度変状の境界の内、剥離に隣接する部分のみ温度傾きが急であり、他の部分は通常の浮きと同様に温度傾きが緩やかである。そこで、剥離を伴う浮きの場合、温度変状の境界の全体における温度傾きは緩やかだが、一部の境界における温度傾きが急な場合に剥離を伴う浮きと判定すればよい。

　具体的には温度変状情報導出ステップ（ステップＳ３）で導出した温度分布と、表面変状情報導出ステップ（ステップＳ４）で導出した輝度分布とから、温度変状の全体と部分の夫々で温度分布と輝度分布の類似性を評価し、全体は類似せずに部分的に類似する場合、且つ、温度変状の境界の全体と部分の夫々で温度分布の傾きを評価し、全体の傾きは所定値以下であり部分的に傾きが所定値以上の場合に、温度変状の原因を、剥離を伴う浮きであると推定してもよい。温度変状の境界の全体の温度の傾きは、他の表面変状の場合と同様に、温度変状の境界上の各点において、最大の傾き、つまり温度分布の勾配ベクトルの大きさを求め、その平均値（温度変状の境界上の全点の最大傾きの平均値）を求めればよい。温度変状の境界の部分における温度の傾きは、境界上の夫々の点を中心とした所定範囲を抽出し、抽出した所定範囲に含まれる境界上の全点の最大傾きの平均値を求めればよい。

　ここで、温度変状の温度分布において、輝度分布と類似する部分と、境界の温度の傾きが急な部分は同じである。つまり、温度変状の温度分布において、剥離と隣接する部分において、温度分布と輝度分布が類似し、且つ、境界の温度の傾きが急である。したがって、温度変状の各部分について、輝度分布との類似性の評価と温度傾きの評価を同時に行い、輝度分布と類似し、且つ、温度傾きが急な部分が存在する場合に、温度変状の原因を、剥離を伴う浮きであると推定する方法が好ましい。

　なお、剥離を伴う浮きの場合も、他の表面変状の場合と同様に、温度変状と周囲の温度の差分絶対値や、温度変状と、より広範囲の構造物表面の平均温度の差分絶対値などによって温度傾きを規格化してもよい。剥離を伴う浮きの場合も、他の表面温度の場合と同様に、輝度分布との類似性の評価において、境界における温度傾きが急である特徴も含めて評価されているが、更に上記の様にして温度傾きを評価してもよい。

　図１１は図９の画像に対する変状の形状を２値で示し、図１２は図１０の画像に対する変状の形状を２値で示している。変状の有る画素を１（白）、無い画素を０（黒）で表している。図１１（Ａ）は可視画像（図９（Ａ））から導出した表面変状（剥離）の形状を表し、図１１（Ｂ）は赤外線熱画像（図９（Ｂ））から導出した温度変状の形状を表している。

　図１１に示すように、図１１（Ａ）と図１１（Ｂ）とを比較すると、全体として類似していないが、温度変状の右上の箇所で、剥離に隣接しており、剥離と隣接する部分において温度変状と剥離の境界の形状が類似するため、剥離を伴う浮きと推定できる。

　図１２（Ａ）は可視画像（図１０（Ａ））から導出した表面変状（剥離）の形状を表し、図１２（Ｂ）は赤外線熱画像（図１０（Ｂ））から導出した温度変状の形状を表している。

　図１２に示すように、図１２（Ａ）と図１２（Ｂ）とを比較すると、右の剥離の他に、左にも小さな剥離があり、共に温度変状に隣接しており、隣接する部分において温度変状と形状が類似するため、２か所有る温度変状は共に剥離を伴う浮きと推定できる。

　（ひび）
　図１３と図１４とは、昼間にコンクリート構造物を撮影した画像である。図１３（Ａ）は可視画像であり、図１３（Ｂ）は赤外線熱画像である。また、図１４（Ａ）は可視画像であり、図１４（Ｂ）は赤外線熱画像である。図１３及び図１４では、撮影された点検対象のコンクリート構造物の表面にひびが有る箇所を含んでいる。

　図１３（Ａ）の可視画像から横方向にひびが入っていること、また、図１３（Ｂ）の赤外線熱画像からひびの上側で表面温度が高い（赤外線熱画像で色の薄い部分）ことが理解できる。この、表面温度の高い部分は浮いている状態である。図１３に示すように、浮きにはひびを伴うものが多く見られ、浮きの境界の一部に境界に沿ってひびが有る場合が多い。また、図１４に示すように、浮いている領域の範囲の内部にひびが有る場合も見られる。

　温度変状情報導出ステップ（ステップＳ３）で導出した温度分布と、表面変状情報導出ステップ（ステップＳ４）で導出した輝度分布とから、ひびを伴う浮き（若しくは浮きを伴うひび）を判定できる。まず、温度分布に公知のエッジ検出を行い、温度変状の境界を抽出する。なお、エッジ検出にはソーベル法、ラプラシアン法、キャニー法など公知の様々な方法がある。次に、温度変状の形状に基づき、温度変状の境界上の夫々の点を中心とした所定範囲の輝度分布と、温度変状の境界抽出した分布とを抽出し、類似性を評価する。境界上の何れかの部分において類似する場合に、その部分で境界に沿ってひびが有る、つまりひびを伴う浮きと判定する。

　図１４に示すように、浮きの範囲の内部にひびが有る場合も以下の様にして判定できる。図１４から理解できるように、浮きの範囲の内部において、ひびの有る部分で温度が急変化している。したがって、温度分布にエッジ検出を行った分布において、温度変状の境界のみでなく、温度変状の内部にもエッジとして抽出される線状の部分があり、その線状の部分の形状が、輝度分布のひびの形状と一致する場合にひびを伴う浮きと判定できる。

　具体的には、温度変状の形状に基づき、温度変状の内部の夫々の点を中心とした所定範囲の輝度分布と、温度変状のエッジ抽出した分布とを抽出し、類似性を評価する。温度変状の内部の少なくとも一部分において類似する場合に、温度変状の内部にひびが有る、つまりひびを伴う浮きと判定する。なお、類似性の評価は、上述した様に、評価する２つの分布の値の高低が同じ場合も逆の場合もカバーする様に行う。若しくは輝度分布においてひびの輝度が周囲より低いことを考慮して類似性を評価してもよい。

　ひびを伴う浮きの場合も、剥離の場合と同様に、浮きなどの内部欠陥に依る温度変状と比べて一部の境界における温度の傾きが急である。つまり、温度変状の境界に沿ってひびのある部分において温度傾きが急である。また温度変状の内部のひびが有る部分においても温度傾きが急である。したがって、この特徴も利用してひびを伴う浮きを判定してもよい。例えば、温度分布にエッジ検出を行い、温度変状の境界および内部の温度変化が急な部分を抽出した後に、その内、エッジの大きさが所定値以上、つまり温度の傾きが所定値以上に急な部分を抽出する。温度変状の境界および内部に温度傾きが所定値以上の部分が無い場合、温度変状の原因を、ひびを伴う浮き以外であると推定し、例えば浮きなどの内部欠陥であると推定する。温度傾きが所定値以上の部分が有る場合、そのそれぞれの部分と輝度分布の類似性を評価し、何れかの部分において類似する場合（温度傾きが急な線状の部分があり、その線状の部分の形状が、輝度分布のひびの形状と一致する場合）に、温度変状の原因を、ひびを伴う浮きであると推定してもよい。

　ひびを伴う浮きの場合も、他の表面変状や剥離を伴う浮きの場合と同様に、温度変状と周囲の温度の差分絶対値や、温度変状と、より広範囲の構造物表面の平均温度の差分絶対値などによって温度傾きを規格化してもよい。温度分布のエッジ検出した分布と輝度分布との類似性の評価において、ひびの有る部分で温度分布の温度傾きが急である特徴も含めて評価されているが、更に上記のようにして温度傾きを評価してもよい。

　上述に説明したように、可視画像は通常、ＲＧＢ画像から成る。ＲＧＢの何れの輝度分布から原因推定してもよいが、ＲＧＢの夫々のチャンネルの輝度分布において輝度のばらつきの大きさを評価し、最もばらつきの大きいチャンネルから原因推定することが好ましい。可視画像が２種類、又は４種類以上ある場合も同様である。

　図１５は図１３の画像に対する変状の形状を２値で示し、図１６は図１４の画像に対する変状の形状を２値で示している。変状の有る画素を１（白）、無い画素を０（黒）で表している。

　図１５（Ａ）は可視画像（図１３（Ａ））から導出した表面変状（ひび）の形状を表し、図１５（Ｂ）は赤外線熱画像（図１３（Ｂ））から導出した温度変状の境界の形状を表している。図１５に示すように、図１５（Ａ）の表面変状（ひび）の形状と図１５（Ｂ）の温度変状の境界の形状とが、少なくとも部分的に類似するため、ひびを伴う浮きと推定できる。

　図１６（Ａ）は可視画像（図１４（Ａ））から導出した表面変状（ひび）の形状を表し、図１６（Ｂ）は、赤外線熱画像（図１４（Ｂ））から導出した温度変状の内部におけるエッジ（温度が急変化する部分）の形状を表している。なお、図１６においては、温度変状の境界もエッジとして抽出されるが、境界を省略している。図１６（Ａ）の表面変状（ひび）の形状と図１６（Ｂ）の温度変状の内部におけるエッジの形状とが、少なくとも部分的に類似するため、ひびを伴う浮きと推定できる。

　ひび、剥離及び他の表面変状について原因推定のフローを説明する。ひび、剥離、他の表面変状について原因推定の順序は問わないが、例として、他の表面変状、剥離、ひびの順序で原因推定する場合のフローを説明する。

　最初に、表面変状情報導出ステップ（ステップＳ４）で導出した輝度分布から、温度変状情報導出ステップ（ステップＳ３）で導出した温度変状に該当する範囲を抽出し、この範囲の輝度分布と温度分布の類似性を評価する。その際に、温度変状の境界の温度傾きを評価してもよい。

　類似する場合（且つ／又は境界の温度傾きが急な場合）、温度変状の原因を表面変状であると推定する。更に、温度変状の周囲との温度差の関係に基づき表面変状が剥離か、他の表面変状か判別しても良い。

　類似しない場合（且つ／又は境界の温度傾きが緩やかな場合）、次のステップに進む。

　次に、表面変状情報導出ステップ（ステップＳ４）で導出した輝度分布において、温度変状情報導出ステップ（ステップＳ３）で導出した温度変状の境界上の夫々の点を中心とした所定範囲を抽出し、夫々の範囲の輝度分布と温度分布の類似性を評価する。その際に、夫々の範囲における温度変状の境界の温度傾きを評価してもよい。

　何れかの部分において類似する場合（且つ境界の温度傾きが急な場合）、温度変状の原因を、剥離を伴う浮きであると推定する。何れの部分でも類似しない場合（又は境界の温度傾きが緩やかな場合）、次のステップに進む。

　次に、温度変状情報導出ステップ（ステップＳ３）で導出した温度変状の温度分布にエッジ検出を行う。表面変状情報導出ステップ（ステップＳ４）で導出した輝度分布において、温度変状情報導出ステップ（ステップＳ３）で導出した温度変状の境界上および内部の夫々の点を中心とした所定範囲を抽出し、夫々の範囲の輝度分布とエッジ検出した温度分布の類似性を評価する。その際に、エッジ検出した温度分布から、エッジの大きさが所定値以上の部分のみを抽出してもよい。

　何れかの部分において類似する場合、温度変状の原因を、ひびを伴う浮きであると推定する。類似しない場合、浮きであると推定する。

　温度変状に対応する箇所の輝度分布から、ひび、剥離、他の表面変状について有無、種類、形状、位置、輝度分布を明示的に導出した後に原因推定することも可能である。しかしながら、その方法は、表面変状情報導出ステップ（ステップＳ４）で表面変状の有無、種類などを明示的に導出した後に原因推定する方法と同じため、説明を省略する。

　＜第二態様＞
　第二態様として、表面変状情報導出ステップ（ステップＳ４）で、温度変状に対応する箇所の輝度分布から、表面変状の有無、種類、形状、位置、輝度分布を明示的に導出し、他の表面変状について種類判別しなかった場合を説明する。ひび及び剥離と、他の表面変状の夫々について原因推定の方法を説明する。

　（他の表面変状）
　他の表面変状が無い場合、温度変状の原因を、この表面変状以外であると推定し、例えば浮きなどの内部欠陥であると推定する。他の表面変状が有る場合、第一態様で説明した同様の方法で表面変状の輝度分布と温度分布の類似性を評価し、類似する場合、温度変状の原因をこの表面変状であると推定し、類似しない場合、この表面変状以外、例えば浮きなどの内部欠陥であると推定する。但し、他の表面変状の形状を既に導出してあるので、この表面変状の範囲と温度変状情報導出ステップ（ステップＳ３）で導出した温度変状に該当する範囲の両方を含む範囲で類似性を評価してもよい。また温度分布と輝度分布ではなく形状に基づき、例えば温度変状の有る画素を１、無い画素を０に２値化した分布と、他の表面変状の有る画素を１、無い画素を０に２値化した分布の類似性を評価してもよい。

　第一態様で説明した通り、他の表面変状に起因する温度変状は、内部欠陥に起因する温度変状と比べ、その境界において温度の傾きが急な事が特徴であるため、この特徴に基づいて温度変状の原因推定をしてもよい。その方法は第一態様で説明したため、その説明を省略する。

　（剥離）
　剥離が無い場合、温度変状の原因を、剥離を伴わない原因、例えば剥離の伴わない浮きなどの内部欠陥であると推定する。剥離が有る場合、温度変状情報導出ステップ（ステップＳ３）で導出した温度変状の位置及び形状と、剥離の位置及び形状とを比較し、温度変状と剥離の位置が異なり、且つ、隣接して境界の形状が部分的に類似する場合に、温度変状の原因を、剥離を伴う浮きと推定する。

　例えば温度変状の有る画素を１、無い画素を０に２値化した分布と、剥離の有る画素を１、無い画素を０に２値化した分布について、温度変状の形状に基づき、温度変状の境界上の夫々の点を中心とした所定範囲を抽出し、夫々の範囲の温度変状形状分布（温度変状の有る画素を１、無い画素を０に２値化した分布）と剥離形状分布（剥離の有る画素を１、無い画素を０に２値化した分布）の類似性を評価し、何れかの部分において類似する場合に剥離を伴う浮きと推定する。又は、温度変状と剥離の位置が異なり、且つ隣接して、温度変状の境界の一部において、温度変状の温度分布と剥離の輝度分布が類似する場合、例えば温度変状の形状に基づき、温度変状の境界上の夫々の点を中心とした所定範囲の温度分布および輝度分布を抽出し、夫々の範囲の温度分布と輝度分布の類似性を評価し、何れかの部分において類似する場合に剥離を伴う浮きと推定してもよい。また、剥離が、温度変状情報導出ステップ（ステップＳ３）で導出した温度変状の大きさの外にあり、剥離の境界が温度変状の大きさの境界付近に位置する場合に剥離を伴う浮きと推定してもよい。

　第一態様で説明した通り、剥離を伴う浮きに起因する温度変状は、温度変状の境界の内、剥離に隣接する部分において温度傾きが急である。したがって、温度変状の境界上の夫々の点を中心とした所定範囲において温度変状の形状又は温度分布と剥離の形状又は輝度分布との類似性を評価すると共に、所定範囲における温度変状の境界の温度傾きを評価し、何れかの部分において温度変状の形状又は温度分布と剥離の形状又は輝度分布が類似し、且つ／又は、温度傾きが急な部分が存在する場合に剥離を伴う浮きと推定してもよい。又は、剥離が温度変状の大きさの外にあり剥離の境界が温度変状の大きさの境界付近に位置し、且つ、その境界付近において温度変状の温度傾きが急な場合に剥離を伴う浮きと推定してもよい。

　なお、第一態様で説明した通り、温度傾きを規格化してもよい。

　（ひび）
　ひびが無い場合、温度変状の原因を、ひびを伴わない原因、例えばひびの伴わない浮きなどの内部欠陥であると推定する。ひびが有る場合、温度変状情報導出ステップ（ステップＳ３）で導出した温度変状の形状すなわち、境界の形状と、ひびの形状との類似性を評価する。そして、温度変状の境界上の何れかの部分において類似する場合、その部分で境界に沿ってひびが有る、つまりひびを伴う浮きと推定する。類似性の評価は、例えばいかの通り行う。温度変状の境界の画素を１、それ以外の画素を０とした分布と、ひびの有る画素を１、無い画素を０とした分布について、温度変状の境界上の夫々の点を中心とした所定範囲を抽出する。そして、夫々の範囲の温度変状境界形状分布、すなわち温度変状の境界の画素を１、それ以外の画素を０とした分布と、ひび形状分布、すなわちひびの有る画素を１、無い画素を０とした分布との類似性を評価することにより行う。又は、温度変状の温度分布にエッジ検出を行った分布と、ひびの輝度分布との類似性を評価し、温度変状の境界上の何れかの部分において類似する場合、その部分において境界に沿ってひびが有る、つまりひびを伴う浮きと推定してもよい。また、温度変状情報導出ステップ（ステップＳ３）で導出した温度変状の内部にひびが有る場合、ひびを伴う浮きと推定する。又は、ひびが、温度変状情報導出ステップ（ステップＳ３）で導出した温度変状の大きさの境界付近又は内部に有る場合にひびを伴う浮きと推定してもよい。

　第一態様で説明した通り、ひびを伴う浮きに起因する温度変状は、温度変状の境界に沿ってひびの有る部分において、また温度変状の内部のひびが有る部分において温度傾きが急である。したがって、温度変状の境界上の夫々の点を中心とした所定範囲において温度変状の形状又は温度分布にエッジ検出を行った分布と、ひびの形状又は輝度分布との類似性を評価すると共に、所定範囲における温度変状の境界の温度傾き、例えば検出したエッジの大きさを評価し、何れかの部分において温度変状の形状又は温度分布にエッジ検出を行った分布とひびの形状又は輝度分布が類似し、且つ／又は、温度傾きが急な部分が存在する場合にひびを伴う浮きと推定してもよい。また、温度変状の内部にひびが有る場合、そのひびの部分における温度分布の温度傾きを評価し、ひびの部分において温度傾きが急な場合にひびを伴う浮きと推定してもよい。その際に、そのひびの部分を含む所定範囲において、温度分布にエッジ検出を行った分布とひびの形状又は輝度分布との類似性も評価し、類似する場合、且つ／又は、温度傾きが急な場合にひびを伴う浮きと推定してもよい。

　最初に、表面変状情報導出ステップ（ステップＳ４）で導出した他の表面変状の有無、及び有る場合、表面変状と、温度変状情報導出ステップ（ステップＳ３）で導出した温度変状の類似性評価する。この際に、温度変状の境界の温度傾きを評価してもよい。

　他の表面変状が無い、又は類似しない場合（且つ／又は境界の温度傾きが緩やかな場合）、次のステップに進む。

　類似する場合（且つ／又は境界の温度傾きが急な場合）、温度変状の原因を他の表面変状であると推定する。

　次に、表面変状情報導出ステップ（ステップＳ４）で導出した剥離の有無、及び、有る場合、剥離と温度変状情報導出ステップ（ステップＳ３）で導出した温度変状の部分的な類似性や位置関係を評価する。この際に、夫々の部分における温度変状の境界の温度傾きを評価してもよい。

　剥離が無い、又は何れの部分でも類似しない場合（且つ／又は境界の温度傾きが緩やかな場合）、次のステップに進む。

　何れかの部分において類似する場合（且つ／又は境界の温度傾きが急な場合）、温度変状の原因を、剥離を伴う浮きであると推定する。

　次に、表面変状情報導出ステップ（ステップＳ４）で導出したひびの有無や位置関係（温度変状の境界付近や内部のひび有無を評価する）を評価し、ひびが有る場合、ひびと温度変状情報導出ステップ（ステップＳ３）で導出した温度変状の境界や内部における部分的な類似性を評価する。この際に、夫々の部分における温度変状の温度傾きを評価してもよい。

　ひびが温度変状境界付近に無い場合、又は温度変状境界付近に有るが、温度変状境界の何れの部分もひびと類似しない場合（且つ／又は境界の温度傾きが緩やかな場合）且つ、ひびが温度変状内部に無い場合（又は温度変状内部に有るが、ひび部分において温度分布にエッジ検出を行った分布とひびが類似しない場合、且つ／又は、ひびの部分における温度傾きが緩やかな場合）、温度変状の原因を浮きであると推定する。

　ひびが温度変状境界付近に有り、温度変状境界の何れかの部分においてひびと類似する場合（且つ／又は境界の温度傾きが急な場合）、又は、ひびが温度変状内部に有る場合（且つ、ひび部分において温度分布にエッジ検出を行った分布とひびが類似する場合、且つ／又は、ひびの部分における温度傾きが急な場合）、温度変状の原因を、ひびを伴う浮きであると推定する。

　＜第三態様＞
　第三態様として、表面変状情報導出ステップ（ステップＳ４）で、温度変状に対応する箇所の輝度分布から、表面変状の有無、種類、形状、位置、輝度分布を明示的に導出し、更に他の表面変状について種類判別した場合を説明する。

　ひび及び剥離についての原因推定方法は、第二態様と同じであり、他の表面変状の原因推定方法のみ第二態様と異なる。

　上述した通り、表面変状の種類によって原因推定に有効な情報は以下の様に異なる。

　可視光の吸収量のコンクリートとの違いが表面温度の差異の主原因となる表面変状、例えば色ムラ、錆汁又は錆などは、輝度分布が表面変状情報として原因推定に有効である。

　熱伝導率や赤外線放射率のコンクリートとの違いが表面温度の差異の主原因となる表面変状、例えば補修跡、遊離石灰など、また構造的な原因により表面温度の差異を生じる表面変状、例えば目地、段差などは、形状が表面変状情報として原因推定に有効である。

　例えば、図５の錆汁については輝度分布が原因推定に有効だが、図７の補修跡については補修跡表面の輝度分布がノイズとなり形状のみの方が有効なことが理解できる。そこで、第三態様では、基本的には第二態様と同じ方法で他の表面変状について原因推定するが、表面変状の種類によって類似性の評価に利用する表面変状情報を使いわける、具体的には輝度分布か形状か、を使いわけるようにする。

　第一態様で説明した通り、表面変状に起因する温度変状は、内部欠陥に起因する温度変状と比べ、境界における温度の傾きが急である。しかしながら、図５に示した錆汁のように、必ずしも境界の温度傾きが急ではない表面変状もある。したがって、表面変状の種類によって、温度変状の境界の温度傾きの評価を実施する、しないを切り替え、錆汁のように必ずしも境界の温度傾きが急ではない表面変状については温度傾きの評価を実施しない方法が好ましい。

　＜推定結果表示ステップ＞
　情報表示部６１は、温度変状の原因の推定結果を、表示制御部２６を介して表示装置３０に表示する（推定結果表示ステップ：ステップＳ６）。

　温度変状情報導出ステップ（ステップＳ３）で判定、抽出した夫々の温度変状について、原因推定ステップ（ステップＳ５）で推定した原因を表示する。赤外線熱画像上の夫々の温度変状の近くに表示してもよいし、可視画像上に温度変状の位置及び形状と共に表示してもよい。赤外線熱画像と可視画像を加工した任意の画像及び／又は他の任意の画像上に表示してよい。第三態様の場合（他の表面変状の種類を判別した場合）は、原因推定ステップ（ステップＳ５）で推定した原因が「他の表面変状」である場合には、その種類（色ムラ、目地、段差、錆汁など）を表示することが好ましい。

　図１７は表示装置３０に推定結果を表示させた表示結果の一例を示す図である。図１７には、図１０（Ｂ）に対応する赤外線熱画像が表示されている。さらに、温度変状情報導出ステップ（ステップＳ３）で温度変状と判定して抽出した箇所を白枠で囲んで表示すると共に、原因推定ステップ（ステップＳ５）で推定した原因「剥離を伴う浮き」を白字で白枠の近くに表示している。

　図１７では、赤外線熱画像の一部分のみを表示しているが、撮影された赤外線熱画像全体を表示して、その中で、温度変状と判定して抽出した夫々の箇所について原因を表示することもでき、もっと広い範囲で表示してもよい。

　図１７の例は、あくまで一例であり、原因「剥離を伴う浮き」を見易くするために、その文字の背景だけ白地にしてもよく、その見せ方には無数のバリエーションがあり、特に限定されない。

　＜他の態様＞
　浮きなどのコンクリート構造物内部の原因による構造物表面温度の差異が、表面変状に起因する構造物表面温度の差異に埋もれ、構造物内部の原因による温度の差異を判別できないことが生じうる。例えば、コンクリート表面において剥離した箇所は補修材が充てんされ補修されるが、その補修材が数年後に元のコンクリート構造物から浮いてくる場合がある。その浮きによる温度の差異は判別できることが望ましいが、補修材自体の熱伝導率や赤外線放射率が周囲のコンクリートと異なることで発生する温度の差異に埋もれて判別できないことが生じる。

　この様な場合でも、構造物内部の原因による温度の差異を判別できるように、温度変状の原因を他の表面変状であると推定した場合に、表面変状による温度分布を温度変状情報と表面変状情報に基づき推定し、元の温度分布から低減してもよい。その方法には種々の方法がある。

　例えば、表面変状情報である表面変状の輝度分布に所定のぼかし処理を行い（表面変状による温度分布は輝度分布と比べて熱伝導などの原因によりぼけている）、ぼかした輝度分布のコントラストを調整して、元の温度分布に最も合うように最適化し、そしてコントラスト最適化した輝度分布を、表面変状による温度分布と推定して元の温度分布から差し引く、又は除してもよい。

　但し、本手法のように表面変状の輝度分布から、それによる温度分布を推定する方法は、輝度分布と温度分布が類似しない表面変状については適さない。つまり上述した様に、色ムラ、錆汁又は錆など、可視光の吸収量のコンクリートとの違いが温度の差異の主原因となる表面変状については本手法が適している。

　一方で、補修跡、遊離石灰など、熱伝導率や赤外線放射率のコンクリートとの違いが温度の差異の主原因となる表面変状や、目地、段差など、構造的な原因により温度の差異を生じる表面変状については適さない。その様な表面変状は、表面変状の輝度分布を使わずに温度分布を推定することが好ましい。例えば、表面変状の種類に応じて、表面変状に関する熱的なパラメタを種々に設定して、それらパラメタと表面変状の形状に基づき熱シミュレーション（熱伝導、熱放射、対流を含むシミュレーション）を行って温度分布をシミュレートし、元の温度分布に最も合うシミュレーションの温度分布を表面変状による温度分布と推定して元の温度分布から差し引く、又は除してもよい。

　補修跡、遊離石灰など熱伝導率や赤外線放射率が温度の差異の主原因となる表面変状については熱伝導率や赤外線放射率を特に重要なパラメタとして設定し、目地、段差など構造的な原因により温度の差異を生じる表面変状については目地の凹凸の深さや高さ、段差の高さといった構造のパラメタを特に重要なパラメタとして設定する。

　単純に、元の温度分布を、より低次な数式によって近似した温度分布、例えば１次式（平面）や２次式（曲面）などの低次の多項式によって表され、元の温度分布に最も合う温度分布を表面変状による温度分布と推定して元の温度分布から差し引いてもよい。元の温度分布に所定のぼかし処理を行った分布を表面変状による温度分布と推定して元の温度分布から差し引いてもよい。

　上述の実施形態では、温度変状情報導出ステップ（ステップＳ３）の温度変状判定と温度変状情報導出、表面変状情報導出ステップ（ステップＳ４）の表面変状情報導出及び原因推定ステップ（ステップＳ５）の原因推定、の夫々の工程をルールベースで行う方法を説明した。

　これに限定されず、温度変状情報導出ステップ（ステップＳ３）、表面変状情報導出ステップ（ステップＳ４）及び原因推定ステップ（ステップＳ５）の夫々の工程は様々な機械学習手法によって実施することもできる。

　例えば、温度変状情報導出ステップ（ステップＳ３）において、赤外線熱画像から温度変状を判定し、その形状を含む情報を導出する方法としてFCN(Fully Convolutional Network)、SegNet(A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation)、U-Net(Convolutional Networks for Biomedical Image Segmentation)など、画像から物体を検出し、その領域を抽出する機械学習手法を利用できる。

　また、表面変状情報導出ステップ（ステップＳ４）の可視画像から表面変状情報を導出する方法にも同じ機械学習手法を利用できる。可視画像の場合、ＲＧＢ画像など、複数の種類の画像が有る場合、その全ての種類の可視画像を入力とすればよい。

　温度変状情報導出ステップ（ステップＳ３）において温度変状を判定し、その大きさを導出するのみであればR-CNN (Regions with CNN(Convolutional Neural Network) features)、Fast R-CNN 、Yolo (You Only Look Once)、SSD (Single Shot MultiBox Detector)などの機械学習手法も利用できる。

　表面変状情報導出ステップ（ステップＳ４）において、まず表面変状を判定し、その輝度分布から特徴量（平均輝度、形状、輝度分布のテクスチャ、コントラスト、周波数スペクトルなどの特徴量）を抽出し、その特徴量から表面変状の種類（他の表面変状、剥離、ひび。また他の表面変状の種類として色ムラ、目地、段差、錆汁など）を判別する場合は、その判別方法としてロジスティック回帰、線形判別分析、K最近傍法、決定木（分類木）、ランダムフォレスト、サポートベクターマシン（SVM）など、特徴量から物体を分類する機械学習手法を利用できる。

　原因推定ステップ（ステップＳ５）において、温度変状情報と表面変状情報から温度変状の原因推定する方法も、温度変状情報と表面変状情報の形態に応じて様々な機械学習手法によって実施できる。例えば、温度変状情報として温度変状の温度分布、表面変状情報として温度変状に対応する箇所の輝度分布を入力とする場合、DNN（Deep Neural Network）、CNNなどの機械学習手法によって、温度変状の原因を「他の表面変状（他の表面変状の種類も分類する場合には「色ムラ」「目地」「段差」「錆汁」など）」「剥離を伴う浮き」「ひびを伴う浮き」「浮き」などに分類する事ができる。

　温度変状情報導出ステップ（ステップＳ３）、表面変状情報導出ステップ（ステップＳ４）及び原因推定ステップ（ステップＳ５）を全てまとめて一つの機械学習手法により実施することもできる。つまり、赤外線熱画像と可視画像（ＲＧＢなど、複数の種類の画像が有る場合はその全ての種類の可視画像）を入力として、先に挙げたFCN、SegNet、U-Net、R-CNN、Fast R-CNN 、Yolo、SSDなどの機械学習手法によって温度変状を検出すると共に、その原因を分類することができる。なお、機械学習を実行する場合、学習データが豊富であることが好ましい。

　上述の実施形態では、他の表面変状、剥離及びひびの夫々について原因推定を順番に行い、温度変状の原因として一つの原因を推定する実施例を説明した。温度変状の原因として複数の候補を推定してもよい。つまり、他の表面変状、剥離、及びひびの夫々について原因推定を行ってもよく、温度変状の原因として、他の表面変状、剥離を伴う浮き、ひびを伴う浮きなどの複数の候補を推定してもよい。

　また、原因を二者択一で推定するのではなく確率的に推定してもよい。例えば、他の表面変状、剥離、およびひびの夫々について、可視画像の温度変状に対応する箇所に無い場合は、温度変状の原因である確率0％とし、有る場合は、温度変状の原因である確率として、その輝度分布及び／又は形状と温度変状の温度分布及び／又は形状（又はエッジ検出を行った分布）との類似性の計算値（例えば、上述したユークリッド距離やピアソンの確率相関係数など）を確率に換算した値を採用すればよい。

　また温度変状の境界および内部における温度傾きの計算値も含めて確率に換算した値を採用してもよい。この様な実施例の場合、推定結果表示ステップ（ステップＳ６）では、温度変状情報導出ステップ（ステップＳ３）で判定、抽出した夫々の温度変状について、その原因として推定した複数の候補や、その確率を表示する。

　上記の実施形態のプログラムは、専用の解析プログラムにより実施されてもよく、また、実施する装置は問わない。例えば、パーソナルコンピューターでも実施できる。また、各ステップを実施する装置、又はプログラムは一体であっても、分離されていてもよい。

　＜その他＞
　上記実施形態において、各種の処理を実行する処理部（processing unit）のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。

　１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種または異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の処理部は１つのプロセッサで構成できる。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。

　さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。

　上述の各構成及び機能は、任意のハードウェア、ソフトウェア、或いは両者の組み合わせによって適宜実現可能である。例えば、上述の処理ステップ（処理手順）をコンピュータに実行させるプログラム、そのようなプログラムを記録したコンピュータ読み取り可能な記録媒体（非一時的記録媒体）、或いはそのようなプログラムをインストール可能なコンピュータに対しても本発明を適用することが可能である。

　以上で本発明の例に関して説明してきたが、本発明は上述した実施の形態に限定されず、本発明の趣旨を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

１０　画像解析装置
１２　入出力インターフェイス
１６　記憶部
１８　操作部
２０　ＣＰＵ
２２　ＲＡＭ
２４　ＲＯＭ
２６　表示制御部
３０　表示装置
３２　赤外線カメラ
３４　可視カメラ
３６　構造物
５１　赤外線熱画像取得部
５３　可視画像取得部
５５　温度変状情報導出部
５７　表面変状情報導出部
５９　原因推定部
６１　情報表示部
１０１　赤外線熱画像
１０２　温度変状情報
１０３　可視画像
１０４　表面変状情報
Ｓ１　ステップ
Ｓ２　ステップ
Ｓ３　ステップ
Ｓ４　ステップ
Ｓ５　ステップ
Ｓ６　ステップ

Claims

　プロセッサを備える画像解析装置であって、
　前記プロセッサは、
　点検対象の構造物を撮影した赤外線熱画像を取得し、
　点検対象の前記構造物を撮影した可視画像を取得し、
　前記赤外線熱画像から温度変状を判定し、
　前記温度変状について、
　少なくとも、前記赤外線熱画像から得られる温度変状情報と、
　前記可視画像から得られる表面変状情報と、に基づき、
　前記温度変状の原因を推定する、画像解析装置。
　前記温度変状情報は、前記温度変状について、前記赤外線熱画像の温度分布及び／又は前記温度分布から得られる情報を含む、請求項１に記載の画像解析装置。
　前記温度変状情報は、前記温度変状の形状及び／又は大きさの情報を含む、請求項２に記載の画像解析装置。
　前記表面変状情報は、前記可視画像の輝度分布及び／又は輝度分布から得られる情報を含む、請求項１から３のいずれか一項に記載の画像解析装置。
　前記表面変状情報は、前記表面変状の種類、形状及び位置の少なくとも一つの情報を含む、請求項４に記載の画像解析装置。
　前記プロセッサは、
　前記温度変状情報と前記表面変状情報との類似性に基づき前記温度変状の原因を推定する、請求項１から５のいずれか一項に記載の画像解析装置。
　前記プロセッサは、
　前記温度変状の原因を前記表面変状であると推定した場合、
　前記表面変状による温度分布を推定し、前記赤外線熱画像から低減する、請求項６に記載の画像解析装置。
　前記類似性は部分的な類似性を含む、請求項６に記載の画像解析装置。
　前記プロセッサは、
　前記温度変状に対応する前記表面変状をひび又は剥離と判定し、
　前記温度変状情報と前記表面変状情報との類似性を評価し、
　少なくとも一部分が類似する場合に、前記温度変状の原因が、前記ひび又は剥離を伴う浮きであると推定する、
　請求項１から５のいずれか一項に記載の画像解析装置。
　前記プロセッサは、
　前記温度変状に対応する前記表面変状をひび又は剥離と判定し、
　前記温度変状の大きさの中に、及び／又は前記温度変状の境界付近に前記表面変状の有無を評価し、
　有りの場合に前記温度変状の原因が、前記ひび又は剥離を伴う浮きであると推定する、
　請求項１から５のいずれか一項に記載の画像解析装置。
　前記プロセッサは、
　前記温度変状の境界の温度の傾きに基づき前記温度変状の原因を推定する、
　請求項１から１０のいずれか一項に記載の画像解析装置。
　前記表面変状は補修跡、遊離石灰、目地、段差、ひび及び剥離の少なくとも一つを含む、請求項１１に記載の画像解析装置。
　前記可視画像は可視光の波長域において２種類以上の異なる波長域での反射強度分布を画像化した画像である、請求項１から１２のいずれか一項に記載の画像解析装置。
　さらに、表示装置を備え、
　前記プロセッサは、前記表示装置に前記温度変状の原因の推定結果を表示する、請求項１から１３のいずれか一項に記載の画像解析装置。
　点検対象の構造物を撮影した赤外線熱画像を取得するステップと、
　点検対象の前記構造物を撮影した可視画像を取得するステップと、
　前記赤外線熱画像から温度変状を判定するステップと、
　前記温度変状について、
　少なくとも、前記赤外線熱画像から得られる温度変状情報と、
　前記可視画像から得られる表面変状情報と、に基づき、
　前記温度変状の原因を推定するステップと、
　を含む画像解析方法。
　点検対象の構造物を撮影した赤外線熱画像を取得するステップと、
　点検対象の前記構造物を撮影した可視画像を取得するステップと、
　前記赤外線熱画像から温度変状を判定するステップと、
　前記温度変状について、
　少なくとも、前記赤外線熱画像から得られる温度変状情報と、
　前記可視画像から得られる表面変状情報と、に基づき、
　前記温度変状の原因を推定するステップと、
　をコンピュータに実行させるためのプログラム。