WO2022239573A1

WO2022239573A1 - 画像処理装置、画像処理方法、及び画像処理プログラム

Info

Publication number: WO2022239573A1
Application number: PCT/JP2022/016570
Authority: WO
Inventors: 公人勝山
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2021-05-13
Filing date: 2022-03-31
Publication date: 2022-11-17
Anticipated expiration: 2023-11-13
Also published as: JPWO2022239573A1; US20240046494A1; CN117255931A; DE112022002560T5

Abstract

本発明は、複数の画像を対応づける際の位置ズレを低減することができる画像処理装置、画像処理方法、及び画像処理プログラムを提供することを目的とする。本発明の一の態様に係る画像処理装置において、プロセッサは、同一の対象物を異なる位置から撮像した第１画像及び第２画像であって、異なる波長帯域で撮像された２次元画像である第１画像及び第２画像を取得し、対象物の表面における基準点の位置を示す情報を取得し、取得した第１画像、第２画像、及び情報に基づいて、表面における基準点以外の点である非基準点に対応する第１画像の値と、第２画像の値とを対応づける。

Description

画像処理装置、画像処理方法、及び画像処理プログラム

　本発明は画像処理装置、画像処理方法、及び画像処理プログラムに関し、特に複数の画像の位置合わせを行う技術に関する。

　トンネルや橋梁等の構造物は経年変化等により劣化するため、構造物の健全度を的確に診断しうる診断方法が求められている。このような診断方法として、構造物の画像を取得して、この画像に基づいて構造物の診断を行う方法が提案されている。例えば、構造物の可視画像を取得して診断を行う方法や、赤外線画像を取得して診断を行う方法が提案されている。可視画像によれば、コンクリート、モルタル、タイル等の構造物においてひび割れ、剥離などの表面の欠陥を検出することができ、また赤外線画像によれば、浮きなどの内部欠陥を検出することができる。可視画像と赤外線画像の両方を取得し診断を行う方法も提案されている。例えば、特許文献１には、通常のカメラと赤外線カメラを利用して、構造物に係る可視画像データと赤外線画像データとを取得して、これらの画像データを重畳することでハイブリッド画像とし、このハイブリッド画像によって構造物を診断する方法が記載されている。

特開２０１２－０９８１７０号公報

　可視画像と赤外線画像の両方に基づき診断を行う場合、上記特許文献１の様に、可視画像と赤外線画像とを重畳することがしばしば行われるが、重畳する際に、可視画像と赤外線画像の夫々に写り込んでいる対象物上の各点の位置にはズレが有る。具体的には、通常のカメラと赤外線カメラとは、画角や撮像位置などが同一でないため、夫々のカメラで撮像された対象物上の各点の、夫々の画像における位置にはズレが有る。この課題に対して、上記特許文献１には、可視画像及び赤外線画像上に撮像された対象物上の基準点の位置が一致する様に、可視画像及び赤外線画像に対して、変形補正及び必要に応じ縮尺補正を施す事が開示されている。しかしながら、基準点の位置が一致する様に画像を幾何補正したとしても、可視画像及び赤外線画像上の基準点以外の点の位置が一致するとは限らない。つまり、可視画像と赤外線画像の位置ズレが解消されるとは限らない。

　このように、従来の技術では、複数の画像を対応づける際に位置ズレが残存する可能性がある。なお、構造物において、浮きなどの内部欠陥が存在する箇所には、それと同じ箇所や隣接する箇所に、ひび割れや剥離などの表面の欠陥も存在する場合がしばしば見られるため、赤外線画像に基づき浮きなどの内部欠陥の診断を行う際に、同時に可視画像に基づきひび割れや剥離などの表面欠陥の診断も行うことによって、その様なひび割れや剥離を伴う浮きと伴わない浮きを判別することができる。また、赤外線画像に基づく浮きなどの内部欠陥の診断には誤検出が多いという課題があるが、誤検出となり得る箇所の多くは、可視画像に基づき構造物表面の状態から判別できる。従って、赤外線画像に基づく浮きなどの内部欠陥の診断において、同時に可視画像も利用することで、浮きなどの内部欠陥の診断の性能を向上することができる（ひび割れや剥離を伴う浮きと伴わない浮きの判別や、誤検出の低減（判別））。しかしながら、可視画像と赤外線画像とに位置ズレが有る場合、上述した可視画像利用による性能向上を図るうえで不都合が生じるおそれがある。

　本発明はこのような事情に鑑みてなされたもので、複数の画像を対応づける際の位置ズレを低減することができる画像処理装置、画像処理方法、及び画像処理プログラムを提供することを目的とする。

　上述した目的を達成するため、本発明の第１の態様に係る画像処理装置は、プロセッサを備える画像処理装置であって、プロセッサは、同一の対象物を異なる位置から撮像した第１画像及び第２画像であって、異なる波長帯域で撮像された２次元画像である第１画像及び第２画像を取得し、対象物の表面における基準点の位置を示す情報を取得し、取得した第１画像、第２画像、及び情報に基づいて、表面における基準点以外の点である非基準点に対応する第１画像の値と、第２画像の値とを対応づける。

　なお、第１の態様及び以下の各態様において、第１画像と第２画像とが「異なる波長帯域で撮像された」とは、波長帯域が全く重複していない場合だけでなく、波長帯域の一部が重複しており一部が異なっている場合も含む。また、波長帯域が同じであっても、分光感度特性が異なりピーク感度波長が異なっている場合も含む（実質的に「異なる波長帯域」と見做せる場合も含む）。

　第２の態様に係る画像処理装置は第１の態様において、情報は、第１画像と第２画像とに基づき取得された情報である。

　第３の態様に係る画像処理装置は第１の態様または第２の態様において、少なくとも一つの基準点は、対象物の端、湾曲部、境界のいずれかに存在する点である。

　第４の態様に係る画像処理装置は第１から第３の態様のいずれか１つにおいて、情報は、距離計測手段により計測された距離に基づき取得された情報である。

　第５の態様に係る画像処理装置は第１から第４の態様のいずれか１つにおいて、プロセッサは、情報（基準点の位置を示す情報）に基づき非基準点の位置を推定する。

　第６の態様に係る画像処理装置は第１から第５の態様のいずれか１つにおいて、プロセッサは、情報に基づき表面の形状を推定し、推定した形状に基づき非基準点の位置を推定する。

　第７の態様に係る画像処理装置は第６の態様において、プロセッサは、３つの基準点で規定される平面の集合として形状を推定する。

　第８の態様に係る画像処理装置は第６または第７の態様において、プロセッサは、表面があらかじめ決められた形状の面であるとして形状を推定する。

　第９の態様に係る画像処理装置は第８の態様において、プロセッサは、表面が平面であるとして形状を推定する。

　第１０の態様に係る画像処理装置は第８の態様において、プロセッサは、表面が円筒面であるとして形状を推定する。

　第１１の態様に係る画像処理装置は第１から第１０の態様のいずれか１つにおいて、プロセッサは、第１画像と第２画像とのうち少なくとも一方の画像の値に基づき、対象物の表面を判別する。

　第１２の態様に係る画像処理装置は第１から第１１の態様のいずれか１つにおいて、プロセッサは、少なくとも非基準点に対応する第１画像の値と第２画像の値とを同一の画素位置に重畳したデータを生成、及び／または、少なくとも非基準点に対応する第１画像の値と第２画像の値とを同一の画素位置に重畳して表示装置に表示させる。

　第１３の態様に係る画像処理装置は第１から第１２の態様のいずれか１つにおいて、プロセッサは、可視光の波長帯域の少なくとも一部を含む波長帯域の光で撮像された画像を第１画像と第２画像とのうちの一方の画像として取得し、赤外線の波長帯域の少なくとも一部を含む波長帯域の光で撮像された画像を第１画像と第２画像とのうちの他方の画像として取得する。

　第１４の態様に係る画像処理装置は第１から第１３の態様のいずれか１つにおいて、プロセッサは、対象物としてコンクリート構造物を撮像した第１画像及び第２画像を取得する。

　上述した目的を達成するため、本発明の第１５の態様に係る画像処理方法は、プロセッサにより実行される画像処理方法であって、同一の対象物を異なる位置から撮像した第１画像及び第２画像であって、異なる波長帯域で撮像された２次元画像である第１画像及び第２画像を取得し、対象物の表面における基準点の位置を示す情報を取得し、取得した第１画像、第２画像、及び情報に基づいて、表面における基準点以外の点である非基準点に対応する第１画像の値と、第２画像の値とを対応づける。

　第１５の態様によれば、第１の態様と同様に、複数の画像を対応づける際の位置ズレを低減することができる。なお、第１５の態様に係る画像処理方法は、第２から第１４の態様と同様の処理をさらに実行するものでもよい。

　上述した目的を達成するため、本発明の第１６の態様に係る画像処理プログラムは、プロセッサに実行させる画像処理プログラムであって、同一の対象物を異なる位置から撮像した第１画像及び第２画像であって、異なる波長帯域で撮像された２次元画像である第１画像及び第２画像を取得し、対象物の表面における基準点の位置を示す情報を取得し、取得した第１画像、第２画像、及び情報に基づいて、表面における基準点以外の点である非基準点に対応する第１画像の値と、第２画像の値とを対応づける。

　第１６の態様によれば、第１，第１５の態様と同様に、複数の画像を対応づける際の位置ズレを低減することができる。なお、第１６の態様に係る画像処理プログラムは、第２から第１４の態様と同様の処理をさらに実行させるプログラムでもよい。なお、これら態様のプログラムのコンピュータ読み取り可能なコードを記録した非一時的記録媒体も本発明の態様として挙げることができる。

　以上説明したように、本発明に係る画像処理装置、画像処理方法、及び画像処理プログラムによれば、複数の画像を対応づける際の位置ズレを低減することができる。

図１は、撮像系及び撮像対象物の表面を模式的に示す図である。図２は、幾何補正により基準点及び非基準点が一致する例を示す図である。図３は、幾何補正により非基準点が一致しない例を示す図である。図４は、幾何補正により非基準点が一致しない例を示す他の図である。図５は、撮像系及び撮像対象物の表面を模式的に示す他の図である。図６は、幾何補正により非基準点が一致しない例を示すさらに他の図である。図７は、幾何補正により非基準点が一致しない例を示すさらに他の図である。図８は、幾何補正により非基準点が一致しない例を示すさらに他の図である。図９は、実施形態に係る画像処理システムの構成を示す図である。図１０は、コンクリート構造物の一例である橋梁を示す図である。図１１は、処理部の機能構成を示す図である。図１２は、画像処理方法の手順を示すフローチャートである。図１３は、対象物の表面に基準点を設定する様子を示す図である。図１４は、図１３における可視画像及び赤外線画像を拡大した図である。図１５は、可視画像及び赤外線画像において基準点を特定した例を示す図である。図１６は、対象物の表面の境界が基準点として抽出される様子を示す図である。図１７は、空間的な特徴に基づいて、繋がっている領域を判別した結果の例を示す図である。図１８は、平行投影モデルに基づく非基準点の配置の様子を示す模式図である。図１９は、可視画像および赤外線画像の値を推定した結果の例を示す図である。図２０は、可視画像の値と赤外線画像の値とを同一の画像位置に重畳した結果の例を示す図である。図２１は、重畳データを表形式にした例を示す図である。図２２は、可視画像、赤外線画像、及び重畳画像の例を示す図である。

　以下、添付図面を参照しつつ、本発明の実施形態に係る画像処理装置、画像処理方法、及び画像処理プログラムの実施形態について詳細に説明する。

　まず、複数の画像を対応づける際の位置ズレの課題、および特に、赤外線画像に基づく浮きなどの内部欠陥の診断において、同時に可視画像も利用する際に、この様な位置ズレによって生じる課題について詳細に説明する。可視画像と赤外線画像の両方に基づき診断を行う場合、可視画像と赤外線画像とを重畳することがしばしば行われるが、重畳する際に、可視画像と赤外線画像の夫々に写り込んでいる対象物上の各点の位置にはズレが有る。具体的には、通常のカメラと赤外線カメラとは、画角や撮像位置などが同一でないため、夫々のカメラで撮像された対象物上の各点の、夫々の画像における位置にはズレが有る。この課題に対して、可視画像及び赤外線画像上に撮像された対象物上の基準点の位置が一致する様に、可視画像及び赤外線画像に対して、変形補正及び縮尺補正を施したとしても、つまり基準点の位置が一致する様に画像を幾何補正したとしても、可視画像及び赤外線画像上の基準点以外の点の位置が一致するとは限らない。つまり、可視画像と赤外線画像の位置ズレが解消されるとは限らない。

　この様に、複数の画像を対応づける際に位置ズレが残存する可能性がある。なお、「複数の画像を対応づける」とは、対象物上の各点に対応する複数の画像の値を対応づけることを意味する。また「複数の画像の位置ズレ」とは上述した通り、対象物上の各点に対応する複数の画像における位置にズレがあることを意味し、それは、対象物上の各点に対応する複数の画像の値を間違って対応づけてしまうことを意味する。すなわち、第１画像と第２画像との位置ズレは、対象物表面の同一の点に対応する第１画像における位置と、第２画像における位置とにズレがあることを意味し、同時に、対象物表面の別の点に対応する第１画像における位置と、第２画像における位置とが、間違って同じになってしまうことを意味する。つまり、「対象物表面において別の点に対応する第１画像の値、第２画像の値」を、間違って「同一の点に対応する第１画像の値、第２画像の値」と見做して対応づけてしまうことを意味する。対象物上の基準点に対応する複数の画像の値を正しく対応づける様に複数の画像を幾何補正したとしても、対象物上の基準点以外の点に対応する複数の画像の値を正しく対応づけることができるとは限らない。なお、構造物において、浮きなどの内部欠陥が存在する箇所には、それと同じ箇所や隣接する箇所に、ひび割れや剥離などの表面の欠陥も存在する場合がしばしば見られるため、赤外線画像に基づき浮きなどの内部欠陥の診断を行う際に、同時に可視画像に基づきひび割れや剥離などの表面欠陥の診断も行うことによって、その様なひび割れや剥離を伴う浮きと伴わない浮きを判別することができる。また、赤外線画像に基づく浮きなどの内部欠陥の診断には誤検出が多いという課題があるが、その解決に可視画像の利用が有効である。具体的には、構造物の内部に浮きなどの内部欠陥が存在しないにも関わらず、構造物が補修されている場合、構造物の表面に遊離石灰などの異物が付着している場合、構造物の表面に色ムラ（カビ、苔、剥離剤、水影響など）、目地、段差、ノロ、砂すじ、錆汁、錆、漏水、表面凹凸が存在する場合など、赤外線画像において、周囲と表面温度（実際及び／又は見かけの表面温度）が異なり誤検出となり得る箇所があるが、それらの箇所の多くは、可視画像に基づき構造物表面の状態から判別できる。従って、赤外線画像に基づく浮きなどの内部欠陥の診断において、同時に可視画像も利用することで、浮きなどの内部欠陥の診断の性能を向上することができる（ひび割れや剥離を伴う浮きと伴わない浮きの判別や、誤検出の低減（判別））。しかしながら、可視画像と赤外線画像とに位置ズレが有る場合、上述した可視画像利用による性能向上が困難である。

　［課題の詳細］
　次に、対象物の表面上の基準点の位置が一致する様に画像を幾何補正したとしても、基準点以外の点の位置が一致しない課題について詳細に説明する。なお、以下の説明において可視画像（可視光の波長帯域（波長400nm～800nm程度）の少なくとも一部を含む波長帯域の光で撮像された画像、以下同じ）の撮像系および赤外線画像（赤外線の波長帯域（700nm～1mm程度）の少なくとも一部を含む波長帯域の光で撮像された画像）の撮像系の何れか一方を撮像系１と呼び、他方を撮像系２と呼ぶ。

　［対象物の表面が直線（平面）の場合］
　［非基準点の位置が一致する場合］
　図1は、ｘｙ座標空間に撮像系１、撮像系２、および撮像対象物の表面を模式的に示す図である。なお、撮像対象の実際の空間は３次元であるが、図１では説明のため２次元とする。図1において撮像系1の光学中心はｘｙ座標系の原点であり、光軸はｙ軸に一致し、撮像系１の座標系は座標（ｘ,ｙ）により表されるものとする（以降、撮像系１の座標系を座標系１とも呼ぶ）。また、撮像系２の座標系は座標系１をｘ方向にＢＸ、ｙ方向にＢＹだけ平行移動し、更に角度θだけ回転した座標系であり、座標（ｘ２,ｙ２）により表されるものとする（以降、撮像系２の座標系を座標系２とも呼ぶ）。撮像系２の光学中心は座標系（ｘ２,ｙ２）の原点、光軸はｙ２軸に一致する。ｆは撮像系１および撮像系２の焦点距離であり、夫々の撮像系の撮像面を、夫々の光学中心から前方に距離ｆの位置に仮想的に示している。光学中心から見て、撮像対象の空間において対象物表面の各点から反射、放射される光の強度を撮像面に投影した画像が撮像画像となる。

　図１の様に、対象物の表面を直線とし、その表面上に等間隔ｄで点Ｐ［０］、Ｐ［１］・・・Ｐ［Ｎ］を考え、夫々の点の撮像系１の撮像面（以降、撮像系１の撮像面を撮像面１とも呼ぶ）及び撮像系２の撮像面（以降、撮像系２の撮像面を撮像面２とも呼ぶ）における位置関係を考察する。ここで焦点距離ｆを１とする。まず、座標系1の座標（ｘ,ｙ）は、以下の式（１）に示すように、撮像面１において以下の座標ｘｐに投影される。

　[数１]
　　　xp = x / y　　　・・・・・・（１）
　また、座標系１の座標（ｘ,ｙ）は以下の式（２ａ）～（２ｄ）により座標系２の座標（ｘ２,ｙ２）に変換でき、以下、式（２ｅ）により撮像面２における座標ｘ２ｐに投影できる。なお、式（２ａ），（２ｂ）は座標系の平行移動、式（２ｃ），（２ｄ）は回転を表しており、θは反時計回りを正としている。

　[数２]
　　　xs = x  ‐ BX　　　・・・・・・（２ａ）
　[数３]
　　　ys = y  ‐ BY　　　・・・・・・（２ｂ）
　[数４]
　　　x2 =  xs * cos(θ) + ys * sin(θ)　　　・・・・・・（２ｃ）
　[数５]
　　　y2 =  ‐xs * sin(θ) + ys * cos(θ)　　　・・・・・・（２ｄ）
　[数６]
　　　x2p = x2 / y2　　　・・・・・・（２ｅ）
　次に、点Ｐ［０］、Ｐ［１］・・・Ｐ［Ｎ］の座標系１における座標を夫々（ｘ［０］，ｙ［０］）・・・・（ｘ［Ｎ］，ｙ［Ｎ］）とすると、これらの座標は以下の式（３ａ），（３ｂ）で表される。ここでiは０、１・・・Ｎを表す。また、αはx軸の正の方向とのなす角度であり、反時計回りを正としている。

　[数７]
　　　x[i] = x[0] + i * d * cos(α)　　　・・・・・・・・（３ａ）
　[数８]
　　　y[i] = y[0] + i * d * sin(α)　　　・・・・・・・・（３ｂ）
　点Ｐ［０］、Ｐ［１］・・・Ｐ［Ｎ］の夫々について、式（３ａ），（３ｂ）のｘ［ｉ］，ｙ［ｉ］を式（１）に代入する事により、撮像面１における座標ｘｐ［０］、ｘｐ［１］・・・・ｘｐ［Ｎ］を求める事ができる。また、点Ｐ［０］、Ｐ［１］・・・Ｐ［Ｎ］の夫々について、式（３ａ），（３ｂ）のｘ［ｉ］，ｙ［ｉ］を式（２ａ）～（２ｄ）及び式（２ｅ）に代入する事により、撮像面２における座標ｘ２ｐ［０］、ｘ２ｐ［１］・・・・ｘ２ｐ［Ｎ］を求める事ができる。

　上式によって、点Ｐ［０］・・・Ｐ［Ｎ］の撮像面１における座標ｘｐ［０］・・・・ｘｐ［Ｎ］、および撮像面２における座標ｘ２ｐ［０］・・・・ｘ２ｐ［Ｎ］を求めて比較した結果を、幾つかの例について示す。まず、ｘ［０］＝－２ｍ、ｙ［０］＝１０ｍ、ｄ＝２ｍ、α＝２０度、Ｎ＝１０、ＢＸ＝４ｍ、ＢＹ＝０ｍ、θ＝０度の結果を図２に示す。図２の（ａ）部分に座標系１と座標系２、また点Ｐ［０］・・・Ｐ［１０］の配置を示し、同図の（ｂ）部分に撮像面１における座標ｘｐ［０］・・・・ｘｐ［１０］を□（四角形の記号）、撮像面２における座標ｘ２ｐ［０］・・・・ｘ２ｐ［１０］を○（丸形の記号）で示す。ここで、点Ｐ［０］と点Ｐ［１０］を基準点として、撮像面１における座標ｘｐ［０］及びｘｐ［１０］と、撮像面２における座標ｘ２ｐ［０］及びｘ２ｐ［１０］とが一致する様に夫々の撮像画像を幾何補正する事を想定し、座標ｘｐ［０］およびｘ２ｐ［０］を例えば－1、座標ｘｐ［１０］およびｘ２ｐ［１０］を例えば１となる様に夫々の点の座標を補正した。なお、以降は、この補正を規格化と呼ぶ。また、撮像面１に対応する撮像画像を撮像画像１、撮像面２に対応する撮像画像を撮像画像２と呼ぶ。図２から、規格化した座標ｘｐ［０］・・・・ｘｐ［１０］と座標ｘ２ｐ［０］・・・・ｘ２ｐ［１０］とが一致する事が分かる。つまり、点Ｐ［０］と点Ｐ［１０］を基準点として、基準点の位置が一致する様に撮像画像１及び撮像画像２を幾何補正する事により、基準点以外の点の位置も一致する事が分かる。なお、以降は、基準点以外の点を非基準点と呼ぶ。

　［非基準点の位置が一致しない場合（その１）］
　次に、座標系１と点Ｐ［０］・・・Ｐ［１０］の配置を図２と同じままとし、座標系２のみを変更、具体的にはＢＸ＝４ｍ、ＢＹ＝４ｍ、θ＝０度とした結果を図３に示す。図３の見方は図２と同じである。図３から、規格化した座標ｘｐ［１］・・・・ｘｐ［９］と座標ｘ２ｐ［１］・・・・ｘ２ｐ［９］とが一致しない事が分かる。つまり、点Ｐ［０］と点Ｐ［１０］を基準点として、基準点の位置が一致する様に撮像画像１及び撮像画像２を幾何補正したとしても、非基準点の位置は一致しない事が分かる。

　［非基準点の位置が一致しない場合（その２）］
　次に、座標系１と点Ｐ［０］・・・Ｐ［１０］の配置を図２と同じままとし、座標系２のみを変更、具体的にはＢＸ＝４ｍ、ＢＹ＝４ｍ、θ＝２０度とした結果を図４に示す。図４の見方は図２と同じである。図４から、図３と同様に、規格化した座標ｘｐ［１］・・・・ｘｐ［９］と座標ｘ２ｐ［１］・・・・ｘ２ｐ［９］とが一致しない、つまり、点Ｐ［０］と点Ｐ［１０］を基準点の位置として、基準点の位置が一致する様に撮像画像１及び撮像画像２を幾何補正したとしても、非基準点の位置は一致しない事が分かる。

　同様に、座標系１と点Ｐ［０］・・・Ｐ［１０］の配置を図２と同じままとし、座標系２のみを変更、具体的にはＢＸ＝４ｍ、ＢＹ＝０ｍ、θ＝２０度とした場合や、ＢＸ＝０ｍ、ＢＹ＝４ｍ、θ＝０度とした場合や、ＢＸ＝０ｍ、ＢＹ＝４ｍ、θ＝２０度とした場合も、座標ｘｐ［１］・・・・ｘｐ［９］と座標ｘ２ｐ［１］・・・・ｘ２ｐ［９］とが一致しない、つまり非基準点の位置が一致しない結果であった（図を省略する）。

　以上より、対象物の表面が直線の場合、撮像系１と撮像系２の光軸が平行、且つ、光軸の方向に位置ズレの無い（光軸に垂直な方向に撮像系１と撮像系２が並ぶ）場合を除き、対象物の表面上の基準点の位置が一致する様に撮像画像１及び撮像画像２を幾何補正したとしても、非基準点の位置は一致しない事が分かる。

　ここで、撮像系１と撮像系２の光軸を完全に平行にする、且つ、完全に位置ズレを無くすことは難しいため、何れにしろ、非基準点の位置は一致しないと考えられる。

　［対象物の表面が曲線（曲面）の場合］
　［非基準点の位置が一致しない場合（その１）］
　次に、対象物の表面が曲線の場合に、同様に、対象物の表面上の夫々の点の撮像面１及び撮像面２（撮像画像１及び撮像画像２）における位置関係を考察する。図５に、ｘｙ座標空間に撮像系１、撮像系２、および撮像対象物の表面を模式的に示す。対象物の表面のみ図１と異なるため、対象物の表面のみについて説明する。図５において、対象物表面は中心（ｘｃ、ｙｃ）（座標系１における座標）、半径ｒの円弧である。円弧上の角度αの位置に点Ｐ［０］、点Ｐ［０］から角度βの間隔で等間隔にＰ［１］・・・Ｐ［Ｎ］を考える。夫々の点の座標系１における座標（ｘ,ｙ）は以下の式（４ａ），（４ｂ）で表される。ここでiは０、１・・・Ｎを表す。また、αはx軸の負の方向とのなす角度であり時計回りを正としている。また、βも時計回りを正としている。式（４ａ），（４ｂ）のｘ［ｉ］，ｙ［ｉ］を式（１）に代入する事により、撮像面１における座標ｘｐ［０］・・・・ｘｐ［Ｎ］を求める事ができる。また、式（４ａ），（４ｂ）のｘ［ｉ］，ｙ［ｉ］を式（２ａ）～（２ｄ）及び式（２ｅ）に代入する事により、撮像面２における座標ｘ２ｐ［０］・・・・ｘ２ｐ［Ｎ］を求める事ができる。

　[数９]
　　　x[i] = xc ‐ r * cos( α + i * β) 　・・・・・・・・（４ａ）
　[数１０]
　　　y[i] = yc + r * sin( α + i * β)　・・・・・・・・（４ｂ）
　ｘｃ＝５ｍ、ｙｃ＝５ｍ、ｒ＝１０ｍ、α＝１０度、β＝７度、Ｎ＝１０、ＢＸ＝４ｍ、ＢＹ＝０ｍ、θ＝０度として、点Ｐ［０］・・・Ｐ［１０］の撮像面１における座標ｘｐ［０］・・・・ｘｐ［１０］、および撮像面２における座標ｘ２ｐ［０］・・・・ｘ２ｐ［１０］を求めて比較した結果を図６に示す。図６の見方は図２～図４と同じである。図６から、規格化した座標ｘｐ［１］・・・・ｘｐ［９］と座標ｘ２ｐ［１］・・・・ｘ２ｐ［９］とが一致しない、つまり、点Ｐ［０］と点Ｐ［１０］を基準点として位置が一致する様に撮像画像１及び撮像画像２を幾何補正したとしても、非基準点の位置は一致しない事が分かる。

　［非基準点の位置が一致しない場合（その２）］
　次に、座標系１と点Ｐ［０］・・・Ｐ［１０］の配置を図６と同じままとし、座標系２のみを変更、具体的にはＢＸ＝４ｍ、ＢＹ＝４ｍ、θ＝０度とした結果を図７に示す。図７の見方は図６と同じである。図７から、規格化した座標ｘｐ［１］・・・・ｘｐ［９］と座標ｘ２ｐ［１］・・・・ｘ２ｐ［９］とが一致しない事が分かる。つまり、点Ｐ［０］と点Ｐ［１０］を基準点として、基準点の位置が一致する様に撮像画像１及び撮像画像２を幾何補正したとしても、非基準点の位置は一致しない事が分かる。

　［非基準点の位置が一致しない場合（その３）］
　次に、座標系１と点Ｐ［０］・・・Ｐ［１０］の配置を図６と同じままとし、座標系２のみを変更、具体的にはＢＸ＝４ｍ、ＢＹ＝４ｍ、θ＝２０度とした結果を図８に示す。図８の見方は図６と同じである。図８から、規格化した座標ｘｐ［１］・・・・ｘｐ［９］と座標ｘ２ｐ［１］・・・・ｘ２ｐ［９］とが一致しない、つまり、点Ｐ［０］と点Ｐ［１０］を基準点として位置が一致する様に撮像画像１及び撮像画像２を幾何補正したとしても、非基準点の位置は一致しない事が分かる。

　同様に、座標系１と点Ｐ［０］・・・Ｐ［１０］の配置を図６と同じままとし、座標系２のみを変更、具体的にはＢＸ＝４ｍ、ＢＹ＝０ｍ、θ＝２０度とした場合や、ＢＸ＝０ｍ、ＢＹ＝４ｍ、θ＝０度とした場合や、ＢＸ＝０ｍ、ＢＹ＝４ｍ、θ＝２０度とした場合も、座標ｘｐ［１］・・・・ｘｐ［９］と座標ｘ２ｐ［１］・・・・ｘ２ｐ［９］とが一致しない、つまり非基準点の位置が一致しない結果であった（図を省略する）。

　以上、対象物の表面が曲線の場合、対象物の表面上の基準点の位置が一致する様に撮像画像１及び撮像画像２を幾何補正したとしても、非基準点の位置は一致しない事が分かる。

　以上、対象物の表面が直線であっても曲線であっても、対象物の表面上の基準点の位置が一致する様に撮像画像１及び撮像画像２を幾何補正したとしても、非基準点の位置は一致しない事が分かる。

　なお、図１、図５では、説明のために撮像対象の空間を２次元としたが、撮像対象の実際の空間は３次元である。撮像対象の空間を３次元として、対象物の表面を平面、若しくは曲面として表面上に基準点および非基準点を考え、同様にして撮像系１および撮像系２の撮像面における基準点および非基準点の座標を求めて基準点の座標が一致する様に規格化しても、撮像系１と撮像系２の規格化した非基準点の座標が一致しない事、つまり基準点の座標が一致する様に撮像画像１と撮像画像２を幾何補正したとしても、非基準点の位置は一致しない事が分かる。

　本願発明者は上記事情に鑑みて鋭意検討を進め、上記の課題を以下の方法により解決する、という着想を得た。
（１）同一の対象物を異なる位置から撮像した可視画像と赤外線画像（「異なる波長帯域で撮像された２次元画像」の一例）を取得する。
（２）対象物表面において基準となる点（基準点）の位置の情報を取得する。
（３）基準点の対象物表面における位置に基づき、対象物表面における基準点以外の非基準点に対応する可視画像および赤外線画像の値を推定する。

　以下に具体的に説明する。

　［画像処理システムの全体構成］
　図９は、実施形態に係る画像処理システムの全体構成を示す図である。図９に示すように、画像処理システム１０は、画像処理装置２０（画像処理装置）と、サーバ５００と、データベース５１０と、カメラ６００（撮像装置）と、がネットワークＮＷを介して接続されている。画像処理システム１０は、パーソナルコンピュータ、タブレット端末、スマートフォン等の機器（情報端末）を用いて構成することができる。

　［画像処理装置の構成］
　画像処理装置２０は、処理部１００（プロセッサ）と、記録部２００と、表示部３００と、操作部４００と、を備え、これら各部は互いに接続されて必要な情報が送受信される。これらの各部は１つの筐体に収納されていてもよいし、独立した筐体に収納されていてもよい。また、各要素が離れた場所に配置されネットワークを介して接続されていてもよい。

　画像処理装置２０では、例えば図１０に示す橋梁７１０（コンクリート構造物の一例）の画像を取得して損傷や変状の検出、画像の位置合わせ等の処理を行う。橋梁７１０は、壁高欄７１２、床板７２０（一部のみ図示）、桁７２２、及び橋脚７３０を有する。なお、本発明の実施形態において、「第１画像と第２画像との位置合わせ」とは、対象物表面において同一の点に対応する第１画像の値と、第２画像の値とを対応づけることを意味する。

　［処理部の構成］
　図１１は処理部１００の機能構成を示す図である。処理部１００は、画像取得部１０２と、基準点特定部１０３と、位置情報取得部１０４と、非基準点位置推定部１０６と、画像値推定部１０８と、重畳データ生成部１１０と、損傷検出部１１１と、表示制御部１１２と、記録制御部１１４と、通信制御部１１６と、を備え、可視画像及び赤外線画像の取得、基準点の位置を示す情報の取得、非基準点の位置の推定、画像値の推定、可視画像と赤外線画像との対応付け、重畳データの生成及び表示等の処理を行う。これら各部による処理の詳細は後述する。

　上述した処理部１００の機能は、各種のプロセッサ（processor）及び記録媒体を用いて実現できる。各種のプロセッサには、例えばソフトウェア（プログラム）を実行して各種の機能を実現する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、画像処理に特化したプロセッサであるＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）も含まれる。各機能は１つのプロセッサにより実現されてもよいし、同種または異種の複数のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ、またはＣＰＵとＧＰＵの組み合わせ）で実現されてもよい。また、複数の機能を１つのプロセッサで実現してもよい。これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。

　上述したプロセッサあるいは電気回路がソフトウェア（プログラム）を実行する際は、実行するソフトウェアのコンピュータ（例えば、処理部１００を構成する各種のプロセッサや電気回路、及び／またはそれらの組み合わせ）で読み取り可能なコードをＲＯＭやフラッシュメモリ等の非一時的記録媒体（メモリ）に記録しておき、コンピュータがそのソフトウェアを参照する。非一時的記録媒体に記録しておくソフトウェアは、本発明の実施形態に係る画像処理方法を実行するための画像処理プログラム、及び画像処理プログラムの実行に際して用いられるデータ（基準点の位置を示す情報のデータ、非基準点の位置の推定に用いられるデータ、対象物の表面形状のデータ等）を含む。ＲＯＭではなく各種の光磁気記録装置、半導体メモリ等の非一時的記録媒体（記録部２００を含む）にコードを記録してもよい。実行の際は、必要に応じて記録部２００等の記録装置に記録された情報が使用される。また、実行の際は、例えばＲＡＭ（Random Access Memory；メモリ）が一時的記憶領域として用いられる。

　なお、処理部１００の機能の一部または全部をネットワーク上のサーバ（プロセッサ）で実現して、画像処理装置２０はデータの入力、通信制御、結果の表示等を行ってもよい。この場合、ネットワーク上のサーバを含めてApplication Service Provider型システムが構築される。

　［記録部の構成］
　記録部２００（記録装置、メモリ、非一時的記録媒体）はＣＤ（Compact Disk）、ＤＶＤ（Digital Versatile Disk）、ハードディスク（Hard Disk）、各種半導体メモリ等の非一時的記録媒体及びその制御部により構成され、可視画像、赤外線画像、可視画像と赤外線画像との重畳データ及び重畳画像、基準点や非基準点の位置を示す情報、対象物表面（３次元表面）の形状データ、損傷情報等が記録される。本発明の実施形態に係る画像処理方法を実行するための画像処理プログラム、及び画像処理プログラムの実行に際して用いられるデータを記録部２００に記録してもよい。

　［操作部の構成］
　操作部４００はキーボード４１０及びマウス４２０を含み、ユーザはこれらのデバイスにより本発明の実施形態に係る画像処理に必要な操作を行うことができる。タッチパネル型のデバイスを用いることにより、モニタ３１０を操作部として用いてもよい。

　［表示装置］
　表示部３００はモニタ３１０（表示装置）を備える。モニタ３１０は例えば液晶ディスプレイ等のデバイスであり、取得した画像や処理結果を表示させることができる。
［サーバ及びデータベース］
　データベース５１０には可視画像、赤外線画像等の情報が記録され、サーバ５００が画像処理装置２０との通信を制御する。画像処理装置２０は、データベース５１０に記録された情報を取得することができる。

　［カメラの構成］
　カメラ６００（撮像装置、撮像系）は、可視光の波長帯域の少なくとも一部を含む波長帯域の光で対象物（被写体）を撮像する可視光カメラ６１０と、赤外線の波長帯域の少なくとも一部を含む波長帯域の光で対象物を撮像する赤外線カメラ６２０とを備える。カメラ６００により、同一の対象物を異なる位置から撮像して可視画像、赤外線画像（異なる波長帯域で撮像された複数の２次元画像）を得ることができる。カメラ６００は、パン及び／またはチルト可能な雲台に搭載されていてもよい。また、カメラ６００は移動可能な車両、ロボット、飛翔体（ドローン等）に搭載されていてもよい。

　なお、可視光カメラ６１０と赤外線カメラ６２０とで座標系の関係（原点の位置及び座標系の方向の関係を示すパラメータの値）は既知であり、記録部２００等のメモリに格納されているものとする。例えば、可視光カメラ６１０と赤外線カメラ６２０の位置及び方向を予め決めた位置及び方向に固定して撮像し、得られた可視画像及び赤外線画像から算出したパラメータをメモリに格納すれば良い。例えば、多くの赤外線カメラには可視光のカメラも内蔵されており、赤外線カメラで赤外線画像を撮像する際に、同時に可視光カメラで可視画像も撮像する事ができる。又は、可視光カメラ６１０と赤外線カメラ６２０の撮像の位置及び方向を別途測定手段により特定してもよい。撮像位置の特定にはＧＰＳやＷｉ-Ｆｉ測位を適用することができ、撮像方向の特定にはジャイロセンサ、加速度センサなどの公知の方法を適用することができる。処理部１００（プロセッサ）は、必要に応じて、格納された情報を用いることができる。

　［画像処理の手順］
　図１２は、実施形態に係る画像処理の手順（画像処理方法の各ステップ）を示すフローチャートである。

　［１．可視画像及び赤外線画像の取得］
　画像取得部１０２（プロセッサ）は、同一の対象物を異なる位置から夫々撮像した可視画像と赤外線画像を取得する（ステップＳ１００：画像取得処理、画像取得工程）。画像取得部１０２は、カメラ６００、データベース５１０、及び記録部２００から画像を取得することができる。また、画像取得部１０２は、対象物として例えばコンクリート構造物を撮像した可視画像及び赤外線画像を取得することができる。ここで、上述のように、可視画像と赤外線画像の座標系の関係（撮像位置及び撮像方向の関係）は分かっているものとする。

　以下、説明の便宜上、可視画像を第１画像と記載し、赤外線画像を第２画像と記載する場合があるが、異なる波長帯域で撮像された複数の２次元画像であれば、いずれの画像を第１画像あるいは第２画像として扱ってもよい。

　なお、以下では可視画像及び赤外線画像のそれぞれについて１つの画像を取得する場合について説明するが、「変形例」の項で後述するように、それぞれについて複数の画像を取得してもよい。

　［損傷の検出］
　損傷検出部１１１（プロセッサ）は、可視画像及び赤外線画像から損傷（変状、欠陥）を検出する。検出する項目は、例えば損傷の位置、数量、大きさ、形状、種類、程度等である。また、損傷の種類は例えばひび割れ、剥離、漏水、浮き、空洞、腐食、鉄筋露出等である。損傷検出部１１１は、公知の手法（例えば、画像の局所的な特徴量に基づく手法）を用いて損傷を検出することができる。また、損傷検出部１１１は、深層学習等の機械学習により構成された学習済みモデル（例えば、各種のニューラルネットワーク）を用いて損傷を検出してもよい。

　［２．基準点の位置を示す情報の取得］
　基準点特定部１０３及び位置情報取得部１０４（プロセッサ）は、取得した画像から基準点の位置を示す情報を取得する（ステップＳ１１０：基準点位置情報取得処理、基準点位置情報取得工程）。この処理は、可視画像及び赤外線画像における基準点の特定（特定処理、特定工程）と、対象物の表面における基準点の位置を示す情報の取得（取得処理、取得工程）とを含む。図１３は対象物の表面ＳＳにおける基準点ＲＰの位置を求める様子を示す模式図であり、図１４は図１３における可視画像Ｉ１及び赤外線画像Ｉ２を拡大した図である。なお、図１３及び図１４では、説明を簡略化するため、対象物の１つの表面のみを図示している。また、図１４では、対象物の表面以外は黒色で表示している。また、図１４では、可視画像Ｉ１及び赤外線画像Ｉ２において特定した基準点を白い丸印で示している。以下、詳細に説明する。

　［２．１　基準点の特定］
　基準点特定部１０３は、まず、可視画像と赤外線画像において、基準点を特定する。例えば、基準点特定部１０３は、可視画像と赤外線画像の両方で特定できるマーカー（例えば、アルミ箔等の金属箔）を予め対象物の表面上に定めて撮像した可視画像及び赤外線画像において、そのマーカーの位置を特定することができる。

　または、基準点特定部１０３は、可視画像と赤外線画像の信号値の空間分布に基づき基準点を特定、抽出しても良い。その方法として、ステレオカメラなどで２つの画像の対応点を求める公知の画像相関法を用いれば良い。つまり、可視画像と赤外線画像において、夫々、座標を変えながら決められたサイズの領域を抽出して相関を評価し、相関（類似性）の最も高い領域の座標を対応点として求めれば良い。この時、基準点特定部１０３は、可視画像と赤外線画像との相関（類似性）が決められた値以上の対応点のみを基準点として特定、抽出する。可視画像と赤外線画像は異なる種類の画像であるが、相関（類似性）に基づき、基準点として特定できる箇所がある。例えば、対象物の表面の端や曲がっている箇所（湾曲部）を基準点として特定できる。例えば、上述した様に、図１４では、可視画像Ｉ１及び赤外線画像Ｉ２において白い丸印で示す箇所を基準点として特定できる。図１５は、コンクリート構造物（例えば、図１０に示す橋梁７１０）を撮像した可視画像（図１５の（ａ）部分）及び赤外線画像（同図の（ｂ）部分）において基準点を特定した例を示す図である。図１５に示す例では、基準点特定部１０３は、例えば丸印で囲んだ箇所を、相関（類似性）に基づき基準点として特定することができる。なお、可視画像と赤外線画像とで信号値の高低の関係が逆の場合もあるため、基準点特定部１０３は、相関（類似性）として相関値の絶対値を評価する事が好ましい。基準点特定部１０３は、可視画像と赤外線画像において基準点を特定する際に、基準点に対応する可視画像の値と赤外線画像の値を得る事ができる。つまり、基準点に対応する可視画像の値と赤外線画像の値は、ステップＳ１１０において得る事ができる。なお、基準点に対応する可視画像の値とは、例えば基準点に対応するＲＧＢ（Red Green Blue）値である。また、基準点に対応する赤外線画像の値とは、例えば基準点に対応するＩＲ（infrared）値である。

　［２．２　基準点の位置を示す情報の取得］
　次に、位置情報取得部１０４は、それぞれの基準点について、可視画像と赤外線画像における位置に基づき対象物表面における位置（撮像対象の３次元空間における位置）を求める。画像上の基準点の位置に基づき、その画像の撮像系の座標系において基準点の有る方向を特定できる。既に説明した通り、対象物表面の各点を光学中心の方向に撮像面に投影した画像が撮像画像である。従って、画像上の基準点の位置は、対象物表面における基準点を光学中心の方向に撮像面に投影した位置である。従って、光学中心と撮像面における基準点とを結ぶ直線の方向に対象物表面における基準点が有る。可視画像の撮像系（の座標系）と赤外線画像の撮像系（の座標系）の位置及び方向の関係は既知であるため、位置情報取得部１０４は、可視画像における基準点の位置から特定できる方向（例えば図１３の模式図の場合、可視画像Ｉ１の撮像系の光学中心Ｏ１と撮像面ＩＳ１上の基準点とを結ぶ直線（実線）の方向）と、赤外線画像における基準点の位置から特定できる方向（例えば図１３の模式図の場合、赤外線画像Ｉ２の撮像系の光学中心Ｏ２と撮像面ＩＳ２上の基準点とを結ぶ直線（点線）の方向）との交差する点（撮像対象の３次元空間において交差する点；例えば図１３の模式図の場合、実線と点線が交差する点、４つの丸印で示した点）を、対象物表面における基準点の位置（例えば図１３の模式図の場合、対象物表面ＳＳにおける基準点ＲＰの位置）として求める事ができる。上記の説明は図１や図５、図１３，１４の模式図から容易に理解できる。

　可視画像と赤外線画像の相関（類似性）に基づき基準点を特定、抽出する場合、対象物の表面の境界も基準点として抽出され得る。例えば、図１５に示した可視画像と赤外線画像の場合、対象物表面の端や曲がっている個所（湾曲部）のみでなく、それ以外の境界の個所も基準点として抽出される。図１５の丸印で囲んだ箇所に追加して、それ以外に、対象物の表面の境界において相関（類似性）の高い個所として抽出される個所を点線の丸印（楕円形の記号）で図１６に示す。図１６において境界は直線であり、画像相関法により可視画像（又は赤外線画像）の境界における決められたサイズの領域を抽出して赤外線画像（又は可視画像）の決められたサイズの領域との相関（類似性）を評価すると、境界に沿って複数の領域で相関（類似性）が高くなる。対象物の表面の境界が曲線の場合は、曲線に沿って夫々の個所において相関（類似性）が高くなる。何れにしろ、対象物の表面の端のみでなく、それ以外の境界（直線又は曲線）も相関（類似性）の高い個所として抽出され得る。

　このように、少なくとも一つの基準点は、対象物の端、曲がっている箇所（湾曲部）、境界のいずれかに存在する点であることが好ましい。なお、位置情報取得部１０４（プロセッサ）は、可視画像と赤外線画像とのうち少なくとも一方（第１画像と第２画像とのうち少なくとも一方）に対して、対象物の端、湾曲部、境界のうち１つ以上を強調する強調処理を施し、強調処理を施した画像を用いて基準点位置情報取得処理（基準点位置情報取得工程）を実行してもよい。

　本発明の実施形態では、対象物の表面において同一の個所であると特定できる、可視画像における個所と赤外線画像における個所を「基準点」と呼んでいる。上記説明した、対象物表面の端は、その端の１箇所が可視画像と赤外線画像とで同一の個所として特定できる。そして、上記説明した対象物表面の境界も、その境界上の夫々の個所が可視画像と赤外線画像とで同一の個所として特定できる。従って、本発明の実施形態では対象物表面の端であっても境界であっても、「対象物の表面において同一の個所である」と特定できる個所として「基準点」と呼ぶ。同様に、対象物表面において１個所（点）であっても線上に連続する複数個所（線）であっても共に「基準点」と呼ぶ。但し、基準点が１個所（点）であるか線上の複数個所（線）であるかによって、可視画像と赤外線画像における基準点の位置に基づき対象物表面における基準点の位置を求める方法が若干異なるため、夫々（基準点が１個所の場合と、線上の複数個所の場合）を区別しておく必要はある。

　基準点が１個所（点）の場合、位置情報取得部１０４は、既に説明した通り、可視画像の撮像系の座標系の原点（光学中心）と撮像面上の基準点とを結ぶ直線と、赤外線画像の撮像系の座標系の原点（光学中心）と撮像面上の基準点とを結ぶ直線との交差する点を、対象物表面における基準点の位置として求める事ができる。

　基準点が線上の複数個所（線）の場合、位置情報取得部１０４は、可視画像（又は赤外線画像）の撮像系の座標系の原点（光学中心）と撮像面上の線上における１点の基準点とを結ぶ直線と、赤外線画像（又は可視画像）の撮像系の座標系の原点（光学中心）と撮像面上の線を含む面（座標系の原点と撮像面上の線上における夫々の基準点とを結ぶ直線から成る面）との交差する点を、その１点の基準点の対象物表面における位置として求める事ができる。基準点が線上の複数個所（線）の場合、この方法によって、線上の夫々の基準点について、対象物表面における位置を求める事ができる。

　基準点が直線上の複数個所の場合、位置情報取得部１０４は、上記説明した後者の方法、つまり一方の画像の直線上の１点に対応する直線と、他方の画像の直線に対応する面との交差する点を求める方法によって、直線上の夫々の基準点の対象物表面における位置を求める必要がある。一方で、基準点が曲線上の複数個所の場合、位置情報取得部１０４は、可視画像と赤外線画像における曲線上の夫々の個所を特定できる限り、前者の方法、つまり一方の画像の曲線上の１点に対応する直線と、他方の画像の曲線上において、その１点と同一の点として特定した１点に対応する直線との交差する点を求める方法によって曲線上の夫々の基準点の対象物表面における位置を求める事もできる。尚、後者の代わりの方法として、一方の画像の撮像系の座標系の原点（光学中心）と撮像面上の線を含む面と、他方の画像の撮像系の座標系の原点（光学中心）と撮像面上の線を含む面との交差する線を、夫々の画像の線の基準点の対象物表面における位置として求める事もできる。

　［３．非基準点の位置の推定］
　非基準点位置推定部１０６（プロセッサ）は、対象物表面（３次元表面）における基準点の位置に基づいて（基準点の位置を示す情報から）、対象物表面（３次元表面）における基準点以外の点である非基準点の位置を推定する（ステップＳ１２０：非基準点位置推定処理、非基準点位置推定工程）。この処理は、対象物表面（３次元表面）における基準点の位置に基づいて、対象物表面（３次元表面）の形状を推定する処理（形状推定処理、形状推定工程）と、推定した対象物表面（３次元表面）の形状に基づき非基準点の位置を推定する処理（位置推定処理、位置推定工程）とを含む。以下、詳細に説明する。

　［３．１　対象物表面（３次元表面）の形状の推定］
　対象物表面における非基準点の位置を推定するためには、基準点の位置を示す情報に基づき対象物表面（３次元表面）の形状を推定する必要がある。３つの基準点に囲まれる局所的な３角形の領域における形状は、それらの３つの基準点の位置に依って一意に定まる平面によって近似する事ができる。従って、非基準点位置推定部１０６は、以下の（１）によって初めの３角形の平面を形成した後に、（２）によって、既に形成された３角形の平面に連結する他の３角形の平面を形成する事を繰返す事によって、対象物表面の形状を、３角形の平面を連結して形成した形状（３つの基準点で規定される平面の集合）により近似することができる。
（１）対象物表面における複数の基準点から、まずお互いの距離が最も近い３つの基準点（３つの基準点の任意の２つの間の距離の内、最も遠い距離が、最も近くなる３つの基準点）を抽出して３角形の平面を形成する。
（２）既に形成された３角形の頂点の夫々の２つの基準点から次の最も近い基準点（２つの基準点の夫々からの距離の内、遠い方の距離が最も近い基準点）を抽出して３角形の平面を形成する。

　ここで、可視画像の撮像系及び赤外線画像の撮像系から見て、夫々の３角形の平面の内側に他の基準点が有る事はあり得ない。つまり、可視画像の撮像系の光学中心と夫々の３角形とからなる三角錐、及び赤外線画像の撮像系の光学中心と夫々の３角形とからなる三角錐の内部に他の基準点が有る事はあり得ない。従って、非基準点位置推定部１０６は、その様な３角形の平面は除外し、３つの基準点により形成される３角形の平面の全てについて、その内側に他の基準点が無いように、夫々の３角形の平面を形成する。

　尚、ステップＳ１１０（基準点の位置を示す情報の取得）で特定し、かつ抽出した基準点の中に対象物表面の端などの１個所（点）の基準点のみでなく、対象物表面の境界などの線上に連続して存在する複数個所（線）の基準点も含まれる場合、非基準点位置推定部１０６は、基準点が点であるか線であるかに応じて３角形の平面を形成するルールを変える事が好ましい。具体的には、非基準点位置推定部１０６は、点の基準点に対しては、その基準点が頂点になる様に３角形の平面を形成し、線の基準点に対しては、その基準点（線）が一辺になる様に３角形の平面を形成する事が好ましい。ここで、線が曲線の場合は、その曲線が一辺になる平面は３角形にはならず、また必ずしも平面にはならないが、非基準点位置推定部１０６は、その様な面を含めて形成、連結して対象物表面の形状を推定して良い。

　必ずしも可視画像および赤外線画像の全範囲において対象物表面が繋がっているわけではなく、陰になるなどで表面が不連続になる部分も含まれている場合もある。例えば図１５（及び図１６）に示した可視画像および赤外線画像には、対象物表面に不連続な部分も含まれている。この様な不連続な部分における基準点に基づき形成した３角形の平面は、対象物表面の形状の近似として間違っている。従って、非基準点位置推定部１０６は、この様な場合でも正確に表面形状を推定するために、可視画像および赤外線画像において対象物表面の繋がっている夫々の領域を判別し、夫々の繋がっている領域の境界および内側における基準点に基づき、繋がっている領域内において３角形の平面を形成、連結して対象物表面の形状を推定することが好ましい。非基準点位置推定部１０６は、可視画像および赤外線画像の信号値、及びエッジやテクスチャ等の空間的な特徴に基づいて、繋がっている領域を判別できる。

　ここで、可視画像は、通常、可視光の波長域において３種類の異なる波長域での反射強度分布をそれぞれ画像化したＲＧＢ画像（赤色、緑色、青色の波長帯域での画像）から成るため、非基準点位置推定部１０６は、ＲＧＢ画像の信号値、及びそれぞれの画像のエッジやテクスチャ等の空間的な特徴に基づいて、繋がっている領域を判別できる。非基準点位置推定部１０６は、例えば図１５（及び図１６）の様に、対象物がコンクリート構造物の場合、まず可視画像の各画素の中でコンクリート表面と見なせる画素群を抽出する。例えば、各画素のＲＧＢ信号値がコンクリート表面のＲＧＢ値と見なせる決められた範囲に含まれる場合、各画素をコンクリート表面と見なせる画素群として抽出する。非基準点位置推定部１０６は、画素群を抽出した後、各画素のＲＧＢ信号値、及び空間的な特徴に基づき更に細かく画素群を区別する。次いで、非基準点位置推定部１０６は、それぞれの画素群をモルフォロジー膨張演算により穴埋めし、かつ膨張させる。最後に、非基準点位置推定部１０６は、膨張させたそれぞれの画素群について、動的輪郭法を用いて最適な領域に収縮させて、それぞれの画素群が対応する領域を、繋がっている領域として決定することができる。非基準点位置推定部１０６は、動的輪郭法として、Snakes、Level set法等を適用できる。

　ところで、可視画像において、対象物表面が不連続であっても、その不連続な境界を挟む夫々の領域のＲＧＢ信号値が近く不連続な境界の決定が難しい場合があり、一方で、赤外線画像において、その不連続な境界を挟む夫々の領域の温度が異なり、境界が明確な場合もある。この事から、非基準点位置推定部１０６は、可視画像と赤外線画像の両方に基づいて、繋がっている領域を決定する事が好ましい。繋がっている領域を決定する（不連続な境界を挟む夫々の領域を区別して決定する）ための方法には、Mean Shift法、Graph Cuts法など多くの方法がある。非基準点位置推定部１０６は、そのいずれの方法を適用して繋がっている領域を決定してもよい。非基準点位置推定部１０６は、繋がっている領域を決定する手法をユーザの操作に応じて決定してもよい。

　非基準点位置推定部１０６は、機械学習の手法を適用して繋がっている領域を決定してもよい。例えば、CNN（Convolutional Neural Network）、FCN（fully convolution network）、U-net(Convolutional Networks for Biomedical Image Segmentation)、Seg Net(A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation)などの手法を用いて決定してもよい。

　繋がっている領域を決定する方法は、可視画像、及び赤外線画像の特徴に基づく方法であれば特に限定されず、非基準点位置推定部１０６は、そのいずれの方法を適用してもよい。決定に用いる可視画像の種類（信号値の種類）は３種類（ＲＧＢ）に限らず、１種類でも２種類でも、また４種類以上でもよい。

　尚、対象物表面の繋がっている夫々の領域は、可視画像及び赤外線画像の撮像系（の座標系）における方向の領域によって定義される。具体的には、可視画像と赤外線画像の夫々について、対応する撮像系の座標系の原点（光学中心）と撮像面上における繋がっている領域の各画素とを結ぶ直線の方向の領域（つまり、対応する撮像系の座標系の原点と撮像面上における繋がっている領域の境界の各画素とを結ぶ直線によって囲まれる方向の領域）によって定義される。ここで、可視画像と赤外線画像の夫々から求めた方向の領域の内、重なる領域（内側の領域）を対象物表面の繋がっている領域と見做す（可視画像と赤外線画像の何れか一方にでも不連続な境界を認めた場合、その境界によって繋がっている領域を限定するため）。

　［３．１（１）　自由曲面のフィッティングによる対象物表面（３次元表面）の形状の推定］
　可視画像と赤外線画像は異なる種類の画像であるため、［２．基準点の位置を示す情報の取得］で、対象物表面において同一の箇所であると特定できる基準点の数が少ない。つまり、異なる種類の画像であるため、画像の相関（類似性）に基づき基準点を特定する場合、対象物表面において同一の箇所であっても、画像の信号値の空間分布が類似する箇所が少ない。尚、ここで可視画像と赤外線画像が異なる種類の画像であるとは、可視画像と赤外線画像が夫々異なる波長域に感度を有するカメラにより撮像された画像である事を示している。また、可視画像と赤外線画像の両方で特定できるマーカーを予め対象物の表面上に定めるとしても、その数は少ない。そこで、上記説明した様に可視画像および赤外線画像において対象物表面の繋がっている夫々の領域を判別する場合、３角形の面を形成、連結するのではなく、繋がっている領域の境界および内側における全部の基準点の位置に基づき、その領域における対象物表面の形状を推定しても良い。具体的には、繋がっている領域の境界および内側における基準点にベジエ曲面やＢスプライン曲面などの自由曲面をフィッティングして表面形状を推定しても良い（その際に、フィッティングした曲面が必ずしも全ての基準点を通る必要はない）。ここで、曲面フィッティングをする前に、対象物表面の繋がっている夫々の領域を更に、滑らかに繋がっている夫々の領域に分割しても良い（対象物表面に急激に傾きの変化する個所があれば、その急激に傾きの変化する個所を境界として領域を分割しても良い）。既に説明した、可視画像および赤外線画像の信号値、及びエッジやテクスチャ等の空間的な特徴に基づいて判別する方法で、対象物表面の繋がっている夫々の領域を判別でき、かつ、更に細かく、滑らかに繋がっている夫々の領域も判別できる（急激に傾きの変化する個所で区切られた夫々の領域も判別できる）。

　［３．１（２）　特定の形状の面のフィッティングによる対象物表面（３次元表面）の形状の推定］
　対象物によっては、表面形状が予め分かっている（あらかじめ決められた形状の面であることが分かっている）場合があり、例えば対象物がコンクリート構造物の場合、予め分かっている場合が多い。例えば、図１５（及び図１６）の例の様に表面が平面である事が多い。またトンネルの場合、表面が円筒面である事が多い。この様に、対象物の表面形状が予め分かっている場合、非基準点位置推定部１０６は、自由曲面ではなく、平面、円筒面、球面など、表面の形状を表す関数を予め決めておき、対象物表面の夫々の（滑らかに）繋がっている領域において、その領域の境界および内側における基準点の位置に最も合う様に、その関数のパラメータを最適化してフィッティングして表面形状を推定することが好ましい。例えば対象物の表面が平面である事が予め分かっている場合、非基準点位置推定部１０６は、対象物表面の夫々の（滑らかに）繋がっている領域において、その領域の境界および内側における基準点の位置に最も合う様に平面をフィッティングして表面形状を推定しても良い。例えば図１３の模式図の場合、対象物の表面ＳＳが平面である事が予め分かっているため、非基準点位置推定部１０６は、対象物表面ＳＳの（滑らかに）繋がっている領域において、その領域の境界における４つの基準点ＲＰの位置に最も合う様に平面をフィッティングして対象物表面ＳＳの形状を推定している。また、例えば対象物の表面が円筒面である事が予め分かっている場合、非基準点位置推定部１０６は、対象物の表面形状を、円筒面をフィッティングして推定しても良い。

　図１５（及び図１６）の例について、可視画像の信号値、及びエッジやテクスチャ等の空間的な特徴に基づき対象物（コンクリート構造物）の表面の滑らかに繋がっている夫々の領域を判別した結果の例を図１７に示す。図１７において、（ａ）部分に示す領域の表面は他の領域の表面と不連続（繋がってない）であり、（ｂ）部分、（ｃ）部分、および（ｄ）部分に示す夫々の領域の表面は連続ではあるが（繋がってはいるが）、滑らかには繋がっていない（急激に傾きの変化する個所で区切られる）。本対象物（コンクリート構造物）の表面は平面である事が予め分かっているため、非基準点位置推定部１０６は、対象物表面の図１７に示す夫々の領域において、図１５，１６に示した点の基準点および線の基準点の対象物表面における位置に最も合う様に平面をフィッティングして表面形状を推定する事ができる。

　非基準点位置推定部１０６は、対象物表面の形状（あらかじめ決められた形状）が平面の場合、少なくとも３つの基準点（同一直線上にない基準点）がその表面上にあれば表面形状を推定できる。また、対象物表面の形状が球面の場合、少なくとも４つの基準点（同一平面上にない基準点）がその表面上にあれば表面形状を推定できる。また、対象物表面の形状が円筒面の場合、少なくとも５つの基準点がその表面上にあれば表面形状を推定できる。

　対象物表面の形状を予め決めた関数によって表す場合、その関数のパラメータ（独立なパラメータ）の数に応じて、その関数のパラメータを最適化してフィッティングして表面形状を推定するために最小限必要な基準点の数が決まる。勿論、基準点の数が多い程、表面形状推定の精度（フィッティングの精度）が向上する。

　尚、可視画像の撮像系（座標系）及び赤外線画像の撮像系（座標系）と対象物表面の位置や方向の関係に制約が有る場合、非基準点位置推定部１０６は、より少ない基準点に基づき対象物の表面形状を推定できる。例えば対象物表面が平面の場合、例えば可視画像及び赤外線画像の何れかの座標系と対象物表面（平面）とのなす２つの角度の内、１つの角度が決まっている場合（可視画像及び赤外線画像の何れかの座標系において、対象物表面（平面）の法線ベクトルの方向を、極座標の２つの角度θ、φで表す場合の、１つの角度（θとφの何れか）が決まっている場合）、少なくとも２つの基準点がその表面上にあれば表面形状を推定できる。

　また、例えば可視画像及び赤外線画像の何れかの座標系と対象物表面（平面）とのなす角度が決まっている場合（可視画像及び赤外線画像の何れかの座標系において、対象物表面（平面）の法線ベクトルの方向が決まっている場合であり、対象物表面が座標系の何れかの面と平行な場合も含む）、少なくとも１つの基準点がその表面上にあれば表面形状を推定できる。

　また例えば対象物表面が円筒面の場合、例えば可視画像及び赤外線画像の何れかの座標系と対象物の円筒面の軸の方向とのなす２つの角度の内、１つの角度が決まっている場合（可視画像及び赤外線画像の何れかの座標系において、対象物の円筒面の軸の方向を、極座標の２つの角度θ、φで表す場合の、１つの角度（θとφの何れか）が決まっている場合）、少なくとも４つの基準点がその表面上にあれば表面形状を推定できる。

　また、例えば可視画像及び赤外線画像の何れかの座標系と対象物の円筒面の軸の方向とのなす角度が決まっている場合（可視画像及び赤外線画像の何れかの座標系において、対象物の円筒面の軸の方向が決まっている場合であり、円筒面の軸が座標系の何れかの軸と平行な場合も含む）、少なくとも３つの基準点がその表面上にあれば表面形状を推定できる。

　また、例えば可視画像及び赤外線画像の何れかの座標系の何れかの軸と対象物の円筒面の軸が一致する場合、少なくとも１つの基準点がその表面上にあれば表面形状を推定できる。

　対象物表面の形状（上述の「あらかじめ決められた形状」）は、設計図面やＣＡＤデータ（ＣＡＤ：Computer-Aided Design）から把握してもよい。また、対象物を撮影した画像から作成した三次元モデルを利用してもよい。

　［３．２　非基準点の位置の推定］
　上述の方法で推定した対象物表面（３次元表面）の形状に対し、非基準点位置推定部１０６は、様々な方法で非基準点を配置することができる。例えば、可視画像（又は赤外線画像）の各画素に対応して非基準点を配置しても良い。ここで、「可視画像（又は赤外線画像）の各画素に対応して非基準点を配置する」とは、可視画像（又は赤外線画像）の撮像系の座標系の原点（光学中心）と、可視画像（又は赤外線画像）に対応する撮像面上の各画素の座標とを結ぶ直線の方向に非基準点を配置する、つまり透視投影モデル（中心投影モデル）に基づき非基準点を配置する事を意味する。また、「配置する」とは、夫々の非基準点に対応する直線を定める事を意味する（つまり、未だ対象物表面における非基準点の位置は推定されていない）。

　他に、非基準点位置推定部１０６は、撮像面をもっと広くした上で、撮像面上の各画素の座標から光軸（座標系のz軸）に平行な直線の方向に非基準点を配置する、つまり平行投影モデル（正射投影モデル）に基づき非基準点を配置しても良い。平行投影モデルによる画像はオルソ画像（orthoimage, orthophoto）と呼ばれる。つまり、非基準点位置推定部１０６は、オルソ画像の各画素に対応して非基準点を配置しても良い。平行投影モデルの方が対象物の形状を歪みなく、より正確に表す事ができる（非基準点を対象物に対して、より等間隔に配置する事ができる）。

　また、非基準点位置推定部１０６は、可視画像の撮像系（の座標系）及び赤外線画像の撮像系（の座標系）とは別の撮像系（の座標系）に基づき、透視投影モデル又は平行投影モデルに基づき非基準点を配置しても良い。つまり、任意の位置及び方向の撮像系（座標系）で透視投影モデル又は平行投影モデルに基づき非基準点を配置して良い。

　図１８は、図１３に示した模式図において、平行投影モデル（正射投影モデル）に基づく非基準点の配置の様子を示す模式図である。図１８において、非基準点の撮像面はＳ０に定められ、撮像面Ｓ０上の各画素の座標から光軸（非基準点の座標系のz軸）に平行な直線（点線で示す直線）の方向に非基準点が配置されている。なお、図１８では、説明を分かりやすくするため夫々の非基準点に対応する直線を疎らに示している。また、図１８には、基準点ＲＰの位置を示す情報に基づき推定した対象物表面ＳＳも示している。

　以降、非基準点が基づく撮像系（座標系）を非基準点の撮像系（座標系）と呼ぶ。

　非基準点位置推定部１０６は、上記説明した様に対象物表面の形状を推定した後に、非基準点の撮像系（座標系）に基づき配置した夫々の非基準点について、対応する方向の直線と、推定した対象物表面との交点の位置を、対象物表面における非基準点の位置として求める。対象物表面を３角形の平面を連結した形状により近似する場合、夫々の非基準点について、対応する方向の直線が内側を通る３角形を判定し、その３角形の平面と直線との交点の位置を求めれば良い。この時、既に説明した様に、対象物表面の繋がっている領域を判別した場合には、対象物表面の繋がっている領域内でのみ表面の形状が推定されている（３角形の平面が形成されている）。従って、非基準点に対応する方向の直線が、推定した対象物表面（３角形の平面）と交わらない場合もある。この場合、非基準点位置推定部１０６は、その方向の非基準点の位置を求めなくて良く、対象物表面の繋がっている領域内でのみ非基準点の位置を求めれば良い。対象物表面の繋がっている夫々の領域や、更に滑らかに繋がっている夫々の領域を判別し、夫々の領域の境界および内側における全部の基準点の位置に基づき、自由曲面や、予め決めた形状の面をフィッティングして夫々の領域における表面形状を推定する場合も、同様にして、夫々の非基準点について、対応する方向の直線と、推定した対象物表面との交点の位置を求めれば良い。図１８の模式図では、平行投影モデル（正射投影モデル）に基づき配置された夫々の非基準点について、対応する直線（点線で示す直線）と、基準点ＲＰの位置に基づき推定された対象物表面ＳＳとの交点の位置が、対象物表面ＳＳにおける非基準点の位置ＮＲＰとして求められている。

　尚、上記の方法により対象物表面における非基準点の位置を求めるために、非基準点位置推定部１０６は、事前に、対象物表面における基準点の位置、および対象物表面の形状として推定した夫々の面を非基準点の座標系に変換しておく必要がある。以降の説明でも、可視画像の座標系と非基準点の座標系の変換、および赤外線画像の座標系と非基準点の座標系の変換がところどころで必要になる。しかしながら、以降の説明において、その様な座標変換についての説明は適宜省く事とする（可視画像の座標系と非基準点の座標系の位置及び方向の関係、及び赤外線画像の座標系と非基準点の座標系の位置及び方向の関係は既知であるため、それらの座標系の変換が可能な事は自明なため）。

　［４．可視画像と赤外線画像との対応付け］
　画像値推定部１０８（プロセッサ）は、取得した第１画像、第２画像、及び基準点の位置を示す情報に基づいて、対象物の３次元表面における非基準点に対応する可視画像（第１画像）の値と、赤外線画像（第２画像）の値とを推定し、対応づける（ステップＳ１３０：対応付け処理、対応付け工程）。画像の値を推定する方法は二つあるため、順に説明する。なお、基準点に対応する可視画像（第１画像）の値と、赤外線画像（第２画像）の値とは、既に説明した様に、ステップＳ１１０で可視画像（第１画像）と赤外線画像（第２画像）において基準点を特定する際に得られている。

　［４．１　非基準点に対応する画像の値を推定する方法（その１）］
　一つ目の方法は、夫々の非基準点について可視画像の撮像面に投影して対応する可視画像の値を推定し、また赤外線画像の撮像面に投影して対応する赤外線画像の値を推定する方法である。画像値推定部１０８は、非基準点の撮像系（座標系）における対象物表面上の非基準点の座標を、可視画像の撮像系（座標系）における座標に変換した上で、可視画像の撮像系の光学中心（座標系の原点）の方向に可視画像の撮像面に投影し、可視画像の撮像面における非基準点の座標から、その座標を囲む可視画像の画素の値の補間演算により、その座標における可視画像の値（第１画像の値）を推定できる。同様にして、画像値推定部１０８は、非基準点の座標を赤外線画像の撮像面に投影して、その座標における赤外線画像の値（第２画像の値）を推定できる。画像値推定部１０８は、以上の方法により、夫々の非基準点について、対応する可視画像および赤外線画像の値を推定できる。

　［４．２　非基準点に対応する画像の値を推定する方法（その２）］
　二つ目の方法は、可視画像の各画素および赤外線画像の各画素を対象物表面に投影して、夫々の非基準点に対応する可視画像および赤外線画像の値を推定する方法である。既に説明した通り、対象物表面の各点を光学中心の方向に撮像面に投影した画像が撮像画像である。従って、画像値推定部１０８は、可視画像の撮像系の光学中心（座標系の原点）から可視画像の撮像面の各画素の座標を通る直線と、推定した対象物表面との交点の位置を、可視画像の各画素を対象物表面に投影した位置として求めることができる。夫々の非基準点について、対象物表面における非基準点の位置における可視画像の値（第１画像の値）を、その位置を囲む可視画像の各画素の位置と値に基づき、補間演算により推定できる。同様にして、画像値推定部１０８は、対象物表面における非基準点の位置における赤外線画像の値（第２画像の値）も推定できる。以上の方法により、夫々の非基準点について、対応する可視画像および赤外線画像の値を推定できる。

　尚、非基準点を可視画像（又は赤外線画像）の各画素に対応して配置する場合、画像値推定部１０８は、当然、夫々の非基準点に対応する可視画像（又は赤外線画像）の値として、可視画像（又は赤外線画像）の各画素の値をそのまま採用して良い。

　［４．３　推定結果の例］
　図１９は、図１８の模式図に示した非基準点の撮像面Ｓ０上の各画素における可視画像および赤外線画像の値を推定した結果を示す図である。具体的には、撮像面Ｓ０上の各画素に対応する夫々の非基準点について、対象物表面における位置ＮＲＰと、図１４（及び図１３）に示した可視画像Ｉ１及び赤外線画像Ｉ２に基づき、上述した方法によって、対応する可視画像および赤外線画像の値を推定した結果を示す図である。図１９の（ａ）部分は可視画像の値の推定結果を示し、同図の（ｂ）部分は赤外線画像の値の推定結果を示す（図中の灰色の濃さが画像の値を示し、周辺の黒色領域は、対象物表面以外の領域を示す）。なお、図１９では、図１８に示した撮像面Ｓ０上の各画素の内、基準点ＲＰに対応する画素における可視画像と赤外線画像の値も含めて示している。

　［５．重畳データ／重畳画像の生成及び表示］
　重畳データ生成部１１０（プロセッサ）及び表示制御部１１２（表示制御部）は、非基準点を含む各点に対応する可視画像の値（第１画像の値）と赤外線画像の値（第２画像の値）を同一の画素位置に重畳したデータを生成、及び／または非基準点を含む各点に対応する可視画像の値（第１画像の値）と赤外線画像の値（第２画像の値）とを同一の画素位置に重畳した重畳画像をモニタ３１０（表示装置）に表示させる（ステップＳ１４０：データ生成処理／データ生成工程、表示処理／表示工程）。「非基準点を含む各点」とは、各点に少なくとも非基準点が含まれる事を意味し、他に基準点や、それ以外の点も含んでも良い事を意味する。２種類の画像を重畳する方法には公知の種々の方法があり、重畳データ生成部１１０は、その何れの方法を用いても良い。

　図２０は、図１９で示した例についての、可視画像の値と赤外線画像の値とを同一の画像位置に重畳した結果（重畳画像）の例を示す図である。図２０の例において、重畳データ生成部１１０は、非基準点を含む各点に対応する可視画像の値と赤外線画像の値とを加重平均している。具体的には、重畳データ生成部１１０は、可視画像に重み０．４を乗じ、赤外線画像に重み０．６を乗じて加算し、重畳画像を生成している。すなわち、重畳画像の値＝０．４×可視画像の値＋０．６×赤外線画像の値である。表示制御部１１２は、この画像をモニタ３１０に表示させることができる。なお、重みの値はこれに限られず、適宜設定できる。

　図２１は重畳データを表形式にした例を示す図である。図２１の例では、重畳データ生成部１１０は、基準点（Ｐ１）及び非基準点（Ｐ２，Ｐ３）について、対象物上の位置と、可視画像上の対応点での値と、赤外線画像上の対応点での値と、を対応づけており、対象物上の点（基準点または非基準点）について、可視画像及び赤外線画像において対応する点での画像の値を把握することができる。

　図２２は、可視画像、赤外線画像、及び重畳画像の例を示す図である。図２２の（ａ）部分～（ｃ）部分は、それぞれ対象物の同一の部分についての可視画像、赤外線画像、重畳画像を示す。可視画像では対象物の表面の損傷（ひび割れＣＲ）が明瞭に写っており、赤外線画像では対象物の内部の損傷（空洞ＣＡＶ）が明瞭に写っている。したがって、本発明の実施形態によれば、上述のように正確に位置合わせした重畳画像により、対象物の同一の点における表面及び内部の損傷の様子を観察することができる。そして、上述した様に、対象物内部の損傷の内、ひび割れや剥離などの表面の損傷も伴うものと伴わないものとを判別することができる。また、図２２には明示していないが、上述した様に、赤外線画像において周囲と表面温度が異なる個所の内、対象物表面の補修跡、遊離石灰などの異物の付着、色ムラ（カビ、苔、剥離剤、水影響など）、目地、段差、ノロ、砂すじ、錆汁、錆、表面凹凸などに起因するもの（対象物表面の状態などに起因し周囲と実際及び／又は見かけの表面温度が異なり、対象物内部の損傷の診断において誤検出となるもの）と、対象物内部の損傷に起因するものとを判別することができる。本発明の実施形態のように、対象物表面において同一の点（非基準点）に対応する第１画像の値と第２画像の値とを正しく対応づけることにより、複数の画像を対応づける際の位置ズレを低減することができる。なお、本発明の実施形態において、必ずしも第１画像の点と第２画像の点とを対応づけなくてもよい。本発明の実施形態によれば、特に、赤外線画像に基づく浮きなどの内部欠陥の診断において、同時に可視画像も利用する際に、可視画像と赤外線画像との位置ズレを低減することにより、浮きなどの内部欠陥の診断性能を向上することができる。

　記録制御部１１４（プロセッサ）は、図２０～図２２に例示する重畳データ及び／または重畳画像を記録部２００に記録させることができる。

　［６．変形例］
　［６．１　複数の可視画像及び赤外線画像を取得する場合］
　上述の実施形態では、画像取得部１０２（プロセッサ）がステップＳ１００（画像取得処理、画像取得工程）において可視画像と赤外線画像の夫々について１つの画像を取得する場合を説明したが、画像取得部１０２は夫々について異なる位置及び／又は方向で撮像された複数の画像を取得しても良い。この場合、位置情報取得部１０４（プロセッサ）は、ステップＳ１１０（基準点位置情報取得処理、基準点位置情報取得工程）において、複数の可視画像と赤外線画像において同一の基準点を特定、抽出する事ができる（マーカーを予め対象物の表面上に定めておく場合も、画像の信号値の空間分布に基づき基準点を特定する場合も、可能である）。

　例えば、画像の信号値の空間分布に基づき基準点を特定する場合で、その方法として画像相関法を用いる場合、位置情報取得部１０４は、例えば複数の可視画像および赤外線画像の内、撮像の位置及び／又は方向が近い夫々の２つの画像同士で画像相関法により基準点を特定、抽出した後に、夫々の画像において特定、抽出された基準点の位置（座標）の関係に基づき、複数の可視画像と赤外線画像において同一の基準点を特定、抽出する事ができる。そして位置情報取得部１０４（プロセッサ）は、夫々の基準点について、複数の可視画像と赤外線画像における位置に基づき対象物表面における位置を（可視画像と赤外線画像が夫々１つの場合と比較して）より高精度に求める事ができる。夫々の基準点について、複数の可視画像と赤外線画像における位置から対象物表面における位置を求める場合、位置情報取得部１０４（プロセッサ）は、夫々の画像における位置に対応する、夫々の直線（基準点が点の基準点の場合）、若しくは夫々の面（基準点が線の基準点の場合）、が最も集まる（交差する）点（若しくは線）を、その基準点の対象物表面における位置として求めれば良い。

　尚、ステップＳ１００において、可視画像と赤外線画像の夫々について複数の画像を取得する場合、ステップＳ１２０以降は可視画像と赤外線画像の夫々について１つの画像を選定して、画像値推定部１０８が既に説明した方法によって夫々の非基準点に対応する可視画像および赤外線画像像の値を推定し、重畳データ生成部１１０及び表示制御部１１２が重畳したデータを生成及び／又は重畳表示すれば良い。若しくはステップＳ１２０において対象物表面の繋がっている夫々の領域、又は滑らかに繋がっている夫々の領域を判別する際に、非基準点位置推定部１０６は、複数の可視画像と赤外線画像において、信号値及びエッジやテクスチャ等の空間的な特徴に基づいて夫々の領域を判別し、複数の可視画像と赤外線画像の夫々において判別した夫々の方向の領域の内、重なる領域（内側の領域）を対象物表面の繋がっている領域、又は滑らかに繋がっている領域と見做しても良い。又、ステップＳ１３０において夫々の非基準点について対応する可視画像および赤外線画像の値を推定する際に、画像値推定部１０８は、夫々の非基準点について、複数の可視画像の夫々から対応する値を夫々求め、それらの値の平均値を、その非基準点に対応する可視画像の値として求めても良い。同様に、画像値推定部１０８は、複数の赤外線画像の夫々から対応する値を夫々求め、それらの値の平均値を、その非基準点に対応する赤外線画像の値として求めても良い。

　ステップＳ１００において可視画像と赤外線画像の夫々について異なる位置及び／又は方向で撮像された複数の画像を取得する場合、必ずしも夫々の画像の撮像の位置及び／又は方向の関係が分かっていなくとも良い。この場合、画像取得部１０２（プロセッサ）は、SfM（Structure from Motion；多視点ステレオ写真測量）技術を適用する事で、夫々の画像の撮像の位置及び方向を求める事ができる。又、Visual SLAM（Simultaneous Localization and Mapping）技術を用いても、同様に夫々の画像の撮像の位置及び方向を求める事ができる。現在、複数の撮像画像を用いて撮像の位置及び方向を推定する技術が研究、提案されており、その何れの技術を用いて求めても良い。

　［２．基準点の位置を示す情報の取得］～［４．可視画像と赤外線画像との対応付け］において、基準点、非基準点などの撮像画像における位置（撮像面における位置）と対象物表面における位置の変換には、実際には、可視画像及び赤外線画像の夫々の撮像系に関する各種パラメータ（レンズ歪みの補正パラメータ等）が必要となる。それらの位置変換に必要なパラメータは予めメモリに記録され、上記の変換はこれらのパラメータに基づいて行われるものとする。

　［６．２　距離計測装置による基準点の位置情報の取得］
　ステップＳ１１０（基準点位置情報取得処理、基準点位置情報取得工程）において、基準点特定部１０３による可視画像と赤外線画像における基準点の特定を行わずに、位置情報取得部１０４が、別途、距離計測手法（距離計測手段、距離計測装置）によって、直接、対象物表面に夫々の基準点を設定し、かつ、その位置を求めても良い。距離計測手段として、例えばステレオ画像やレーザー光線を利用して距離を計測する装置を用いることができる。距離計測手法（距離計測手段、距離計測装置）とは、例えばLiDAR(Light Detection And Ranging)、ステレオカメラ、TOF(Time Of Flight)カメラ、超音波センサ等のセンサである。この場合、位置情報取得部１０４は、対象物表面に夫々の基準点を設定し、かつ、夫々の基準点に対応する可視画像（第１画像）の値と、赤外線画像（第２画像）の値とを求めることができる。具体的には、距離計測系（の座標系）と可視画像の撮像系（の座標系）及び赤外線画像の撮像系（の座標系）の位置及び方向の関係は既知である。そのため、位置情報取得部１０４は、距離計測手法によって対象物表面に夫々の基準点を設定すれば（及びその位置を求めれば）、それらの基準点の可視画像（第１画像）における位置（可視画像（第１画像）の撮像面に投影した位置）、および赤外線画像（第２画像）における位置（赤外線画像（第２画像）の撮像面に投影した位置）を求めることができる。従って、位置情報取得部１０４は、それらの基準点に対応する可視画像（第１画像）の値と、赤外線画像（第２画像）の値とを求めることができる。または、位置情報取得部１０４が夫々の基準点に対応する可視画像（第１画像）の値と、赤外線画像（第２画像）の値とを求めるのではなく、ステップＳ１３０（対応付け処理、対応付け工程）において、画像値推定部１０８が、非基準点に対応する可視画像（第１画像）の値と、赤外線画像（第２画像）の値とを推定する際に、同時に、基準点に対応する可視画像（第１画像）の値と、赤外線画像（第２画像）の値とを求めてもよい。尚、ステレオカメラによって距離計測を行う場合、可視画像はステレオカメラにより撮像された画像でも良い。

　［６．３　他の画像への適用］
　本発明の実施形態が解決する課題は可視画像と赤外線画像に限らず、画像の種類に依らず発生する。つまり「同一の対象物を異なる位置から撮像した異なる種類の２つの画像を基準点の位置が一致する様に幾何補正する」場合に、「基準点以外の非基準点の位置がずれる」課題は画像の種類に依らず発生する。可視画像、赤外線画像の他に例えば近赤外線画像、紫外線画像、蛍光画像などの何れの画像でも、上記課題は発生する。従って、本発明の実施形態は画像の種類に依らず有効である。尚、ここで「異なる種類の２つの画像」とは、異なる波長域に感度を有するカメラにより撮像された夫々の画像の事を示している。「異なる波長域に感度を有する」とは、全く重複していない夫々の波長域に感度を有する場合だけでなく、一部が重複しており一部が異なっている夫々の波長域に感度を有する場合も含む。また、同じ波長域に感度を有する場合であっても、夫々の感度の分光特性（分光感度特性）が異なり、感度最大となる波長（ピーク感度波長）が異なる場合も含む（実質的に「異なる波長域」に感度を有すると見做せる場合も含む）。また、「画像」とはカメラにより撮像された２次元の画像の事を示している。また、「非基準点の位置がずれる」とは、既に説明した通り、対象物表面の同一の点（非基準点）に対応する２つの夫々の画像における位置がずれることを意味し、同時に、対象物表面の別の点（非基準点）に対応する２つの夫々の画像における位置が、間違って同じになってしまうことを意味する。つまり、対象物表面において別の点（非基準点）に対応する２つの夫々の画像の値を、間違って、同一の点（非基準点）に対応する２つの夫々の画像の値と見做して対応づけてしまうことを意味する。勿論、「同一の対象物を異なる位置から撮像した同じ種類の２つの画像を基準点の位置が一致する様に幾何補正する」場合にも上記課題は発生する。しかしながら、２つの画像が異なる種類である場合、対象物表面において同一の箇所であると特定できる基準点の数が少なく上記課題が顕著であり、本発明の実施形態が特に有効である。

　以上述べたとおり、本発明の第１の態様に係る画像処理装置は、プロセッサを備える画像処理装置であって、プロセッサは、同一の対象物を異なる位置から撮像した第１画像及び第２画像であって、異なる波長帯域で撮像された２次元画像である第１画像及び第２画像を取得し、対象物の３次元表面における基準点であって、第１画像と第２画像との位置合わせの基準となる点である基準点の位置を示す情報を取得し、取得した第１画像、第２画像、及び情報に基づいて、３次元表面における基準点以外の点である非基準点に対応する第１画像の値と、第２画像の値とを推定し、かつ対応づける。
　第１の態様のように、対象物表面において同一の点（非基準点）に対応する第１画像の値と第２画像の値とを正しく対応づけることにより、複数の画像を対応づける際の位置ズレを低減することができる。なお、第１の態様において、必ずしも第１画像の点と第２画像の点とを対応づけなくてもよい。
　第２の態様に係る画像処理装置は第１の態様において、情報は、第１画像と第２画像とに基づき取得された情報である。
　第３の態様に係る画像処理装置は第１の態様または第２の態様において、少なくとも一つの基準点は、対象物の端、湾曲部、境界のいずれかに存在する点である。
　第４の態様に係る画像処理装置は第１から第３の態様のいずれか１つにおいて、情報は、距離計測手段により計測された距離に基づき取得された情報である。距離計測手段として、例えばステレオ画像やレーザー光線を利用して距離を計測する装置を用いることができる。
　第５の態様に係る画像処理装置は第１から第４の態様のいずれか１つにおいて、プロセッサは、情報（基準点の位置を示す情報）に基づき非基準点の位置を推定する。
　第６の態様に係る画像処理装置は第１から第５の態様のいずれか１つにおいて、プロセッサは、情報に基づき３次元表面の形状を推定し、推定した形状に基づき非基準点の位置を推定する。
　第７の態様に係る画像処理装置は第６の態様において、プロセッサは、３つの基準点で規定される平面の集合として形状を推定する。第７の態様は、対象物表面（３次元表面）の形状は平面で近似することができることを考慮したものである。
　第８の態様に係る画像処理装置は第６または第７の態様において、プロセッサは、３次元表面があらかじめ決められた形状の面であるとして形状を推定する。対象物によっては、３次元表面の形状があらかじめある程度把握できる場合があり、第８の態様ではこのような場合に「あらかじめ決められた形状の面」へのフィッティングを行う。第８の態様では、例えば「あらかじめ決められた形状の面」を示す方程式のパラメータを推定することにより、対象物表面（３次元表面）の形状を推定することができる。
　第９の態様に係る画像処理装置は第８の態様において、プロセッサは、３次元表面が平面であるとして形状を推定する。第９の態様では、例えば、平面（「あらかじめ決められた形状の面」の一態様）を示す方程式のパラメータを推定することができる。
　第１０の態様に係る画像処理装置は第８の態様において、プロセッサは、３次元表面が円筒面であるとして形状を推定する。第１０の態様では、例えば、円筒面（「あらかじめ決められた形状の面」の一態様）を示す方程式のパラメータを推定することができる。
　第１１の態様に係る画像処理装置は第１から第１０の態様のいずれか１つにおいて、プロセッサは、第１画像と第２画像とのうち少なくとも一方の画像の値に基づき、対象物の表面を判別する。第１１の態様において、例えば、対象物の表面が繋がっているか不連続であるか、を判別することができる。
　第１２の態様に係る画像処理装置は第１から第１１の態様のいずれか１つにおいて、プロセッサは、少なくとも非基準点に対応する第１画像の値と第２画像の値とを同一の画素位置に重畳したデータを生成、及び／または、少なくとも非基準点に対応する第１画像の値と第２画像の値とを同一の画素位置に重畳して表示装置に表示させる。第１２の態様によれば、精度良く対応付けしたデータ及び／または画像により、ユーザは同一の対象物の表面における同一の点について異なる波長帯域で観察することができる。
　第１３の態様に係る画像処理装置は第１から第１２の態様のいずれか１つにおいて、プロセッサは、可視光の波長帯域の少なくとも一部を含む波長帯域の光で撮像された画像を第１画像と第２画像とのうちの一方の画像として取得し、赤外線の波長帯域の少なくとも一部を含む波長帯域の光で撮像された画像を第１画像と第２画像とのうちの他方の画像として取得する。可視光の波長帯域の少なくとも一部を含む波長帯域は対象物の表面の様子を観察するのに適しており、赤外線の波長帯域の少なくとも一部を含む波長帯域は対象物の内部の様子を観察するのに適しているので、第１３の態様によれば、対象物の表面及び内部を観察するための画像を正確に対応付けすることができる。このことによって、赤外線の波長帯域の少なくとも一部を含む波長帯域の光で撮像された画像に基づき浮きなどの対象物内部の欠陥を診断し、同時に可視光の波長帯域の少なくとも一部を含む波長帯域の光で撮像された画像に基づき対象物表面の様子も観察する際に、夫々の画像を正確に対応付けし、浮きなどの対象物内部の欠陥の診断性能を向上することができる。
　第１４の態様に係る画像処理装置は第１から第１３の態様のいずれか１つにおいて、プロセッサは、対象物としてコンクリート構造物を撮像した第１画像及び第２画像を取得する。コンクリート構造物は例えば橋梁、道路、ダム、ビル等であり、第１４の態様によれば、正確に対応付けされた複数の画像によりコンクリート構造物の様子を観察することができる。
　本発明の第１５の態様に係る画像処理方法は、プロセッサを備える画像処理装置により実行される画像処理方法であって、プロセッサは、同一の対象物を異なる位置から撮像した第１画像及び第２画像であって、異なる波長帯域で撮像された２次元画像である第１画像及び第２画像を取得し、対象物の３次元表面における基準点であって、第１画像と第２画像との位置合わせの基準となる点である基準点の位置を示す情報を取得し、取得した第１画像、第２画像、及び情報に基づいて、３次元表面における基準点以外の点である非基準点に対応する第１画像の値と、第２画像の値とを推定し、かつ対応づける。
　第１５の態様によれば、第１の態様と同様に、複数の画像を対応づける際の位置ズレを低減することができる。なお、第１５の態様に係る画像処理方法は、第２から第１４の態様と同様の処理をさらに実行するものでもよい。
　本発明の第１６の態様に係る画像処理プログラムは、プロセッサを備える画像処理装置に画像処理方法を実行させる画像処理プログラムであって、プロセッサは、同一の対象物を異なる位置から撮像した第１画像及び第２画像であって、異なる波長帯域で撮像された２次元画像である第１画像及び第２画像を取得し、対象物の３次元表面における基準点であって、第１画像と第２画像との位置合わせの基準となる点である基準点の位置を示す情報を取得し、取得した第１画像、第２画像、及び情報に基づいて、３次元表面における基準点以外の点である非基準点に対応する第１画像の値と、第２画像の値とを推定し、かつ対応づける。
　第１６の態様によれば、第１，第１５の態様と同様に、複数の画像を対応づける際の位置ズレを低減することができる。なお、第１６の態様に係る画像処理プログラムは、第２から第１４の態様と同様の処理をさらに実行させるプログラムでもよい。なお、これら態様のプログラムのコンピュータ読み取り可能なコードを記録した非一時的記録媒体も本発明の態様として挙げることができる。

　以上で本発明の実施形態及び他の例に関して説明してきたが、本発明は上述した態様に限定されず、種々の変形が可能である。

１　　座標系
２　　座標系
１０　　画像処理システム
２０　　画像処理装置
１００　処理部
１０２　画像取得部
１０３　基準点特定部
１０４　位置情報取得部
１０６　非基準点位置推定部
１０８　画像値推定部
１１０　重畳データ生成部
１１１　損傷検出部
１１２　表示制御部
１１４　記録制御部
１１６　通信制御部
２００　記録部
３００　表示部
３１０　モニタ
４００　操作部
４１０　キーボード
４２０　マウス
５００　サーバ
５１０　データベース
６００　カメラ
６１０　可視光カメラ
６２０　赤外線カメラ
７１０　橋梁
７１２　壁高欄
７２０　床板
７２２　桁
７３０　橋脚
α　　　　角度
β　　　　角度
θ　　　　角度
ＣＲ　　ひび割れ
ＣＡＶ　空洞
Ｉ１　　可視画像
Ｉ２　　赤外線画像
ＩＳ１　撮像面
ＩＳ２　撮像面
ＲＰ　　基準点
ＮＲＰ　非基準点
ＮＷ　　ネットワーク
Ｏ１　　光学中心
Ｏ２　　光学中心
Ｓ０　　撮像面
ＳＳ　　表面
ｄ　　　等間隔
ｒ　　　半径
ｘ２ｐ　座標
ｘｐ　　座標
Ｓ１００～Ｓ１４０　画像処理方法の各ステップ

Claims

　プロセッサを備える画像処理装置であって、
　前記プロセッサは、
　同一の対象物を異なる位置から撮像した第１画像及び第２画像であって、異なる波長帯域で撮像された２次元画像である前記第１画像及び前記第２画像を取得し、
　前記対象物の表面における基準点の位置を示す情報を取得し、
　前記取得した前記第１画像、前記第２画像、及び前記情報に基づいて、前記表面における前記基準点以外の点である非基準点に対応する前記第１画像の値と、前記第２画像の値とを対応づける、
　画像処理装置。
　前記情報は、前記第１画像と前記第２画像とに基づき取得された情報である請求項１に記載の画像処理装置。
　少なくとも一つの前記基準点は、前記対象物の端、湾曲部、境界のいずれかに存在する点である請求項１または２に記載の画像処理装置。
　前記情報は、距離計測手段により計測された距離に基づき取得された情報である請求項１から３のいずれか１項に記載の画像処理装置。
　前記プロセッサは、前記情報に基づき前記非基準点の位置を推定する請求項１から４のいずれか１項に記載の画像処理装置。
　前記プロセッサは、
　前記情報に基づき前記表面の形状を推定し、
　前記推定した形状に基づき前記非基準点の位置を推定する請求項１から５のいずれか１項に記載の画像処理装置。
　前記プロセッサは、３つの基準点で規定される平面の集合として前記形状を推定する請求項６に記載の画像処理装置。
　前記プロセッサは、
　前記表面があらかじめ決められた形状の面であるとして前記形状を推定する請求項６または７に記載の画像処理装置。
　前記プロセッサは、前記表面が平面であるとして前記形状を推定する請求項８に記載の画像処理装置。
　前記プロセッサは、前記表面が円筒面であるとして前記形状を推定する請求項８に記載の画像処理装置。
　前記プロセッサは、前記第1画像と前記第２画像とのうち少なくとも一方の画像の値に基づき、前記対象物の表面を判別する請求項１から１０のいずれか１項に記載の画像処理装置。
　前記プロセッサは、
　少なくとも前記非基準点に対応する前記第１画像の値と前記第２画像の値とを同一の画素位置に重畳したデータを生成、及び／または、
　少なくとも前記非基準点に対応する前記第１画像の値と前記第２画像の値とを同一の画素位置に重畳して表示装置に表示させる請求項１から１１のいずれか１項に記載の画像処理装置。
　前記プロセッサは、可視光の波長帯域の少なくとも一部を含む波長帯域の光で撮像された画像を前記第１画像と前記第２画像とのうちの一方の画像として取得し、赤外線の波長帯域の少なくとも一部を含む波長帯域の光で撮像された画像を前記第１画像と前記第２画像とのうちの他方の画像として取得する請求項１から１２のいずれか１項に記載の画像処理装置。
　前記プロセッサは、前記対象物としてコンクリート構造物を撮像した前記第１画像及び前記第２画像を取得する請求項１から１３のいずれか１項に記載の画像処理装置。
　プロセッサにより実行される画像処理方法であって、
　同一の対象物を異なる位置から撮像した第１画像及び第２画像であって、異なる波長帯域で撮像された２次元画像である前記第１画像及び前記第２画像を取得し、
　前記対象物の表面における基準点の位置を示す情報を取得し、
　前記取得した前記第１画像、前記第２画像、及び前記情報に基づいて、前記表面における前記基準点以外の点である非基準点に対応する前記第１画像の値と、前記第２画像の値とを対応づける、
　画像処理方法。
　プロセッサに実行させる画像処理プログラムであって、
　同一の対象物を異なる位置から撮像した第１画像及び第２画像であって、異なる波長帯域で撮像された２次元画像である前記第１画像及び前記第２画像を取得し、
　前記対象物の表面における基準点の位置を示す情報を取得し、
　前記取得した前記第１画像、前記第２画像、及び前記情報に基づいて、前記表面における前記基準点以外の点である非基準点に対応する前記第１画像の値と、前記第２画像の値とを対応づける、
　画像処理プログラム。