JP3994217B2

JP3994217B2 - Abnormal point detection system by image processing

Info

Publication number: JP3994217B2
Application number: JP14735098A
Authority: JP
Inventors: 達郎畑野
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 1998-05-28
Filing date: 1998-05-28
Publication date: 2007-10-17
Anticipated expiration: 2018-05-28
Also published as: JPH11337493A

Description

【０００１】
【発明の属する技術分野】
本発明は、赤外線による画像を処理して異常点位置を検出する画像処理による異常点位置検出システムに関し、特に可視画像を併用することによって、赤外線カメラによる画像を用いて検出した異常点の位置を容易に特定するための画像処理による異常点位置検出システム及びその方法に関する。
【０００２】
【従来の技術】
従来、路面の異常、例えば地下に埋設された水道管からの漏水、舗装の亀裂あるいは剥離等を診断する手段として、路面上の所定の位置に赤外線カメラ（ＩＲカメラ）で撮影可能な基準物を配置し、該基準物を画面内に含むようにＩＲカメラで路面の画像を撮影し、該画像によって検出した路面の温度分布から把握される路面の異常点位置を前記基準物の位置に基づいて特定する診断する方法が知られている。
【０００３】
また、撮影範囲を重複させて撮影したディジタル画像を用いて、前記重複部分に含まれる点の画像データに基づいて画像を繋ぎ合わせてパノラマ写真を作成するソフトウェアが知られている。
【０００４】
【発明が解決しようとする課題】
前記従来のＩＲカメラを用いた異常点位置検出システムにおいては、ＩＲカメラの検出素子の画素数が数万画素であるためＩＲカメラによる画像の分解能が低く、前記基準点の画像上の位置や被検査物上における温度分布の状態が不明確であるため、異常箇所や異常状態の詳細な特定・分析が困難であった。
【０００５】
ＩＲカメラによる画像の分解能の低さを補う目的で、ＩＲカメラでの撮影と同一箇所を通常のカメラでも撮影することもあるが、夫々のカメラは独立したものであり撮影倍率や撮影範囲、あおり撮影による画像の歪みの状態が異なるため、参考とするに留まり、被検査物の状態を詳細に分析することはできなかった。
また、診断する被検査物全体の状況を把握するために画像をパノラマ化しようとしても、パノラマ化の基準となる形状の外形線や相対的位置が既知の点の位置が前記と同様に明確でないため前記処理が困難であった。
【０００６】
そこで、本発明の目的は、ＩＲカメラによる画像の分解能の低さを通常のカメラの画像を用いて補い、被検査物の異常の状態や、その位置を詳細に分析することができる画像処理による異常点位置検出システムを提供することにある。
【０００７】
【課題を解決するための手段】
上記目的を達成するための本発明の第１は、所定の相対的位置に設置され、両者に共通する範囲を含む撮影範囲をあおり角をもって撮影する赤外線カメラ及び通常のカメラからなる撮影部と、前記赤外線カメラの画像と通常のカメラの画像とを処理する処理部とからなり、前記処理部は、前記共通撮影範囲内の相対的位置が既知の複数の基準点を撮影した前記赤外線カメラの第１の画像と前記通常のカメラの第１の画像のうち、前記通常のカメラで撮影された第１の画像中の前記基準点の位置に基づいて、前記あおり撮影によって発生する画像の歪みを持った前記通常のカメラの第１の画像を正射投影画像に補正変換するための第１の補正変換パラメータを求める第１の変換パラメータ決定部と、前記あおり撮影によって発生する画像の歪みを持った前記赤外線カメラで撮影された第１の画像を、前記通常のカメラでの撮影に基づく画像に基づいて、正射投影画像に補正変換するための第２の補正変換パラメータを求める第２の変換パラメータ決定部とからなるキャリブレーション部と、前記赤外線カメラと前記通常のカメラとの前記共通撮影範囲に相対的位置が既知の複数の点を含むように撮影された前記赤外線カメラの第２の画像と前記通常のカメラの第２の画像のうち、前記通常のカメラで撮影された第２の画像中の前記相対位置既知点の位置に基づいて、前記あおり撮影によって発生する画像の歪みを持った前記通常のカメラの第２の画像を正射投影画像に補正変換するための第３の補正変換パラメータを求める第３の変換パラメータ決定部と、前記第２の補正変換パラメータと前記第３の補正変換パラメータとの差に基づいて前記赤外線カメラの第２の画像を正射投影画像に補正変換するための第４の補正変換パラメータを求める第４の変換パラメータ決定部とで構成される画像補正部とからなる画像処理による異常点位置検出システムである。
【０００８】
前記第２の補正変換パラメータを求めるに際して用いる通常のカメラで撮影した画像は、前記あおり撮影によって発生する画像の歪みを持った画像、あるいは前記第１の補正変換パラメータによって変換された正射投影画像とすることができる。
また、前記画像補正部は、前記赤外線カメラの第２の画像を前記第４の補正変換パラメータによって補正変換し、及び／又は前記通常のカメラの第２の画像を前記第３の補正変換パラメータによって補正変換し、正射影投影画像とする画像変換部をさらに備えることが好ましい。
【０００９】
異常を診断するＩＲカメラの画像が、正射影投影画像に変換されるので対象物上における異常点の位置が容易に特定される。更には、通常のカメラの画像も正射影投影画像に変換し両画像を対比すれば、対象物上における異常点の位置がさらに容易に特定される。更に、既知点間の寸法の正射投影画像上の値と実際の寸法との比を求めることによって、前記異常点の実座標値、異常箇所の大きさ（長さ、面積など）を知ることもできる。
【００１０】
上記発明のいずれかにおいて、前記第３の補正変換パラメータを用いて変換された通常のカメラの第２の画像の正射投影画像に対して、前記第４の補正変換パラメータを用いて変換された赤外線カメラの第２の画像の正射投影画像を前記通常のカメラの第２の画像の正射投影画像の該当する部分と置換した画像を作成する画像合成部を更に設けることができる。これによって、より容易に異常点位置が特定される。
【００１１】
上記システムによって路面の異常を診断する場合には、センターライン、縁石などの路面上又は路面の近傍に設けられた構築物を基準点として用いると、特別な基準点を設置することが不要となるので好ましい。
【００１２】
【発明の実施の形態】
本発明の実施の形態例として、道路の路面の異常点の位置を検出する画像処理を用いた異常点位置検出システムを説明する。しかしながら、かかる実施の形態例が本発明の技術的範囲を限定するものではない。
本実施の形態例の画像処理を用いた異常点位置検出システムは、観察対象道路の路面を撮影してその画像を取得する撮影部と、前記路面の異常点の位置を求めるために前記取得した画像を処理する処理部とで構成される。
【００１３】
図１は、前記撮影部による路面の撮影状況の概要を示す図である。路面１０を移動する移動手段２０にＩＲカメラ３０とディジタルカメラ４０とが設けられている。ＩＲカメラ３０とディジタルカメラ４０とは夫々の撮影範囲の中心がほぼ一致するように各カメラの位置及び光軸方向が設定されている。ディジタルカメラ４０の光軸は路面が水平であるとき水平に対して未知の角度α１下方を向いている。ＩＲカメラ３０の光軸は路面が水平であるとき水平に対して未知の角度α２下方を向いている。通常、α１とα２とは一致しない。
【００１４】
ＩＲカメラ３０による画像及びディジタルカメラ４０による画像は夫々ディジタル化された画像情報として記録される。但し、いずれのカメラによる画像情報も、フィルムに撮影された画像をフィルムスキャナ等でディジタル化したものでも良い。
本システムでは、まず所定の基準状態において前記撮影部で位置又は寸法既知の基準点を撮影し、前記撮影部の各カメラの画像を夫々正射投影画像に変換する第１及び第２の補正変換パラメータを求めるキャリブレーションを行う。
【００１５】
そして、次に異常点位置検出を行う。異常点位置検出では、ＩＲカメラ３０の画像では必ずしも特定できないが、ディジタルカメラ４０の画像では特定できる位置又は寸法既知の基準点のある路面を任意の状態で撮影し、該ディジタルカメラ４０の画像を正射投影画像に変換する第３及の補正変換パラメータを求め、前記第２の補正変換パラメータに前記第１の補正変換パラメータと前記第３の補正変換パラメータとの差に基づく補正を加えた第４の補正変換パラメータを求める。
【００１６】
そして更に、前記任意の状態で撮影した画像を前記第３及び／又は第４の補正変換パラメータで補正変換して所望の画像を得る。
前記第１、第２、第３及び第４の補正変換パラメータを求める第１〜第４の変換パラメータ決定部、及び前記各カメラで撮影した画像を前記各補正変換パラメータで補正変換して所望の画像を得る画像変換部とはパソコンなどで構成された処理部で行われる。第１〜第４の変換パラメータ決定部及び画像変換部については後に詳述する。
【００１７】
まず最初に、前記キャリブレーションを説明する。
路面１０上の所定の相対的位置に配置した、ＩＲカメラ３０の画像によっても位置を明確に特定できる複数の基準物をＩＲカメラ３０及びディジタルカメラ４０で撮影する。前記基準物としては、ＩＲカメラ３０の画素上で複数の画素上にわたる大きさに結像される、例えば円板や十字形状板を用いることができる。ＩＲカメラ３０の画像を画像処理して円形や十字形状の中心位置を求めることによって、分解能の低いＩＲカメラ３０の画像であっても高い精度で基準物の位置を決定することができる。
【００１８】
なお、ＩＲカメラ３０の温度分解能は高いので、通常路面上に配置された前記基準物を検知することができるが、要すれば事前に熱する、あるいは冷やすことによって容易に検知できるようにしておく。
また、前記基準物は路面上又は路面近傍に設置されている寸法或いは相対的位置が既知の既存の構築物、例えば道路幅員の中心を示す道路錨などであっても良い。
【００１９】
以下の説明は、前記基準物をほぼ水平な路面上で所定の寸法の矩形の各頂点に配置した場合を説明する。図２は、ディジタルカメラ４０で前記基準物を撮影した画像の状態を説明する説明図である。ディジタルカメラ４０による路面の撮影はあおり角＝α１をもってなされる。その結果、撮影された画像は前記あおり角によって歪んだ画像となる。
【００２０】
即ち、図２において、４１はディジタルカメラ４０で撮影された画像４２の大きさ（範囲）を示している。該画像４２に撮影された実際の路面の範囲の平面形状は一点鎖線４３で示された範囲である。そして該画像４２中には前記矩形の各頂点に配置された基準物の画像４４ａ、４４ｂ、４４ｃ、４４ｄが含まれている。実際には矩形の頂点である基準物の画像４４ａ〜４４ｄはあおり撮影による画像歪みのために破線で示した台形４５の頂点の位置となっている。ＩＲカメラ３０で撮影された画像も、前記あおり角にのためにディジタルカメラ４０で撮影された前記画像と同様に歪んだ画像となる。
【００２１】
図３は、パソコンで構成された処理部１００の構成を示す図である。処理部１００は補正変換パラメータ決定部１１０及び画像変換部１２０を備えている。補正変換パラメータ決定部１１０は第１の補正変換パラメータ決定部１１０Ａ、第２の補正変換パラメータ決定部１１０Ｂ、第３の補正変換パラメータ決定部１１０Ｃ、第４の補正変換パラメータ決定部１１０Ｄからなる。
【００２２】
第１の補正変換パラメータ決定部１１０Ａと第２の補正変換パラメータ決定部１１０Ｂとはキャリブレーション部を構成する。第３の補正変換パラメータ決定部１１０Ｃと第４の補正変換パラメータ決定部１１０Ｄと画像変換部１２０とは画像補正部を構成する。
処理部１００は、補正変換パラメータ決定部１１０で求めた補正変換パラメータなどを記憶するメモリ１３０を備えている。
【００２３】
ここで、ディジタルカメラ４０による画像４２の画像情報を第１の補正変換パラメータ決定部１１０Ａに読み込み、ソフトウェアによって前記あおり撮影歪みを補正するための第１の補正変換パラメータを求める。
前記あおり撮影歪みの補正の原理を図４によって説明する。図４は前記矩形の頂点に配置された基準物を撮影した画像であり、前記基準物は前記あおり撮影歪によって台形の頂点４４ａ〜４４ｄに位置した画像となっている。同図において、図２と同じものには同一の符号を付して説明を簡略にする。
【００２４】
前記のように、基準物の点を結んだ実際の形状は寸法既知（例えばＡ＊Ｂcm）の矩形である。そこで、台形４４の各頂点４４ａ〜４４ｄに対応する点４４ａ１〜４４ｄ１が、点４４ａ、４４ｂを通る辺４４ａｂの垂直線上で、４４ａｂ：４４ｂｃ１＝Ａ：Ｂとなるように変換する第１の補正変換パラメータを求める。ここでは、補正変換後の４４ａ１、４４ｂ１が夫々４４ａ、４４ｂに一致するようにした。前記の如く変換された点を結んだ矩形４４ａ１−４４ｂ１−４４ｃ１−４４ｄ１は、基準物の点を結んだ矩形と相似な形状であり、基準点を結んだ形状の縮小された正射投影図形である。
【００２５】
なお、前記第１の補正変換パラメータは、４４ａｂ：４４ｂｃ１＝Ａ：Ｂ＊Ｍとなるように決定しても良い。但し、Ｍは一方向、ここではセンターラインの長手方向のみに適用される縮尺を示す任意の定数である。
即ち、第１の補正変換パラメータは、ディジタルカメラ４０の画像のあおり撮影歪みを補正して正射投影画像に変換する補正変換パラメータである。
【００２６】
次に、ＩＲカメラ３０による画像を処理部１００の第２の補正変換パラメータ決定部１１０Ｂに読み込み、ＩＲカメラ３０による画像の基準点の位置がディジタルカメラ４０による画像の基準点の位置と一致するようにＩＲカメラによる画像を変換する第２の補正変換パラメータを決定する。
この際、ディジタルカメラ４０による画像として、前記補正変換前の画像又は前記補正変換後の画像を用いることができる。前記補正変換後の画像は画像変換部１２０によって前記ディジタルカメラの画像を第１の補正変換パラメータで補正変換して求める。前記補正変換前の画像を用いて求めた第２の補正変換パラメータは、ＩＲカメラ３０の画像をディジタルカメラ４０による画像と同じ画像歪みをもつ画像に変換する補正変換パラメータである。この画像を更に前記第１の補正変換パラメータを用いて変換すればディジタルカメラ４０の画像と同一の縮尺の正射投影画像が得られる。
【００２７】
前記補正変換後の画像を用いて求めた第２の補正変換パラメータは、ＩＲカメラ３０の画像をディジタルカメラ４０の画像と同一の縮尺の正射投影画像に変換する補正変換パラメータである。
もし、ＩＲカメラ３０とディジタルカメラ４０とが光軸周りに相対的に回転した状態に設置されており、その結果、ＩＲカメラ３０による画像がディジタルカメラ４０による画像に対して回転したものとなっていても前記のように第２の補正変換パラメータを決定することによって回転関係は解消される。
【００２８】
そして、前記第１の補正変換パラメータ及び第２の補正変換パラメータはパソコンのメモリに記憶される。
なお、ＩＲカメラ３０とディジタルカメラ４０とが近接して設置されており、両者の画像歪みの差が小さい場合には、ディジタルカメラの画像に基づいて求めた前記第１の補正変換パラメータをそのまま第２の補正変換パラメータとしても良い。ＩＲカメラ３０の光軸とディジタルカメラ４０の光軸とが平行になるように設置されている場合も同様である。
【００２９】
次に、異常点位置検出を説明する。異常点位置検出では、異常の有無、状態を検出すべき対象を前記移動手段２０に設けられたＩＲカメラ３０及びディジタルカメラ４０で撮影する。この場合、ＩＲカメラ３０で特定できる位置又は寸法既知の基準物は必ずしも必要なく、ディジタルカメラ４０で特定できる位置又は寸法既知の基準物があれば良い。ディジタルカメラ４０は可視画像であり、画素数１００万画素を超える高精細な画像の得られるものが市販されており、ＩＲカメラ３０ではとらえることことができないがディジタルカメラ４０ではとらえることができる前記基準物を容易に選択することができる。
【００３０】
以下、例として路面のセンターラインを前記基準物として含む路面の異常点位置を検出する場合について説明する。なお、ＩＲカメラ３０とディジタルカメラ４０とは連動させて同時に撮影することが望ましく、特に移動手段２０を連続的に移動させつつ撮影する場合にはそのようにすることが望ましい。移動手段２０全体の姿勢が場所による路面状態の違いによってＩＲカメラ３０による撮影時とディジタルカメラ４０での撮影時で異なることの影響を除くためである。
【００３１】
図５（ａ）はディジタルカメラ４０によるセンターラインを含む路面の撮影画像である。センターラインの画像５０は前記あおり撮影による画像歪みのために台形となっている。ところで、センターラインは例えば線幅＊長さ＝１０ｃｍ＊２０００ｃｍの矩形と既知である。そこで、前記キャリブレーションで行ったと同様にして台形に歪んだセンターラインの画像５０を実際のセンターラインの形状と相似な矩形の画像に変換する第３の補正変換パラメータを補正変換パラメータ決定部１１０Ｃで求める。
【００３２】
この第３の補正変換パラメータは、前記第１の補正変換パラメータと一般に一致しない。キャリブレーションのための撮影を行った状態とは、路面の起伏などのために例えばあおり角や撮影距離、基準物の対するカメラの光軸周りの姿勢などが異なり、基準物への撮影方向も異なるからである。図５（ｂ）の５１は図５（ａ）とは異なる撮影方向から撮影したセンターラインの画像であり、台形が歪んだ形状となっている。前記第３の補正変換パラメータには、前記撮影方向が異なるための画像歪みの違いも補正するものである。
【００３３】
そして、第３の補正変換パラメータ決定部１１０Ｃは、前記第１の補正変換パラメータと前記第３の補正変換パラメータとの差異を求め、第４の補正変換パラメータ決定部１１０Ｄと画像変換部１２０とに出力する。そして、第４の補正変換パラメータ決定部１１０Ｄは、前記第２の変換パラメータに前記第３の補正変換パラメータ決定部１１０Ｃからの前記差異に基づく修正を加え第４の補正変換パラメータを求め、画像変換部１２０に出力する。このようにして求めた第４の補正変換パラメータは、ＩＲカメラ３０による異常点位置検出のための画像を正射投影画像に変換する変換パラメータである。
【００３４】
そして、画像変換部１２０は、ディジタルカメラ４０で撮影した路面の画像を前記第３の補正変換パラメータによって変換して、異常点位置を検出すべき路面のディジタルカメラ４０の画像の正射投影画像を求める。同様に、ＩＲカメラ３０で撮影した路面の画像を前記第４の補正変換パラメータによって変換して、異常点位置を検出すべき路面のＩＲカメラ３０の画像の正射投影画像を求める。このようにして求めた二つの正射投影画像は、対応する点同士を互い重ね合わせることができる画像である。
【００３５】
なお、異常点位置検出用画像の撮影時の状態がキャリブレーション時の状態とほぼ同じであれば、第３、第４の補正変換パラメータを求めることなく、ＩＲカメラの診断撮影画像に第２の補正変換パラメータを適用しても良い。
ＩＲカメラ３０で撮影された画像とディジタルカメラ４０で撮影された画像とを対応させることは、前記ＩＲカメラ３０での画像の解像度の低さに加えて、前記あおり角の差（α１−α２）に基づく画像歪みの差、各カメラの撮影レンズの焦点距離の差に基づく撮影倍率の差、各カメラの撮像素子の大きさの差に基づく画像の大きさの差があるので困難である。
【００３６】
しかしながら、正射投影画像に変換された前記二つの画像は、前記した如く対応する点同士を互い重ね合わせることができる画像であるから、両者の画像を対比させることによって、ＩＲカメラ３０による画像によって発見した路面の異常箇所を、容易に路面上に特定することができる。
さらに、ＩＲカメラ３０による画像を補正変換した画像をディジタルカメラ４０による画像を補正変換した画像の該当する位置にはめ込み合成することができる。さらに又、撮影範囲の一部が重複した複数の画像からパノラマ画像を作成することもできる。かかる処理は前記パソコンを画像合成部として用いることによって実現される。このようにすれば異常点を検出すべき対象の全体像の把握、図面との対比を容易に行うことができ上記特定作業がより容易となる。
【００３７】
なお、これまでに説明した補正変換パラメータを用いた補正変換は、いずれも一種の座標変換であり、そのアルゴリズムは知られたものである。
次に、処理部１００で行うキャリブレーション、補正変換パラメータ決定、画像変換の処理の手順を、キャリブレーションの手順を示す図６、及び異常点位置検出の手順を示す図７のフロチャートによって説明する。図６において、キャリブレーションの処理が開始されると、前記キャリブレーション用基準点を含むディジタルカメラ４０の画像が第１の補正変換パラメータ決定部１１０Ａに読み込まれ、表示される（ステップ１１）。そこで、表示された画面上での基準点の位置の指示と実際の寸法の入力を行う（ステップ１２）。すると、第１の補正変換パラメータ決定部１１０Ａは指示された基準点間の寸法を入力された寸法に該当させる第１の補正変換パラメータを算出する（ステップ１３）。
【００３８】
そして次に、前記キャリブレーション用基準点を含むＩＲカメラ３０の画像が第２の変換パラメータ決定部１１０Ｂに読み込まれ、表示される（ステップ１４）。そこで、表示された画面上での基準点の位置を指示する（ステップ１５）。更に、基準とするディジタルカメラの画像の種類、即ちあおり撮影による画像歪みのある画像か、正射投影画像に変換後の画像かを指示する（ステップ１６）。
【００３９】
すると、第２の補正変換パラメータ決定部１１０Ｂはステップ１５で指示された基準点の位置がステップ１６で指示された画像中の基準点の位置に該当するように第２の補正変換パラメータを算出して（ステップ１７）、第１及び第２の補正変換パラメータをメモリに記憶して（ステップ１８）、キャリブレーション処理を終了する。
【００４０】
図７において、異常点位置検出処理が開始されると、異常点位置を検出すべき対象物を撮影したディジタルカメラ４０の画像が第３の補正変換パラメータ決定部１１０Ｃに読み込まれ、表示される（ステップ２１）。そこで、表示された画面上での基準点の位置の指示と実際の寸法の入力を行う（ステップ２２）。すると、第３の補正変換パラメータ決定部１１０Ｃは指示された基準点間の寸法が入力された寸法に該当させる第３の補正変換パラメータを算出する（ステップ２３）。そして、メモリから読み出した第１の補正変換パラメータとステップ２３で求めた第３の補正変換パラメータとの差異を求める（ステップ２４）。
【００４１】
次いで、第４の補正変換パラメータ決定部１１０Ｄはメモリから第２の補正変換パラメータを読み出し、ステップ２４で求めた補正変換パラメータの差異に基づいて第２の補正変換パラメータを補正し、第４の補正変換パラメータを求める（ステップ２５）。
そして、画像変換部１２０は、前記異常点位置検出対象物を撮影したディジタルカメラの画像及び／又はＩＲカメラの画像を第３及び／又は第４の補正変換パラメータで補正変換して正射投影画像を求め、表示し（ステップ２６）、さらに、要すればステップ２６で求めたディジタルカメラの画像及び／又はＩＲカメラの画像に基づく正射投影画像を用いて、はめ込み合成やパノラマ合成処理を行い（ステップ２７）、異常点位置検出処理を終了する。
【００４２】
本発明の適用分野は、奥行き方向に広がる対象物、例えば路面状態の観察・分析に限定されるものではなく、カメラに対向する平面状対象物、例えば橋脚やビルの壁面及び窓枠、プラント等の構築物などの平面部分に適用することができる。
【００４３】
【発明の効果】
本発明のよれば、ＩＲカメラによる画像の分解能の低さを通常のカメラの画像を用いて十分に補い、路面等の異常を詳細に分析可能な画像を得ることができる。その結果、路面等の異常状態を詳細に把握すること、異常箇所を特定すること等路面等の状態の分析を容易に行うことができる。
【図面の簡単な説明】
【図１】本発明の実施の形態例の画像撮影部による路面の撮影状況の概要を示す図。
【図２】図１のディジタルカメラで撮影された画像の状態を説明する説明図。
【図３】本発明の実施の形態例の処理部の構成を示す概略構成図。
【図４】あおり撮影歪みの補正方法の原理を説明する説明図。
【図５】異常点位置検出用画像の一例としての、センターラインを含む路面の画像。
【図６】キャリブレーション処理の手順を示したフローチャート。
【図７】異常点位置検出処理の手順を示したフローチャート。
【符号の説明】
３０………………………ＩＲカメラ
４０………………………ディジタルカメラ
４４ａ〜４４ｄ…………キャリブレーションにおける基準点の画像
４４ａ１〜４４ｄ１……補正変換された正射投影画像における基準点の位置
５０、５１………………センターラインの画像
１００……………………処理部
１１０……………………補正変換パラメータ決定部
１２０……………………画像変換部
１３０……………………メモリ[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an abnormal point position detection system based on image processing that detects an abnormal point position by processing an infrared image, and in particular, by using a visible image together, the position of the abnormal point detected using an image from an infrared camera is determined. The present invention relates to an abnormal point position detection system by image processing for easily specifying and a method thereof.
[0002]
[Prior art]
Conventionally, as a means of diagnosing road surface abnormalities, such as water leakage from underground water pipes, cracks or peeling of pavements, a reference object that can be photographed with an infrared camera (IR camera) at a predetermined position on the road surface An image of the road surface is taken with an IR camera so that the reference object is included in the screen, and the abnormal point position on the road surface obtained from the temperature distribution of the road surface detected by the image is based on the position of the reference object. Methods for identifying and identifying are known.
[0003]
There is also known software for creating a panoramic picture by connecting digital images based on image data of points included in the overlapping portion using digital images taken with overlapping shooting ranges.
[0004]
[Problems to be solved by the invention]
In the abnormal point position detection system using the conventional IR camera, since the number of pixels of the detection element of the IR camera is tens of thousands of pixels, the resolution of the image by the IR camera is low, and the position of the reference point on the image and Since the state of the temperature distribution on the inspection object is unclear, it is difficult to specify and analyze the abnormal part and the abnormal state in detail.
[0005]
In order to compensate for the low resolution of the image by the IR camera, the same part as the image taken by the IR camera may be taken by a normal camera, but each camera is independent, and the shooting magnification, shooting range, Since the state of image distortion caused by photographing is different, it is only used as a reference, and the state of the inspection object cannot be analyzed in detail.
In addition, even if an image is panoramic in order to grasp the overall condition of the object to be diagnosed, the outline of the shape that is the reference for panorama and the position of a point with a known relative position are not as clear as described above. Therefore, the processing is difficult.
[0006]
Therefore, an object of the present invention is based on image processing that can compensate for the low resolution of an image by an IR camera using an image of a normal camera and analyze the state of an abnormality of an inspection object and its position in detail. It is to provide an abnormal point position detection system.
[0007]
[Means for Solving the Problems]
In order to achieve the above object, the first aspect of the present invention is an imaging unit including an infrared camera and a normal camera that are installed at a predetermined relative position and shoot a shooting range including a range common to both with a tilt angle; A processing unit that processes an image of the infrared camera and an image of a normal camera, wherein the processing unit captures a plurality of reference points whose relative positions within the common imaging range are known. Among the first image and the first image of the normal camera, there is image distortion caused by the tilt shooting based on the position of the reference point in the first image shot by the normal camera. A first conversion parameter determination unit for obtaining a first correction conversion parameter for correcting and converting the first image of the normal camera into an orthographic projection image, and image distortion caused by the tilt shooting. A second correction conversion parameter for obtaining a second correction conversion parameter for correcting and converting the first image captured by the infrared camera to the orthographic projection image based on the image based on the image captured by the normal camera. A calibration unit including a conversion parameter determination unit; and a second of the infrared camera imaged so as to include a plurality of points whose relative positions are known in the common imaging range of the infrared camera and the normal camera. Of the image and the second image of the normal camera, there is distortion of the image generated by the tilt shooting based on the position of the relative position known point in the second image shot by the normal camera. A third conversion parameter determining unit for obtaining a third correction conversion parameter for correcting and converting the second image of the normal camera into an orthographic projection image; and the second correction conversion parameter. A fourth conversion parameter determining unit for obtaining a fourth correction conversion parameter for correcting and converting the second image of the infrared camera into an orthographic projection image based on a difference between the second correction conversion parameter and the third correction conversion parameter; An abnormal point position detection system by image processing including an image correction unit configured by
[0008]
An image captured by a normal camera used for obtaining the second correction conversion parameter is an image having distortion of the image generated by the tilt shooting, or an orthographic projection image converted by the first correction conversion parameter. It can be.
The image correction unit corrects and converts the second image of the infrared camera by the fourth correction conversion parameter and / or converts the second image of the normal camera by the third correction conversion parameter. It is preferable to further include an image conversion unit that performs correction conversion and generates an orthogonal projection image.
[0009]
Since the image of the IR camera that diagnoses the abnormality is converted into an orthogonal projection image, the position of the abnormal point on the object is easily specified. Furthermore, if a normal camera image is also converted into an orthogonal projection image and the two images are compared, the position of the abnormal point on the object can be more easily specified. In addition, the actual coordinate value of the abnormal point and the size (length, area, etc.) of the abnormal point are known by determining the ratio of the dimension between the known points on the orthographic projection image and the actual size. You can also.
[0010]
In any one of the above inventions, the orthographic projection image of the second image of the normal camera converted using the third correction conversion parameter is converted using the fourth correction conversion parameter. An image synthesizing unit that creates an image in which the orthographic projection image of the second image of the infrared camera is replaced with the corresponding portion of the orthographic projection image of the second image of the normal camera can be further provided. Thereby, the abnormal point position can be specified more easily.
[0011]
When diagnosing road surface abnormalities using the above system, it is not necessary to install a special reference point if a structure provided on or near the road surface such as a center line or curb is used as a reference point. preferable.
[0012]
DETAILED DESCRIPTION OF THE INVENTION
As an embodiment of the present invention, an abnormal point position detection system using image processing for detecting the position of an abnormal point on the road surface of a road will be described. However, such an embodiment does not limit the technical scope of the present invention.
The abnormal point position detection system using the image processing according to the present embodiment includes a photographing unit that photographs a road surface of an observation target road and acquires the image, and the acquired in order to obtain the position of the abnormal point on the road surface. And a processing unit for processing an image.
[0013]
FIG. 1 is a diagram showing an outline of a shooting condition of a road surface by the shooting unit. An IR camera 30 and a digital camera 40 are provided on the moving means 20 that moves on the road surface 10. The positions and optical axis directions of the IR camera 30 and the digital camera 40 are set so that the centers of the respective photographing ranges substantially coincide. When the road surface is horizontal, the optical axis of the digital camera 40 faces an unknown angle α1 below the horizontal. When the road surface is horizontal, the optical axis of the IR camera 30 faces an unknown angle α2 below the horizontal. Usually, α1 and α2 do not match.
[0014]
The image by the IR camera 30 and the image by the digital camera 40 are recorded as digitized image information. However, the image information obtained by any camera may be obtained by digitizing an image photographed on a film with a film scanner or the like.
In the present system, first and second correction conversions are performed in which a reference point whose position or size is known is photographed by the photographing unit in a predetermined reference state, and each camera image of the photographing unit is converted into an orthographic projection image. Perform calibration to obtain parameters.
[0015]
Next, abnormal point position detection is performed. In the abnormal point position detection, the image of the IR camera 30 is not necessarily specified, but the road surface with a reference point whose position or dimension is known can be specified in the image of the digital camera 40 in an arbitrary state, and the image of the digital camera 40 is captured. A third correction conversion parameter to be converted into an orthographic projection image is obtained, and a correction based on a difference between the first correction conversion parameter and the third correction conversion parameter is added to the second correction conversion parameter. 4 correction conversion parameters are obtained.
[0016]
Further, a desired image is obtained by correcting and converting the image captured in the arbitrary state using the third and / or fourth correction conversion parameters.
First to fourth conversion parameter determining units for obtaining the first, second, third and fourth correction conversion parameters, and an image photographed by each of the cameras is corrected and converted with each of the correction conversion parameters to obtain a desired The image conversion unit for obtaining an image is performed by a processing unit configured with a personal computer or the like. The first to fourth conversion parameter determination units and the image conversion unit will be described in detail later.
[0017]
First, the calibration will be described.
A plurality of reference objects whose positions can be clearly specified by images of the IR camera 30 arranged at predetermined relative positions on the road surface 10 are photographed by the IR camera 30 and the digital camera 40. As the reference object, for example, a circular plate or a cross-shaped plate formed on a pixel of the IR camera 30 so as to have a size over a plurality of pixels can be used. By processing the image of the IR camera 30 to obtain the center position of a circle or a cross, the position of the reference object can be determined with high accuracy even for the image of the IR camera 30 having a low resolution.
[0018]
Since the IR camera 30 has a high temperature resolution, it is possible to detect the reference object normally placed on the road surface. However, if necessary, it should be easily detected by heating or cooling in advance. .
The reference object may be an existing structure having a known size or relative position installed on or near the road surface, such as a road fence indicating the center of the road width.
[0019]
In the following description, the reference object is arranged at each vertex of a rectangle having a predetermined size on a substantially horizontal road surface. FIG. 2 is an explanatory diagram for explaining the state of an image obtained by photographing the reference object with the digital camera 40. The photographing of the road surface by the digital camera 40 is performed with the tilt angle = α1. As a result, the photographed image becomes an image distorted by the tilt angle.
[0020]
That is, in FIG. 2, reference numeral 41 denotes the size (range) of the image 42 taken by the digital camera 40. The planar shape of the actual road surface range photographed in the image 42 is the range indicated by the alternate long and short dash line 43. The image 42 includes reference images 44a, 44b, 44c, and 44d arranged at the vertices of the rectangle. In practice, the reference object images 44a to 44d, which are rectangular vertices, are located at the vertices of a trapezoid 45 indicated by broken lines because of image distortion due to tilting. The image captured by the IR camera 30 is also a distorted image similar to the image captured by the digital camera 40 due to the tilt angle.
[0021]
FIG. 3 is a diagram illustrating a configuration of the processing unit 100 configured with a personal computer. The processing unit 100 includes a correction conversion parameter determination unit 110 and an image conversion unit 120. The correction conversion parameter determination unit 110 includes a first correction conversion parameter determination unit 110A, a second correction conversion parameter determination unit 110B, a third correction conversion parameter determination unit 110C, and a fourth correction conversion parameter determination unit 110D.
[0022]
The first correction conversion parameter determination unit 110A and the second correction conversion parameter determination unit 110B constitute a calibration unit. The third correction conversion parameter determination unit 110C, the fourth correction conversion parameter determination unit 110D, and the image conversion unit 120 constitute an image correction unit.
The processing unit 100 includes a memory 130 that stores the correction conversion parameters obtained by the correction conversion parameter determination unit 110.
[0023]
Here, the image information of the image 42 by the digital camera 40 is read into the first correction conversion parameter determination unit 110A, and the first correction conversion parameter for correcting the tilt shooting distortion is obtained by software.
The principle of correcting the tilt shooting distortion will be described with reference to FIG. FIG. 4 is an image obtained by photographing the reference object arranged at the vertex of the rectangle, and the reference object is an image located at the trapezoidal apexes 44a to 44d due to the tilt photographing distortion. In the figure, the same components as those in FIG.
[0024]
As described above, the actual shape connecting the points of the reference object is a rectangle having a known dimension (for example, A * Bcm). Therefore, the first correction conversion is performed so that the points 44a1 to 44d1 corresponding to the vertices 44a to 44d of the trapezoid 44 are converted to be 44ab: 44bc1 = A: B on the vertical line of the side 44ab passing through the points 44a and 44b. Find the parameters. Here, 44a1 and 44b1 after correction conversion are made to coincide with 44a and 44b, respectively. The rectangles 44a1-44b1-44c1-44d1 connecting the points converted as described above are similar in shape to the rectangles connecting the points of the reference object, and are reduced orthographic figures of the shapes connecting the reference points. is there.
[0025]
The first correction conversion parameter may be determined so that 44ab: 44bc1 = A: B * M. However, M is an arbitrary constant indicating a scale applied only in one direction, here, the longitudinal direction of the center line.
In other words, the first correction conversion parameter is a correction conversion parameter for correcting the tilt photographing distortion of the image of the digital camera 40 and converting it into an orthographic projection image.
[0026]
Next, the image by the IR camera 30 is read into the second correction conversion parameter determination unit 110B of the processing unit 100 so that the position of the reference point of the image by the IR camera 30 matches the position of the reference point of the image by the digital camera 40. The second correction conversion parameter for converting the image by the IR camera is determined.
At this time, the image before the correction conversion or the image after the correction conversion can be used as an image by the digital camera 40. The image after the correction conversion is obtained by the image conversion unit 120 correcting and converting the image of the digital camera with the first correction conversion parameter. The second correction conversion parameter obtained using the image before the correction conversion is a correction conversion parameter for converting the image of the IR camera 30 into an image having the same image distortion as the image of the digital camera 40. If this image is further converted using the first correction conversion parameter, an orthographic projection image having the same scale as the image of the digital camera 40 can be obtained.
[0027]
The second correction conversion parameter obtained using the image after the correction conversion is a correction conversion parameter for converting the image of the IR camera 30 into an orthographic projection image having the same scale as the image of the digital camera 40.
If the IR camera 30 and the digital camera 40 are installed in a relatively rotated state around the optical axis, the image obtained by the IR camera 30 is rotated with respect to the image obtained by the digital camera 40. However, the rotational relation is canceled by determining the second correction conversion parameter as described above.
[0028]
The first correction conversion parameter and the second correction conversion parameter are stored in the memory of the personal computer.
When the IR camera 30 and the digital camera 40 are installed close to each other and the difference in image distortion between the IR camera 30 and the digital camera 40 is small, the first correction conversion parameter obtained based on the digital camera image is used as it is. 2 correction conversion parameters may be used. The same applies when the optical axis of the IR camera 30 and the optical axis of the digital camera 40 are installed in parallel.
[0029]
Next, abnormal point position detection will be described. In detecting the abnormal point position, the IR camera 30 and the digital camera 40 provided in the moving means 20 are photographed for the presence / absence of abnormality and the object whose state is to be detected. In this case, a reference object with a known position or size that can be specified by the IR camera 30 is not necessarily required, and a reference object with a known position or size that can be specified by the digital camera 40 may be used. The digital camera 40 is a visible image, and a high-definition image having a number of pixels exceeding 1 million pixels is commercially available. The standard that cannot be captured by the IR camera 30 but can be captured by the digital camera 40 is described above. Things can be easily selected.
[0030]
Hereinafter, as an example, a case where an abnormal point position on a road surface including a road center line as the reference object is detected will be described. Note that it is desirable that the IR camera 30 and the digital camera 40 be simultaneously photographed in conjunction with each other, and in particular when photographing while moving the moving means 20 continuously. This is because the influence of the difference in the posture of the entire moving means 20 between photographing with the IR camera 30 and photographing with the digital camera 40 due to a difference in road surface condition depending on the place is excluded.
[0031]
FIG. 5A is a photographed image of the road surface including the center line by the digital camera 40. The centerline image 50 has a trapezoidal shape due to the image distortion caused by the tilt shooting. By the way, the center line is known as a rectangle of, for example, line width * length = 10 cm * 2000 cm. Therefore, the third correction conversion parameter for converting the trapezoidally distorted centerline image 50 into a rectangular image similar to the actual centerline shape in the correction conversion parameter determination unit 110C in the same manner as in the calibration. Ask.
[0032]
This third correction conversion parameter generally does not coincide with the first correction conversion parameter. For example, the tilt angle, shooting distance, posture of the camera around the optical axis of the reference object, and the shooting direction of the reference object are different from the state where the image was taken for calibration, due to road surface undulations, etc. Because. Reference numeral 51 in FIG. 5B denotes a centerline image taken from a different shooting direction from that in FIG. 5A, and the trapezoid is distorted. The third correction conversion parameter is also for correcting a difference in image distortion due to a difference in the photographing direction.
[0033]
Then, the third correction conversion parameter determination unit 110C obtains a difference between the first correction conversion parameter and the third correction conversion parameter, and sends the difference to the fourth correction conversion parameter determination unit 110D and the image conversion unit 120. Output. The fourth correction conversion parameter determination unit 110D adds the correction based on the difference from the third correction conversion parameter determination unit 110C to the second conversion parameter to obtain a fourth correction conversion parameter, and performs image conversion. To the unit 120. The fourth correction conversion parameter obtained in this way is a conversion parameter for converting an image for detecting an abnormal point position by the IR camera 30 into an orthographic projection image.
[0034]
Then, the image conversion unit 120 converts the road surface image captured by the digital camera 40 with the third correction conversion parameter, and generates an orthographic projection image of the image of the digital camera 40 on the road surface where the abnormal point position is to be detected. Ask. Similarly, an image of the road surface photographed by the IR camera 30 is converted by the fourth correction conversion parameter to obtain an orthographic projection image of the image of the IR camera 30 on the road surface where the abnormal point position is to be detected. The two orthographic projection images obtained in this way are images in which corresponding points can be superimposed on each other.
[0035]
If the state at the time of photographing the abnormal point position detection image is substantially the same as the state at the time of calibration, the second and second correction conversion parameters are not obtained, and the second image is taken into the diagnostic photographed image of the IR camera. Correction conversion parameters may be applied.
The correspondence between the image captured by the IR camera 30 and the image captured by the digital camera 40 is not only the low resolution of the image captured by the IR camera 30 but also the difference in the tilt angle (α1−α2). This is difficult because there is a difference in image distortion based on the difference in image size, a difference in photographing magnification based on a difference in focal length of the photographing lens of each camera, and a difference in image size based on a difference in the size of the image sensor of each camera.
[0036]
However, since the two images converted into the orthographic projection images are images in which corresponding points can be overlapped with each other as described above, the images of the IR camera 30 can be compared by comparing the two images. The detected abnormal part of the road surface can be easily identified on the road surface.
Furthermore, an image obtained by correcting and converting the image obtained by the IR camera 30 can be fitted and synthesized at a corresponding position in the image obtained by correcting and converting the image obtained by the digital camera 40. Furthermore, it is possible to create a panoramic image from a plurality of images in which a part of the shooting range overlaps. Such processing is realized by using the personal computer as an image composition unit. In this way, it is possible to easily grasp the overall image of the object for which the abnormal point is to be detected and to compare it with the drawing, and the above-described specific operation becomes easier.
[0037]
The correction conversion using the correction conversion parameters described so far is a kind of coordinate conversion, and its algorithm is known.
Next, calibration, correction conversion parameter determination, and image conversion processing procedures performed by the processing unit 100 will be described with reference to a flowchart of FIG. 6 showing a calibration procedure and FIG. 7 showing an abnormal point position detection procedure. . In FIG. 6, when the calibration process is started, an image of the digital camera 40 including the calibration reference point is read and displayed on the first correction conversion parameter determination unit 110A (step 11). Therefore, an indication of the position of the reference point on the displayed screen and an actual dimension are input (step 12). Then, the first correction conversion parameter determination unit 110A calculates a first correction conversion parameter that makes the dimension between the designated reference points correspond to the input dimension (step 13).
[0038]
Next, the image of the IR camera 30 including the calibration reference point is read and displayed on the second conversion parameter determination unit 110B (step 14). Therefore, the position of the reference point on the displayed screen is indicated (step 15). Further, the type of the image of the digital camera as a reference, that is, an image with image distortion due to tilt shooting or an image after conversion to an orthographic projection image is designated (step 16).
[0039]
Then, the second correction conversion parameter determination unit 110B calculates the second correction conversion parameter so that the position of the reference point specified in step 15 corresponds to the position of the reference point in the image specified in step 16. (Step 17), the first and second correction conversion parameters are stored in the memory (Step 18), and the calibration process is terminated.
[0040]
In FIG. 7, when the abnormal point position detection process is started, an image of the digital camera 40 that captures an object for which the abnormal point position is to be detected is read and displayed on the third correction conversion parameter determination unit 110C ( Step 21). Therefore, an indication of the position of the reference point on the displayed screen and an actual dimension are input (step 22). Then, the third correction conversion parameter determination unit 110C calculates a third correction conversion parameter that makes the dimension between the designated reference points correspond to the input dimension (step 23). Then, the difference between the first correction conversion parameter read from the memory and the third correction conversion parameter obtained in step 23 is obtained (step 24).
[0041]
Next, the fourth correction conversion parameter determination unit 110D reads the second correction conversion parameter from the memory, corrects the second correction conversion parameter based on the difference in the correction conversion parameter obtained in step 24, and performs the fourth correction. A conversion parameter is obtained (step 25).
Then, the image conversion unit 120 corrects and converts the image of the digital camera and / or the image of the IR camera that captured the abnormal point position detection target object with the third and / or fourth correction conversion parameters, and the orthographic projection image. Is displayed (step 26), and further, if necessary, inlay composition and panorama composition processing are performed using the orthographic projection image based on the digital camera image and / or IR camera image obtained in step 26 ( Step 27), the abnormal point position detection process is terminated.
[0042]
The field of application of the present invention is not limited to an object spreading in the depth direction, for example, observation / analysis of a road surface state, but a planar object facing the camera, such as a bridge pier, a wall surface and a window frame of a building, a plant, etc. It can be applied to planar parts such as constructions.
[0043]
【The invention's effect】
According to the present invention, it is possible to sufficiently compensate the low resolution of an image by an IR camera using an image of a normal camera, and obtain an image that can analyze an abnormality such as a road surface in detail. As a result, it is possible to easily analyze the state of the road surface and the like, such as grasping in detail the abnormal state of the road surface and specifying the abnormal part.
[Brief description of the drawings]
FIG. 1 is a diagram showing an outline of a shooting condition of a road surface by an image shooting unit according to an embodiment of the present invention.
FIG. 2 is an explanatory diagram illustrating a state of an image captured by the digital camera of FIG.
FIG. 3 is a schematic configuration diagram showing a configuration of a processing unit according to an embodiment of the present invention.
FIG. 4 is an explanatory diagram for explaining the principle of a tilt shooting distortion correction method;
FIG. 5 is an image of a road surface including a center line as an example of an abnormal point position detection image.
FIG. 6 is a flowchart showing a procedure of calibration processing.
FIG. 7 is a flowchart showing a procedure of abnormal point position detection processing;
[Explanation of symbols]
30 …………………… IR camera 40 …………………… Digital cameras 44a to 44d ………… Reference point images 44a1 to 44d1 in calibration. Reference point positions 50 and 51 in the image ............. Center line image 100... ……… Image converter 130 …………………… Memory

Claims

An imaging unit consisting of an infrared camera and a normal camera that is installed at a predetermined relative position and shoots a shooting range including a range common to both with a tilt angle;
A processing unit that processes an image of the infrared camera and an image of a normal camera, wherein the processing unit is configured to capture a plurality of reference points whose relative positions within the common imaging range are known. Among the first image and the first image of the normal camera, there is image distortion caused by the tilt shooting based on the position of the reference point in the first image shot by the normal camera. A first conversion parameter determining unit for obtaining a first correction conversion parameter for correcting and converting the first image of the normal camera into an orthographic projection image; and distortion of an image generated by the tilt shooting. A second conversion for obtaining a second correction conversion parameter for correcting and converting the first image captured by the infrared camera into an orthographic projection image based on an image based on the image captured by the normal camera. A second image of the infrared camera that is captured so as to include a plurality of points whose relative positions are known in the common imaging range of the calibration unit including the parameter determination unit and the infrared camera and the normal camera Among the second images of the normal camera, the distortion of the image generated by the tilt shooting is based on the position of the relative position known point in the second image captured by the normal camera. A third conversion parameter determining unit for obtaining a third correction conversion parameter for correcting and converting the second image of the normal camera into an orthographic projection image; the second correction conversion parameter and the third correction; A fourth conversion parameter determination unit for obtaining a fourth correction conversion parameter for correcting and converting the second image of the infrared camera into an orthographic projection image based on a difference from the conversion parameter; Abnormal point position detection system according to image processing characterized by comprising the constructed image correcting unit.

In claim 1,
An image based on photographing with a normal camera used when the calibration unit obtains the second correction conversion parameter is an image having distortion of an image generated by the tilt photographing. Abnormal point position detection system.

In claim 1,
An image based on photographing with a normal camera used when the calibration unit obtains the second correction conversion parameter is an orthographic projection image converted by the first correction conversion parameter. Abnormal point position detection system by processing.

In claims 1 to 3,
The image correction unit corrects and converts the second image of the infrared camera using the fourth correction conversion parameter and / or corrects and converts the second image of the normal camera using the third correction conversion parameter. And an abnormal point position detection system using image processing, further comprising an image conversion unit configured to form an orthogonal projection image.

In claims 1 to 4,
The second image of the infrared camera converted using the fourth correction conversion parameter with respect to the orthographic projection image of the second image of the normal camera converted using the third correction conversion parameter. An abnormal point position detection by image processing, further comprising an image composition unit for creating an image in which the orthographic projection image of the normal camera is replaced with a corresponding portion of the orthographic projection image of the second image of the normal camera system.

In claims 1 to 5,
The system for detecting an abnormal point position by image processing, wherein the plurality of reference points whose relative positions are known are structures provided on or adjacent to a road surface.

A plurality of imaging units including an infrared camera and a normal camera that are installed at a predetermined relative position and shoot a shooting range including a range common to both with a tilt angle, and a common position within the common shooting range are known. Photographing a reference point as a first image of the infrared camera and a first image of the normal camera;
Based on the position of the reference point in the first image taken by the normal camera, the first image taken by the normal camera having the image distortion caused by the tilt shooting is orthophotographed. A first conversion parameter determination step for obtaining a first correction conversion parameter for correction conversion to a projected image;
A first image for correcting and converting a first image captured by the infrared camera having image distortion caused by the tilt shooting to an orthographic image based on an image based on the image captured by the normal camera. A second conversion parameter determination step for obtaining two correction conversion parameters;
The second image of the infrared camera and the second image of the normal camera so as to include a plurality of points whose relative positions are known in the common shooting range of the infrared camera and the normal camera of the shooting unit Step to shoot,
An orthographic projection of the second image of the normal camera having the image distortion caused by the tilt shooting based on the position of the relative position known point in the second image shot by the normal camera. A third conversion parameter determination step for obtaining a third correction conversion parameter for correction conversion to an image;
Fourth to obtain a fourth correction conversion parameter for correcting and converting the second image of the infrared camera into an orthographic projection image based on the difference between the second correction conversion parameter and the third correction conversion parameter. An abnormal point position detection method by image processing, characterized by comprising: