JP6261994B2 - 画像補正方法、これを用いる検査方法及び検査装置 - Google Patents

Description

本発明は、物体を複数の方式で撮影した画像を補正する画像補正方法、これを用い、物体の温度を測定する検査方法及び検査装置に関する。

ガスタービンの翼は、表面にＴＢＣ（Thermal Barrier Courting）膜と呼ばれる保護膜を表面に有するものがある。この保護膜が剥離すると、その部分の遮熱特性が低下するため、保護膜が剥離した部分を検知することが必要になる。保護膜の剥離を検知する方法として、サーモグラフィを使った方法がある。この方法は、検査対象の翼をフラッシュライト等の加熱手段で加熱する。保護膜が剥離した部分があると、その部分の伝熱特性が他の部分とは異なるため、保護膜の表面に温度分布が発生する。この温度分布をサーモグラフィにより観測することで、保護膜が剥離した部分を検知することができる。なお、内部空間を有する板材の形状欠陥を検査する方法としては、例えば、特許文献１に記載されたような方法が知られている。また、サーモグラフィ（赤外線画像）を用いて対象部品を検査する方法は、ガスタービンの翼以外にも用いられる（特許文献２参照）。また、赤外線カメラで撮像した赤外線画像を補正する処理としては、特許文献３に撮像素子の温度に基づいて補正する方法、特許文献４に撮像素子の感度に基づいて補正する方法が記載されている。

特開２００３−３４４３３０号公報 特開２００３−３０７５０５号公報 特開２００５−２３６５５０号公報 特開平６−６６９０９号公報

保護膜の表面に発生した温度分布をサーモグラフィにより観測する方法において、検査対象をその外部から加熱する場合、検査対象を均一に加熱するため、検査対象の表面に黒体（例えば、炭素の粉末）を塗布する必要がある。このため、検査前に黒体を塗布する作業のための手間を要している。

また、赤外線画像を用いて物体を観察する場合、可視画像を用いて赤外線画像を補正する場合がある。このように複数種類の画像を用いる場合、比較する画像がずれると比較の精度が低下してしまう。

本発明は、上述した課題を解決するものであり、赤外線画像と可視画像とを高い精度で比較可能な状態とする画像補正方法を提供することを目的とする。また、本発明は、上述した課題を解決するものであり、物体の表面の状態をその物体の表面の温度分布を用いて検査する際の手間を軽減できる検査方法及び検査装置を提供することを目的とする。

本発明は、物体の赤外線画像と前記物体の可視画像とを重ね合わせる画像補正方法であって、前記物体に設定された複数の基準点に基づいて、前記赤外線画像と前記可視画像の少なくとも一方を補正し、前記赤外線画像と前記可視画像の前記基準点の間の画素の数を一致させる基準点補正ステップと、前記赤外線画像の前記物体の輪郭と、前記可視画像の前記物体の輪郭と、の距離が近づく方向に、前記赤外線画像と前記可視画像の少なくとも一方を補正する輪郭補正ステップと、前記赤外線画像の前記物体の特徴点と、前記可視画像の前記物体の特徴点と、の距離が近づく方向に、前記赤外線画像と前記可視画像の少なくとも一方を補正する特徴点補正ステップと、の少なくとも１つを有することを特徴とする。

また、前記輪郭補正ステップは、前記物体の中心線を固定して、画像を拡大または縮小することが好ましい。

また、前記基準点は、前記物体自身の特徴部、又は前記物体に張り付けられた特徴部であることが好ましい。特徴部は、物体に予め張り付けられたマーカを含む。マーカは、例えば、物体の構造物、及び外部からレーザにより物体に指示(照射)された点の少なくとも一方を含む。

また、前記特徴点補正ステップは、前記物体の輪郭線を固定して、画像の一部を拡大及び一部を縮小することが好ましい。

また、前記特徴点は、前記物体に形成された孔、又は特徴となる構造物の部位であることが好ましい。特徴となる構造物の部位は、物体の目印となる構造物であり、例えば、ガスタービン翼のプラットフォーム部を含む。

また、前記物体を撮像する前に、テストパターンの赤外線画像と可視画像を撮影するステップと、前記テストパターンのデータとテストパターンの赤外線画像とテストパターンの可視画像とに基づいて、画像を撮像する撮像装置の特性を検出するステップと、検出した前記撮像装置の特性に基づいて被検査物の赤外線画像及び可視画像を補正するステップと、をさらに有することが好ましい。

本発明は、被検査物の表面の状態を物体の表面の温度分布を用いて検査する検査方法であって、被検査物を加熱するステップと、加熱された前記被検査物の赤外線画像を撮像するステップと、加熱された前記被検査物の可視画像を撮像するステップと、上記のいずれかに記載の画像補正方法で前記赤外線画像と前記可視画像の少なくとも一方を補正するステップと、補正ステップで補正した前記赤外線画像から前記被検査物の表面の温度に関する温度情報を求めるステップと、補正ステップで補正した前記可視画像から前記被検査物の表面の各部分における色と輻射率に関する情報との関係を求めるステップと、前記輻射率に基づいて前記温度情報を補正するステップと、を含むことを特徴とする。

本発明は、物体の表面の状態を前記物体の表面の温度分布を用いて検査する検査装置であって、被検査物を加熱する加熱装置と、前記被検査物の表面から放射される赤外線の赤外線画像を撮像する第１撮像装置と、前記被検査物の表面の可視画像を撮像する第２撮像装置と、前記第１撮像装置が撮像した赤外線画像から前記被検査物の表面の温度に関する温度情報を求め、前記第２撮像装置が撮像した可視画像から前記被検査物の表面の各部分における色と輻射率に関する情報を求め、前記色と前記輻射率との関係から前記温度情報を補正する処理装置と、を含み、前記処理装置は、前記物体に設定された複数の基準点に基づいて、前記赤外線画像と前記可視画像の少なくとも一方を補正し、前記赤外線画像と前記可視画像の前記基準点の間の画素の数を一致させる処理、前記赤外線画像の前記物体の輪郭と、前記可視画像の前記物体の輪郭と、の距離が近づく方向に、前記赤外線画像と前記可視画像の少なくとも一方を補正する処理、前記赤外線画像の前記物体の特徴点と、前記可視画像の前記物体の特徴点と、の距離が近づく方向に、前記赤外線画像と前記可視画像の少なくとも一方を補正する処理、の少なくとも１つを行うことを特徴とする。

本発明は、赤外線画像と可視画像とを高い精度で比較可能な状態とすることができる。また、本発明は、物体の表面の状態をその物体の表面の温度分布を用いて検査する際の手間を軽減することができる。

図１は、実施形態１に係る検査装置を示す図である。 図２は、第１撮像装置によって撮像された被検査物の画像の一例を示す図である。 図３は、第２撮像装置によって撮像された被検査物の画像の一例を示す図である。 図４は、本実施形態に係る検査方法の処理例を示すフローチャートである。 図５は、本実施形態に係る検査方法の画像補正方法の処理例を示すフローチャートである。 図６は、画像補正方法を説明するための説明図である。 図７は、画像補正方法を説明するための説明図である。 図８は、画像補正方法を説明するための説明図である。 図９は、第１撮像装置の撮像結果から得られた温度画像を補正する一例を示す図である。 図１０は、本実施形態に係る画像補正方法の他の処理を説明するための説明図である。 図１１は、本実施形態に係る画像補正方法の他の処理を説明するための説明図である。 図１２は、本実施形態に係る画像補正方法の他の処理を説明するための説明図である。

本発明を実施するための形態（実施形態）につき、図面を参照しつつ詳細に説明する。

（実施形態１）
図１は、実施形態１に係る検査装置を示す図である。検査装置１は、物体（以下、適宜被検査物という）ＴＢの表面ＴＢＳの状態を、被検査物ＴＢの表面ＴＢＳの温度分布を用いて検査する装置である。このため、検査装置１は、被検査物ＴＢの表面ＴＢＳの温度（以下、適宜表面温度という）を測定する。本実施形態において、検査装置１は、被検査物ＴＢから放射される赤外線を分析し、熱分布を画像として表す、サーモグラフィである。本実施形態において、被検査物ＴＢは、ガスタービンの翼であるが、これには限定されない。ガスタービンの翼は、動翼及び静翼のいずれであってもよい。

＜検査装置１について＞
検査装置１は、加熱装置２と、第１撮像装置３と、第２撮像装置４と、処理装置５とを含む。加熱装置２は、被検査物ＴＢを加熱する。本実施形態において、加熱装置２は、被検査物ＴＢの外部からこれを加熱する。加熱装置２は、例えば、フラッシュライトが用いられるが、被検査物ＴＢの外部からこれを加熱できれば、フラッシュライトには限定されない。本実施形態において、加熱装置２は、被検査物ＴＢの内部からこれを加熱するものであってもよい。この場合、加熱装置２としては、例えば超音波加振装置が用いられる。

第１撮像装置３は、被検査物ＴＢの表面ＴＢＳから放射される赤外線を撮像する。つまり、第１撮像装置３は、被検査物ＴＢの表面ＴＢＳの赤外線画像を撮像する。第１撮像装置３は、例えば、赤外線カメラである。本実施形態において、検査装置１は、サーモグラフィであるため、第１撮像装置３を備えている。第２撮像装置４は、例えば、可視光カメラであり、被検査物ＴＢの表面ＴＢＳ、より具体的には表面ＴＢＳの色合いを撮像する。第２撮像装置４は、被検査物ＴＢの表面ＴＢＳからの光のうち、可視光の領域の光を撮像する。つまり、第２撮像装置４は、被検査物ＴＢの表面ＴＢＳの可視画像を撮像する。第１撮像装置３及び第２撮像装置４は、極力同一の位置及び同一の方向から被検査物ＴＢを撮像することが好ましい。このようにすることで、第１撮像装置３及び第２撮像装置４は、被検査物ＴＢとの相対的な位置関係が同様になるので、両者の撮像結果から得られた画像同士において、それぞれの画像内における位置関係がほぼ同様になる。また、第１撮像装置３と第２撮像装置とは、撮像装置としての性能が異なっていてもよい。具体的には、撮影する画像の画素数が異なっていてもよい。

処理装置５は、第１撮像装置３が撮像した赤外線画像から被検査物ＴＢの表面ＴＢＳの温度に関する情報（以下、適宜温度情報という）を求める。処理装置５は、第２撮像装置４が撮像した被検査物ＴＢの表面ＴＢＳの可視画像の各部分における色と、あらかじめ求められた色と、輻射率（放射率）に関する情報との関係から温度情報を補正する。また、処理装置５は、赤外線画像と可視画像とに対する補正処理を行う。具体的には、赤外線画像と可視画像とを高い精度で比較できるように、赤外線画像と可視画像の少なくとも一方を補正し、２つの画像を重ねた場合、画像内の被検査物ＴＢが重なるように画像処理を行う。処理装置５は、例えば、コンピュータである。処理装置５は、処理部５Ｐと、記憶部５Ｍと、入出力部５ＩＯとを含む。処理部５Ｐは、例えば、ＣＰＵ（Central Processing Unit）を備える。記憶部５Ｍは、例えば、処理部５Ｐが直接アクセスする主記憶部と、主記憶部以外の補助記憶部とを含む。主記憶部は、例えば、ＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）を備える。補助記憶部は、例えば、磁気ディスク、半導体メモリ等である。

処理部５Ｐは、被検査物ＴＢの表面温度を測定するために必要な各種の処理を実行する。例えば、処理部５Ｐは、第１撮像装置３が撮像した赤外線画像を分析して、被検査物ＴＢの温度情報を求める。温度情報は、被検査物ＴＢの表面ＴＢＳから放射される熱エネルギーに関する情報である。本実施形態において、温度情報は、被検査物ＴＢの表面ＴＢＳと関係のある情報であって、表面ＴＢＳに変換できる情報を含んでいればよい。表面ＴＢＳに変換できる情報は、表面ＴＢＳの位置（領域）と、その位置における温度との関係を含む。本実施形態において、処理部５Ｐは、被検査物ＴＢの表面温度を測定するための処理の他、測定された表面温度を画像として表示するための画像処理を実行する。

本実施形態において、処理部５Ｐは、第２撮像装置４が撮像した可視画像を分析して、被検査物ＴＢの表面の色と、あらかじめ求められた被検査物ＴＢの表面色の各部分（場所）における輻射率に関する情報を求める。そして、処理部５Ｐは、求めた輻射率に関する情報を基に、第１撮像装置３の撮像結果から得られた被検査物ＴＢの表面温度の画像（以下、適宜温度画像という）に対して感度（輻射率）の補正をして、温度画像を再構成する。

また、処理部５Ｐは、赤外線画像と可視画像とを高い精度で比較できるように、赤外線画像と可視画像の少なくとも一方を補正し、２つの画像を重ねた場合、画像内の被検査物ＴＢが重なるように画像処理を行う。処理部５Ｐは、補正を行った赤外線画像と可視画像とを用いて、上述の求めた輻射率に関する情報を基に、第１撮像装置３の撮像結果から得られた被検査物ＴＢの表面温度の画像に対する感度の補正処理を行う。

記憶部５Ｍは、被検査物ＴＢの表面温度を測定するための処理及び測定された表面温度を画像として表示するための画像処理に用いられるコンピュータプログラム及びデータを記憶する。処理部５Ｐは、記憶部５Ｍに記憶されたコンピュータプログラム及びデータを読み出し、コンピュータプログラムに記述された命令を実行することにより、被検査物ＴＢの表面温度を測定するための処理及び測定された表面温度を画像として表示するための画像処理を実現する。

入出力部５ＩＯには、処理部５Ｐと処理装置５の外部の機器類等(例えばＤＶＤや外付けハードディスクのような外部接続用記録部，第１撮像装置３や第２撮像装置４のパンチルト台の制御機構，レンズの絞りやフォーカスの制御機構)が接続されている。外部の機器類として、本実施形態では、加熱装置２のコントローラ２Ｃ、第１撮像装置３、第２撮像装置４、表示装置６、入力装置７及びＣＡＤ（Computer Aided Design）システム８が接続されている。処理部５Ｐは、入出力部５ＩＯを介してコントローラ２Ｃを制御して、加熱装置２を動作させる。処理部５Ｐは、入出力部５ＩＯを介して第１撮像装置３及び第２撮像装置４を制御し、これらが撮像した結果を取得する。処理部５Ｐは、入出力部５ＩＯを介して表示装置６に温度画像を表示させたり、入力装置７からの入力された情報を取得したりする。また、処理部５Ｐは、入出力部５ＩＯを介してＣＡＤシステム８から被検査物ＴＢの設計情報を取得する。

＜検査方法＞
図１に示す検査装置１は、本実施形態に係る検査方法を実現する。本実施形態に係る検査方法は、被検査物ＴＢの表面ＴＢＳに黒体を塗布せず、サーモグラフィによって非接触で被検査物ＴＢの表面温度を測定する。被検査物ＴＢの表面ＴＢＳは、場所によって色又は表面の粗さ等の性状が異なることがある。これに起因して、被検査物ＴＢの表面ＴＢＳは、場所によって輻射率が異なるため、熱吸収率に違いが生じる。この熱吸収量の違いが、被検査物ＴＢの加熱ムラを招く可能性があり、検査装置１は、被検査物ＴＢの表面温度を正確に測定できない可能性がある。

本実施形態に係る検査方法及びこれを実現する検査装置１は、被検査物ＴＢの表面ＴＢＳの各部分における色と輻射率に関する情報との関係を予め求め、この関係を用いて温度情報を補正する。このようにすることで、本実施形態に係る検査方法及びこれを実現する検査装置１は、この加熱ムラの原因である輻射率又は輻射率に関する情報を用いて第１撮像装置３の撮像結果から得られた温度情報を補正するので、被検査物ＴＢに加熱ムラが発生しても、被検査物ＴＢの表面温度を求める際の温度情報測定精度の低下を抑制できる。また、本実施形態において、被検査物ＴＢの表面ＴＢＳに黒体を塗布する必要はないので、測定に要する手間を低減できる。このため、特に現場における作業に有効である。

図２は、第１撮像装置によって撮像された被検査物の画像の一例を示す図である。本実施形態において、検査装置１は、第１撮像装置３を用いて被検査物ＴＢを含む赤外線画像４０を撮像する。ここで、被検査物ＴＢには、特徴点となる冷却孔が形成され、補正処理に用いる基準点となる基準マークが設けられている。基準マークは、被検査物ＴＢの翼部分の４隅に配置されている。なお、この基準マークの配置位置は４隅にこだわる必要はない。これにより、赤外線画像４０は、被検査物ＴＢの画像部分に基準マーク４２と冷却孔４４とを含む。赤外線画像４０は、被検査物ＴＢの外縁が輪郭４６となる。

図３は、第２撮像装置によって撮像された被検査物の画像の一例を示す図である。次に、本実施形態において、検査装置１は、第２撮像装置４を用いて被検査物ＴＢの可視光画像５０を撮像する。被検査物ＴＢは、赤外線画像４０と同じ物体である。したがって、可視画像５０は、被検査物ＴＢの画像部分に基準マーク５２と冷却孔５４とを含む。可視画像５０は、被検査物ＴＢの外縁が輪郭５６となる。また、被検査物ＴＢの表面ＴＢＳは、場所によって色が異なる。輻射率は色との相関が高いため、表面ＴＢＳの色によって表面ＴＢＳの輻射率を、あらかじめ求めておいた色と輻射率の関係から推定することができる。

図３に示す例において、被検査物ＴＢの表面ＴＢＳには、異なる色Ａａ、Ａｂ、Ａｃ、Ａｄが現れている。この順に、輻射率は低くなっている。このため、被検査物ＴＢの表面ＴＢＳは、場所によって異なる輻射率である結果、場所によって熱吸収量が異なっている。本実施形態においては、例えば、黒色の輻射率を１とし、各色の輻射率を予め算出しておく。輻射率は、理論上の最大値が１であり実際は１よりも小さい。そして、黒色の輻射率に対応する係数を基礎として、表面ＴＢＳにおける各色の輻射率に対応した係数を求めておく。このように、本実施形態では、各色の輻射率に対応する係数を、輻射率に関する情報として用いる。

例えば、第１撮像装置３の撮像結果のみを用いて被検査物ＴＢの表面温度を求める場合、表面ＴＢＳの輻射率を一定に設定して表面ＴＢＳのそれぞれの場所における表面温度を求める。この場合、実際の輻射率が設定された輻射率よりも高い場所において、処理装置５が求めた表面温度は、実際の表面温度よりも低くなる。また、実際の輻射率が設定された輻射率よりも低い場所において、処理装置５が求めた表面温度は、実際の表面温度よりも高くなる。このため、本実施形態では、前述した被検査物ＴＢの表面ＴＢＳの場所による輻射率を輻射率に関する情報として求めておく。そして、検査装置１は、輻射率に関する情報を用いて、被検査物ＴＢの表面温度に関する情報、すなわち温度情報を補正する。

例えば、第１撮像装置３の撮像結果のみを用いて被検査物ＴＢの表面温度を求める場合において設定された輻射率をεｍとし、第２撮像装置４の撮像結果から求めた輻射率に関する情報（この例では輻射率）をεｒとする。また、処理装置５が、第１撮像装置３の撮像結果のみを用いて被検査物ＴＢの表面温度を求めたときの表面温度（適宜、測定表面温度という）をＴｍとする。すると、実際の表面温度Ｔｒは、式（１）で求めることができる。式（１）から、実際の表面温度Ｔｒは、測定表面温度Ｔｍを、補正係数εｒ／εｍによって補正して得られるともいえる。以下において、実際の表面温度Ｔｒを適宜補正表面温度Ｔｒという。
Ｔｒ＝Ｔｍ×εｒ／εｍ・・（１）

これに対して、検査装置１は、第１撮像装置３で撮像した赤外線画像４０と第２撮像装置４で撮像した可視画像５０を用いて、被検査物ＴＢの表面温度を求める。図３において、それぞれの色Ａａ、Ａｂ、Ａｃ、Ａｄの輻射率をεａ、εｂ、εｃ、εｄとし、これらを第１撮像装置３の撮像結果から表面温度を求める際に用いられる輻射率εｍで除した補正係数を、それぞれｋａ、ｋｂ、ｋｃ、ｋｄとする。複数の補正係数及び輻射率を区別しない場合、補正係数ｋ及び輻射率εという。処理装置５は、第１撮像装置３の撮像結果から得られた表面温度、すなわち測定表面温度Ｔｍを、それぞれの色Ａａ、Ａｂ、Ａｃ、Ａｄに対応する補正係数ｋａ、ｋｂ、ｋｃ、ｋｄを用いて補正する。例えば、処理装置５は、被検査物ＴＢの表面において、色Ａａの部分は、測定表面温度Ｔｍに補正係数ｋａを乗じた値を、その部分の補正表面温度Ｔｒとする。

例えば、本実施形態において、処理装置５の記憶部５Ｍは、被検査物ＴＢの表面における色（又は補正係数ｋ）と、被検査物ＴＢの表面ＴＢＳにおけるその色（又は補正係数ｋ）の位置とが対応付けられたテーブルを記憶する。第１撮像装置３の撮像結果から求めた測定表面温度Ｔｍを補正係数ｋａ等で補正する場合、処理装置５は、補正対象の測定表面温度Ｔｍの位置に対応する補正係数ｋを記憶部５Ｍから読み出して、測定表面温度Ｔｍに乗ずる。このようにして、処理装置５は、補正表面温度Ｔｒを求めることができる。

輻射率ε又は補正係数ｋを求めるにあたって、処理装置５は、第２撮像装置４のそれぞれの画素が有する撮像素子（Ｒ、Ｇ、Ｂ）に対応した出力から該当する画素の色を求め、その色に対応した輻射率を該当する画素の輻射率とし、これで設定された輻射率をεｍで除することによってこれらを求めてよい。処理装置５は、このようにして得られた輻射率ε又は補正係数ｋを、記憶部５Ｍに記憶しておき、第１撮像装置３の撮像結果から求めた測定表面温度Ｔｍを補正する。

処理装置５は、第１撮像装置３の撮像結果から求めた測定表面温度Ｔｍを補正係数ｋによって補正することにより、被検査物ＴＢの表面ＴＢＳに黒体が塗布されない状態であっても、被検査物ＴＢの表面ＴＢＳに黒体が塗布されることにより被検査物ＴＢを均一に加熱した場合と同様の表面温度、すなわち補正表面温度Ｔｒを得ることができる。このように、本実施形態に係る検査方法及び検査装置１は、被検査物ＴＢに黒体を塗布しないことによる加熱ムラの要因となる表面ＴＢＳの熱吸収率の違いに対応した処理をすることにより、簡易かつ正確に被検査物ＴＢの表面温度を求めることができる。

また、処理装置５は、第１撮像装置３の撮像結果から求めた測定表面温度Ｔｍを補正係数ｋによって補正する際、赤外線画像と可視画像との少なくとも一方を補正し、２つの画像内の被検査物が重なるように補正し、画像の相対位置を補正したうえで、第１撮像装置３の撮像結果から求めた測定表面温度Ｔｍを補正係数ｋによって補正する。赤外線画像と可視画像との少なくとも一方を補正する方法は、後述するが、画像の基準マーク４２、５２、冷却孔４４、５４、輪郭４６、５６を検出し、その結果を用いて補正を行う。これにより、求めた輻射率に関する情報を基に、第１撮像装置３の撮像結果から得られた被検査物ＴＢの表面温度の画像に対する感度の補正をより高い精度で実行することができる。

＜処理例＞
図４は、本実施形態に係る検査方法の処理例を示すフローチャートである。図５は、本実施形態に係る検査方法の画像補正方法の処理例を示すフローチャートである。図６から図８は、それぞれ画像補正方法を説明するための説明図である。図９は、第１撮像装置の撮像結果から得られた温度画像を補正する一例を示す図である。

以下、図４から図９を用いて、画像補正方法及び検査方法の処理例を説明する。図４及び図５に示す処理が、処理装置５により各部の動作を制御することで実現することができる。検査装置１の処理装置５は、加熱装置２を動作させて被検査物ＴＢを外部から加熱する（ステップＳ１２）。次に、処理装置５は、第１撮像装置３を用いて被検査物ＴＢの表面の赤外線画像を撮像し（ステップＳ１４）、第２撮像装置４を用いて被検査物ＴＢの表面の可視画像を撮像する（ステップＳ１６）。なお、ステップＳ１４とステップＳ１６の順序は特に限定されず、逆でもよいし、同時でもよい。

処理装置５は、第１撮像装置３で撮像した赤外線画像と、第２撮像装置４で撮像した可視画像とを重ね合わせる（ステップＳ１８）。つまり、処理装置５は、赤外線画像と可視画像との相対位置の対応付けを行い、赤外線画像の被検査物ＴＢと可視画像の被検査物ＴＢとが重なるように赤外線画像と可視画像との少なくとも一方を補正する画像補正処理を行う。

図５から図８を用いて、本実施形態の画像補正処理について説明する。処理装置５は、基準マーカに基づいて赤外線画像可視画像の大きさを合わせる（ステップＳ４０）。つまり赤外線画像４０に含まれる基準マーク４２の位置と、可視画像５０に含まれる基準マーク５２と、を抽出し、基準マーク４２、５２を基準にして、画像の大きさを合わせる処理を行う。より具体的には、赤外線画像４０を基準マーク４２と基準マーク４２との間の画素数と、可視画像５０の対応する基準マーク５２と基準マーク５２との間の画素数と、が同じ画素数となるように、画素数の調整を行う。基本的には、画素数の多い画像を、画素数の小さい画像の画素数に合わせるよう画像を変形する。ここで、本実施形態は、可視画像５０の画素数が赤外線画像４０の画素数よりも大きい。そのため、処理装置５は、基準マーク４２の間の画素数に基づいて、基準マーク５２の間の画素数が同じになるよう、可視画像５０を可視画像５０ａに補正する。これにより、図６に示すように、赤外線画像４０と可視画像５０ａとを重ねると、赤外線画像４０の基準マーク４２の位置と、可視画像５０ａの基準マーク５２ａの位置が重なる状態となる。なお、図６は、赤外線画像４０と可視画像５０ａとを、１つの画素が同じ大きさとした状態で示している。

処理装置５は、赤外線画像４０と可視画像５０ａの大きさを合わせたら、赤外線画像４０、可視画像５０ａの物体（被検査物）の輪郭４６、５６ａを抽出し、輪郭４６、５６ａに基づいて画像を調整（補正）する（ステップＳ４２）。本実施形態では、赤外線画像４０を可視画像５０ａに合わせて補正する。処理装置５は、可視画像５０ａの輪郭５６ａを基準とし、赤外線画像４０を可視画像５０ａに重ねた場合、赤外線画像４０の輪郭４６の位置が輪郭５６ａに重なるように各位置の画像（画像の要素）を縮小、拡大する。処理装置５は、縮小、拡大等の処理を画像全体で行わず、画像の各点で行う。具体的には、図７に示すように、赤外線画像４０と可視画像５０ａの中心線Ｃｌを固定し、中心線Ｃｌと輪郭４６との間の画素を拡大、縮小する補正を行うことで、赤外線画像４０ａに示すように、中心線Ｃｌから輪郭４６ａまでの距離を中心線Ｃｌから輪郭５６ａまでの距離と同じ距離とする。これにより、図７に示すように、輪郭４６ａと輪郭５６ａとを重ねることができる。図７では、画像の中心線として、紙面上下方向（垂直方向）に伸びる中心線を示したが、補正には紙面左右方向（水平方向）に伸びる中心線Ｃ１も用いる。処理装置５は、紙面上下方向（垂直方向）に伸びる中心線を基準として、水平方向の変形の補正を行い、紙面左右方向（水平方向）に伸びる中心線を基準として、垂直方向の変形の補正を行う。

処理装置５は、輪郭に基づいて補正を行ったら、赤外線画像４０ａ、可視画像５０ａの冷却孔４４ａ、５４ａを抽出し、冷却孔４４ａ、５４ａの位置に基づいて、画像を調整（補正）する（ステップＳ４４）。本実施形態では、赤外線画像４０ａを可視画像５０ａに合わせて補正する。処理装置５は、可視画像５０ａの冷却孔５４ａを基準とし、赤外線画像４０ａを可視画像５０ａに重ねた場合、赤外線画像４０ａの冷却孔４４ａの位置が冷却孔５４ａに重なるように各位置の画像（画像の要素）を縮小、拡大する。処理装置５は、縮小、拡大等の処理を画像全体で行わず、画像の各点で行う。具体的には、赤外線画像４０ａと可視画像５０ａの輪郭４６ａ、５６ａの位置を固定し、輪郭４６ａ、５６ａと冷却孔４４ａ、５４ａとの間の画素を拡大、縮小する補正を行う。補正は冷却孔の位置毎に行うことが好ましいが、例えば、図８に示すように、補正前の冷却孔を結んだ仮想線７０を基準として、一方の輪郭４６ａ側の領域８０の画素を拡大し、他方の輪郭４６ａ側の領域８２の画素を縮小することで、冷却孔の位置を移動させる。このような補正を行うことで、赤外線画像４０ｂに示すように、冷却孔４４ｂの位置を冷却孔５４ａと同じ位置とする。処理装置５は、以上のように画像を補正することで、赤外線画像４０ｂと可視画像５０ａとの各画素の位置合わせを行う。これにより、可視画像５０ａの位置と、赤外線画像４０ｂの位置との対応関係の精度を高くすることができる。

次に、処理装置５は、可視画像と赤外線画像とに対する補正処理を行ったら、第２撮像装置４で撮像した可視画像を用いて、補正係数ｋを決定する（ステップＳ２０）。具体的には、可視画像の各位置の色と記憶部５Ｍに記憶されているデータに基づいて、可視画像の各位置の補正係数ｋを決定する。なお、補正係数ｋを決定する可視画像は、ステップＳ１８で補正した画像を用いてもよいし、ステップＳ１８で補正する前の画像を用いてもよい。ステップＳ１８で補正する前の画像を用いる場合、補正前の可視画像と補正後の可視画像の相対位置の情報も併せて対応付ける。これにより、赤外線画像の位置と補正係数ｋとの位置の対応付けを、ステップＳ１８の処理結果を用いて補正した状態とすることができる。次に、処理装置５は、ステップＳ２０で決定した補正係数ｋを用いて、補正係数ｋを用いて測定表面温度Ｔｍを補正する（ステップＳ２２）。

処理装置５は、補正を行ったら、測定表面温度Ｔｍを用いて、第１撮像装置３によって撮像された温度画像を再構成する（ステップＳ２４）。図９中の画像Ｐｂは補正前における温度画像であり、画像Ｐａは補正係数ｋによって補正された後の温度画像である。補正係数ｋの分布は、図９中の補正係数分布Ｒｄに示されている。補正係数分布Ｒｄは、例えば、処理装置５の記憶部５Ｍに記憶されている。補正係数分布Ｒｄは、温度画像Ｐｂ及び補正後における温度画像Ｐａの各画素ＰＸに対応した画素ＰＸに、例えば、補正係数ｋが記述されている。

温度画像Ｐｂの各画素ＰＸは、補正前における温度、すなわち測定表面温度Ｔｍの情報を有している。処理装置５は、記憶部５Ｍから補正係数分布Ｒｄを読み出し、温度画像Ｐｂが有する所定の画素ＰＸの測定表面温度Ｔｍを、補正係数分布Ｒｄの対応する画素ＰＸの補正係数ｋを用いて補正し、補正表面温度Ｔｒを求める。補正において、処理装置５は、温度画像Ｐｂの各画素ＰＸのゲインを補正係数ｋに基づいて調整してもよい。処理装置５が、温度画像Ｐｂのすべての画素ＰＸを補正係数ｋによって補正して補正表面温度Ｔｒを求めることによって、補正後の温度画像Ｐａが得られる。このようにして、第１撮像装置３によって撮像された温度画像Ｐｂが補正後の温度画像Ｐａに再構成される。

処理装置５は、画像を再構成したら、被検査物ＴＢの評価を行い（ステップＳ２６）、本処理を終了する。なお、被検査物の評価は、処理装置５による解析処理で行ってもよいし、再構成した画像を評価者に向けて表示させ、評価者によって行うようにしてもよい。例えば、処理装置５は、補正後の温度画像Ｐａが得られたら、図１に示す表示装置６に、補正後の温度画像Ｐａを表示させる。評価者は、温度画像Ｐａを用いて、被検査物ＴＢの表面温度の過渡変化を評価したり、健全な被検査物ＴＢの温度画像Ｐａと比較することにより、被検査物ＴＢの表面ＴＢＳにおける保護膜の剥離の有無等を評価したりする。

このように、本実施形態は、被検査物ＴＢに黒体を塗布しなくても、加熱時の温度ムラによる影響を低減して、被検査物ＴＢの表面温度を求める際の精度低下を抑制できる。その結果、本実施形態は、ガスタービンの翼の表面を被覆する保護膜の剥離検査を効率よく、かつ低コストで実現することができる。

また、上述したように、赤外線画像と可視画像との相対位置を合わせる画像補正を行うことで、赤外線画像に基づいて取得した温度情報に対し、可視画像に基づいて取得した補正係数を、高い精度で対応付けることができ、温度情報をより高い精度で補正することができる。これにより、ガスタービンの翼の表面を被覆する保護膜の剥離検査の精度を高くすることができる。

図１０から図１２は、それぞれ本実施形態に係る画像補正方法の他の処理を説明するための説明図である。ここで、検査装置、画像処理方法及び検査方法は、赤外線画像と可視画像との相対位置を合わせる画像補正を行う場合、第１撮像装置３、第２撮像装置４の特性に基づいて、取得した画像を補正することが好ましい。第１撮像装置３、第２撮像装置４の特性に基づいた補正は、上述した基準マークに基づいた補正を行う前に行うことが好ましい。

検査装置１は、図１０に示すような白黒反転の格子のテストパターン２０２を検査時に被検査物を設置する位置に設置し、第１撮影装置３と第２撮像装置４で撮影する。図１１は、第２撮像装置４で撮像された可視画像２１２を示している。図１２は、第１撮像装置３で撮像された赤外線画像２２２を示している。検査装置１は、撮影した画像と基準となったテストパターン２０２の形状とを比較して、第１撮影装置３と第２撮像装置４との特性を検出する。例えば、可視画像２１２のパターンの隅２１４と、赤外線画像２２２のパターンの隅２１６の位置を検出する。検査装置１は、隅の位置を検出することで、テストパターン２０２に対する歪み等を検出することができる。検査装置１は、検出した歪みの情報を第１撮影装置３と第２撮像装置４の特性として記憶する。

検査装置１は、記憶した第１撮影装置３と第２撮像装置４の特性に基づいて、第１撮影装置３と第２撮像装置４が撮像した画像を補正することで、第１撮影装置３と第２撮像装置４の特性で生じる歪みを補正することができる。これにより、第１撮影装置３と第２撮像装置４のレンズの特性等で生じる歪みを補正することができ、撮影した画像をより高い精度で一致させることができる。

以上、本実施形態について説明したが、前述した内容により本実施形態が限定されるものではない。また、前述した本実施形態の構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。さらに、前述した構成要素は適宜組み合わせることが可能である。また、本実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換及び変更を行うことができる。

本実施形態では、基準マークとして、被検査物に貼り付けた物体を用いたがこれに限定されない。基準マークは、被検査物の表面で可視画像、赤外線画像で識別することができるものであればよく、被検査物の表面にある構造でもよい。なお、基準マークは、本実施形態のように、被検査物の隅にある構造とすることが好ましく、少なくとも３点以上設けることが好ましい。本実施形態では、特徴点として、被検査物の冷却孔を用いたがこれに限定されない。特徴点は、被検査物の表面で可視画像、赤外線画像で識別することができ、被検査物の表面にある構造、例えば、凹部、凸部、角等であればよい。被検査物に設けられた構造を特徴点とすることで、作業負担を少なくすることができる。また、特徴点は少なくとも１点あればよく、複数点あることが好ましい。

また、上記実施形態では、物体に設定された複数の基準点に基づいて、赤外線画像と可視画像の少なくとも一方を補正し、赤外線画像と可視画像の基準点の間の画素の数を一致させる処理と、赤外線画像の物体の輪郭と、可視画像の物体の輪郭と、の距離が近づく方向に、赤外線画像と可視画像の少なくとも一方を補正する処理と、赤外線画像の物体の特徴点と、可視画像の物体の特徴点と、の距離が近づく方向に、赤外線画像と可視画像の少なくとも一方を補正する処理を行うことで、検査の精度をより高くすることができるが、少なくとも１つの処理を行うと検査の精度を高くすることができる。例えば、輪郭に基づいた補正処理、特徴点に基づいた補正処理の一方を行わなくてもよい。また、基準マークの位置に基づいて画像を補正する処理を行わないようにしてもよい。例えば、可視画像と赤外線画像を同じ位置で同じ画素数、画角で撮像する場合、基準マークに基づいた処理を行わなくても同様の画像を得ることができる。

１ 検査装置
２Ｃ コントローラ
２ 加熱装置
３ 第１撮像装置
４ 第２撮像装置
５ 処理装置
５ＩＯ 入出力部
５Ｍ 記憶部
５Ｐ 処理部
６ 表示装置
７ 入力装置
８ ＣＡＤシステム

Claims (9)

1. 物体の赤外線画像と前記物体の可視画像とを重ね合わせる画像補正方法であって、
   前記物体に設定された複数の基準点に基づいて、前記赤外線画像と前記可視画像の少なくとも一方を補正し、前記赤外線画像と前記可視画像の前記基準点の間の画素の数を一致させる基準点補正ステップと、
   前記基準点補正ステップで補正を行った後に、前記赤外線画像の前記物体の輪郭と、前記可視画像の前記物体の輪郭と、の距離が近づく方向に、前記赤外線画像と前記可視画像の少なくとも一方を補正する輪郭補正ステップと、
   前記輪郭補正ステップを行った後に、前記赤外線画像の前記物体の特徴点と、前記可視画像の前記物体の特徴点と、の距離が近づく方向に、前記赤外線画像と前記可視画像の少なくとも一方を補正する特徴点補正ステップと、を有することを特徴とする画像補正方法。
2. 前記輪郭補正ステップは、前記物体の中心線を固定して、画像を拡大または縮小することを特徴とする請求項１に記載の画像補正方法。
3. 前記基準点は、前記物体の特徴部であることを特徴とする請求項１または２に記載の画像補正方法。
4. 前記特徴点補正ステップは、前記物体の輪郭線を固定して、画像の一部を拡大及び一部を縮小することを特徴とする請求項１から３のいずれか一項に記載の画像補正方法。
5. 前記特徴点は、前記物体に形成された孔、又は特徴となる構造部の部位であることを特徴とする請求項１から４のいずれか一項に記載の画像補正方法。
6. 前記物体を撮像する前に、テストパターンの赤外線画像と可視画像を撮影するステップと、
   前記テストパターンのデータとテストパターンの赤外線画像とテストパターンの可視画像とに基づいて、画像を撮像する撮像装置の特性を検出するステップと、
   検出した前記撮像装置の特性に基づいて被検査物の赤外線画像及び可視画像を補正するステップと、をさらに有することを特徴とする請求項１から５のいずれか一項に記載の画像補正方法。
7. 被検査物の表面の状態を物体の表面の温度分布を用いて検査する検査方法であって、
   被検査物を加熱するステップと、
   加熱された前記被検査物の赤外線画像を撮像するステップと、
   加熱された前記被検査物の可視画像を撮像するステップと、
   請求項１から６のいずれか一項に記載の画像補正方法で前記赤外線画像と前記可視画像の少なくとも一方を補正する補正ステップと、
   補正ステップで補正した前記赤外線画像から前記被検査物の表面の温度に関する温度情報を求めるステップと、
   補正ステップで補正した前記可視画像から前記被検査物の表面の各部分における色と輻射率に関する情報との関係を求めるステップと、
   前記輻射率に基づいて前記温度情報を補正するステップと、を含むことを特徴とする検査方法。
8. 被検査物の表面の状態を物体の表面の温度分布を用いて検査する検査方法であって、
   被検査物を加熱するステップと、
   加熱された前記被検査物の赤外線画像を撮像するステップと、
   加熱された前記被検査物の可視画像を撮像するステップと、
   前記赤外線画像と前記可視画像の少なくとも一方を補正する補正ステップと、
   補正ステップで補正した前記赤外線画像から前記被検査物の表面の温度に関する温度情報を求めるステップと、
   補正ステップで補正した前記可視画像から前記被検査物の表面の各部分における色と輻射率に関する情報との関係を求めるステップと、
   前記輻射率に基づいて前記温度情報を補正するステップと、を含み、
   前記補正ステップは、前記物体に設定された複数の基準点に基づいて、前記赤外線画像と前記可視画像の少なくとも一方を補正し、前記赤外線画像と前記可視画像の前記基準点の間の画素の数を一致させる基準点補正ステップと、
   前記赤外線画像の前記物体の輪郭と、前記可視画像の前記物体の輪郭と、の距離が近づく方向に、前記赤外線画像と前記可視画像の少なくとも一方を補正する輪郭補正ステップと、
   前記赤外線画像の前記物体の特徴点と、前記可視画像の前記物体の特徴点と、の距離が近づく方向に、前記赤外線画像と前記可視画像の少なくとも一方を補正する特徴点補正ステップと、の少なくとも１つを有することを特徴とする検査方法。
9. 物体の表面の状態を前記物体の表面の温度分布を用いて検査するにあたり、
   被検査物を加熱する加熱装置と、
   前記被検査物の表面から放射される赤外線の放射線画像を撮像する第１撮像装置と、
   前記被検査物の表面の可視画像を撮像する第２撮像装置と、
   前記第１撮像装置が撮像した赤外線画像から前記被検査物の表面の温度に関する温度情報を求め、前記第２撮像装置が撮像した可視画像から前記被検査物の表面の各部分における色と輻射率に関する情報を求め、前記色と前記輻射率との関係から前記温度情報を補正する処理装置と、
   を含み、
   前記処理装置は、前記物体に設定された複数の基準点に基づいて、前記赤外線画像と前記可視画像の少なくとも一方を補正し、前記赤外線画像と前記可視画像の前記基準点の間の画素の数を一致させる処理、前記赤外線画像の前記物体の輪郭と、前記可視画像の前記物体の輪郭と、の距離が近づく方向に、前記赤外線画像と前記可視画像の少なくとも一方を補正する処理、前記赤外線画像の前記物体の特徴点と、前記可視画像の前記物体の特徴点と、の距離が近づく方向に、前記赤外線画像と前記可視画像の少なくとも一方を補正する処理、の少なくとも１つを行うことを特徴とする検査装置。

Images