JP3972647B2

JP3972647B2 - 画像診断装置，画像診断システム及び画像診断方法

Info

Publication number: JP3972647B2
Application number: JP2001385382A
Authority: JP
Inventors: 都堀田; 憲司荒木; 将年高田; 慶享児島
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2001-12-19
Filing date: 2001-12-19
Publication date: 2007-09-05
Anticipated expiration: 2021-12-19
Also published as: JP2003187223A

Description

【０００１】
【発明の属する技術分野】
本発明は、画像診断装置，画像診断システム及び画像診断方法並びに技術支援システム，技術支援方法，保守支援システム，保守支援方法に関わり、特に、３次元ＣＡＤデータを用いて診断対象の表面状態に及ぼす影響を除去する画像診断装置，画像診断システム及び画像診断方法並びに技術支援システム，技術支援方法，保守支援システム，保守支援方法に関する。
【０００２】
【従来の技術】
金属材料・油などの劣化状態，患者の健康状態診断等、専門家が経験に基づき実物を見ることで判断している分野は多い。これらを分析すると、専門家は主に診断対象の色情報を処理して総合的に判定していると考えられる。
【０００３】
一例として、火力タービンの動翼などの高温材料の劣化診断方法に注目すると、これらの金属材料の表面は、高温で運転されるため熱酸化や腐食などの現象が起こり、それにより金属自体の表面色が変化したり凹凸が発生したりする。従来、定期点検時に材料表面の色や凹凸を検査委員が判定し、運転温度や、それにより推定される余寿命などを判断していた。
【０００４】
また、金属材料の寿命を監視する技術としては、例えば、特開平９−304131号公報記載の「高温機器の寿命監視装置」のように、材料の劣化や損傷計測情報及び粗さ変化傾向の情報に基づいて使用中の温度及び応力条件の変化を推定し、材料の損傷率及び余寿命を評価する公知例は従来にもあった。また本公知例では、表面粗さの計測結果から推定した温度を表面の色調から推定した「簡易的な温度分布」で補正する、という実現手段も含んでいる。
【０００５】
【発明が解決しようとする課題】
火力タービンの定期点検で従来行われている判定方法では、一つ一つの動翼を、検査員が目視により材料表面状態を判定していたため、判定作業に時間がかかる課題があった。また、目視によって得た色の情報は、定量化できないため他者と共有が難しく、再現性がないという課題がある。また目視による判断に頼るため、検査員が検査のたびに現場に出向かなくてはならないという課題があった。
【０００６】
また、人間の目視による色認識技術の自動化については、画像を撮影する場所の明るさや光の種類などで画像上の色は容易に変わってしまう等の課題がある。色の評価を行うためには、環境によらず画像の色を精度良く評価する必要がある。
【０００７】
前述の特開平９−３０４１３１号公報は、自動で表面色調を計測する手段を備えた構成になっているが、上記の課題を解決するための手段についての記載はみられない。
【０００８】
本発明の一つの目的は、対象の３次元形状の情報を用いて、対象の表面状態の情報を処理する処理装置を提供することにある。
【０００９】
本願発明の他の目的は、診断の対象を撮影した画像から表面の色分布を精度良く抽出し、抽出した色分布から対象の状態を診断できる画像診断装置，画像診断システム又は画像診断方法を提供することである。
【００１０】
本願発明の上記以外の目的は、明細書の記載により、説明される。
【００１１】
【課題を解決するための手段】
本発明の一つの特徴は、対象の３次元形状の情報から、対象の表面状態の情報に及ぼす影響を除去する除去処理部と、前記３次元形状の情報に対象の表面状態の情報を重畳する処理部とを有する処理装置にある。
【００１２】
また、本発明は、診断対象の表面状態の画像情報から診断対象の状態を診断する画像処理装置において、診断対象の表面状態の画像情報と診断対象の３次元形状の情報から、診断対象の表面状態に及ぼす影響を除去する除去処理部と、該３次元形状の上に診断対象を撮影した画像を重畳する処理部を有することを特徴とする。
【００１３】
また、本発明は、表面状態から診断対象の状態を診断する画像診断装置において、診断対象の３次元形状から、表面状態に及ぼす影響を除去し、該３次元形状の上に診断対象を撮影した画像を貼り付けて表示することを特徴とする。
【００１４】
また、本発明は、表面状態に及ぼす影響を除去した上で、診断対象の状態を推定することを特徴とする。
【００１５】
また、本発明は、複数の異なる角度から診断対象を撮影した画像のそれぞれについて、診断対象の３次元形状から、表面状態に及ぼす影響を除去することを特徴とする。
【００１６】
また、本発明は、診断の一例として色から対象の物理的状態を診断することがある。
【００１７】
また、本発明は、診断対象の３次元形状と、画像を撮影する環境の照明の位置，照明の強度から、対象の表面に及ぼす光の影響を算出し、画像上の色から、対象がもつ色と、光の輝度の影響を分離することを特徴とする。
【００１８】
また、本発明は、画像を撮影する環境の照明の位置や強度が不明の場合、対象を撮影した画像上の色分布から、色の明らかな境界を抽出して、抽出した色の境界より影の位置候補領域を設定し、該候補領域から照明の位置と強度を推定することを特徴とする。
【００１９】
また、本発明は、対象を屋外で撮影し、撮影時の太陽の位置を撮影時刻，撮影地点の緯度・経度から求めることを特徴とする。
【００２０】
また、本発明は、撮影した対象の表面を、３次元の形状に基づき領域分割し、領域毎の画像から得られる特徴量を対象の属性として採用することを特徴とする。
【００２１】
また、本発明は、画像領域から得られる特徴量として該画像領域の色の平均値，分散，モード値のいずれか、もしくはそれらの組み合わせの情報を採用することを特徴とする。
【００２２】
また、本発明は、画像領域から得られる特徴量として、該画像領域表面を、色の近い領域毎にグルーピングし、領域毎の色の情報と共に領域の表面積を算出して物体の特徴量とすることを特徴とする。
【００２３】
また、本発明は、診断対象となる部品の表面に表示されている固体番号と３次元ＣＡＤデータをリンクさせておき、対象を撮影する際に該固体番号を画像上から読み取り可能なように撮影し、画像診断装置で固体番号を読み取ることで３次元ＣＡＤデータを参照することを特徴とする。
【００２４】
また、本発明は、画像を３次元形状に投影し、画像上の各画素と３次元形状上の各点との対応をとった結果、画像上における評価対象の輪郭と、３次元形状における輪郭の位置を比較し、そこに生じた差を材料の形状の変化とすることを特徴とする。
【００２５】
また、本発明は、対象を撮影するのと同時に、レーザ計測等の手段で対象の３次元形状を計測し、該３次元形状を表面状態の推定に用いることを特徴とする。
【００２６】
また、本発明は、評価対象を撮影した過去の画像もしくは画像から得られる特徴量等の情報を蓄積しておき、該過去の情報と新規に入力した画像の情報との比較で表面状態の推定を行うことを特徴とする。
【００２７】
また、本発明は、評価対象を、実際に運転している現場で撮影し、その画像情報のみをインターネット等の通信手段を使って伝送し、該画像診断システムで診断することを特徴とする画像診断システムを提供することを特徴とする。
【００２８】
本願発明の上記特徴及びその他の特徴は、以下の記載により更に説明される。
【００２９】
【発明の実施の形態】
次に、図１〜図１９を参照して、画像診断装置，画像診断システム及び画像診断方法の実施例を説明する。
【００３０】
《実施例１》
図１は、本発明による画像診断装置の実施例１の構成を示すブロック図である。
【００３１】
図１の画像診断装置は、カメラ等の撮影部で診断対象を撮影した画像データを蓄積する画像データ蓄積部１と、診断対象の３次元ＣＡＤデータを蓄積するCADデータ蓄積部２と、画像データ蓄積部１の画像データに対して、３次元ＣＡＤデータを用い、光源位置・強度から画像データ上の輝度ノイズを除去する輝度ノイズ除去処理部３と、ノイズ除去された画像を３次元ＣＡＤデータ上に貼り付けて表示する３次元画像表示部４からなる。画像データは、画像データ蓄積部１に蓄積され、処理時に読み出されてもよいし、外部から入力され画像データ蓄積部１を経由又は経由しないで、輝度ノイズ除去処理部３へ入力されて良い。また、３次元ＣＡＤデータは、ＣＡＤデータ蓄積部２に蓄積され、処理時に読み出されてもよいし、外部から入力されＣＡＤデータ蓄積部２を経由又は経由しないで、輝度ノイズ除去処理部３へ入力されて良い。以下同様であるが、蓄積部としては、蓄積対象の容量に対応して種々の記憶装置が使用できる。例えば、半導体等を用いた固体メモリ、光及び／又は磁気を用いたＤＶＤ，ＣＤ記億装置などを用いることができる。また、輝度ノイズ除去処理部３等の処理部は、ハードウエアとしてマイクロプロセッサ又はパーソナルコンピュータ(ＰＣ)等の演算装置などを用いることができる。また、３次元画像表示部４等の表示部は、パーソナルコンピュータ(ＰＣ)等の演算装置とＣＲＴモニター，ＬＣＤモニター，プリンタなどの出力装置を用いることができる。また、ノイズ除去された画像を３次元ＣＡＤデータ上に貼り付けて表示することは、ノイズ除去された画像情報と３次元ＣＡＤデータとを重畳する重畳処理の一態様と考えられ、重畳した情報を表示する代りに出力情報として出力したり、この出力情報を他の処理に用いても良い。
【００３２】
画像データ蓄積部１の画像データは、診断する対象を撮影した画像データである。画像の形式は何でも良いが、本実施例の構成では画像をデジタルの情報として入力する必要があるため、例えばＣＣＤカメラから直接入力する場合には、本入力部にＡ／Ｄ変換処理を備え、アナログ信号をデジタル信号として変換する処理が必要となる。デジタルカメラで撮影した画像や、スチルカメラで撮影した画像をスキャナ等のデジタル化機器で変換した画像を直接取り込むことも出来る。
【００３３】
但し、本発明の目的を考慮すると、出来るだけ評価対象を直接撮影した状態のままで入力する方がよく、スキャナ等は介さない状態の方が望ましい。
【００３４】
デジタル画像のデータ形式は、例えば画像の大きさが２２０画素×２５６画素の例であると、画面はｘ方向に２５６個、ｙ方向に２２０個の画素の集合体からなり、それぞれの画素毎に、Ｒ（赤），Ｇ（緑），Ｂ（青）の３つの値で決まる色の情報を持っている（色についての詳細は後述）。
【００３５】
次に、ＣＡＤデータ蓄積部２の３次元ＣＡＤデータは、診断対象の３次元の形状を記述したデータであり、３次元空間の中の任意の位置、向きに置いた場合の座標が得られる。
【００３６】
ここで対象としている３次元形状は、一つの光源により表面上に影ができる形状を意味する。また、表面が曲面や平面で不規則に構成されており、表面上の任意の点の特定がしにくい形状である場合に更に効果が期待できる。
【００３７】
次に、輝度ノイズ除去処理部３の処理につき説明する。輝度ノイズ除去処理部３は、診断対象の３次元ＣＡＤデータと、光源の位置から、診断対象の表面に及ぼす陰影の影響を算出し、実際の入力画像上の輝度を補正する処理である。
【００３８】
輝度ノイズ除去処理部３の流れにつき図２を用いて説明する。処理２１では、入力画像の色情報を３次元形状上との対応をとる。処理２２では、３Ｄの形状の表面に投影した画像の座標Ｐ（ｘ，ｙ）について、順に参照し処理２３以下の処理を行う。処理２３では、部品の３Ｄ形状，光源の位置・強度から画素Ｐ（ｘ，ｙ）の物体自体の色Ｉ′（Ｒｘｙ，Ｇｘｙ，Ｂｘｙ）を計算する。処理２４では、全ての画素に関する計算が終了したかを判定する。以上の処理により、３Ｄの形状に投影した画像上の色情報から、光の影響による輝度の影響を補正することができる。
【００３９】
処理２１の、画像の色情報を３次元形状に投影する処理は、３Ｄ形状の表面の各座標と、画像上の座標との対応をとり、画像上の座標系にのっている色情報を３Ｄ形状の表面の座標系に対応させることである。カメラと物体の位置や角度の関係、およびカメラパラメータが既知であれば両方の座標の対応は容易にとることができる。また、カメラと物体の位置や角度の関係が既知でなくても、たとえば昭晃堂刊「三次元画像計測」の９１ページから９９ページに記載のあるように、対象となる物体の３次元形状と撮影画像の間で、最低６個以上の対応点を取り（３次元形状上の点（Ｘ，Ｙ，Ｚ）が、画像上の点（ｘ，ｙ）に対応している）、それにより３次元形状上の座標と画像上の座標の変換式を求める方法等が採用できる。
【００４０】
画像は３次元の対象をある視点から見た二次元情報であるので、足りない情報は補完することで全ての表面座標に対応する色情報を設定する。また、不足する色情報を最小限にとどめるため、入力画像として異なる角度から撮った複数の画像を用いることもできる。また、例えばガスタービンの動翼などの場合は、劣化することにより材料の表面が削れて形状が変化することが考えられる。このような場合は画像上の色情報を３次元形状に投影する際に、部品の性質を考慮しできるだけ形状が変化しにくい点を対応点として選択することが必要である。また、あらかじめ画像上の評価対象の輪郭線の座標を求めておくと、３次元形状の輪郭と画像の輪郭が一致しない部分を部品の形状が変化したとして差分情報を劣化の診断材料として採用することもできる。
【００４１】
次に処理２３に該当する物体自体の持つ色の計算方法については更に詳しく説明する。照明の存在する状況下での３次元物体表面の色情報を算出する方法については、各種文献に記載のあるレイ・トレーシングと呼ばれる方法であるが、例えば日経マグロウヒル社刊「ＣＧ実験室」の４７ページから１０８ページまでに記載があるように、３次元の物体の位置と、照明の位置から、物体の表面の色を計算する方法である。具体的には、図３と数１により説明される。図３において、評価対象の物体を３１、照明の位置を３３、視点（カメラ位置）を３７とし、対象３１上の点３２における法線ベクトルを３５とする。
【００４２】
照明の影響を考慮した場合の対象の輝度の計算方法は、例えば対象１上の点３２における輝度は、数１のように表される。
【００４３】
Ｃ＝（ｓ＊ｋｄ＊cosα＋ｋｅ）＊Ｃｓ＋ｓ＊ｋｓ＊cosβ＊Ｃｗ…（数１）
但し
cosα＝−Ｌ＊Ｎ
cosβ＝２（Ｌ＊Ｎ＊Ｎ＊Ｖ）−Ｌ＊Ｖ
ｓ：入射光の強さ
ｋｄ：拡散反射係数
Ｃｓ：光を考慮しないときの物体の表面色
ｋｅ：環境反射係数
ｋｓ：鏡面反射係数
Ｃｗ：白（値２５５）
数１は、物体自体の持つ色Ｃｓを既知とし、所定の照明条件の下で見える色Ｃを物体自体のもつ色を基準として算出する方法である。
【００４４】
本発明は、所定の照明の下での物体の色が、画像上の色として既知である場合に、物体自体のもつ色を算出するのが目的であるので、数１より
Ｃｓ＝(Ｃｓ＊ｋｓ＊cosβ＊Ｃｗ)／(ｓ＊ｋｄ＊cosα＋ｋｅ)…（数２）
となり、処理３においては数２を用いることで物体自体のもつ色を算出する。
【００４５】
以上の処理を画像上の対象物体の全ての画素につき求め、求めた物体自体のもつ色で画像を変換することで評価対象について、照明に影響されない色に変換することができる。
【００４６】
なお、対象となる画像がカラーの場合は、数２のＣｗについてそれぞれ対象となる表面上の点Ｐ（ｘ，ｙ）のＲｘｙ，Ｇｘｙ，Ｂｘｙの値をそれぞれ求める。
【００４７】
３次元画像表示部４は、輝度ノイズ除去処理部３で対応を取り、物体自体の持つ色に変換した画像を３次元形状上に貼り付けて表示する。これは３次元ＣＡＤを表示する際に、３次元ＣＡＤデータの表面上の各点の色情報として、輝度ノイズ除去処理部で対応をとった画像上の点の色情報を採用することで実現できる。
【００４８】
以上が本発明による画像診断装置の第一の実施例を示すものである。この構成をとることにより、診断対象の２次元画像を撮影するだけで、光の影響を除去した３次元画像を作成することができ、現地に行かなくても検査員が対象の状態診断を遠隔で行うことができる。
【００４９】
《実施例２》
図４は、本発明による画像診断装置の実施例２の構成を示すブロック図である。
【００５０】
図４の画像診断装置は、実施例１の画像データ蓄積部１と、ＣＡＤデータ蓄積部２と、輝度ノイズ除去処理部３と、材料劣化診断部５と、劣化診断結果データ６からなる。
【００５１】
本実施例の構成は、輝度ノイズ除去処理部３で物体自体の持つ色に変換した画像を入力とし、画像処理機能を用いて劣化診断を行う構成である。
【００５２】
図４の材料劣化診断部５の処理につき説明する。本処理部は、評価対象を撮影した画像から劣化状態を判定するものであり、様々な実施形態が考えられる。材料劣化診断部５の第一の実施例を次に説明する。
【００５３】
説明の便宜のため、ここでは評価対象としてガスタービンの動翼を例にとる。対象の形状や、運転の状態により、表面の受ける熱応力の分布はある程度決まってくると考えられる。例えば動翼の先端部は最も高温になりやすく劣化しやすい等。これらの知見より、予め、評価対象の表面を、劣化状況が均一になりやすい領域に分割しておく。そして領域毎に、表面の色情報を抽出し、領域別色情報データとして固体別に情報を持たせる方法である。これと運転時間や温度等の環境条件を１レコードとしてデータベース化しておき、新規に対象の画像が入力された場合には同様に領域分割し、特徴量を算出し、データベース中から類似の特徴量を持った画像を検索して、状態判定を行う方法である。
【００５４】
図５を用いて材料劣化診断部５の第一の実施例の処理の流れを次に説明する。４１の診断対象別特徴量格納手段は、動翼など特定の形状の対象について、予め決めた領域毎に色に関する情報を抽出し、それを運転時間等の環境条件と共に格納しておく手段である。具体的な格納のフォーマットの例を図６に示す。
【００５５】
図６の表は、診断対象別特徴量格納手段の格納フォーマットの例であり、51ａ，５１ｂ，５１ｃは、ある条件の下で運転された部品を撮影した画像である。これら５１ａ，５１ｂ，５１ｃの画像はそれぞれ表中のレコード５２ａ，５２ｂ，５２ｃに対応しており、各画像は、それぞれの対応するレコードから参照可能とする。表中の５３から６０は、各画像に関する属性情報である。５３から５６は既知の運転環境に関する情報で、例えば部品種類，プラント名，材料，運転時間などである。５７は推定された、もしくは得られる場合には実測の温度条件である。５８，５９は画像から得られた領域別特徴量である。特徴量については後述する。６０は各画像についての診断結果であり、例えばガスタービンの動翼の場合は推定される運転温度や寿命などである。これらの属性情報をレコードとしてデータベースを蓄積していくと、５３〜５６のような属性情報により類似の属性にある部品群が特定でき、またそれらの部品群の画像から類似性が抽出できる。
【００５６】
以上の診断対象別特徴量格納手段１のフォーマットをふまえ、図５の処理の流れを説明する。処理４２は、３Ｄ形状より表面上の領域を分割する処理である。処理４３は、領域別に特徴量を算出する処理である。処理４４は、処理３で算出された特徴量から、診断対象別特徴量格納手段４１を参照し、特徴量が類似しているレコードを抽出してその内容から状態判定を行う処理である。処理４５は、処理４４で判定した画像に関する情報をＤＢに登録する処理である。処理４６は、処理４４の判定結果を出力する手段である。以上の処理により、動翼など形状の決まった部品を撮影した画像から、その表面状態に対して同じ基準で特徴量を抽出し、表面状態が類似したデータをデータベースから容易に検索して状態判定を行うことができる。
【００５７】
処理４２の、表面上の領域を分割する方法について次に説明する。図７は動翼の表面の領域の分割方法の例である。図中の６１ａ，６１ｂ，６１ｃ，６１ｄがそれぞれ表面上の領域境界線を表し、各境界線に囲まれた領域が分割された個々の領域を表す。３Ｄの形状に基づき定義できるため、画像がいかなる角度で撮影された場合でも常に同じ領域を定義することができる。３Ｄ形状の情報がないと、図７に示すように表面上の曲面を考慮した形で領域分割をすることは難しい。領域の分割方法は、その部品の劣化の特徴を最も表し易く、かつ、検索等の便宜を考慮して多くなりすぎないよう適切に決める必要がある。決定の基準としては、検査員が目視で判断する際に、部品の表面上のどの領域をどのような順番で見て判断しているかを考慮して決めるのが適切である。
【００５８】
また、検索等の処理の負荷を許容するとすれば、領域の大きさをある程度小さめに設定し（例えば３cm角など）一定にしておき各領域の特徴量を求めることで類似度を求めることも可能である。
【００５９】
次に、処理４３の内容につき更に詳しく説明する。ここで扱う領域別特徴量は、処理２で分割された各領域に関する色情報を抽出し、色情報の平均値，分散，最頻度値などの情報を用い、該領域の色彩上の特徴を表す数値データを算出する処理である。
【００６０】
本処理は、該当する領域の座標の範囲を（Ｘ０，Ｙ０）…（Ｘｉ，Ｙｊ）とすると、そこに含まれる全ての画素の色情報につき平均，分散を計算し、また分布情報などを取り、最頻度値を計算する処理である。
【００６１】
ここで、説明の便宜のため、色の情報の数値化について概要を説明する。デジタル化された画像における色の表現は、通常、画素毎にＲ（赤），Ｇ（緑），Ｂ（青）の３つの値で一意に定義される値として表される。ＲＧＢの各色要素につき０から２５５までの値を取り、(０，０，０)は黒、(２５５，２５５，２５５)は白，赤（２５５，０，０），緑（０，２５５，０），青(０，０，２５５)となる。
【００６２】
このＲＧＢ表色系を基準とし、例えばＸＹＺ系はＲＧＢの線形変換式で表せるし、Ｌａｂ，ＨＳＢ等の表示系もＸＹＺの値から変換式を使って表せる。
【００６３】
Ｘ＝０.４１２＊Ｒ＋０.３５８＊Ｇ＋０.１８０＊Ｂ
Ｙ＝０.２１３＊Ｒ＋０.７１５＊Ｇ＋０.０７２＊Ｂ
Ｚ＝０.０１９＊Ｒ＋０.１１９＊Ｇ＋０.９５０＊Ｂ …（数３）
Ｌ＝１１６.０＊(Ｙ／１００)^(1/3)−１６
ａ＝５００＊（ＸＸｎ−ＹＹｎ）
ｂ＝２００＊（ＹＹｎ−ＺＺｎ）…（数４）
但し
Ｘ／９５.０４＞０.００８８５６のとき
ＸＸｎ＝(Ｘ／９５.０４)^(1/3)
Ｘ／９５.０４≦０.００８８５６のとき
ＸＸｎ＝７.７８７＊(Ｘ／９５.０４）＋１６／１１６
Ｙ／１００.０＞０.００８８５６のとき
ＹＹｎ＝(Ｙ／１００)^(1/3)
Ｙ／１００.０≦０.００８８５６のとき
ＹＹｎ＝７.７８７＊（Ｙ／１００）＋１６／１１６
Ｚ／１０８.８９＞０.００８８５６のとき
ＺＺｎ＝(Ｚ／１０８.８９)^(1/3)
Ｚ／１０８.８９≦０.００８８５６のとき
ＺＺｎ＝７.７８７＊（Ｚ／１０８.８９）＋１６／１１６
ＲＧＢは３つのベクトルのそれぞれの数値の大きさで一意に定義された色を表現するのに対し、Ｌａｂ表色系は、色の明るさをＬ、色の赤−緑成分をａ、色の黄−青成分をｂとして分離して表現できるため、比較的照明の変動に強く、またａとｂの２軸で、色味の変化を表現し易い。
【００６４】
このように、色を数値化するにあたり表現系は基本的にどれを用いても良いが、色の表現系により様々な特徴があるため、材料毎にきまる色の変化特性をより的確に表現できる表現系を選択するのが良い。ここでは例としてＬａｂを用いる。
【００６５】
図５の処理４３では領域毎の色の平均値・分散等を算出するが、以上に述べたように色は３次元の値で表されるため、平均・分散等も各数値毎に独立に算出する。
【００６６】
特徴量として平均値を用いるか、該当する色の画素数が最も多いモード値を用いるかは、二つの値がかけ離れている場合は考慮が必要である。ここでの目的は領域ごとの色彩上の特徴を最もよくあらわす値を選ぶことであるので、一例としては領域の大きさ毎に分散のしきい値を決めておき、分散がしきい値以上の場合は平均値の信頼性が低いとしてモード値を用いるなど切りかえるのも一方法である。
【００６７】
次に、処理４４について更に詳しく説明する。処理４４は、処理４３で抽出した特徴量に対して、診断対象別特徴量格納手段４１に予め格納してある画像特徴量データから類似のものを検索する手段である。類似度の判定方法としては、最も単純な方法としては、領域別特徴量の値の誤差の総和が最も小さくなるようなものを選出する方法が挙げられる。また、該当する部品を、検査員が目視検査する際に、表面のどの部位をどのような順序で見るかにより、各特徴量の誤差に重み付けをして総和をとる方法も考えられる。また、誤差の計算をする際に、色の３つの値（ＲＧＢ，Ｌａｂなど）の３つ全てを使うので無く、たとえばＬａｂ表色系を使う場合、ａとｂの値の誤差のみで評価を行う方法もある。この場合は色自体の輝度に関わらず、色味のみで類似度を判定できる効果がある。
【００６８】
また、類似度の高いデータを必ずしも１つに限定するばかりでなく、類似度の高いものをＮ件、もしくは、類似度を判定する誤差の値にしきい値を設けておき、しきい値以下になるものを全て候補として選出し、それらの中から画像を直接見ることで最終的な判定はユーザにさせる方法をとることもできる。
【００６９】
以上、図５の処理により、輝度ノイズ処理部３で３次元形状に色の情報を投影し、ノイズを除去した３次元の位置情報を持った画像情報から、入力した画像の撮影角度の違いに関わらず同じ基準で部品表面の特徴量を抽出し、類似度を比較することができる。
【００７０】
次に、図４の材料劣化診断部５の第二の実施例の処理の流れを説明する。
【００７１】
第二の実施例は、予め、加熱温度や時間等の環境条件が既知の試験片を撮影し、その画像から色情報を抽出することで、外的環境と材料表面色のデータベースを作成しておき、それを基に、図４の輝度ノイズ処理部からの出力である、３次元の位置情報を持ち、輝度ノイズも除去した画像の色から、評価対象の受けた環境条件を推定する方法である。
【００７２】
図８を用いて、具体的な処理の流れを説明する。図８の７１は、材料表面色データ格納手段である。この手段は、予め評価対象となる材料につき、評価する物理的特性と、その場合の表面色との関係を、推定の必要なランク別に格納したものである。
【００７３】
格納形式の例を図９に示す。ある材料Ｘについて運転時間がわかっており、そのとき材料が運転されている環境の運転温度が知りたい場合を例にとる。例えば温度の識別の必要な範囲が５００度以下，５００度〜１０００度，１０００度以上、の３つのランクにわかれているとすると、それぞれのランクで表面色の色評価値がどのような値を取っているかを図９のように定義する。
【００７４】
図９から、例えば材料が４００度から５００度の間で運転されていたとすると、ａ値は８から１５、ｂ値は１０から３０の値を取る。また５０１度から1000度で運転されていたとするとａ値は２から５、ｂ値は−３から１０の値を取る。１０００度以上であった場合、Ｌの値が４０以下となる。この例では簡単のためランクを３つとしたが、実際の材料毎に、その物理的特性の変化を知る必要のあるランクの数だけ適宜分類するものとする。
【００７５】
また、カメラ等で撮影される物体の色は、撮影する照明の種類により異なってくるため、材料表面色データ格納手段２で定義する色は、予め定めた基準となる光源の下で撮影した場合の値を定義すると良い。例えば、物体の色を偏り無く表示し易い白色光源などを用いると良い。このように、材料の物理的特性のランク別に、その状態で呈する色をいずれかの色表現系（Ｌａｂ，ＸＹＺなど）の値で整理するのが材料表面色データ格納手段２である。
【００７６】
処理７２は、図４の輝度ノイズ除去処理部３からの出力の３Ｄ形状画像データを入力する処理である。処理７３は、入力した対象の画像から、材料表面色データ格納手段３に格納された物理的特性ランク別に領域を抽出する手段である。この処理については後でさらに詳しく説明する。処理７４は処理７３で抽出された色ランク別の領域情報から、評価対象の状態を推定する手段である。この処理についてもあとで詳しく説明する。処理７５は処理７４で判定した評価対象の状態を出力する手段である。以上の処理により、材料劣化診断部４の第二の実施形態が実現できる。
【００７７】
処理７３について、更に詳しい処理の流れを図１０に示す。この例では、画像の色情報はＲＧＢで持っており、物理的特性ランクはＬａｂ表色系で格納していることを仮定して説明する。
【００７８】
処理９１は、画像から画素Ｉの色評価値ＲＧＢを読み出す処理である。処理９２は、処理１で読み出した画素Ｉの色評価値を、数４を用いＬａｂ表色系に変換する。処理９３は、処理２で変換したＬａｂ表色系での色評価値を、材料特性格納手段３に格納した値と照合し、画素Ｉの色評価値が図９の１，２，３のいずれのランクに所属するかを決定する。処理９４は、処理３で決定したランクを格納する処理である。ｘ，ｙの画素値とランク値を対応させて格納する。処理９５は、Ｉの値に１をプラスし評価対象とする画素値を一つ先へ進める。処理９６は、全画素について上記の処理が終了したかをチェックする。Ｉの値が画像全画素数より小さければ処理１へ戻り、画像全画素数以上なら以上の処理を終了する。
【００７９】
以上の処理により対象となる画像をランク分けする。すなわち画素毎に、その色の値からしきい値を決め多値化するようなものである。
【００８０】
図１１は、タービンの動翼を撮影した画像のイメージを例示した図である。１はタービンの動翼で、２，３，４はそれぞれ表面色が異なる領域である。この例で２の領域は色が一様でなくムラがある。しかし図８で説明した条件別色抽出７３の処理を用いると、図中の２で囲まれた領域の全ての画素のＬａｂ評価値の値は、図９のランク２に分類される領域に入っており、結果的にタービンの表面上の色を画素別にランク分けした結果は図１２のようになる。
【００８１】
次に図８の処理７４につき更に詳しく説明する。ここでの状態判定は、処理７３からの出力である色ランク別領域情報から、材料の物理的情報に関する状態判定結果を出力する手段である。最も単純な出力としては、ランク分けの結果最も高温の影響を受けている領域の座標に関する情報である。図１２では１１４の動翼先端部にあたる。この領域座標を３Ｄの形状で提示されることで、ユーザは部品の最も劣化の深刻な部位に関する情報を得ることができる。
【００８２】
また、更に別の状態判定の方法としては、ランク別の面積情報を算出して提示する方法である。画像上の各画素のランクが既知であるので、部品の３Ｄ形状の表面積情報とランク別画素数からランク別の面積を算出することは可能である。
【００８３】
このような劣化の状態別の面積情報は、劣化の程度を判定するのに有効に用いることができる。撮影した２次元の画像のみからでは３次元物体の表面積の情報は正確に得ることができない。３次元ＣＡＤデータを用いることで、これらのような効果も劣化診断を行う上で得ることができる。
【００８４】
以上の実施例は、評価対象の画像を撮影する環境における照明の位置や強度が既知の場合を想定しているが、実際にはそれらを測る手段が無かったり、情報の精度が低かったりする可能性がある。
【００８５】
そのような場合には、画像上の色の境界が明らかな部分を影の候補領域と仮定し、影の候補領域のエッジ部分と対象の３次元形状座標から逆に照明の位置を推定することが可能である。例えば図１３の１２１，１２２のような立体形状があり、その表面に１２３のような、周辺と色の異なる領域がある。この領域を表面上に映った影と仮定し、３次元の形状から影候補領域のエッジ部分と、３次元形状から推定される突起部分とを結ぶ線１２４ａ，１２４ｂ等を作成し、その延長上に照明の位置１２５を推定する。
【００８６】
また、評価対象の表面の色自体が暗く、光による陰影の影響が出にくい場合には、評価対象と一緒に長さが既知の棒を垂直に立てるなどして、その影から照明の位置を推定する方法をとることもできる。
【００８７】
また、照明の強度については、影領域１２６の輝度と影以外の領域１２７の輝度の差が照明５の影響で発生していると仮定し、数２に、影領域６の色をＣｓ、影以外領域７の色をＣとして代入することで、光の強さｓが求まる。
【００８８】
照明の位置や強度を予め求め難い場合は以上のような方法を用いれば良いが、他の方法としては屋外で撮影する方法がある。屋外の場合は太陽が照明光であり、撮影時刻と撮影地点の緯度経度がわかっていれば太陽の緯度経度は既知であるので、同様に数２を用いて求めることができる。
【００８９】
≪実施例３≫
次に、本発明による画像診断装置の実施例３を説明する。
【００９０】
図１４は、実施例３の構成を示すブロック図である。これは実施例２の構成に、固体番号照合部７を加えた構成である。
【００９１】
タービン動翼などの部品には、通常固体別管理のため表面に固体番号が刻印されている。固体番号照合部７は、評価対象の画像を撮影する際に、これら固体番号も共に撮影し、画像を入力した際にまず固体番号を画像処理で読み取ることで撮影対象の固体番号を識別し、固体番号をキーに３次元ＣＡＤデータを検索し該当するデータを抽出する処理である。
【００９２】
この構成を用いることで、画像を撮影する際に固体番号を意識したり、また画像データと共に固体番号情報を送ったりする必要が無くなり、画像撮影現場での作業量の削減，省情報量化を図ることができる。
【００９３】
≪実施例４≫
次に、本発明による画像診断装置の実施例４を説明する。
【００９４】
図１５は、実施例４の構成を示すブロック図である。これは実施例２の構成に、過去画像データ８の蓄積部を加えた構成である。過去画像データ８は、評価対象の画像を輝度ノイズ除去処理部３で３次元形状に投影し、輝度ノイズを除去して物体自体の持つ色に変換した画像データ、もしくは図５で説明した特徴量データなどである。
【００９５】
本実施例の構成では、材料劣化診断部５で、過去画像データと、今回新規に入力された画像データとを比較することで時系列の表面状態の変化を定量的に評価することができる。例えば、３次元に投影した画像の表面の各画素ごとに色の差分をとり、色の変化量の分布を算出する。これにより、色の変化が大きい部分が劣化の度合いが高いと仮定すると、劣化の進行の速い部分を特定することができる。
【００９６】
≪実施例５≫
次に、本発明による画像診断装置の実施例５を説明する。
【００９７】
図１６は、実施例５の構成を示すブロック図である。これは実施例２の構成に、照明影響除去処理部９を加えた構成である。照明影響除去処理部９は、不明の照明の下で撮影した対象の色情報を、基準となる照明の下で撮影した色情報に変換する手段である。
【００９８】
照明の影響につき図１７を用いて説明する。図中の１７１の枠で囲んだ環境は、基準照明の下で対象を撮影する環境、１７２の枠で囲んだ環境は条件が不明な照明の下で対象を撮影する環境である。図中の１７３ａ，１７３ｂは同一の撮影対象である。１７４ａ，１７４ｂは同一のカメラであり、１７５は基準光源、１７６は条件が不明の光源である。１７７ａは基準光源１７５の下で対象２ａをカメラ１７４ａで撮影した画像、１７７ｂは不明な光源１７６の下で対象173ｂをカメラ１７４ｂで撮影した画像である。
【００９９】
すなわち環境１７１，環境１７２では照明条件を変えて対象を撮影しているため、それぞれの条件の下で撮影した画像である１７７ａ，１７７ｂから抽出した色情報は照明の影響で異なっていると考えられる。対象を撮影した画像から色情報を抽出し、材料劣化診断部５で評価を行うため、照明条件を基準照明の下で撮影したものを用いる必要がある。
【０１００】
そこで、照明影響除去処理部９は、現場など撮影条件不明の光源の下で撮影した画像１７７ｂを、基準光源の下で撮影した画像１７７ａに変換する手段である。
【０１０１】
照明の影響を補正する手段としては、例えば特開２００１−６９３６３号に記載のような、パッチ画像を用いて画像の色を補正する方法などを用いることができる。この手法は、色の評価値（ＲＧＢなど）が既知の複数の色見本を、評価対象を撮影すると同一の環境（照明条件等）で撮影した画像から、各色見本の色の評価値を抽出し、各色見本の既知の色と画像上の色のずれから、撮影環境での色と実際の（基準光源の下での）色を推定する方法である。
【０１０２】
この手法は色の３成分（ＣＭＹ）の各成分の値を均等間隔に区切った結果の複数色を色見本として採用した方法であり、全ての色分布を総合的に補正することを考慮した補正方法である。
【０１０３】
この方法では、色見本として用いる色の数が多いほど、色の再現精度は上がることになるが、考えられる色の組み合わせは２５６³ ＝１６７７７２１６通り（ＲＧＢ各値が０−２５５の値を取るため）となるため、色見本としてとれる色の数も限られることになる。
【０１０４】
以上を考慮し、本発明に用いる照明影響除去処理部の第一の実施例は、サンプルの色見本に選定する色として、評価の対象とする材料の色の変化する範囲の色サンプルを多く取り、その範囲の色の再現精度を上げる方法である。
【０１０５】
本発明では、図９で説明したように、材料により、表面色の変化する範囲が限定できる。従って公知例の特開２００１−６９３６３号のように、色を全体として精度良く再現するのでなく、評価対象の特性に応じて表面色の色再現精度を上げる方法である。
【０１０６】
また、照明影響除去処理部の第二の実施例は、評価対象の材料において図９のように材料の物理的状態をランク付けしているのを利用し、各ランクの色評価値の中間値・最大値・最小値を算出して、各ランクの平均の色を再現した色見本をつくり、その色見本を評価対象物と共に撮影する。撮影した画像中の色見本領域の画素から抽出した色の数値は、対象部品を評価する環境下での各ランクの色評価値であるから、各ランクの色の範囲はこの中間値を中心に平行移動したと仮定して、図９における各ランク別色評価値を、そのまま対象を撮影する不明環境下における評価値として換算することができる。
【０１０７】
すなわち、照明影響除去処理部の第二の実施例は、撮影した画像でなく、材料の特性別に格納した色の値を変換することで、材料の状態を評価する条件をそろえる作用となる。
【０１０８】
以上二つの実施例は、考え方は同じであるが実施の形態が異なるため、処理時間の制約等に応じ使い分けるとよい。
【０１０９】
次に、図１８を用いて、本発明による画像診断システムの実施形態を説明する。
【０１１０】
図中の１４６ａ，１４６ｂ…等は、評価の対象となる部品を使用している現場である。１５１は、これら複数の現場１４６ａ，１４６ｂ…で運転されている部品の３次元ＣＡＤデータや、過去の運転実績データ，劣化状況データなどの管理保全に関わるデータを保持している拠点である。これら１４６ａ，１４６ｂ…等の現場と、１５１の拠点は、電話回線などの通信手段１５０で結ばれており、データの送受信が可能な状態である。
【０１１１】
現場１４６ａ，１４６ｂ…等では、カメラ１４７ａ，１４７ｂ…で動翼等の評価対象１４８ａ，１４８ｂ…を撮影し、撮影した画像および、評価対象の運用されている現場のプラント名等、評価対象を特定するのに必要な付加情報１５２ａ，１５２ｂ…をデータ入力装置１４９ａ，１４９ｂ…に入力し、入力した画像は伝送手段１５０を介して拠点１５１に送られる。拠点１５１では既に実施例をあげて説明した画像診断装置を有し、伝送手段１５０から伝送された画像データを入力とし、３次元ＣＡＤデータから輝度ノイズを除去し画像診断を行う。このときの画像診断の手法については既出の実施例のうちどれを用いても良い。
【０１１２】
これら１４６ａ，１４６ｂ…の現場と、１５１の拠点は、伝送手段１５０で結ばれているため、世界中の様々な場所に現場が分布していても、現場から伝送手段経由で画像を送るだけで拠点において画像診断を行える効果がある。
【０１１３】
次に、図１９を用いて、本発明による技術支援システムの実施形態を説明する。
【０１１４】
図１９の実施形態は、不特定多数の現場と、それらの現場に対する技術支援を行う技術支援センタをインターネットで接続し、技術支援を行う技術支援システムの一部として本発明を採用したものである。
【０１１５】
図１９の技術支援システムは、図１８の画像診断システムの構成に更に技術支援センタ１５３、および１５４，１５５は個別の技術のソリューションを持つ部門もしくはシステムを付加した構成である。
【０１１６】
１４６ａ，１４６ｂ…の複数の現場と、１５３の技術支援センタは１５０の通信手段で接続している。１５３の技術支援センタは、１４６ａ，１４６ｂ…の現場からの技術的な問い合わせを受け、それに対応する部署やシステムに問い合わせを配信し、問い合わせに対する答えを返信する部門である。技術的な問い合わせの例としては、異常運転に関する原因解析，機器の性能評価などがある。
【０１１７】
図中１５１，１５４，１５５…は１５３の技術支援センタからの個別の問い合わせを受け、該問い合わせに対する回答を作成するシステムもしくは部門である。１５１は、このうち、現場で撮影した部品の劣化の程度の問い合わせに対して診断を行うシステムとして位置付けられ、現場１４６ａ，１４６ｂ…から入力された画像情報、および画像に関する付加情報１５２ａ，１５２ｂ…を受けて、１５３の技術支援センタから画像データが入力される。診断システム１５１はＣＡＤデータ蓄積部２の３次元ＣＡＤデータから輝度ノイズを除去し画像診断を行う。このときの画像診断の手法については既出の実施例のうちどれを用いても良い。診断システム１５１からの出力である診断結果は、技術支援センタ１５３に送られ、技術支援センタ１５３から問い合わせのあった現場１４６ａ，146ｂ…へ診断結果を送付する。
【０１１８】
このようにインターネット経由で現場からの問い合わせに回答する技術支援システムの一部として本診断システムを採用することで、効率のよいサービスを行うことができる。また不特定多数の現場に対するソリューションを並行して行うことができる。
【０１１９】
以上が、本発明による画像処理装置およびシステムの実施例である。これら実施例ではガスタービン動翼を例にあげて説明してきたが、評価の対象としては、色などの表面状態から物理的診断を行うものに適用可能である。例えば医療分野における患者の皮膚の状態の遠隔診断や、また、内臓等内視鏡を介さないと見ることのできない対象を３次元形状に貼り付けて評価する場合にも用いることができる。ただし人体等の対象物は３次元ＣＡＤ情報をあらかじめ持たないので、レーザ計測，ＣＴスキャンなどの３次元計測手段を併用し、３次元ＣＡＤデータを作成する必要がある。
【０１２０】
以上によれば、対象となる材料の画像を現場で撮影するだけで、材料の表面色を解析し、運転温度などの物理的特性を推定することが出来る。これにより従来のように検査員が直接出向かなくても画像情報を送るだけで状態診断が行える効果がある。
【０１２１】
【発明の効果】
本発明によれば、対象の３次元形状の情報を用いて、対象の表面状態の情報を処理する処理装置を提供することができる。
【０１２２】
また、本発明によれば、診断の対象を撮影した画像から表面の色分布を精度良く抽出し、抽出した色分布から対象の状態を診断できる画像診断装置，画像診断システム又は画像診断方法を提供することができる。
【図面の簡単な説明】
【図１】本発明による画像診断装置の実施例１の構成を示すブロック図である。
【図２】輝度ノイズ除去処理部の流れの一例を説明する図である。
【図３】３次元の物体の位置と、照明の位置から、物体の表面の色を計算する方法の一例を説明するための図である。
【図４】本発明による画像診断装置の実施例２の構成を示すブロック図である。
【図５】材料劣化診断部の第一の実施例の処理の流れの一例を説明するための図である。
【図６】診断対象別特徴量格納手段の格納フォーマットの例である。
【図７】動翼の表面の領域の分割方法の例を示した図である。
【図８】材料劣化診断部の第二の実施例の処理の流れを説明するための図である。
【図９】材料表面色データ格納手段の格納形式の例を示す図である。
【図１０】図７の処理７３の処理の流れについて、更に詳しく説明するための図である。
【図１１】タービンの動翼を撮影した画像のイメージを例示した図である。
【図１２】タービンの表面上の色を画素別にランク分けした結果の例を示した図である。
【図１３】影の候補領域のエッジ部分と対象の３次元形状座標から逆に照明の位置を推定する方法の一例を説明するための図である。
【図１４】本発明の実施例３の構成を示すブロック図である。
【図１５】本発明の実施例４の構成を示すブロック図である。
【図１６】本発明の実施例５の構成を示すブロック図である。
【図１７】照明の影響の一例を説明するための図である。
【図１８】本発明による画像診断システムの実施形態の構成の一例を示す図である。
【図１９】本発明による技術支援システムの実施形態の構成の一例を示す図である。
【符号の説明】
１…画像データ蓄積部、２…ＣＡＤデータ蓄積部、３…輝度ノイズ除去処理部、４…３次元画像表示部、５…材料劣化診断部、６…劣化診断結果データ、７…固体番号照合部、８…過去画像データ、９…照明影響除去処理部。

Claims

表面状態から診断対象の状態を診断する画像処理装置において、
診断対象の３次元形状と、画像を撮影する環境の照明の位置，照明の強度から、対象の表面に及ぼす光の影響を算出し、画像上の色から、対象がもつ色と、光の輝度の影響を分離する影響除去処理部と、
診断対象の状態を推定する診断部を備えたことを特徴とする画像処理装置。
請求項１の画像処理装置において、
画像を撮影する環境の照明の位置や強度が不明の場合、対象を撮影した画像上の色分布から、色の明らかな境界を抽出して、抽出した色の境界より影の位置候補領域を設定し、前記診断部は位置候補領域から照明の位置と強度を推定することを特徴とする画像処理装置。
請求項１の画像処理装置において、
対象を屋外で撮影し、前記診断部は撮影時の太陽の位置を撮影時刻，撮影地点の緯度・経度から求めることを特徴とする画像処理装置。
請求項１の画像処理装置において、
前記診断部は、撮影した対象の表面を、３次元の形状に基づき領域分割し、領域毎の画像から得られる特徴量を対象の属性として採用することを特徴とする画像処理装置。
請求項１の画像処理装置において、
前記診断部は、画像領域から得られる特徴量として、該画像領域の色の平均値，分散，モード値のいずれか、もしくはそれらの組み合わせの情報を採用することを特徴とする画像処理装置。
請求項１の画像処理装置において、
前記診断部は、画像領域から得られる特徴量として、該画像領域表面を、色の近い領域毎にルーピングし、領域毎の色の情報と共に領域の表面積を算出して物体の特徴量とすることを特徴とする画像処理装置。
請求項１の画像処理装置において、
対象を撮影する際に該固体番号を画像上から読み取り可能なように撮影する撮影部と、診断対象となる部品の表面に表示されている固体番号と３次元ＣＡＤデータをリンクさせ、固体番号に対応した３次元ＣＡＤデータを参照する照合部を備えたことを特徴とする画像処理装置。
請求項１の画像処理装置において、
画像を３次元形状へ投影する撮影部と、
前記診断部は、該画像上の各画素と３次元形状上の各点との対応をとり、該画像上における評価対象の輪郭と、３次元形状における輪郭の位置を比較し、そこに生じた差を材料の形状の変化とすることを特徴とする画像処理装置。
請求項１の画像処理装置において、
対象を撮影する撮影部と、対象の３次元形状をレーザ計測等で計測する計測部とを備え、
前記診断部は該３次元形状を表面状態の推定に用いることを特徴とする画像処理装置。
請求項１の画像処理装置において、
評価対象を撮影した過去の画像もしくは画像から得られる特徴量等の情報を蓄積する蓄積部とを備え、前記診断部は該過去の情報と新規に入力された画像の情報との比較で表面状態の推定を行うことを特徴とする処理装置。
請求項１の画像処理装置において、
評価対象を撮影した過去の画像もしくは画像から得られる特徴量等の情報を蓄積する蓄積部とを備え、前記診断部は該過去の情報と新規に入力された画像の情報との比較で表面状態の推定を行うことを特徴とする画像処理装置。
請求項１の画像処理装置において、
評価対象を撮影した過去の画像もしくは画像から得られる特徴量等の情報を蓄積する蓄積部とを備え、前記診断部は該過去の情報と新規に入力された画像の情報との比較で表面状態の推定を行うことを特徴とする画像診断装置。