JPH10221608A - レーザー顕微鏡による観察装置、クリープ損傷自動診断装置およびレーザー顕微鏡による観察装置を用いたクリープ損傷自動診断装置 - Google Patents

レーザー顕微鏡による観察装置、クリープ損傷自動診断装置およびレーザー顕微鏡による観察装置を用いたクリープ損傷自動診断装置

Info

Publication number
JPH10221608A
JPH10221608A JP4294797A JP4294797A JPH10221608A JP H10221608 A JPH10221608 A JP H10221608A JP 4294797 A JP4294797 A JP 4294797A JP 4294797 A JP4294797 A JP 4294797A JP H10221608 A JPH10221608 A JP H10221608A
Authority
JP
Japan
Prior art keywords
image
grain boundary
creep damage
void
observation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP4294797A
Other languages
English (en)
Other versions
JP2937925B2 (ja
Inventor
Hidetaka Nishida
秀高 西田
Hiroshi Yamaguchi
寛 山口
Megumi Kakitsuda
恵 垣内田
Isamu Nonaka
勇 野中
Hideo Umaki
秀雄 馬木
Shohei Misono
昇平 御園
Tadayuki Yamamoto
忠幸 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chugoku Electric Power Co Inc
IHI Corp
Original Assignee
Chugoku Electric Power Co Inc
IHI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chugoku Electric Power Co Inc, IHI Corp filed Critical Chugoku Electric Power Co Inc
Priority to JP4294797A priority Critical patent/JP2937925B2/ja
Publication of JPH10221608A publication Critical patent/JPH10221608A/ja
Application granted granted Critical
Publication of JP2937925B2 publication Critical patent/JP2937925B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Microscoopes, Condenser (AREA)
  • Cameras Adapted For Combination With Other Photographic Or Optical Apparatuses (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

(57)【要約】 【課題】 診断対象部位からレプリカを採取せずに現場
で簡単かつ短時間に組織を観察できるレーザー顕微鏡に
よる観察装置を提供すること。 【解決手段】 半導体レーザー11と屈曲させた光路1
2によりカメラ本体10の小型・軽量化を図り、対物レ
ンズ部13を傾斜させるとともに、被観察物への接近側
を削り落として狭隘部への適用を可能とし、さらに長作
動距離の対物レンズ16を用いて被観察物との距離をあ
けて観察できるようにする。また、カメラ本体10を密
閉構造とするとともに、電子冷却装置19を用い、防塵
性を高めかつ冷却もできるようにしてレーザー顕微鏡を
構成する。このカメラ本体10を固定治具装置に取付け
て連続的に観察ができるようにする。現場の被観察部か
ら簡単にレーザー顕微鏡による観察画像を連続的に得る
ことができるようになる。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】この発明は、レーザー顕微鏡
による観察装置、クリープ損傷自動診断装置およびレー
ザー顕微鏡による観察装置を用いたクリープ損傷自動診
断装置に関し、火力発電プラントなどの高温環境下や高
温高圧環境下で使用される材料の組織の観察やクリープ
損傷の自動診断を現場で簡単にできるようにしたもので
ある。
【0002】
【従来の技術】高温環境や高温高圧環境下で使用される
火力発電プラントのボイラ部材や原子力プラントの構造
材料などに用いられているクロム−モリブデン鋼やステ
ンレス鋼などは、長期間使用すると、クリープ損傷など
の経年劣化損傷が生じる。
【0003】このためこれらのプラントを長期間安全に
使用するためには、これら部材がこれまでに受けたクリ
ープ損傷を知る必要があり、これによって寿命や余寿命
を予測する必要がある。
【0004】従来からクリープ寿命の予測を行う方法に
ついては種々提案されているが、その一つにクリープ損
傷にともなう組織変化を観察してクリープ寿命を予測す
る方法があり、結晶粒に発生するボイドの数と面積とに
よるボイド面積率法がある。
【0005】このボイド面積率法では、クリープ損傷を
知る必要がある部位を選び、その部位について現場でレ
プリカを採取してこれを持ち帰り、金属蒸着処理後、走
査型電子顕微鏡でクリープボイドを観察してボイド面積
率を求め、例えば図12に示すように、予め求めてある
クリープ損傷度とボイド面積率の関係の検定曲線からク
リープ損傷を求めるようにしている。
【0006】
【発明が解決しようとする課題】ところが、この方法で
は、レプリカの採取および損傷度の評価にかなり熟練を
要し、作業者の技術差によって診断結果にばらつきが生
じ易く、しかも短期間に診断結果を出すことができず、
定期検査中に損傷程度を把握できないなどの問題があ
る。
【0007】この発明はかかる従来技術の課題に鑑みて
なされたもので、診断対象部位からレプリカを採取せず
に現場で簡単かつ短時間に組織を観察することができる
レーザー顕微鏡による観察装置を提供しようとするもの
である。
【0008】また、この発明は、診断対象部位から得ら
れる画像を用いクリープ損傷を自動的に診断することが
できるクリープ損傷自動診断装置を提供しようとするも
のである。
【0009】さらに、この発明は、診断対象部位からレ
プリカを採取せずに現場で簡単かつ短時間に組織の画像
を得てクリープ損傷を自動的に診断することができるレ
ーザー顕微鏡による観察装置を用いたクリープ損傷自動
診断装置を提供しようとするものである。
【0010】
【課題を解決するための手段】上記課題を解決するた
め、この発明のレーザー顕微鏡による観察装置は、密閉
構造のカメラ本体内に設けられてレーザーを発信する半
導体レーザーと、この半導体レーザーから発信されたレ
ーザーを屈曲させて導く前記カメラ本体内に設けられる
光路と、この光路の先端部に傾斜して取付けられる長作
動距離の対物レンズを備え被観察物との接近側が切除さ
れた対物レンズ部と、前記光路に設けられ反射するレー
ザーを受信する画像センサと、前記密閉構造のカメラ本
体内を冷却する電子冷却装置と、前記カメラ本体が取付
けられて3軸方向に移動可能な移動台を備えるととも
に、この移動台を移動して連続した観察を可能とする移
動機構を備え被観察対象に固定される固定治具装置とか
らなることを特徴とするものである。
【0011】このレーザー顕微鏡による観察装置によれ
ば、半導体レーザーと屈曲させた光路によりカメラ本体
の小型・軽量化を図り、対物レンズ部を傾斜させるとと
もに、被観察物への接近側を削り落として狭隘部への適
用を可能とし、さらに長作動距離の対物レンズを用いて
被観察物との距離をあけて観察できるようにし、これら
が収納されるカメラ本体を密閉構造とするとともに、電
子冷却装置を用い、防塵性を高めかつ冷却もできるよう
にしてレーザー顕微鏡を構成し、これを固定治具装置に
取付けて連続的に観察ができるようにしており、現場の
被観察部から簡単にレーザー顕微鏡による観察画像を連
続的に得ることができるようになる。
【0012】また、この発明のクリープ損傷自動診断装
置は、入力される診断対象画像を正規化処理して入力画
像の濃度平均および標準偏差を一定値に変換する正規化
処理手段と、正規化画像を高しきい値で2値化した領域
の中で低しきい値で2値化した領域を含むものを抽出す
ることでノイズを除去したボイド候補を抽出するボイド
候補抽出処理手段と、前記正規化画像を低い濃度しきい
値で2値化して粒界の一部を抽出した後、そのしきい値
より少し高い濃度しきい値の部分を取り出してそれがこ
れまでに抽出した部分に隣接する場合のみに粒界を拡張
することを繰り返して粒界候補とする粒界候補抽出処理
手段と、全ての粒界候補の幅を1画素に細線化した後折
れ線ベクトルで近似し、一定長さ以上の線分の1つを起
点に近距離かつ方向の連続する線分を統合する処理を繰
り返し粒界とするとともに、さらに一定長さ以上の線分
ごとに他の線分と対をなして直線を形成できる場合には
最小二乗法で直線化してその直線上にのる線分があれば
統合して粒界とする粒界抽出処理手段と、これらボイド
候補と粒界とから粒界上のボイド候補をボイドとし、各
画像ごとにボイド面積を求めて指定枚数の画像分を累積
し、ボイド認識領域の総面積に対する比率であるボイド
面積率を求め、予め既知の同一材料のクリープ損傷度と
ボイド面積率との検定曲線からクリープ損傷度を求める
演算処理装置とからなることを特徴とするものである。
【0013】このクリープ損傷自動診断装置によれば、
診断対象画像の濃度(明るさ)を正規化処理処理手段で
濃度平均および標準偏差が一定となるようにして画像ご
との濃淡やコントラストの差をなくし、この画像からボ
イド候補抽出処理手段でボイド候補を2段階しきい値処
理を用いることで極力ノイズを抑え、しかもボイド領域
全体を抽出できるようにし、さらに、同一画像から粒界
候補抽出処理手段で逐次領域拡張法による小さなしきい
値から少しずつ大きなしきい値に変えながら隣接する領
域を拡張することを繰り返し、さらに粒界抽出処理手段
で全ての線分の幅を1画素に細線化した後折れ線ベクト
ルで近似し、一定長さ以上の線分の1つを起点に近距離
かつ方向の連続する線分を統合する処理を繰り返して粒
界とするとともに、さらに複数の線分が一直線上にある
場合統合して粒界とし、これらから粒界上のボイド候補
をボイドとするようにしており、熟練者と同様に自動的
にボイドを認識することができるようになり、各画像ご
とにボイドの個数と面積を求めて指定枚数の画像分を累
積することでボイド面積率が求まり、予め求めた検定曲
線からクリープ損傷度を自動的に求められるようにして
いる。
【0014】さらに、この発明のレーザー顕微鏡による
観察装置を用いたクリープ損傷自動診断装置は、前記請
求項2記載の入力される診断対象画像を前記請求項1記
載のレーザー顕微鏡による観察装置の画像センサからの
観察画像としたことを特徴とするものである。
【0015】このレーザー顕微鏡による観察装置を用い
たクリープ損傷自動診断装置によれば、レーザー顕微鏡
による観察装置とクリープ損傷自動診断装置とを組み合
わせて構成するようにしており、現場での診断対象の画
像の採取から画像処理を行ってボイド面積率を求めてク
リープ損傷の診断を行うまでの全てを自動的に行うこと
ができるようになる。
【0016】
【発明の実施の形態】以下、この発明の実施の形態を図
面に基づき詳細に説明する。この発明のレーザー顕微鏡
による観察装置の一実施の形態について説明する前に、
観察対象の一例について図13により説明する。
【0017】このレーザー顕微鏡による観察装置の観察
対象は、例えばボイラの管寄1の胴周継手2と、この管
寄1に取付けられるスタブ3のスタブ溶接部4であり、
ここでは、胴周継手2の頂点Aおよび左右B,Cの3か
所とスタブ溶接部4の左右D,Eの2か所を観察対象と
し、母材1,3と溶接金属5の境界部分(HAZ)6の
金属組織を一箇所につき約1mm平方程度を連続して観察
する。
【0018】このような観察対象を直接観察するレーザ
ー顕微鏡としては、観察対象に接近して設置されるカメ
ラ本体に次の性能を備える必要がある。
【0019】まず、観察対象の一つとしてスタブ溶接部
4があることから狭隘部への適用が可能であること、ま
た、現場の観察対象の管寄1に直接設置することから振
動対策が必要であること、現場の環境から防塵対策が必
要であるとともに冷却の必要があることなどがある。
【0020】このような必要性能を確保すべくこの発明
のレーザー顕微鏡による観察装置のカメラ本体は、図1
に示すように、略直方体状の密閉構造とされるととも
に、狭隘なスタブ溶接部4での使用も可能となるように
小型化され、長さを抑えて比較的幅および高さを大きく
ずんぐりした形状に形成され、例えば外寸で長さが約3
60mm、幅が約140mm、高さが約130mm程度となる
ように形成してあり、密閉構造とすることで防塵対策を
行い、小型化をはかることで狭隘部への適用を可能と
し、さらに、ずんぐりした形状にすることで管寄1に取
付けても共振が起こらないようにして振動対策を行って
いる。
【0021】このカメラ本体10内には、同図(b)に
示すように、半導体レーザー11が装備され、小形化さ
れたカメラ本体10に対応して屈曲部を増やし、例えば
7か所の屈曲部を備えた光路12によりカメラ本体10
の先端底部の対物レンズ部13にレーザーを導くととも
に、観察対象から反射するレーザーを受信する画像セン
サ14としてCCDイメージセンサが光路12を分岐し
た光路15に設けてある。
【0022】このカメラ本体10の先端底部に設けられ
る対物レンズ部13は、同図(c)に示すように、観察
対象に立てた垂線に対して角度θだけ傾けてあり、スタ
ブ溶接部4の観察の際に管寄1と干渉しないようにする
とともに、観察対象から反射するレーザーの受光量の減
少を考慮して角度θが定められ、例えばθ=15度とし
てある。
【0023】この対物レンズ部13に装着される対物レ
ンズ16としては、長作動距離レンズが使用され、これ
までの観察対象との距離が0.5mm程度と小さかったも
のを8mm程度まで離して観察できるようにしてある。ま
た、この対物レンズ16には、観察対象との距離を調整
する図示しないZ軸駆動機構が装備され、外部コントロ
ーラ17によって調整制御できるようになっている。
【0024】さらに、対物レンズ部13の先端外側部1
8が削り落としてあり、これによってもスタブ溶接部4
の観察の際に管寄1と干渉しないようにしてある。
【0025】このようなカメラ本体10では、半導体レ
ーザー11によるレーザーの発振にともなって内部の温
度が上昇することから冷却の必要がある一方、防塵対策
としてカメラ本体10を密閉構造とする必要があること
から、電子冷却装置19がカメラ本体10の側部に設け
てあり、フィン部20が隙間のない構造としてある。
【0026】さらに、カメラ本体10は、顕微鏡コント
ロールユニット21を介して顕微鏡モニタ22に接続さ
れ、観察画像が顕微鏡モニタ22上に写し出されるよう
になっている。
【0027】このようなカメラ本体10は、図2〜図4
に示すように、固定治具装置25に取付けられて管寄に
固定して使用される。
【0028】この固定治具装置25は、管寄に巻き付け
て固定するベルトクランプ機構26と、直交3軸並進機
構32とを備えて構成されている。
【0029】この固定治具装置25では、ベルトクラン
プ機構26として管寄1の表面に当てる当板27aが間
隔をあけて取付けられた左右の固定台27が連結板28
を介して一体に連結され、左右の固定台27の端部にそ
れぞれクランプベルト29の一端部が取付られ、クラン
プベルト29の他端部が左右の固定台27とほぼ対角位
置のベルトクランプ30に取付られて管寄に巻き付けて
締め付けることができるようになっている。
【0030】なお、クランプベルト29の取付長さやベ
ルトクランプ30を調整して締付力を適切に調整した
り、異なる長さのクランプベルトを用意して径の異なる
管寄への適用を可能とする。
【0031】そして、一方の固定台27の上方の連結板
28に取手31が取付けられ、他方の固定台27に直交
3軸並進機構32が搭載される。
【0032】この直交3軸並進機構32は、観察面に対
して水平2方向と垂直1方向の並進ができるようになっ
ており、固定台27に取付けたスライドガイド33に沿
ってスライド枠34が往復移動可能に装着され、固定台
27に支持されたボールネジ35に、スライド枠34に
固定したボールナット36がねじ込まれ、固定台27に
固定したステップモータ37によってボールネジ35を
駆動することでスライド枠34を20mm程度往復移動で
きるようになっている。
【0033】このスライド枠34のスライド移動方向と
直交する側面には、固定台27のスライドガイド33と
直交する方向にスライドガイド38が取付けられ、この
スライドガイド38に沿ってスライド台39が往復移動
可能に装着され、スライド枠34に支持されたボールネ
ジ40に、スライド台39に固定したボールナット41
がねじ込まれ、スライド枠34の外側に固定したステッ
プモータ42によってボールネジ40を駆動することで
スライド台39を20mm程度往復移動できるようになっ
ている。
【0034】さらに、スライド台39上には、上記2つ
の往復移動方向(スライド枠34およびスライド台39
のそれぞれの移動方向)と直交する方向にスライドガイ
ド43が取付けられ、このスライドガイド43に沿って
移動台44が往復移動可能に装着され、スライド台39
に支持された図示しないボールネジに、移動台44に固
定した図示しないボールナットがねじ込まれ、スライド
台39の外側に固定したステップモータ45とベルト駆
動機構46によってボールネジを駆動することで移動台
44を20mm程度往復移動できるようになっている。
【0035】そして、この固定治具装置25の直交3軸
並進機構32は、それぞれの移動に支障がないように、
図示しないカバーで覆われ、防塵対策が成されている。
【0036】したがって、この固定治具装置25では、
直交3軸並進機構32により固定台27に対してスライ
ド枠34、スライド台39、移動台44がそれぞれ往復
移動される結果、移動台44を固定台27に対して直交
する3軸方向に往復移動することが可能となる。
【0037】そこで、この移動台44にカメラ本体10
を取付け、観察面に対して水平2方向と垂直1方向の並
進ができるようにするが、観察対象が管寄1の胴周継手
2とスタブ3のスタブ溶接部4であることから、それぞ
れの観察対象によりカメラ本体10の取付姿勢を変える
ようにしている。
【0038】管寄1の胴周継手2を観察対象とする場合
には、図3に示すように、カメラ本体10の傾斜してい
る対物レンズ部13が観察面である胴周継手2に垂直と
なるようにカメラ本体10を傾けて固定する管寄周継手
用ブラケット47を介して移動台44に固定する。
【0039】一方、スタブ溶接部を観察対象とする場合
には、図4に示すように、傾斜している対物レンズ部1
3の傾斜角度と同一角度傾いた状態で固定するスタブ溶
接部用ブラケット(図示せず)を介して移動台44に固
定する。
【0040】このようにして固定治具装置25に取付け
たカメラ本体10による管寄1の胴周継手2およびスタ
ブ3のスタブ溶接部4の観察では、観察点へのカメラ本
体10の移動は、ベルトクランプ機構26のベルトクラ
ンプ30を緩めたのち、再クランプすることを繰り返し
て行い、一箇所の観察点での約1mm平方程度の連続観察
には、直交3軸並進機構32により移動台43などを移
動することで行う。
【0041】このように構成したレーザー顕微鏡による
観察装置によれば、カメラ本体10を略直方体状の密閉
構造とするとともに小型化し、しかもずんぐりした形状
に形成したので、塵等の浸入が極力防止されるととも
に、狭隘部への適用が可能となり、振動も防止すること
ができる。
【0042】また、カメラ本体10の冷却を電子冷却装
置19で行うようにしたので、冷却フィン部20に隙間
を無くし密閉構造のまま冷却することができる。
【0043】さらに、カメラ本体10のレーザーの光路
12,15を屈曲部を増やして形成するようにしたの
で、小形化を図ることができ、さらに対物レンズ部13
を傾斜させるとともに、先端外側部18を削り落とした
ので、狭隘部の観察が簡単にできる。また、観察領域を
固定治具装置25によって連続して観察することができ
る。
【0044】したがって、これらにより、これまでレプ
リカを採取して持ち帰って観察しなければならないクリ
ープ損傷の診断が現場で直接観察して行うことができ
る。
【0045】なお、上記実施の形態では、管寄の胴周継
手およびスタブのスタブ溶接部を観察対象とする場合で
説明したが、これに限らず、観察倍率として1000倍
程度が必要な現場での観察に広く適用することができ
る。
【0046】次に、この発明のクリープ損傷自動診断装
置の一実施の形態について図面に基づき詳細に説明す
る。
【0047】このクリープ損傷自動診断装置50では、
クリープ損傷が生じている画像情報、例えば既に説明し
たレーザー顕微鏡による観察装置で得られる画像を用い
てクリープ損傷度に応じて変化するボイド面積率(観察
視野全体に対するボイドの総面積)からクリープ損傷度
を自動診断する装置である。
【0048】このクリープ損傷自動診断装置50は、図
5に示すように、画像診断装置51、診断モニタ52、
光磁気ディスク53、プリンタ54を備えて構成され
る。
【0049】このクリープ損傷自動診断装置50の画像
診断装置51は、画像処理ボードを実装したパーソナル
コンピュータで構成され、画像入力のための制御と自動
診断を実行するほか、処理選択、パラメータ設定などの
入力が行われる。また、診断モニタ52は、画像診断装
置51用のモニタで診断結果の一覧やパラメータ設定値
などの表示を行い、光磁気ディスク53は、入力される
画像を保存する記憶装置で、プリンタ54は診断結果の
一覧をプリントアウトする。
【0050】このようなクリープ損傷自動診断装置50
によって行われる画像処理によるクリープ損傷の自動診
断について、図6に示すフロー図にしたがって具体的に
説明する。
【0051】この自動診断には、ボイド面積率法が用い
られるが、これによる検定曲線は既知であり、例えば図
12に示すように、求められたものを用いる。
【0052】まず、診断対象部位の研削、研磨、鏡面仕
上げ、エッチング、防錆対策等の前処理が行われた後、
レーザー顕微鏡等用いて観察された診断対象の画像が画
像診断装置51に入力される。
【0053】この入力画像は、対象が異なった場合やレ
ーザー顕微鏡の設定値の変更などで、明暗度合いやコン
トラストが変化し、これに伴ってボイドの濃度範囲が変
化してしまい、濃度しきい値や各種フィルタサイズとい
ったパラメータを固定することが難しい。
【0054】そこで、入力画像に対して正規化処理を行
う。この正規化処理では、濃度平均m、標準偏差σの入
力画像を次式にしたがって濃度平均値mN 、標準偏差σ
N の画像に変換し、暗すぎたり、明るすぎたり、あるい
はコントラストが低い画像が入力されても、ボイドや粒
界の濃度範囲がほぼ同一範囲となるようにする。
【0055】 IN(x,y)=(σN /σ)(I (x,y)−m)+mN ここで、I (x,y)は、入力原画像の点(x,y) における濃
度値 IN(x,y)は、正規化画像の点(x,y) における濃度値であ
る。
【0056】この入力画像の正規化により、例えば正規
化前の画像が図7(a)に示すように、画像全体が暗
く、コントラストの低い画像が、同図(b)に示すよう
に、明るさのバランスがとれ、コントラストの良い画像
に変換される。
【0057】次に、ボイド候補領域の抽出が行われる。
正規化した入力画像上ボイドは中央部が非常に暗く、周
辺部が比較的明るくなって現れるが、種々のノイズも含
まれているため、あるしきい値で単に2値化するだけで
は、ボイド候補領域を良好に抽出することができない。
【0058】そこで、次のような2段階しきい値処理を
行う。この2段階しきい値処理は、例えば図8に示すよ
うに、まず、正規化した入力画像を高いしきい値で2値
化することによって、ノイズを含むもののボイド候補領
域の全てを抽出する。
【0059】次に、同一画像を低いしきい値で2値化す
ることよって確実にボイドの中心部の非常に暗い部分の
みを抽出する。最後に、高いしきい値で2値化した領域
中で低いしきい値で2値化した領域を含むものをボイド
候補領域とし、共通部分を持たない連結領域をノイズと
して除去することで、ボイド候補領域を定める。
【0060】次に、粒界領域の抽出を行う。
【0061】一般に、粒界は比較的直線性の強い、細い
線分で構成されるが、画像上は、図9に示すように、局
所的な濃淡変化を繰り返している。
【0062】このため、2値化法でしきい値を小さくす
れば確実に粒界を検出できるものの断続的になり、しき
い値を大きくすれば連続的になるものの粒界以外のノイ
ズの方が多くなってしまう。
【0063】一方、粒界が細い線分であり、ボイドのよ
うな塊状でないことから2段階しきい値法も適用できな
い。
【0064】そこで、逐次領域拡張法と称する次のよう
な方法を用いて粒界を抽出する。まず、非常に低い濃度
しきい値Tj で2値化することによって、断片的である
が確実に粒界の一部であると判定される部分を抽出す
る。
【0065】次に、このしきい値より少し高い濃度しき
い値範囲Tj+(i-1) ・αの部分を取り出し、この部分が
既に抽出された部分と隣接するか否かを調べ、隣接して
いる場合には、粒界として拡張して登録する。この操作
をN回繰り返す。
【0066】さらに、以上のことを低い濃度しきい値T
j からM回繰り返し、これらを逐次拡張した部分を粒界
候補とする。
【0067】こうして得られた粒界候補の各線分はそれ
ぞれ幅を持っているので、以後の種々の探索処理の効率
化のため全ての幅を1画素となるように細線化する。
【0068】さらに、画像診断装置51内に記述するた
め、一連の線情報をすべて折れ線ベクトルで近似表現す
る処理を施し、ベクトルの端点位置、長さや傾きなどの
幾何学的形状をコンピュータ内に取り込み、記号として
の処理を可能とする。
【0069】この後、粒界の探索を2つに分けて行う
が、その探索領域を極力減らし効率を向上するため、真
の粒界の一部であろうと推定される長い直線セグメント
をベースセグメントと称し、これから探索を開始するこ
ととした。
【0070】粒界探索の1つは、局所的な粒界領域の探
索であり、ベースセグメントから、局所的に見て近距離
にあり、かつ方向の連続性が保たれているものを統合し
て行き、この操作による成長が止まるまで繰り返す。
【0071】次に、もう一つの粒界探索として、大局的
な粒界領域の探索を行う。局所的な粒界領域の探索で
は、隣接する線分を成長させて結び付けることができた
が、例えば図10に示すように、人間が判断する場合に
は、比較的長い距離離れた複数の線分が1つの粒界を形
成することを認識することは容易であるが、これをコン
ピュータ上で簡単に行うことができない。
【0072】そこで、各粒界候補セグメントごとに、他
の候補セグメントとのペアで直線を形成できるか否かを
判定し、可能である場合には、最小二乗法によって直線
を生成し、この直線上にどの程度の候補セグメントが存
在するかを検証する。
【0073】そして、検証に合格した場合には、この直
線にのっている部分は粒界であると判定する。
【0074】次に粒界領域の合成を行う。ここでは、局
所的な粒界候補領域の探索結果と大局的な粒界候補領域
の探索結果とを合成して粒界領域が定まる。
【0075】この後、粒界上のボイド候補領域を抽出す
る。すでに求めたボイド候補領域のうち、真のボイドは
粒界上にあることからこの条件を満たすボイド候補領域
を抽出することで真のボイドが定まる。
【0076】こうして定めたボイド領域の面積を通常の
画像処理により行うとともに、観察視野全体の面積を求
め、ボイド面積率を1つの観察画像に対して求める。以
上が画像診断装置51による1枚の入力画像に対する画
像処理である。
【0077】クリープ損傷の自動診断には、1画像だけ
でなく、観察対象の1mm平方程度の画像が必要であり、
例えば連続した50画像を取り込んで同様の画像処理を
行い、ボイド面積率を求める。
【0078】こうしてボイド面積率を既に求めてある検
定曲線(図12参照)と対照し、クリープ損傷を求め
る。
【0079】得られたクリープ損傷の診断結果を診断モ
ニタ52に表示するとともに、光磁気ディスク53に保
存して自動診断が終了する。
【0080】このように構成したクリープ損傷自動診断
装置50によれば、診断対象の画像情報が入力される
と、画像処理によって自動的にボイド面積率を求めるこ
とができ、クリープ損傷に対する検定曲線からクリープ
損傷を簡単に求めることができる。
【0081】これにより、ボイドの観察に熟練を要する
こと無く、損傷対象の画像情報を得ることができれば、
簡単にクリープ損傷度を知ることができ、現場で迅速に
診断することも可能となる。
【0082】なお、このクリープ損傷自動診断装置50
による自動診断結果と従来の熟練者による同一対象の診
断結果が良く一致していることを確認した。
【0083】次に、レーザー顕微鏡による観察装置を用
いたクリープ損傷自動診断装置について説明する。
【0084】このレーザー顕微鏡による観察装置を用い
たクリープ損傷自動診断装置60は、図5に示すよう
に、既に説明したカメラ本体10を備えたレーザー顕微
鏡による観察装置とクリープ損傷自動診断装置50とを
組み合わせて構成されており、例えば炉内などの現場に
設置したカメラ本体10を備えたレーザー顕微鏡による
観察装置で得られる画像を、例えば炉外などの現場に隣
接した場所に設置したクリープ損傷自動診断装置50へ
の入力画像としてクリープ損傷を自動診断するととも
に、入力画像を得るためのレーザー顕微鏡のカメラ本体
10の固定治具装置25による移動などを画像診断装置
51から制御できるようになっている。
【0085】次に、このレーザー顕微鏡による観察装置
を用いたクリープ損傷自動診断装置60によるカメラ本
体10の現場での仮設からクリープ損傷度を求めるまで
の一連の工程について、図11に示すフロー図にしたが
って説明する。
【0086】なお、レーザー顕微鏡による観察装置のカ
メラ本体10で説明した部分およびクリープ損傷自動診
断装置50で説明した部分は簡単に説明する。
【0087】まず、自動診断の前に必要な診断前処理が
開始される。
【0088】診断前処理としてカメラ本体10を取付け
るための固定治具装置25の仮設置が行われ、固定治具
装置25だけを管寄1に仮設して固定する。
【0089】このため、取手31を持って連結板28で
連結された固定台27の当板27aを管寄の表面に当
て、カメラ本体10で診断対象を観察できる位置に対応
してベルトクランプ機構26で固定する。
【0090】この後、固定治具の原点復帰を行う。この
ため、固定治具装置25の直交3軸並進機構32のスラ
イド枠34、スライド台39および移動台44をステッ
プモータ37、42、45の自動運転により動作開始前
の原点に戻しておく。
【0091】次に、レーザー顕微鏡の取付けを行う。こ
うして固定治具装置25の仮設準備が完了したところで
固定治具装置25へのカメラ本体10の取付けを行う
が、診断対象が管寄1の胴周継手2の場合には、管寄胴
周継手用ブラケット47を介して、診断対象がスタブ3
のスタブ溶接部4の場合には、スタブ溶接部用ブラケッ
ト48を介してカメラ本体10の移動台44に取付け
る。
【0092】この後、診断部位へのカメラ本体10の位
置合わせを行う。このカメラ本体10の位置合わせは、
大まかな位置合わせを固定治具装置25のベルトクラン
プ機構26の固定位置の移動で行った後、直交3軸並進
機構32のスライド枠34、スライド台39および移動
台44をステップモータ37、42、45を運転して動
かすことで行う。
【0093】次に画像の焦点合わせを行う。カメラ本体
10が接続された顕微鏡モニタ22に写し出される画像
を見ながら対物レンズ部13を移動するZ軸駆動機構を
外部コントローラ18で制御することで行う。こうして
診断部位のレーザー顕微鏡の画像を得るための準備が完
了する。
【0094】次に、診断箇所に関する情報の入力を行
う。この診断箇所に関する情報としては、診断日時、診
断部位、診断箇所などのデータを予め画像診断装置51
に入力しておく。以上で診断前の処理が完了する。
【0095】この後、自動診断を開始する。自動診断が
開始されると、レーザー顕微鏡による観察装置のカメラ
本体10からの画像が直接画像診断装置51に入力さ
れ、採取画像の画像処理が行われる。
【0096】この画像処理は、既に説明したように、画
像の正規化処理、ボイド候補領域の抽出、主粒界領域の
抽出、粒界領域の合成の工程を経てボイドが抽出される
(図6参照)。
【0097】このボイドからボイド面積率が求められ、
その値が表示される。こうして1つの画像に対するボイ
ド面積率が求められた後、クリープ損傷度の診断に必要
な、例えば50枚の画像を採取するまで繰り返され、カ
メラ本体10が取付けられた固定治具装置25の直交3
軸並進機構32のスライド枠34、スライド台39およ
び移動台44をステップモータ37、42、45の自動
運転により次の視野まで移動した後、画像処理が行われ
る。
【0098】こうして、例えば50枚の画像を採取し、
画像処理を行って全画像でのボイド面積率を求めた後、
検定曲線との対比からクリープ損傷度が求められ、診断
結果が表示されるとともに、保存して1箇所での自動診
断が完了する。
【0099】この後、次の診断位置への固定治具装置2
5の移動を行うことから繰り返して自動診断を行う。
【0100】また、診断部位を、例えば管寄1の胴周継
手2からスタブ3のスタブ溶接部4に変える場合には、
カメラ本体10を移動台44に取付けるブラケットの交
換を行って対処した後、上記と同様にして自動診断を行
う。
【0101】このレーザー顕微鏡による観察装置を用い
たクリープ損傷自動診断装置60によれば、クリープ損
傷部位をレーザー顕微鏡で直接観察した画像からクリー
プ損傷度を自動的に求めることができ、熟練を要するこ
と無く、短時間に高精度にクリープ損傷の診断ができ
る。
【0102】なお、上記実施の形態では、管寄およびス
タブの溶接部を診断対象としたが、これに限らず、他の
クリープ損傷が生じる部分への適用も可能である。
【0103】
【発明の効果】以上、実施の形態とともに具体的に説明
したようにこの発明のレーザー顕微鏡による観察装置に
よれば、カメラ本体内に半導体レーザーと屈曲させた光
路を設けるようにしたので、カメラ本体の小型・軽量化
を図ることができる。
【0104】また、対物レンズ部を傾斜させるととも
に、対物レンズ部の被観察物への接近側を削り落とした
ので、狭隘部への適用が可能となった。
【0105】さらに、長作動距離の対物レンズを用いる
ようにしたので、被観察物との距離をあけて観察するこ
とができる。
【0106】また、カメラ本体を密閉構造とするととも
に、電子冷却装置を用いて冷却するようにしたので、防
塵性を高めかつ密閉状態での冷却もできる。
【0107】さらにカメラ本体を固定治具装置に取付け
て連続的に観察ができるようにしたので、現場の被観察
部から簡単にレーザー顕微鏡による観察画像を連続的に
得ることができる。
【0108】これにより、従来レプリカを採取して組織
の観察をする必要があったものが、現場で直接観察する
ことができるとともに、短時間に観察することができ
る。
【0109】このクリープ損傷自動診断装置によれば、
診断対象画像の濃度(明るさ)を正規化処理処理手段で
濃度平均および標準偏差が一定となるようにして画像ご
との濃度やコントラストの差をなくし、この画像からボ
イド候補抽出処理手段でボイド候補を2段階しきい値処
理を用いることで極力ノイズを抑え、しかもボイド領域
全体を抽出できるようにし、さらに、同一画像から粒界
候補抽出処理手段で逐次領域拡張法による小さなしきい
値から少しずつ大きなしきい値に変えながら隣接する領
域を拡張することを繰り返し、さらに粒界抽出処理手段
で全ての粒界候補の幅を1画素に細線化した後折れ線ベ
クトルで近似し、一定長さ以上の線分の1つを起点に近
距離かつ方向の連続する線分を統合する処理を繰り返し
て粒界とするとともに、さらに複数の線分が一直線上に
ある場合、統合して粒界とし、これらから粒界上のボイ
ド候補をボイドとするようにしたので、熟練者と同様に
自動的にボイドを認識することができ、各画像ごとに求
めたボイドの個数と面積を求めて指定枚数の画像分を累
積することでボイド面積率が求まり、予め求めた検定曲
線からクリープ損傷度を自動的に求めることができる。
【0110】さらに、このレーザー顕微鏡による観察装
置を用いたクリープ損傷自動診断装置によれば、レーザ
ー顕微鏡による観察装置とクリープ損傷自動診断装置と
を組み合わせて構成するようにしたので、現場での診断
対象の画像の採取から画像処理を行ってボイド面積率を
求めてクリープ損傷の診断を行うまでの全てを自動的に
行うことができる。
【図面の簡単な説明】
【図1】この発明のレーザー顕微鏡による観察装置の一
実施の形態にかかるカメラ本体の概略構成図、光路の概
略斜視図および対物レンズ部の拡大図である。
【図2】この発明のレーザー顕微鏡による観察装置の一
実施の形態にかかる固定治具装置の正面図である。
【図3】この発明のレーザー顕微鏡による観察装置の一
実施の形態にかかる管寄の周継手の観察状態の斜視図で
ある。
【図4】この発明のレーザー顕微鏡による観察装置の一
実施の形態にかかるスタブ溶接部の観察状態の斜視図で
ある。
【図5】この発明のクリープ損傷自動診断装置およびレ
ーザー顕微鏡による観察装置を用いたクリープ自動診断
装置のそれぞれの一実施の形態にかかる概略構成図であ
る。
【図6】この発明のクリープ損傷自動診断装置およびレ
ーザー顕微鏡による観察装置を用いたクリープ自動診断
装置のそれぞれの一実施の形態にかかるクリープボイド
検出の画像処理のフロー図である。
【図7】この発明のクリープ損傷自動診断装置およびレ
ーザー顕微鏡による観察装置を用いたクリープ自動診断
装置のそれぞれの一実施の形態にかかる画像処理におけ
る正規化処理の説明図である。
【図8】この発明のクリープ損傷自動診断装置およびレ
ーザー顕微鏡による観察装置を用いたクリープ自動診断
装置のそれぞれの一実施の形態にかかる画像処理におけ
るボイド候補抽出の説明図である。
【図9】この発明のクリープ損傷自動診断装置およびレ
ーザー顕微鏡による観察装置を用いたクリープ自動診断
装置のそれぞれの一実施の形態にかかる画像処理におけ
る粒界の局所的濃度分布の説明図である。
【図10】この発明のクリープ損傷自動診断装置および
レーザー顕微鏡による観察装置を用いたクリープ自動診
断装置のそれぞれの一実施の形態にかかる画像処理にお
ける直線セグメントのリンクの説明図である。
【図11】この発明のレーザー顕微鏡による観察装置を
用いたクリープ自動診断装置の一実施の形態にかかる自
動診断のフロー図である。
【図12】この発明のクリープ損傷の自動診断に用いる
クリープ損傷とボイド面積率の関係を示す検定曲線であ
る。
【図13】この発明のクリープ損傷の観察対象の一例に
かかる管寄の胴周継手およびスタブ溶接部の説明図であ
る。
【符号の説明】
1 管寄 2 胴周継手 3 スタブ 4 スタブ溶接部 10 カメラ本体 11 半導体レーザー 12 光路 13 対物レンズ部 14 画像センサ 15 光路 18 先端外側部 19 電子冷却装置 21 顕微鏡コントロールユニット 22 顕微鏡モニタ 25 固定治具装置 26 ベルトクランプ機構 27 固定台 32 直交3軸並進機構 34 スライド枠 39 スライド台 44 移動台 50 クリープ損傷自動診断装置 51 画像診断装置 52 診断モニタ 53 光磁気ディスク 60 レーザー顕微鏡による観察装置を用いたクリープ
損傷自動診断装置
───────────────────────────────────────────────────── フロントページの続き (72)発明者 垣内田 恵 広島県広島市中区小町4番33号 中国電力 株式会社内 (72)発明者 野中 勇 東京都江東区豊洲三丁目1番15号 石川島 播磨重工業株式会社技術研究所内 (72)発明者 馬木 秀雄 東京都江東区豊洲三丁目2番16号 石川島 播磨重工業株式会社豊洲総合事務所内 (72)発明者 御園 昇平 東京都江東区豊洲三丁目1番15号 石川島 播磨重工業株式会社東二テクニカルセンタ ー内 (72)発明者 山本 忠幸 東京都江東区豊洲三丁目1番15号 石川島 播磨重工業株式会社東二テクニカルセンタ ー内

Claims (3)

    【特許請求の範囲】
  1. 【請求項1】密閉構造のカメラ本体内に設けられてレー
    ザーを発信する半導体レーザーと、この半導体レーザー
    から発信されたレーザーを屈曲させて導く前記カメラ本
    体内に設けられる光路と、この光路の先端部に傾斜して
    取付けられる長作動距離の対物レンズを備え被観察物と
    の接近側が切除された対物レンズ部と、前記光路に設け
    られ反射するレーザーを受信する画像センサと、前記密
    閉構造のカメラ本体内を冷却する電子冷却装置と、前記
    カメラ本体が取付けられて3軸方向に移動可能な移動台
    を備えるとともに、この移動台を移動して連続した観察
    を可能とする移動機構を備え被観察対象に固定される固
    定治具装置とからなることを特徴とするレーザー顕微鏡
    による観察装置。
  2. 【請求項2】入力される診断対象画像を正規化処理して
    入力画像の濃度平均および標準偏差を一定値に変換する
    正規化処理手段と、正規化画像を高しきい値で2値化し
    た領域の中で低しきい値で2値化した領域を含むものを
    抽出することでノイズを除去したボイド候補を抽出する
    ボイド候補抽出処理手段と、前記正規化画像を低い濃度
    しきい値で2値化して粒界の一部を抽出した後、そのし
    きい値より少し高い濃度しきい値の部分を取り出してそ
    れがこれまでに抽出した部分に隣接する場合のみに粒界
    を拡張することを繰り返して粒界候補とする粒界候補抽
    出処理手段と、全ての粒界候補の幅を1画素に細線化し
    た後折れ線ベクトルで近似し、一定長さ以上の線分の1
    つを起点に近距離かつ方向の連続する線分を統合する処
    理を繰り返し粒界とするとともに、さらに一定長さ以上
    の線分ごとに他の線分と対をなして直線を形成できる場
    合には最小二乗法で直線化してその直線上にのる線分が
    あれば統合して粒界とする粒界抽出処理手段と、これら
    ボイド候補と粒界とから粒界上のボイド候補をボイドと
    し、各画像ごとにボイド面積を求めて指定枚数の画像分
    を累積し、ボイド認識領域の総面積に対する比率である
    ボイド面積率を求め、予め既知の同一材料のクリープ損
    傷度とボイド面積率との検定曲線からクリープ損傷度を
    求める演算処理装置とからなることを特徴とするクリー
    プ損傷自動診断装置。
  3. 【請求項3】前記請求項2記載の入力される診断対象画
    像を前記請求項1記載のレーザー顕微鏡による観察装置
    の画像センサからの観察画像としたことを特徴とするレ
    ーザー顕微鏡による観察装置を用いたクリープ損傷自動
    診断装置。
JP4294797A 1997-02-12 1997-02-12 レーザー顕微鏡による観察装置、クリープ損傷自動診断装置およびレーザー顕微鏡による観察装置を用いたクリープ損傷自動診断装置 Expired - Lifetime JP2937925B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP4294797A JP2937925B2 (ja) 1997-02-12 1997-02-12 レーザー顕微鏡による観察装置、クリープ損傷自動診断装置およびレーザー顕微鏡による観察装置を用いたクリープ損傷自動診断装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP4294797A JP2937925B2 (ja) 1997-02-12 1997-02-12 レーザー顕微鏡による観察装置、クリープ損傷自動診断装置およびレーザー顕微鏡による観察装置を用いたクリープ損傷自動診断装置

Publications (2)

Publication Number Publication Date
JPH10221608A true JPH10221608A (ja) 1998-08-21
JP2937925B2 JP2937925B2 (ja) 1999-08-23

Family

ID=12650219

Family Applications (1)

Application Number Title Priority Date Filing Date
JP4294797A Expired - Lifetime JP2937925B2 (ja) 1997-02-12 1997-02-12 レーザー顕微鏡による観察装置、クリープ損傷自動診断装置およびレーザー顕微鏡による観察装置を用いたクリープ損傷自動診断装置

Country Status (1)

Country Link
JP (1) JP2937925B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008002873A (ja) * 2006-06-21 2008-01-10 Tohoku Electric Power Co Inc 配管用厚さ測定装置
CN117036364A (zh) * 2023-10-09 2023-11-10 全芯智造技术有限公司 图像处理方法及装置、存储介质、计算设备

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4153675B2 (ja) * 2001-04-10 2008-09-24 三菱重工業株式会社 材料寿命の評価システム、及び、その評価方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008002873A (ja) * 2006-06-21 2008-01-10 Tohoku Electric Power Co Inc 配管用厚さ測定装置
JP4684177B2 (ja) * 2006-06-21 2011-05-18 東北電力株式会社 配管用厚さ測定装置
CN117036364A (zh) * 2023-10-09 2023-11-10 全芯智造技术有限公司 图像处理方法及装置、存储介质、计算设备
CN117036364B (zh) * 2023-10-09 2024-01-02 全芯智造技术有限公司 图像处理方法及装置、存储介质、计算设备

Also Published As

Publication number Publication date
JP2937925B2 (ja) 1999-08-23

Similar Documents

Publication Publication Date Title
US20200326184A1 (en) Dual-resolution 3d scanner and method of using
KR101207378B1 (ko) 육안 검사 장치 및 육안 검사 방법
US5499097A (en) Method and apparatus for checking automated optical system performance repeatability
US11514689B2 (en) Gemological object recognition
US6459760B1 (en) Apparatuses and methods for non-destructive inspection
JP4799088B2 (ja) 遠隔検査における作業位置計測方法およびその装置
JP5078296B2 (ja) 写真測量装置及び写真測量システム
US20060078193A1 (en) Method of visually inspecting turbine blades and optical inspection system therefor
JP2004509321A (ja) パイプラインの欠陥を検出する装置および方法
US9214024B2 (en) Three-dimensional distance measurement apparatus and method therefor
US8379081B2 (en) Appearance inspection apparatus and appearance inspection method
CN110230981B (zh) 用于大尺寸件的尺寸检测系统及尺寸检测方法
CN108422321B (zh) 化学机械研磨的抛光垫图像检测系统及方法
JP2937925B2 (ja) レーザー顕微鏡による観察装置、クリープ損傷自動診断装置およびレーザー顕微鏡による観察装置を用いたクリープ損傷自動診断装置
JP2019143992A (ja) 鋳造品の検査方法および検査装置
JP2007155357A (ja) 直径計測方法又は直径計測装置
CN110926771B (zh) 一种基于模态曲率误差法的叶片裂纹区域确定方法
CN113899698A (zh) 一种面向原位测试平台的实时对焦和居中调整方法及装置
JP6979885B2 (ja) 3d形状のオートトレース方法及び測定機
JP2007041395A (ja) 材料組織観察装置
US20080008381A1 (en) Coordinate acquisition apparatus for test of printed board, and coordinate acquisition method and program for test thereof
WO2023238465A1 (ja) 部品検査方法および装置
RU213996U1 (ru) Стенд лазерного сканирования и дефектоскопии
FR3087688A1 (fr) Dispositif de deplacement et/ou d'orientation de maniere coordonnee d'un outil suiveur, procede de poncage d'une piece utilisant ledit dispositif et poste de poncage pour la mise en œuvre dudit procede
WO2023238451A1 (ja) 部品検査方法および部品検査装置

Legal Events

Date Code Title Description
R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080611

Year of fee payment: 9

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080611

Year of fee payment: 9

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090611

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100611

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110611

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110611

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120611

Year of fee payment: 13

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120611

Year of fee payment: 13

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130611

Year of fee payment: 14

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140611

Year of fee payment: 15

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term