JP3496288B2 - Testing method for magnetic particle flaw detection function, verification device for magnetic particle flaw detection function, magnetic particle flaw detection device, and fluorescent jig - Google Patents

Testing method for magnetic particle flaw detection function, verification device for magnetic particle flaw detection function, magnetic particle flaw detection device, and fluorescent jig

Info

Publication number
JP3496288B2
JP3496288B2 JP23352394A JP23352394A JP3496288B2 JP 3496288 B2 JP3496288 B2 JP 3496288B2 JP 23352394 A JP23352394 A JP 23352394A JP 23352394 A JP23352394 A JP 23352394A JP 3496288 B2 JP3496288 B2 JP 3496288B2
Authority
JP
Japan
Prior art keywords
magnetic particle
flaw detection
fluorescent
particle flaw
phosphor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP23352394A
Other languages
Japanese (ja)
Other versions
JPH0894585A (en
Inventor
保 西峯
修 津山
哲男 川上
修二 松本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Steel Corp
Original Assignee
Sumitomo Metal Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sumitomo Metal Industries Ltd filed Critical Sumitomo Metal Industries Ltd
Priority to JP23352394A priority Critical patent/JP3496288B2/en
Publication of JPH0894585A publication Critical patent/JPH0894585A/en
Application granted granted Critical
Publication of JP3496288B2 publication Critical patent/JP3496288B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Investigating Or Analyzing Materials By The Use Of Magnetic Means (AREA)

Description

【発明の詳細な説明】Detailed Description of the Invention

【0001】[0001]

【産業上の利用分野】本発明は磁粉探傷機能定方
、磁粉探傷機能の検定装置、磁粉探傷装置及び蛍光治
に関する。
FIELD OF THE INVENTION The present invention has a magnetic particle flaw detection function.ofInspectionRegular
Law, Inspection device for magnetic particle inspection function, magnetic particle inspection device and fluorescence treatment
IngredientRegarding

【0002】[0002]

【従来の技術】従来、蛍光磁粉探傷検査は磁化された被
検査材に蛍光磁粉を散布し、付着した蛍光磁粉の模様を
目視することにより被検査材の疵を検出している。この
探傷検査中には、紫外線灯の光強度、蛍光磁粉の蛍光輝
度及び被検査材の表面磁場強度等が管理されており、例
えば、蛍光磁粉液中の蛍光輝度を測定することにより蛍
光磁粉の蛍光輝度が管理される。近年、高検出能及び高
速度化を目標として探傷検査が自動化され、画像処理装
置を用いて疵検出が行われている。この自動磁粉探傷で
は、磁化された被検査材を搬送しつつ蛍光磁粉液を散布
し、疵部分に付着された蛍光体に紫外線を照射して発光
せしめ、CCDカメラによりこれを撮像して画像処理す
る。
2. Description of the Related Art Conventionally, in a fluorescent magnetic powder flaw detection inspection, a flaw in the inspected material is detected by spraying the magnetized inspection material with the fluorescent magnetic powder and visually observing the pattern of the adhered fluorescent magnetic powder. During this flaw inspection, the light intensity of the ultraviolet lamp, the fluorescent brightness of the fluorescent magnetic powder, the surface magnetic field strength of the material to be inspected, etc. are managed, and, for example, by measuring the fluorescent brightness in the fluorescent magnetic powder liquid, Fluorescent brightness is managed. In recent years, flaw detection inspection has been automated with the goal of high detectability and high speed, and flaw detection is performed using an image processing apparatus. In this automatic magnetic particle inspection, a fluorescent magnetic powder solution is sprayed while conveying a magnetized material to be inspected, and the fluorescent substance adhered to the flaw is irradiated with ultraviolet rays to emit light, and an image is captured by a CCD camera to perform image processing. To do.

【0003】この画像処理にあっては、カメラが取り込
んだ映像信号をフリーザへ入力し、ここで得た静止画像
を画像処理装置へ与えて画面内の輝度分布を求める。こ
のような静止画像を経時的に連続して生成し、これらを
画像処理することにより被検査材の疵部を自動検出す
る。
In this image processing, the video signal captured by the camera is input to the freezer, and the still image obtained here is given to the image processing apparatus to obtain the luminance distribution on the screen. Such still images are continuously generated over time, and image processing is performed on these still images to automatically detect flaws in the material to be inspected.

【0004】[0004]

【発明が解決しようとする課題】以上の如き磁粉探傷検
査にあっては、カメラ及び画像処理装置の機能が正常で
あるか否かの検定は行われておらず、機能に異常を来し
た場合は探傷結果に誤差を生じ、磁粉探傷検査の信頼性
を低くするという問題があった。
In the magnetic particle inspection as described above, it is not verified whether the functions of the camera and the image processing device are normal, and when the function is abnormal. Has a problem that an error occurs in the flaw detection result, and the reliability of the magnetic particle flaw detection is lowered.

【0005】本発明は、かかる事情に鑑みてなされたも
のであり、所定輝度を有する蛍光体を付した蛍光治具を
撮像することにより、磁粉探傷機能の検定を行う方法及
び装置を提供することを目的とする。
The present invention has been made in view of the above circumstances, and provides a method and apparatus for testing a magnetic particle flaw detection function by imaging a fluorescent jig provided with a phosphor having a predetermined brightness. With the goal.

【0006】[0006]

【課題を解決するための手段】第1発明に係る磁粉探傷
機能の検定方法は、被検査材の表面に付着された蛍光磁
粉からの蛍光を撮像手段により撮像し、得られた信号に
基づいて前記被検査材の磁粉探傷を行う機能を検定する
方法であって、前記磁粉探傷に用いる所定の蛍光輝度を
有する蛍光体を付した蛍光治具からの蛍光を前記撮像手
段により撮像する過程と、前記撮像手段により得られた
信号から前記蛍光体を中心とするエリアを設定する過程
と、該エリアについて、横軸を階調、縦軸を度数とする
輝度ヒストグラムを作成する過程と、該輝度ヒストグラ
ムから前記エリアの平均輝度を測定する過程と、前記機
能を前記平均輝度により検定する過程とを備えることを
特徴とする。
According to a first aspect of the present invention, there is provided a magnetic particle flaw detection function inspection method, wherein an image pickup means captures an image of fluorescence from fluorescent magnetic particles attached to the surface of a material to be inspected, and based on the obtained signal. A method for verifying the function of performing magnetic particle flaw detection of the material to be inspected, the step of imaging fluorescence from a fluorescent jig provided with a phosphor having a predetermined fluorescent brightness used for the magnetic particle flaw detection by the imaging means, A step of setting an area centered on the phosphor from the signal obtained by the image pickup means, and a step of creating a luminance histogram in which the horizontal axis represents gradation and the vertical axis represents frequency in the area. And a step of measuring the average luminance of the area from the luminance histogram, and a step of testing the function with the average luminance.

【0007】 第2発明に係る磁粉探傷機能の検定方法
は、被検査材の表面に付着された蛍光磁粉からの蛍光を
撮像手段により撮像し、得られた信号に基づいて前記被
検査材の磁粉探傷を行う機能を検定する方法であって、
前記磁粉探傷に用いる所定の蛍光輝度を有する蛍光体を
付した蛍光治具からの蛍光を前記撮像手段により撮像す
る過程と、前記撮像手段により得られた信号から前記蛍
光体を中心とするエリアを設定する過程と、該エリア
ついて、横軸を階調、縦軸を度数とする輝度ヒストグラ
ムを作成する過程と、該輝度ヒストグラムから前記エリ
アの平均輝度を測定する過程と、前記輝度ヒストグラム
の半値幅を測定する過程と、前記機能を前記平均輝度及
び半値幅により検定する過程とを備ることを特徴とす
る。
In the inspection method of the magnetic particle flaw detection function according to the second aspect of the invention, the fluorescence from the fluorescent magnetic powder adhered to the surface of the inspected material is imaged by the imaging means, and the magnetic powder of the inspected material is based on the obtained signal. A method for testing the function of flaw detection,
A process of capturing an image of fluorescence from a fluorescent jig provided with a phosphor having a predetermined fluorescence intensity used for the magnetic particle flaw detection by the image pickup means, and an area centered on the phosphor from the signal obtained by the image pickup means and the process of setting, to the area
Then, a step of creating a luminance histogram in which the horizontal axis is gradation and the vertical axis is frequency, a step of measuring an average luminance of the area from the luminance histogram, a step of measuring a half width of the luminance histogram, And a step of testing the function based on the average brightness and the half width.

【0008】 第3発明に係る磁粉探傷機能の検定装置
は、磁粉探傷に用いる所定の蛍光輝度を有する蛍光体を
付された蛍光治具を用いて磁粉探傷機能の検定を行う磁
粉探傷機能の検定装置であって、前記蛍光体を撮像する
撮像装置と、該撮像装置からの映像信号から静止画像を
生成するフリーザと、該フリーザで得られた静止画像を
2値化画像に変換する2値化手段と、前記2値化画像を
X方向にプロジェクションするX方向プロジェクション
手段と、前記2値化画像をY方向にプロジェクションす
るY方向プロジェクション手段と、前記X方向のプロジ
ェクション及びY方向のプロジェクションの結果に基づ
いて前記蛍光体を中心とする中心エリアを設定する中心
エリア設定手段と、前記中心エリアについて、横軸を階
調、縦軸を度数とする輝度ヒストグラムを作成し、該
度ヒストグラムに基づいて前記中心エリアの平均輝度を
測定する平均輝度測定手段と、前記平均輝度が所定の許
容範囲内か否かを判定するゲイン補正部とを備え、前記
ゲイン補正部は前記平均輝度が許容範囲外である場合
に、撮像装置から2値化手段までのゲインを補正するか
又は前記平均輝度が許容範囲外である旨の通知を行う構
成としてあることを特徴とする。
A magnetic particle inspection function inspection apparatus according to a third aspect of the invention is a magnetic particle inspection function inspection using a fluorescent jig provided with a phosphor having a predetermined fluorescence intensity used for magnetic particle inspection. An image pickup device for picking up the phosphor, a freezer for generating a still image from a video signal from the image pickup device, and a binarization for converting the still image obtained by the freezer into a binarized image. Means, an X-direction projection means for projecting the binarized image in the X direction, a Y-direction projection means for projecting the binarized image in the Y-direction, and a result of the X-direction projection and the Y-direction projection. Based on the central area setting means for setting a central area centered on the phosphor based on the
Tone, the vertical axis to create a brightness histogram and frequencies, and the average luminance measuring means for measuring the average brightness of the central area on the basis of the bright <br/> histogram, the average luminance or within a predetermined tolerance A gain correction unit that determines whether or not the gain correction unit corrects the gain from the imaging device to the binarization unit or the average brightness is within the allowable range when the average brightness is outside the allowable range. It is characterized in that it is configured to notify that it is outside.

【0009】 第4発明に係る磁粉探傷機能の検定装置
は、磁粉探傷に用いる所定の蛍光輝度を有する蛍光体を
付された蛍光治具を用いて磁粉探傷機能の検定を行う磁
粉探傷機能の検定装置であって、前記蛍光体を撮像する
撮像装置と、該撮像装置からの映像信号から静止画像を
生成するフリーザと、該フリーザで得られた静止画像を
2値化画像に変換する2値化手段と、前記2値化画像を
X方向にプロジェクションするX方向プロジェクション
手段と、前記2値化画像をY方向にプロジェクションす
るY方向プロジェクション手段と、前記X方向のプロジ
ェクション及びY方向のプロジェクションの結果に基づ
いて前記蛍光体を中心とする中心エリアを設定する中心
エリア設定手段と、前記中心エリアについて、横軸を階
調、縦軸を度数とする輝度ヒストグラムを作成し、該
度ヒストグラムに基づいて前記中心エリアの平均輝度を
測定する平均輝度測定手段と、前記輝度ヒストグラムの
半値幅を測定する半値幅測定手段と、前記平均輝度及び
半値幅が所定の許容範囲内か否かを判定するゲイン補正
部とを備え、前記ゲイン補正部は前記平均輝度及び半値
幅が許容範囲外である場合に、撮像装置から2値化手段
までのゲインを補正するか又は前記平均輝度及び半値幅
が許容範囲外である旨の通知を行う構成としてあること
を特徴とする。第5発明に係る磁粉探傷装置は、第3発
明、又は第4発明に係る磁粉探傷機能の検定装置を備え
ることを特徴とする。第6発明に係る蛍光治具は、磁粉
探傷の機能の検定に用いる蛍光治具であって、前記磁粉
探傷に用いる所定の蛍光輝度を有する蛍光体と、該蛍光
体の位置を特定するために該蛍光体の周囲に離隔して付
された蛍光テープとを備えることを特徴とする。
A magnetic particle flaw detection function inspection apparatus according to a fourth aspect of the present invention is a magnetic particle flaw detection function inspection that uses a fluorescent jig provided with a phosphor having a predetermined fluorescence intensity used for magnetic particle inspection. An image pickup device for picking up the phosphor, a freezer for generating a still image from a video signal from the image pickup device, and a binarization for converting the still image obtained by the freezer into a binarized image. Means, an X-direction projection means for projecting the binarized image in the X direction, a Y-direction projection means for projecting the binarized image in the Y-direction, and a result of the X-direction projection and the Y-direction projection. Based on the central area setting means for setting a central area centered on the phosphor based on the
Tone, the vertical axis to create a brightness histogram and frequencies, and the average luminance measuring means for measuring the average brightness of the central area on the basis of the bright <br/> histogram, semi measuring the half width of the luminance histogram A price range measuring unit and a gain correction unit that determines whether or not the average brightness and the half-value width are within a predetermined allowable range, and the gain correction unit, when the average brightness and the half-value width are outside the allowable range, It is characterized in that the gain from the image pickup device to the binarization means is corrected or a notification that the average brightness and the half-value width are out of the allowable range is given. A magnetic particle flaw detector according to a fifth aspect of the invention is characterized by including the magnetic particle flaw detector function inspection apparatus according to the third aspect or the fourth aspect of the invention. A fluorescent jig according to a sixth aspect of the present invention is a fluorescent jig used for testing the function of magnetic particle flaw detection, for identifying a phosphor having a predetermined fluorescent brightness used for the magnetic particle flaw detection and a position of the phosphor. And a fluorescent tape attached around the phosphor in a spaced manner.

【0010】[0010]

【作用】本発明の磁粉探傷機能の検定方法及びその実施
に使用する装置では、被検査材を撮像する撮像手段が既
知輝度の蛍光体を付した蛍光治具を撮像し、該蛍光体の
平均輝度を測定して磁粉探傷の機能の検定を行う。これ
により、例えば複数の検査材を探傷検査する際に探傷期
間中に前記蛍光治具を撮像して磁粉探傷の機能が正常で
あるか否かを検定する。
In the inspection method for the magnetic particle flaw detection function of the present invention and the apparatus used for carrying out the method, the image pickup means for picking up the material to be inspected picks up an image of a fluorescent jig provided with a phosphor of known brightness, and the average of the phosphors is taken. The brightness is measured to verify the function of the magnetic particle flaw detection. Thus, for example, when performing a flaw detection test on a plurality of inspection materials, the fluorescent jig is imaged during the flaw detection period to verify whether or not the function of the magnetic particle flaw detection is normal.

【0011】また、本発明の磁粉探傷機能の検定方法及
びその実施に使用する装置では、前記蛍光体に対応する
画像の所定輝度値より大なる輝度を有する画素数によ
り、前記画像の輝度分布を得、これにより磁粉探傷の機
能の検定を行う。
Further, in the inspection method for the magnetic particle flaw detection function of the present invention and the apparatus used for carrying out the method, the brightness distribution of the image is determined by the number of pixels having the brightness higher than the predetermined brightness value of the image corresponding to the phosphor. Then, the function of the magnetic particle flaw detection is verified by this.

【0012】[0012]

【実施例】以下、本発明をその実施例を示す図面に基づ
き具体的に説明する。図1は本発明の検定装置の構成を
示すブロック図であり、図2は、本発明方法の実施に用
いる蛍光治具の構造を示す斜視図である。図2に示すよ
うに、1は蛍光治具であり、直方体形状の角材の一面に
標準蛍光体7が貼付けられており、標準蛍光体7を囲む
態様で4本の蛍光テープa,b,c,dが貼付けられて
いる。標準蛍光体7は磁粉探傷検査に用いる蛍光磁粉と
同程度の蛍光輝度を有し、蛍光テープa,b,c,dが
有する面積よりも小さい所定の面積を有するものを使用
する。蛍光テープa,cは長さ80mm、幅10mmの寸法を有
し、これらは中心間距離をYS だけ離隔して貼付けら
れ、蛍光テープb,dは長さ80mm、幅10mmの寸法を有
し、これらは中心間距離をXS だけ離隔して貼付けられ
ている。蛍光テープa,b,c,dは10/100mm以下の寸
法精度を有するものであり、貼付け間隔(XS,YS
は後述する画像処理部が有する固定画素数に基づいて決
定される。なお、この蛍光治具は被検査材が角材の場合
のものであるが、被検査材が角材でない場合はその形状
と同形状の蛍光治具を準備する。
DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS The present invention will be specifically described below with reference to the drawings showing the embodiments. FIG. 1 is a block diagram showing the configuration of the assay device of the present invention, and FIG. 2 is a perspective view showing the structure of a fluorescent jig used for carrying out the method of the present invention. As shown in FIG. 2, reference numeral 1 denotes a fluorescent jig, in which a standard phosphor 7 is attached to one surface of a rectangular parallelepiped square member, and four fluorescent tapes a, b, c are arranged so as to surround the standard phosphor 7. , D are attached. The standard phosphor 7 has a fluorescent brightness similar to that of the fluorescent magnetic powder used for the magnetic particle flaw detection inspection, and has a predetermined area smaller than the area of the fluorescent tape a, b, c, d. The fluorescent tapes a and c have a length of 80 mm and a width of 10 mm, and they are attached with a center-to-center distance of Y S , and the fluorescent tapes b and d have a length of 80 mm and a width of 10 mm. , They are attached with a center-to-center distance of X S. The fluorescent tapes a, b, c, and d have a dimensional accuracy of 10/100 mm or less, and are attached at intervals (X S , Y S ).
Is determined based on the number of fixed pixels included in the image processing unit described later. This fluorescent jig is for the case where the material to be inspected is a square material, but if the material to be inspected is not a square material, a fluorescent jig having the same shape as that of the material is prepared.

【0013】図1において、2は被検査材及び蛍光治具
1を搬送するローラであり、ローラ2上を搬送される蛍
光治具1の斜め上方に紫外線灯3が配設されている。紫
外線灯3の近傍にはCCDカメラ4が配されており、蛍
光治具1の蛍光体を撮像してその輝度信号をフリーザ5
へ入力する。入力された映像信号はフリーザ5により静
止画像に生成され、画像処理部6へ与えられる。画像処
理部6の2値化手段61では、フリーザ5から入力され
た映像信号が所定のしきい値に基づいて2値化画像に変
換される。変換された信号がX方向プロジェクション手
段62及びY方向プロジェクション手段63へ与えら
れ、夫々の手段で求められた数値が中心エリア設定手段
64に与えられる。中心エリア設定手段64では、与え
られた数値を基に標準蛍光体7の画像を中心とする中心
エリア9が設定され、平均輝度測定手段65及び半値幅
測定手段66に与えられる。
In FIG. 1, reference numeral 2 denotes a roller for conveying the material to be inspected and the fluorescent jig 1, and an ultraviolet lamp 3 is arranged diagonally above the fluorescent jig 1 conveyed on the roller 2. A CCD camera 4 is arranged in the vicinity of the ultraviolet lamp 3, and an image of the fluorescent material of the fluorescent jig 1 is picked up and the brightness signal thereof is detected by a freezer 5.
To enter. The input video signal is generated into a still image by the freezer 5 and given to the image processing unit 6. The binarizing unit 61 of the image processing unit 6 converts the video signal input from the freezer 5 into a binarized image based on a predetermined threshold value. The converted signal is given to the X-direction projection means 62 and the Y-direction projection means 63, and the numerical values obtained by the respective means are given to the central area setting means 64. In the central area setting means 64, the central area 9 centered on the image of the standard phosphor 7 is set based on the given numerical values, and is given to the average luminance measuring means 65 and the half width measuring means 66.

【0014】平均輝度測定手段65及び半値幅測定手段
66には前記フリーザ5から映像信号が入力されてお
り、設定された中心エリア9内での平均輝度及び後述す
る半値幅を夫々求め、ゲイン補正部8へ出力するように
なっている。2値化手段61、X方向プロジェクション
手段62、Y方向プロジェクション手段63、中心エリ
ア設定手段64、平均輝度測定手段65及び半値幅測定
手段66は画像処理部6の構成要素である。画像処理部
6はこの他に、撮像された輝度信号を疵の程度を表す信
号に変換する手段(図示せず)を備えており、通常の磁
粉探傷検査を行える構成になっている。
The video signal is input from the freezer 5 to the average luminance measuring means 65 and the half-value width measuring means 66, and the average luminance in the set central area 9 and the half-value width described later are respectively obtained to correct the gain. The data is output to the section 8. The binarizing means 61, the X-direction projection means 62, the Y-direction projection means 63, the central area setting means 64, the average luminance measuring means 65, and the half-value width measuring means 66 are components of the image processing section 6. In addition to this, the image processing unit 6 includes means (not shown) for converting the captured luminance signal into a signal indicating the degree of flaw, and is configured to perform a normal magnetic particle flaw detection inspection.

【0015】以上の如き構成の装置を用いて磁粉探傷機
能の検定を行う場合は、ローラ2を回転せしめ、複数の
角材の搬送の合間に上述の蛍光治具1を搬送する。蛍光
治具1は標準蛍光体7の劣化を防止するために低湿度の
暗所で保管したものを用いる。紫外線灯3から紫外線が
照射されて蛍光治具1に貼付けられた標準蛍光体7及び
蛍光テープa,b,c,dが発光する。紫外線灯3の光
強度は4500μw/cm2以上に設定する。CCDカメラ4
により標準蛍光体7及び蛍光テープa,b,c,dを撮
像する。CCDカメラ4は、シャッター速度が1/250
秒、絞りが8段階中の4に設定されている。CCDカメ
ラ4からの輝度信号によりフリーザ5が静止画像を生成
して画像処理部6で画像処理される。図3は、画像処理
部6が平均輝度及び半値幅を求める実施手順を示すフロ
ーチャートであり、このフローチャートに基づいて画像
処理部6の動作を以下に説明する。
When the magnetic particle flaw detection function is verified by using the apparatus having the above-described structure, the roller 2 is rotated and the fluorescent jig 1 is conveyed between conveyance of a plurality of square pieces. The fluorescent jig 1 used is one stored in a dark place with low humidity in order to prevent deterioration of the standard phosphor 7. Ultraviolet rays are emitted from the ultraviolet lamp 3 and the standard phosphor 7 and the fluorescent tapes a, b, c and d attached to the fluorescent jig 1 emit light. The light intensity of the ultraviolet lamp 3 is set to 4500 μw / cm 2 or more. CCD camera 4
The standard phosphor 7 and the fluorescent tapes a, b, c, d are imaged by. The CCD camera 4 has a shutter speed of 1/250
Second, aperture is set to 4 out of 8 stages. The freezer 5 generates a still image based on the luminance signal from the CCD camera 4, and the image processing unit 6 performs image processing. FIG. 3 is a flowchart showing a procedure for the image processing unit 6 to obtain the average luminance and the half-value width, and the operation of the image processing unit 6 will be described below based on this flowchart.

【0016】図3は、本発明の画像処理部6の実施手順
を示すフローチャートであり、この図に基づいて標準蛍
光体の輝度検出を行う手順を説明する。2値化手段61
に与えられた静止画像は、所定のしきい値に基づいて2
値化画像に変換される(ステップS11)。この2値化
画像を膨張処理し、縮小処理してラベリングする。そし
て、ノイズを除去するために発光部分の面積を計算して
標準蛍光体7の所定の面積より小さい部分をノイズと判
断して暗部分に転換する(ステップS12)。
FIG. 3 is a flow chart showing a procedure for carrying out the image processing section 6 of the present invention. The procedure for detecting the brightness of the standard phosphor will be described with reference to this figure. Binarization means 61
The static image given to the
It is converted into a binarized image (step S11). The binarized image is expanded, reduced, and labeled. Then, in order to remove noise, the area of the light emitting portion is calculated, and a portion smaller than a predetermined area of the standard phosphor 7 is determined to be noise and converted to a dark portion (step S12).

【0017】図4は、2値化された画像を座標上に示し
た平面図であり、図面上で左右方向がX方向、上下方向
がY方向である。なお、本実施例では、XSIZEがX方向
に512 画素、YSIZE がY方向に240 画素の固定画素数
のものを使用している。蛍光テープa,b,c,dの画
像上での位置を表すパラメータをxstart ,xend ,y
start ,yend とすると、蛍光テープaは(x1 ,y
start )から(x2 ,y start )に、bは(xend ,y
1 )から(xend ,y2 )に、cは(x1 ,yen d )か
ら(x2 ,yend )に、dは(xstart ,y1 )から
(xstart ,y2 )に位置する。
FIG. 4 shows the binarized image on the coordinates.
It is a plan view in which the horizontal direction is the X direction and the vertical direction in the drawing.
Is in the Y direction. In this embodiment, XSIZEIs in the X direction
512 pixels, YSIZE  Has a fixed number of 240 pixels in the Y direction
I'm using one. Image of fluorescent tape a, b, c, d
The parameter that represents the position on the image is xstart, Xend, Y
start, YendThen, the fluorescent tape a is (x1, Y
start) To (x2, Y start), B is (xend, Y
1) To (xend, Y2), C is (x1, Yen d)
Et (x2, Yend), D is (xstart, Y1) From
(Xstart, Y2) Located.

【0018】そして、蛍光テープa,b,c,dで囲ま
れた範囲の中心位置を設定するために、まず、X方向プ
ロジェクション手段62にてX方向にプロジェクション
して輝度を測定する(ステップS13)。プロジェクシ
ョンの結果、X座標に対するprof-x即ち頻度から、x
start ,xend の値を求める。次に、Y方向プロジェク
ション手段63にてY方向にプロジェクションして輝度
を測定する(ステップS14)。X方向プロジェクショ
ンの結果と同様にY座標に対する prof-y即ち頻度か
ら、ystart ,yend の値を求める。xstart
end ,ystart ,yen d の値は、以下の式で求められ
る。
Then, in order to set the center position of the range surrounded by the fluorescent tapes a, b, c, d, first, the X-direction projection means 62 projects to measure the luminance in the X-direction (step S13). ). As a result of projection, prof-x for the X coordinate, that is, frequency, x
Calculate the values of start and x end . Next, the Y-direction projection means 63 projects in the Y-direction to measure the brightness (step S14). Similar to the result of the X-direction projection, the values of y start and y end are obtained from prof-y, that is, the frequency with respect to the Y coordinate. x start ,
The values of x end , y start and y en d are calculated by the following formulas.

【0019】[0019]

【数1】 [Equation 1]

【0020】次に、中心エリア9を設定するために、蛍
光テープa,b,c,dで囲まれた範囲のX方向及びY
方向夫々の画素数H,Wを計算する。 H=xend −xstart +1 W=yend −ystart +1 そして、画像の平均中心(x0 ,y0 )は、 x0 =xstart +H/2 y0 =ystart +W/2 で算出され(ステップS15)、中心エリア9を表すパ
ラメータalpha-x,alpha- yは以下の式で求められる
(ステップS16)。 alpha-x=(xend −xstart )/4 alpha-y=(yend −ystart )/4
Next, in order to set the central area 9, the X direction and Y of the range surrounded by the fluorescent tapes a, b, c and d.
The number of pixels H and W in each direction is calculated. H = x end −x start +1 W = y end −y start +1 Then, the average center (x 0 , y 0 ) of the image is calculated by x 0 = x start + H / 2 y 0 = y start + W / 2 (Step S15), the parameters alpha-x, alpha-y representing the central area 9 are obtained by the following equation (step S16). alpha-x = (x end −x start ) / 4 alpha-y = (y end −y start ) / 4

【0021】なお、画素数H,Wの値から画素分解能を
算出することができる。X方向の画素分解能はαXS
H、Y方向の画素分解能はαYS /Wで求められる。な
お、αXS ,αYS は画像処理部6の固定値である。
The pixel resolution can be calculated from the values of the numbers H and W of pixels. The pixel resolution in the X direction is αX S /
The pixel resolution in the H and Y directions is calculated by αY S / W. Note that αX S and αY S are fixed values of the image processing unit 6.

【0022】このように設定された中心エリア9におい
て、フリーザ5から入力された映像信号の輝度ヒストグ
ラムを作成する。図5は映像信号の輝度ヒストグラムで
あり、縦軸は度数を示し、横軸は階調を示している。平
均輝度測定手段65では、このヒストグラムから標準蛍
光体7の平均輝度を測定する(ステップS17)。次
に、半値幅測定手段66ではこのヒストグラムから半値
幅Fを求める(ステップS18)。ここで半値幅Fと
は、最大輝度の2分の1以上の輝度を有する画素の数と
する。図5のA,B,Cのヒストグラムは何れも平均輝
度xa であり、このように平均輝度が同値であっても輝
度分布が異なる場合があり、半値幅Fを求めることによ
り平均輝度が同値である場合の輝度分布の相違を知るこ
とができる。
In the central area 9 thus set, a brightness histogram of the video signal input from the freezer 5 is created. FIG. 5 is a luminance histogram of a video signal, where the vertical axis represents frequency and the horizontal axis represents gradation. The average luminance measuring means 65 measures the average luminance of the standard phosphor 7 from this histogram (step S17). Next, the half width measuring means 66 obtains the half width F from this histogram (step S18). Here, the half-value width F is the number of pixels having a luminance of ½ or more of the maximum luminance. The histograms of A, B, and C in FIG. 5 all have the average brightness x a , and even if the average brightness has the same value, the brightness distributions may differ. It is possible to know the difference in the luminance distribution in the case of.

【0023】以上の如く、標準蛍光体の平均輝度及び半
値幅Fを求め、これらをゲイン補正部8へ入力する。ゲ
イン補正部8では、これらの値が所定の許容範囲内であ
るか否かを判定し、範囲外であった場合はCCDカメラ
4から画像処理部までのゲインの補正を行う信号を出力
する。又は、ゲイン許容範囲から外れたことを知らせる
信号を出力する。なお、判定条件の1例として、上述の
ようなゲインの補正に関する許容範囲は平均輝度xa
ついては40≦xa ≦50であり、半値幅Fについては1400
≦F≦1800である。
As described above, the average luminance and the half-value width F of the standard phosphor are obtained, and these are input to the gain correction section 8. The gain correction unit 8 determines whether these values are within a predetermined allowable range, and if they are out of the range, outputs a signal for correcting the gain from the CCD camera 4 to the image processing unit. Alternatively, it outputs a signal notifying that the gain is out of the allowable range. As an example of the determination condition, the allowable range for the above-described gain correction is 40 ≦ x a ≦ 50 for the average brightness x a and 1400 for the half width F.
≦ F ≦ 1800.

【0024】なお、中心エリア9を設定するために、x
1 ,x2 ,y1 ,y2 の値だけを使用せずにxstart
end ,ystart ,yend の値を求めるのは、x1 ,x
2 ,y1 ,y2 は蛍光テープa,b,c,dの汚れ、欠
け等により容易に値の誤差を生じるためである。また、
蛍光治具1の標準蛍光体7を中心とするエリアを設定で
きれば、上述の計算式の限りではない。
In order to set the central area 9, x
X start without using only the values of 1 , x 2 , y 1 , y 2
The values of x end , y start and y end are calculated as x 1 , x
This is because the values of 2 , y 1 and y 2 easily cause a value error due to stains and chips of the fluorescent tapes a, b, c and d. Also,
If the area around the standard phosphor 7 of the fluorescent jig 1 can be set, the above formula is not limited.

【0025】また、上述の実施例では蛍光治具の一面を
撮像するCCDカメラ4の1台を備えた場合を説明して
いるが、実際の磁粉探傷装置には複数台のCCDカメラ
が被検査材を様々な方向から撮像しており、被検査材の
各面を撮像する撮像装置により蛍光治具の各面を撮像
し、夫々の面に対する磁粉探傷機能の検定を行っても良
い。
Further, in the above-mentioned embodiment, the case where one CCD camera 4 for picking up an image of one surface of the fluorescent jig is provided is explained. However, in an actual magnetic particle flaw detector, a plurality of CCD cameras are to be inspected. The material may be imaged from various directions, each surface of the fluorescent jig may be imaged by an imaging device that images each surface of the material to be inspected, and the magnetic particle flaw detection function may be verified for each surface.

【0026】また、上述の実施例では被検査材が搬送さ
れつつ探傷される自動探傷検査装置について説明してい
るが、これに限るものではなく、画像処理を行う磁粉探
傷装置であれば適用できる。
Further, in the above-described embodiment, the automatic flaw detection inspection apparatus for flaw detection while the material to be inspected is conveyed is explained, but the present invention is not limited to this, and any magnetic flaw detection apparatus for performing image processing can be applied. .

【0027】[0027]

【発明の効果】以上のように、本発明においては被検査
材の探傷検査の際に既知輝度を有する蛍光体を付した蛍
光治具を撮像することにより、リアルタイムで磁粉探傷
機能の検定を行って、高精度に磁粉探傷検査を行うこと
ができる等、本発明は優れた効果を奏するものである。
As described above, in the present invention, the inspection of the magnetic particle flaw detection function is carried out in real time by imaging the fluorescent jig provided with the phosphor having the known brightness in the flaw detection inspection of the material to be inspected. Therefore, the present invention has excellent effects such as highly accurate magnetic particle flaw detection inspection.

【図面の簡単な説明】[Brief description of drawings]

【図1】本発明に係る実施例の検定装置の構成を示すブ
ロック図である。
FIG. 1 is a block diagram showing a configuration of a verification device according to an embodiment of the present invention.

【図2】本発明方法の実施に用いる蛍光治具の構造を示
す斜視図である。
FIG. 2 is a perspective view showing a structure of a fluorescent jig used for carrying out the method of the present invention.

【図3】本実施例の画像処理部の実施手順を示すフロー
チャートである。
FIG. 3 is a flowchart showing an implementation procedure of an image processing unit of the present embodiment.

【図4】本実施例に係る2値化された画像を座標上に示
した平面図である。
FIG. 4 is a plan view showing a binarized image according to the present embodiment on coordinates.

【図5】本実施例の映像信号の輝度ヒストグラムであ
る。
FIG. 5 is a luminance histogram of a video signal of this embodiment.

【符号の説明】[Explanation of symbols]

1 蛍光治具 2 ローラ 3 紫外線灯 4 CCDカメラ 6 画像処理部 7 標準蛍光体 9 中心エリア 61 2値化手段 65 平均輝度測定手段 66 半値幅測定手段 a,b,c,d 蛍光テープ 1 Fluorescent jig 2 rollers 3 UV light 4 CCD camera 6 Image processing unit 7 Standard phosphor 9 Central area 61 Binarization means 65 Average brightness measuring means 66 Half-width measurement means a, b, c, d fluorescent tape

フロントページの続き (72)発明者 松本 修二 大阪府大阪市中央区北浜4丁目5番33号 住友金属工業株式会社内 (56)参考文献 特開 平2−228542(JP,A) 実開 昭60−145354(JP,U) 実開 昭61−163916(JP,U) (58)調査した分野(Int.Cl.7,DB名) G01N 27/72 - 27/90 G01N 21/91 Front page continuation (72) Inventor Shuji Matsumoto 4-53-3 Kitahama, Chuo-ku, Osaka City, Osaka Prefecture Sumitomo Metal Industries, Ltd. (56) Reference JP-A-2-228542 (JP, A) -145354 (JP, U) Actual development Sho 61-163916 (JP, U) (58) Fields investigated (Int.Cl. 7 , DB name) G01N 27/72-27/90 G01N 21/91

Claims (6)

(57)【特許請求の範囲】(57) [Claims] 【請求項1】 被検査材の表面に付着された蛍光磁粉か
らの蛍光を撮像手段により撮像し、得られた信号に基づ
いて前記被検査材の磁粉探傷を行う機能を検定する方法
であって、 前記磁粉探傷に用いる所定の蛍光輝度を有する蛍光体を
付した蛍光治具からの蛍光を前記撮像手段により撮像す
る過程と、前記撮像手段により得られた信号から前記蛍
光体を中心とするエリアを設定する過程と、該エリア
ついて、横軸を階調、縦軸を度数とする輝度ヒストグラ
ムを作成する過程と、該輝度ヒストグラムから前記エリ
アの平均輝度を測定する過程と、前記機能を前記平均輝
度により検定する過程とを備えることを特徴とする磁粉
探傷機能の検定方法。
1. A method for detecting fluorescence from fluorescent magnetic powder adhered to the surface of a material to be inspected by an image pickup means, and testing the function of performing magnetic particle flaw detection of the material to be inspected based on the obtained signal. , A process of capturing an image of fluorescence from a fluorescent jig provided with a phosphor having a predetermined fluorescence intensity used for the magnetic particle flaw detection by the image pickup means, and an area centered on the phosphor from the signal obtained by the image pickup means a process of setting a to the area
Then, the method comprises the steps of creating a luminance histogram having the gradation on the horizontal axis and the frequency on the vertical axis, the step of measuring the average luminance of the area from the luminance histogram, and the step of testing the function by the average luminance. A test method for the magnetic particle flaw detection function, which is characterized in that
【請求項2】 被検査材の表面に付着された蛍光磁粉か
らの蛍光を撮像手段により撮像し、得られた信号に基づ
いて前記被検査材の磁粉探傷を行う機能を検定する方法
であって、 前記磁粉探傷に用いる所定の蛍光輝度を有する蛍光体を
付した蛍光治具からの蛍光を前記撮像手段により撮像す
る過程と、前記撮像手段により得られた信号から前記蛍
光体を中心とするエリアを設定する過程と、該エリア
ついて、横軸を階調、縦軸を度数とする輝度ヒストグラ
ムを作成する過程と、該輝度ヒストグラムから前記エリ
アの平均輝度を測定する過程と、前記輝度ヒストグラム
の半値幅を測定する過程と、前記機能を前記平均輝度及
び半値幅により検定する過程とを備えることを特徴とす
る磁粉探傷機能の検定方法。
2. A method for testing the function of performing magnetic particle flaw detection on a material to be inspected on the basis of the signal obtained by imaging the fluorescence from the fluorescent magnetic powder adhered to the surface of the material to be inspected with an imaging means. , A process of capturing an image of fluorescence from a fluorescent jig provided with a phosphor having a predetermined fluorescence intensity used for the magnetic particle flaw detection by the image pickup means, and an area centered on the phosphor from the signal obtained by the image pickup means a process of setting a to the area
Then, a step of creating a luminance histogram in which the horizontal axis is gradation and the vertical axis is frequency, a step of measuring an average luminance of the area from the luminance histogram, a step of measuring a half width of the luminance histogram, And a step of testing the function based on the average brightness and the half width.
【請求項3】 磁粉探傷に用いる所定の蛍光輝度を有す
る蛍光体を付された蛍光治具を用いて磁粉探傷機能の検
定を行う磁粉探傷機能の検定装置であって、 前記蛍光体を撮像する撮像装置と、該撮像装置からの映
像信号から静止画像を生成するフリーザと、該フリーザ
で得られた静止画像を2値化画像に変換する2値化手段
と、前記2値化画像をX方向にプロジェクションするX
方向プロジェクション手段と、前記2値化画像をY方向
にプロジェクションするY方向プロジェクション手段
と、前記X方向のプロジェクション及びY方向のプロジ
ェクションの結果に基づいて前記蛍光体を中心とする中
心エリアを設定する中心エリア設定手段と、前記中心エ
リアについて、横軸を階調、縦軸を度数とする輝度ヒス
トグラムを作成し、該輝度ヒストグラムに基づいて前記
中心エリアの平均輝度を測定する平均輝度測定手段と、
前記平均輝度が所定の許容範囲内か否かを判定するゲイ
ン補正部とを備え、 前記ゲイン補正部は前記平均輝度が許容範囲外である場
合に、撮像装置から2値化手段までのゲインを補正する
か又は前記平均輝度が許容範囲外である旨の通知を行う
構成としてあることを特徴とする磁粉探傷機能の検定装
置。
3. A magnetic particle flaw detection function verification device for testing a magnetic particle flaw detection function using a fluorescent jig provided with a phosphor having a predetermined fluorescence brightness used for magnetic particle flaw detection, wherein the fluorescent material is imaged. An image pickup device, a freezer for generating a still image from a video signal from the image pickup device, a binarizing means for converting the still image obtained by the freezer into a binarized image, and the binarized image in the X direction. X to project
Direction projection means, Y direction projection means for projecting the binarized image in the Y direction, center for setting a central area centered on the phosphor based on the results of the X direction projection and the Y direction projection With respect to the area setting means and the central area , a luminance hist where the horizontal axis is gradation and the vertical axis is frequency.
Create a chromatogram, and the average luminance measurement means for measuring the average luminance of the <br/> central area based on the luminance histogram,
A gain correction unit that determines whether or not the average brightness is within a predetermined allowable range, and the gain correction unit adjusts the gain from the imaging device to the binarization unit when the average brightness is outside the allowable range. An inspection device for a magnetic particle flaw detection function, which is configured to perform correction or to notify that the average luminance is out of an allowable range.
【請求項4】 磁粉探傷に用いる所定の蛍光輝度を有す
る蛍光体を付された蛍光治具を用いて磁粉探傷機能の検
定を行う磁粉探傷機能の検定装置であって、 前記蛍光体を撮像する撮像装置と、該撮像装置からの映
像信号から静止画像を生成するフリーザと、該フリーザ
で得られた静止画像を2値化画像に変換する2値化手段
と、前記2値化画像をX方向にプロジェクションするX
方向プロジェクション手段と、前記2値化画像をY方向
にプロジェクションするY方向プロジェクション手段
と、前記X方向のプロジェクション及びY方向のプロジ
ェクションの結果に基づいて前記蛍光体を中心とする中
心エリアを設定する中心エリア設定手段と、前記中心エ
リアについて、横軸を階調、縦軸を度数とする輝度ヒス
トグラムを作成し、該輝度ヒストグラムに基づいて前記
中心エリアの平均輝度を測定する平均輝度測定手段と、
前記輝度ヒストグラムの半値幅を測定する半値幅測定手
段と、前記平均輝度及び半値幅が所定の許容範囲内か否
かを判定するゲイン補正部とを備え、 前記ゲイン補正部は前記平均輝度及び半値幅が許容範囲
外である場合に、撮像装置から2値化手段までのゲイン
を補正するか又は前記平均輝度及び半値幅が許容範囲外
である旨の通知を行う構成としてあることを特徴とする
磁粉探傷機能の検定装置。
4. A magnetic particle flaw detection function verification device for testing a magnetic particle flaw detection function using a fluorescent jig provided with a phosphor having a predetermined fluorescence brightness used for magnetic particle flaw detection, wherein the fluorescent material is imaged. An image pickup device, a freezer for generating a still image from a video signal from the image pickup device, a binarizing means for converting the still image obtained by the freezer into a binarized image, and the binarized image in the X direction. X to project
Direction projection means, Y direction projection means for projecting the binarized image in the Y direction, center for setting a central area centered on the phosphor based on the results of the X direction projection and the Y direction projection With respect to the area setting means and the central area , a luminance hist where the horizontal axis is gradation and the vertical axis is frequency.
Create a chromatogram, and the average luminance measurement means for measuring the average luminance of the <br/> central area based on the luminance histogram,
A full width at half maximum measuring unit for measuring the full width at half maximum of the luminance histogram, and a gain correction unit for determining whether or not the average luminance and the full width at half maximum are within a predetermined allowable range, wherein the gain correction unit is the average luminance and half When the value range is out of the allowable range, the gain from the image pickup device to the binarizing means is corrected, or the notification that the average brightness and the half-value width are out of the allowable range is performed. Inspection device for magnetic particle flaw detection function.
【請求項5】 請求項3又は4に記載の磁粉探傷機能の
検定装置を備える磁粉探傷装置。
5. The magnetic particle flaw detection function according to claim 3 or 4.
Magnetic particle flaw detector equipped with a verification device.
【請求項6】 磁粉探傷の機能の検定に用いる蛍光治具
であって、前記磁粉探傷に用いる所定の蛍光輝度を有す
る蛍光体と、該蛍光体の位置を特定するために該蛍光体
の周囲に離隔して付された蛍光テープとを備えることを
特徴とする蛍光治具。
6. A fluorescent jig used for testing the function of magnetic particle flaw detection.
And has a predetermined fluorescent brightness used for the magnetic particle flaw detection.
And a phosphor for identifying the position of the phosphor
And a fluorescent tape attached around the periphery of the
Characteristic fluorescent jig.
JP23352394A 1994-09-28 1994-09-28 Testing method for magnetic particle flaw detection function, verification device for magnetic particle flaw detection function, magnetic particle flaw detection device, and fluorescent jig Expired - Fee Related JP3496288B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP23352394A JP3496288B2 (en) 1994-09-28 1994-09-28 Testing method for magnetic particle flaw detection function, verification device for magnetic particle flaw detection function, magnetic particle flaw detection device, and fluorescent jig

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP23352394A JP3496288B2 (en) 1994-09-28 1994-09-28 Testing method for magnetic particle flaw detection function, verification device for magnetic particle flaw detection function, magnetic particle flaw detection device, and fluorescent jig

Publications (2)

Publication Number Publication Date
JPH0894585A JPH0894585A (en) 1996-04-12
JP3496288B2 true JP3496288B2 (en) 2004-02-09

Family

ID=16956378

Family Applications (1)

Application Number Title Priority Date Filing Date
JP23352394A Expired - Fee Related JP3496288B2 (en) 1994-09-28 1994-09-28 Testing method for magnetic particle flaw detection function, verification device for magnetic particle flaw detection function, magnetic particle flaw detection device, and fluorescent jig

Country Status (1)

Country Link
JP (1) JP3496288B2 (en)

Also Published As

Publication number Publication date
JPH0894585A (en) 1996-04-12

Similar Documents

Publication Publication Date Title
US9786045B2 (en) Wafer defect inspection apparatus and method for inspecting a wafer defect
JP5549364B2 (en) Wafer defect inspection apparatus and wafer defect inspection method
JP5556346B2 (en) Wafer defect inspection apparatus and wafer defect inspection method
US7561751B2 (en) Image processing method
JP2002290994A (en) Foreign matter inspection method and apparatus for small camera module
JP3496288B2 (en) Testing method for magnetic particle flaw detection function, verification device for magnetic particle flaw detection function, magnetic particle flaw detection device, and fluorescent jig
CN110412056A (en) A kind of vehicle-mounted glass molds group automatic optical detection method and device
JP2002175520A (en) Device and method for detecting defect of substrate surface, and recording medium with recorded program for defect detection
JPH09210969A (en) Automatic magnetic particle inspection device
JP4023295B2 (en) Surface inspection method and surface inspection apparatus
JPH08171153A (en) Optical-pumping imaging plate and method for testing of digital apparatus of such imaging plate
JPH0894584A (en) Method for assaying picture element resolution in magnetic particle inspection and device for use in executing same
JP2004191070A (en) Coated surface inspection apparatus
JP3433333B2 (en) Defect inspection method
JP4009595B2 (en) Pattern defect inspection apparatus and pattern defect inspection method
JPH04144028A (en) Automatic detecting method for mask clogging of color cathode ray tube
JP4093338B2 (en) Automatic evaluation equipment for printed matter
JPH02276902A (en) Height inspection device
JP4390903B2 (en) Surface defect inspection method and apparatus
JP2007285911A (en) Surface inspection device
JP3725093B2 (en) In-rib phosphor embedding amount inspection method and inspection apparatus therefor
JPH08181974A (en) Image processing method and device for check device
JPH09166555A (en) Shading correcting method and device, for x-ray image recording and reproducing apparatus
JP3597039B2 (en) Image display method and apparatus for detection signal using statistical processing
JPH10206344A (en) Optical nonuniformity inspecting device and optical nonuniformity inspecting method

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071128

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081128

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091128

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091128

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101128

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111128

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121128

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees