JP3984418B2 - 欠陥検査方法 - Google Patents

欠陥検査方法 Download PDF

Info

Publication number
JP3984418B2
JP3984418B2 JP2000347598A JP2000347598A JP3984418B2 JP 3984418 B2 JP3984418 B2 JP 3984418B2 JP 2000347598 A JP2000347598 A JP 2000347598A JP 2000347598 A JP2000347598 A JP 2000347598A JP 3984418 B2 JP3984418 B2 JP 3984418B2
Authority
JP
Japan
Prior art keywords
steel sheet
width direction
line image
steel plate
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2000347598A
Other languages
English (en)
Other versions
JP2002148196A (ja
Inventor
昇 長谷川
英夫 香取
尊道 小林
学 國永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Steel Corp
Original Assignee
Nippon Steel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Steel Corp filed Critical Nippon Steel Corp
Priority to JP2000347598A priority Critical patent/JP3984418B2/ja
Publication of JP2002148196A publication Critical patent/JP2002148196A/ja
Application granted granted Critical
Publication of JP3984418B2 publication Critical patent/JP3984418B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Input (AREA)
  • Image Processing (AREA)
  • Picture Signal Circuits (AREA)
  • Image Analysis (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、検査対象の欠陥の種類及び程度を判別する手段をもつ欠陥検査方法に関するものであり、特に鋼板表面画像の輝度のばらつきをなくし、安定的に疵検出機能を動作させるためのシェーディング補正方法に関する。
【0002】
【従来の技術】
照明により鋼板を照らし、その反射光をカメラ(例えばCCDカメラ)により捉えて、鋼板表面の画像を構成し、当該画像を処理して疵検出を行う手法がとられており、鋼板表面の疵部分を検出するにあたり、鋼板表面画像の輝度の違いに着目してこれに対して閾値を与えて閾値を上回るか下回るかした部分を疵部分として検出する方法が従来から取られている。
【0003】
例えば、図4に示すように、鋼板の疵画像の輝度を0〜255階調で表現することとし、128を中心として、上限の閾値(例えば150)と下限の閾値(例えば106)を与え、輝度が150〜106の間にある場合は正常な表面状態であるとし、151以上の輝度を持った場合あるいは105以下の輝度を持った場合、その部分を疵と認識する方法が従来からとられている。
【0004】
このようにコイル内において鋼板の輝度が変動する場合おいても、輝度変動の影響を受けずに安定的に疵部分のみを検出するためには、画像処理により疵部分を検出させる前に、鋼板の輝度変動を調整する手法がとられており、シェーディング補正と称されている。
【0005】
特開2000−65755号公報においては公知技術として、図5に示すような手法が開示されている。具体的には、図5(a)に示すカメラ信号強度を加算平均してカメラ信号のノイズ等を除去して、図5(b)に示す加算平均後の鋼板の幅方向輝度分布(以下、「幅方向平均輝度分布」と称する)を把握し、当該幅方向平均輝度分布を実質的に消滅させて幅方向の輝度が図5(c)に示すように、ほぼ一定になるように補正する。
【0006】
【発明が解決しようとする課題】
しかし、このような方法を用いた場合、以下のような問題が生じる。例えば、カメラ信号からノイズ等を除去して、鋼板の幅方向輝度分布の概略を把握するにあたり、CCDカメラの各スキャンの信号(以下、「線画像」と称する)を加算平均しているが、これが、鋼板の幅方向輝度分布の概略を正しく表すためには数十m程度の線画像信号を加算平均する必要がある。なぜなら、鋼板の短い区間の線画像信号の加算平均では、当該区間にたまたま生じていた疵を「幅方向平均輝度分布」と認定してしまい、シェーディング補正操作により当該疵を消去してしまうからである。
【0007】
一方、数十m程度の長い区間の加算平均をすると、急激に輝度が変化した場合は、シェーディング補正の効果がすぐに現れず、輝度変化部分を疵と認識してしまうことになる。
また、鋼板の長手方向に一定の規則性のある疵等があった場合、加算平均値に当該規則性が残り、当該値に基づいてシェーディング補正を実施すると、当該規則性のある疵等がシェーディング補正により消されてしまうといった問題が生じる。
【0008】
本発明は、このような問題点を解消するためになされたもので、鋼板の疵でない部分を疵と認定することを防止して、鋼板表面の画像の輝度を均一にするシェーディング補正方法を提供することを第1の目的とする。また、鋼板切り替え部分のように鋼板の表面輝度が頻繁に変動する部分で、速い応答でシェーディング補正が実施できことを第2の目的とする。
【0009】
【課題を解決するための手段】
上記課題を解決するために、本発明の方法は、
(1)複数の鋼板が鋼板切り替え部で連結された、相対的に移動する鋼板の表面に対向した照明装置で、鋼板表面の幅方向にわたり照明し、その反射光を鋼板表面に対向したラインセンサーカメラで撮像して鋼板表面の画像を得て、該画像を処理して鋼板表面の疵検出をする欠陥検査方法において、前記ラインセンサーカメラで前記鋼板表面の幅方向の時々刻々の線画像を撮像する工程と、鋼板の長手方向に連続する前記線画像について、対応する画素ごとに輝度値を所定の加算回数の加算平均処理をして、画素ごとの幅方向平均輝度分布を順次算出し、対応する画素ごとに該幅方向平均輝度分布で時々刻々の線画像の輝度値を除した線画像情報を算出するシェーディング補正工程と、該線画像情報を基に鋼板表面の画像を構成して鋼板の疵を検出する疵検出工程と、からなり、前記シェーディング補正工程は、前記鋼板切り替え部から鋼板の長手方向の中央部にかけて一旦、前記加算平均処理における加算回数を少なくし、徐々に前記加算平均処理における加算回数を予め設定した増分ずつ増加させ、予め指定した加算回数に達した後は、当該加算回数での加算平均値を算出することを特徴とする欠陥検査方法であり、あるいは、
(2)さらに、前記撮像する工程で得られた線画像を、除去すべき疵の幅、及び前記ラインセンサーカメラの鋼板幅方向の解像度に基づいた要素の個数を有する鋼板の幅方向の平均化フィルターで平均化処理する工程を含み、該平均化処理する工程で出力された線画像を基に、前記シェーディング補正工程で処理することを特徴とする(1)に記載の欠陥検査方法、である。
【0010】
【発明の実施の態様】
まず、本発明の回路構成と各部の動作について説明する。
図1は、疵検査装置の概要であり、1は鋼板、2は照明、3はCCDカメラ、4はエッジ検出部、5はシェーディング補正部、6は疵検出部である。
照明2により照らされた鋼板1の反射光は、CCDカメラ3により捉えられ、鋼板表面の画像は、エッジ検出部4でエッジを検出し、シェーディング補正部5により鋼板表面の輝度がコイル内においてほぼ一定になるように補正され、検出部6において鋼板の疵部分が検出される。
【0011】
図2は、本発明の方法を実施するためのシェーディング補正回路である。ここで、iは時刻を表し、jはi時刻での線画像のj番目の画素をさす。i,jの意味するところは、図3に示されている。
図2において、7〜9及び11は、条件が満たされたときにゲートが開いて信号が遮断されるゲートである(以下、「Bゲート」と称する)。例えば、7及び8のBゲートにおいては、溶接点信号等が来たときに当該ゲートが開き、信号の流れが遮断され、以降の回路には信号値0が伝わることになる。9のBゲートは、時刻が2以降にはゲートが遮断され、以降の回路には信号値0が伝わることになる。10はある条件が満足された場合にゲートが閉じて信号が流れるゲートである(以下、「Aゲート」と称する)。例えば、Aゲート10はx=0(すなわち、時刻がちょうど2になったとき)にゲートが閉じて信号が伝わるのに対して、ゲート11はその逆に、x=0(すなわち、時刻がちょうど2になったとき)にゲートが開いて、以降の回路には信号値0が伝わることになる。
【0012】
12、13は遅延回路であり、一時刻前の値を格納して出力する機能をもち、zはシフトオペレータを意味する。14はシフトレジスタであり、k回シフトさせることで、信号値を1/2倍する機能を有する。15は零割防止装置で、信号値(w(i,j))が零なら基準値Cを出力し、(w(i,j))が零でないならば、信号値をそのまま出力する。
【0013】
16はカウンターであり、入力信号が何時刻分通過したかをカウントする機能を有する、カウント回数Iは変数(I,j)に格納される。17は、計算処理部であり、log(I,j)−[log(I,j)]を計算し、変数xに格納する処理を毎時刻iに行う。ここで、変数を(i,j)とせず、(I,j)とした理由は、当該変数は、溶接点信号以外にも、リセットのための信号が入力されたときには、(I,j)=0となる場合があり、かならずしも、(i,j)には一致しないため、敢えて大文字を用いたのである。
【0014】
ここで logは、2を底とする対数であり,[ ]は計算結果の整数部分のみを抜き取る演算を意味する記号である。18も計算処理部であり、[log(I,j)]を計算し、変数kに格納する処理を毎時刻iに行う。
19、20は加算点であり、信号値を加算する。21は割り算部であり、基準値Cを信号値w(i,j)で割る機能を有する。22は掛け算部であり、u(i,j)に先の割り算の結果を乗ずる。
【0015】
25は幅方向平均輝度分布に、実際の疵情報が残らないように、加算平均処理の前に通過させるフィルターである。図5(d)は、幅方向平均輝度分布に実際の疵が残ってしまった場合であり、この場合は、図5(e)に示すように、図5(c)に見られる疵相当の信号が消されてしまっている。当該フィルターは、このような状況を防止する目的をもつ。
【0016】
具体的には、
【表1】
Figure 0003984418
に示されるような形態のフィルターである。
F1は、線画像の各画素に対し、隣り合う16画素の平均値を当該画素の値とするフィルターである。
F2は、線画像の各画素に対し、隣り合う14画素の平均値を当該画素の値とするフィルターである。
【0017】
いずれにせよ、ここで用いるフィルターは、鋼板についた長手方向に長い疵情報が幅方向平均輝度分布に現れないようになるフィルターであれば足り、フィルターの要素の個数(何画素の平均をとるかとういうことで、F1では16個、F2では14個としている)は、
カメラの横方向解像度×フィルターの要素の個数=疵の幅
たとえば、カメラの横方向の解像度が0.2[mm]であり、鋼板についた長手方向に長い疵の幅が3.2[mm]の場合は、16個で足りる。なぜなら、
0.2[mm]×16=3.2[mm]
となり、3.2[mm]幅の長手方向に長い疵は、当該フィルターによりなまされるため、幅方向平均輝度分布にあらわれにくくなるためである。
【0018】
次に、図2に基づき、信号の流れについて説明する。
u(i,j)は、カメラ3が捉えたi時刻の板幅からj番目の画素の画像信号であり、溶接点信号等が来た時は、Bゲート7が開いて信号は流れなくなり、カウンター16の変数(I,j)は零にリセットされる。それ以外は、Bゲート7が閉じて信号が伝達される。
【0019】
加算点19において、遅延回路12と共に、
y(i,j)=y(i-1,j)+u(i,j)=u(1,j)+u(2,j)+u(3,j)+ … +u(i,j)
すなわち、データの総和が実行される。
【0020】
一方、k=[log(I,j)]により、カウンターの変数(I,j)がpを整数としたとき(I,j)=2と書ける場合には、k=pとなる。このとき、2は時刻すなわちデータの個数に一致するので、シフトレジスタ14において、1/2を乗ずることは、データの総和を個数で割ることになるので、平均値が得られることになる。
【0021】
時刻iが大きな値、例えば、2より大になった時はBゲート9が開き、0が信号として伝えられることになるが、2以下の場合は、Bゲート9が閉じており、信号は伝えられている。これは、2+1以降の処理について、時刻2の幅方向平均輝度分布を用いてシェーディング補正をすることを意味している。なぜなら、あまり長い距離に関して加算平均を取っていると、加算平均に含まれる過去の履歴と現状の値とが相乗的に悪影響を及ぼすことがある。そのため、実態にそぐわないシェーディング補正をすることになるので、敢えて、ある時期の結果を用い続ける方法を用いている。
【0022】
また、x=0、すなわち、カウンターの変数(I,j)がpを整数としたとき(I,j)=2と書ける場合には、Aゲート10が閉じ、信号が伝わる。このようなときのみにゲートを開いて信号を伝える理由は、割り算は計算処理に時間を要するため、できれば、レジスターのシフトのみで対応できる値にすることが望ましいため、カウンターの変数(I,j)がpを整数としたとき(I,j)=2ときのみに限れば、この条件を満たし、計算処理時間を短縮することができることにある。
【0023】
Aゲート10から伝わった信号は、遅延回路13、Bゲート11及び加算点20とともに、ホールドされることになる。なぜならば、x=0のとき、加算点に信号値が加算されるが、次の時刻では、x≠0となり、信号値0が加算点に加えられると共に一時刻前の値w(i-1,j)が加算され、結局値w(i,j)の値は変わらない。また、今度x=0となったときは、Bゲート11が開いて加算点20に信号値0が加えられ、これに、Aゲート10を通過した値が加算され、値が更新される。
【0024】
以上の操作により、w(i,j)には、カウンターの変数(I,j)がpを整数としたとき(I,j)=2と書ける場合における平均値が格納されることになる。
零割防止装置15においては、万一、w(i,j)が零の場合に、零による割り算を防止するために、w(i,j)に基準値Cを格納する計算処理を実施する。
結果として、割り算処理部21において、C/w(i,j)が実行され、その値が掛け算処理部22において、u(i,j)に乗ぜられることになる。
【0025】
以上の処理を板幅方向の全てのj画素について実施すると、今までの線画像のデータの平均処理をした値の逆数を当該画素のデータu(i,j)に掛けた値が算出されることになり、結果として、カメラ信号強度を加算平均してカメラ信号のノイズ等を除去して、鋼板の幅方向輝度分布の概略を把握し、当該輝度分布が実質的に消滅させて幅方向の輝度がほぼ一定になるように補正したことになる。
【0026】
上記の実施の態様において、鋼板の輝度の変動が大きい溶接点近傍では、溶接点信号等を発することにより、Bゲート7を開放し、加算処理部分とカウンターの変数(I,j)を零にリセットして、再度加算平均をしなおし、加算平均回数を徐々に増やしていくことで、鋼板の輝度の変動に対して迅速なシェーディング補正を可能とし、鋼板の輝度が安定している鋼板の中央部に達したときは、長い距離分の線画像を加算平均した値によりシェーディング補正を実施する。
【0027】
【発明の効果】
本発明の方法により、鋼板切り替え部分のように鋼板の表面輝度が頻繁に変動する部分ではややノイズ等の影響を受けるものの、速い応答でシェーディング補正が実施でき、鋼板長さ方向中央部のように鋼板の表面輝度が安定しているところでは、応答は遅くなるものの、ノイズ等の影響を受けない安定したシェーディング補正が実施できる。
【図面の簡単な説明】
【図1】 本発明で用いる疵検査装置の概要を示す図である。
【図2】 本発明における信号の流れについて説明する図である。
【図3】 鋼板を画素のメッシュで切った図である。
【図4】 画像信号と閾値との関係を示した図である。
【図5】 シェーディング補正の考え方を示した図である。
【符号の説明】
1 鋼板
2 照明
3 CCDカメラ
4 エッジ検出部
5 シェーディング補正部
6 疵検出部
7〜9及び11 Bゲート
10 Aゲート
12、13 遅延回路
14 シフトレジスタ
15 零割防止装置
16 カウンター
17 計算処理部
18 計算処理部
19、20 加算点
21 割り算部
22 掛け算部
23、24 引き出し点
25 フィルター

Claims (2)

  1. 複数の鋼板が鋼板切り替え部で連結された、相対的に移動する鋼板の表面に対向した照明装置で、鋼板表面の幅方向にわたり照明し、その反射光を鋼板表面に対向したラインセンサーカメラで撮像して鋼板表面の画像を得て、該画像を処理して鋼板表面の疵検出をする欠陥検査方法において、前記ラインセンサーカメラで前記鋼板表面の幅方向の時々刻々の線画像を撮像する工程と、鋼板の長手方向に連続する前記線画像について、対応する画素ごとに輝度値を所定の加算回数の加算平均処理をして、画素ごとの幅方向平均輝度分布を順次算出し、対応する画素ごとに該幅方向平均輝度分布で時々刻々の線画像の輝度値を除した線画像情報を算出するシェーディング補正工程と、該線画像情報を基に鋼板表面の画像を構成して鋼板の疵を検出する疵検出工程と、からなり、前記シェーディング補正工程は、前記鋼板切り替え部から鋼板の長手方向の中央部にかけて一旦、前記加算平均処理における加算回数を少なくし、徐々に前記加算平均処理における加算回数を予め設定した増分ずつ増加させ、予め指定した加算回数に達した後は、当該加算回数での加算平均値を算出することを特徴とする欠陥検査方法。
  2. さらに、前記撮像する工程で得られた線画像を、除去すべき疵の幅、及び前記ラインセンサーカメラの鋼板幅方向の解像度に基づいた要素の個数を有する鋼板の幅方向の平均化フィルターで平均化処理する工程を含み、該平均化処理する工程で出力された線画像を基に、前記シェーディング補正工程で処理することを特徴とする請求項1に記載の欠陥検査方法。
JP2000347598A 2000-11-15 2000-11-15 欠陥検査方法 Expired - Fee Related JP3984418B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000347598A JP3984418B2 (ja) 2000-11-15 2000-11-15 欠陥検査方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000347598A JP3984418B2 (ja) 2000-11-15 2000-11-15 欠陥検査方法

Publications (2)

Publication Number Publication Date
JP2002148196A JP2002148196A (ja) 2002-05-22
JP3984418B2 true JP3984418B2 (ja) 2007-10-03

Family

ID=18821298

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000347598A Expired - Fee Related JP3984418B2 (ja) 2000-11-15 2000-11-15 欠陥検査方法

Country Status (1)

Country Link
JP (1) JP3984418B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4534507B2 (ja) * 2004-02-04 2010-09-01 Jfeスチール株式会社 表面凹凸の測定・評価方法およびシステム、表面凹凸評価装置並びに表面凹凸の測定・評価方法のプログラム
JP2005274383A (ja) * 2004-03-25 2005-10-06 Sumitomo Chemical Co Ltd 配向フィルムの穴明き欠陥の検査方法
JP5031691B2 (ja) * 2008-07-17 2012-09-19 新日本製鐵株式会社 表面疵検査装置
JP5488953B2 (ja) * 2008-09-17 2014-05-14 新日鐵住金株式会社 凹凸疵検査方法及び装置
CN104655645B (zh) 2015-03-06 2017-05-24 合肥京东方光电科技有限公司 一种基板破损检查装置、生产系统及检查方法
JP7021886B2 (ja) * 2017-09-19 2022-02-17 株式会社Screenホールディングス 基板検査装置、基板処理装置、基板検査方法および基板処理方法
JP7114822B1 (ja) 2022-03-25 2022-08-08 Primetals Technologies Japan株式会社 画像の補正方法および異常の検出方法、ならびに画像補正装置および異常検出装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2577456B2 (ja) * 1988-09-29 1997-01-29 株式会社東芝 厚さ測定装置
JP3751660B2 (ja) * 1995-06-15 2006-03-01 浜松ホトニクス株式会社 規則的パターンの欠陥検査装置
JP3358575B2 (ja) * 1999-02-01 2002-12-24 日本鋼管株式会社 連続物体の欠陥検出用信号処理装置

Also Published As

Publication number Publication date
JP2002148196A (ja) 2002-05-22

Similar Documents

Publication Publication Date Title
JP5123210B2 (ja) 画像コントラストの調整方法及び装置
WO1998015919A1 (fr) Procede et appareil de detection de defauts de raies sur des documents imprimes
US8189913B2 (en) Method for detecting shadow of object
KR20060060742A (ko) 자동화 웹 검사를 위한 장치 및 방법
JP3984418B2 (ja) 欠陥検査方法
CN104185019A (zh) 一种检测摄像头污点的方法和装置
JP2010249624A (ja) 走行材の表面品質判定装置および表面品質判定方法
JP2541735B2 (ja) 塗膜劣化診断方法及び装置
JPH0721388A (ja) 画像認識装置
US10853971B2 (en) Method for determining the exposure time for a 3D recording
JP4355479B2 (ja) 欠陥布片検出装置における欠陥レベル情報設定方法
JP4021394B2 (ja) 画像補正装置および方法
JP2001235319A (ja) シェーディング補正装置及びシェーディング補正方法及び表面検査装置
JPH08145904A (ja) 明欠陥/暗欠陥検査装置
KR100406399B1 (ko) 강판의표면결함검출방법
JP3657028B2 (ja) 外観検査装置
JP4216609B2 (ja) 疵検出装置及び疵検出方法
JP4382210B2 (ja) 周期性パターンの検査方法及び装置
WO2024070101A1 (ja) 表面欠陥検出方法及び表面欠陥検出装置
US9661183B2 (en) Image correction apparatus and method
JP4741289B2 (ja) 画像処理装置および画像処理方法
US20240203187A1 (en) Apparatus and method for checking value documents and system for processing value documents
JPH0735699A (ja) 表面欠陥検出方法およびその装置
JP3852379B2 (ja) エッジ検出方法
JP2697258B2 (ja) 表面処理鋼板の品質検査方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040902

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060905

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20061114

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070115

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070306

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070502

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070703

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070706

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100713

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 3984418

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100713

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110713

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120713

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130713

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130713

Year of fee payment: 6

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130713

Year of fee payment: 6

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130713

Year of fee payment: 6

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees