JP3585222B2 - 多元照明を用いた検査装置 - Google Patents

多元照明を用いた検査装置 Download PDF

Info

Publication number
JP3585222B2
JP3585222B2 JP2000367318A JP2000367318A JP3585222B2 JP 3585222 B2 JP3585222 B2 JP 3585222B2 JP 2000367318 A JP2000367318 A JP 2000367318A JP 2000367318 A JP2000367318 A JP 2000367318A JP 3585222 B2 JP3585222 B2 JP 3585222B2
Authority
JP
Japan
Prior art keywords
buffer
color
line
image plane
light source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2000367318A
Other languages
English (en)
Other versions
JP2002168791A (ja
Inventor
宗敏 沼田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lossev Technology Corp
Original Assignee
Lossev Technology Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lossev Technology Corp filed Critical Lossev Technology Corp
Priority to JP2000367318A priority Critical patent/JP3585222B2/ja
Publication of JP2002168791A publication Critical patent/JP2002168791A/ja
Application granted granted Critical
Publication of JP3585222B2 publication Critical patent/JP3585222B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Color Image Communication Systems (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、多元照明を用いて、帯状のシートの欠陥を画像処理により検出する装置に関する。
【0002】
【従来の技術】
図1に示すように、一般に、帯状シート1の欠陥検査には、ラインTVカメラ2および棒状のライン光源5を用いた画像処理装置3が広く用いられている。ライン光源5は、帯状シート1に対して斜め左上の方向から照明光源6の光を照射し、ラインTVカメラ2は、帯状シート1を横切る帯状視野で、帯状シート1の凹凸の欠陥を白く、帯状シート1の地を黒く映像化する。画像処理装置3は、これらの画像を2値化処理することにより、白領域を欠陥として抽出する。
【0003】
【発明が解決しようとする課題】
図2のような半球面の欠陥穴が帯状シート1にある場合、図3のような多元照明の光学系を用いて、検査することを考える。図3で、例えば、下段左のライン光源5の照明を用いたとき、その画像は、図4のaのようになり、欠陥穴の一部が白く光るため、欠陥を検出することができる。ただし、視野内に白っぽい汚れが付着していたとき、白っぽい汚れが画像上で、白く光る欠陥穴の一部と同じくらいの明るさになり、欠陥穴だけを抽出することはできない。同様のことが、下段右のライン光源6を用いたときにも、図4のbのように、起きる。
【0004】
また、ライン光源5およびライン光源6を同時に点灯し、下段両側照明により欠陥穴の一部を白く光らせる方法もあるが、これも上記と同様に、白く光る汚れがあるときには、図4のcに見られるように、汚れと欠陥との区別はできない。さらに、上段の2つのライン光源4のみを点灯させて、上段両側照明のもとで欠陥穴の一部を黒で抽出する方法もあるが、これも黒い汚れが帯状シート1に付着していた場合には、それらの区別はできない。
【0005】
したがって、本発明の目的は、多元照明の光学系を基礎として、帯状シート1の欠陥と汚れとを区別しながら、帯状シート1の欠陥を検出できるようにすることである。
【0006】
【課題を解決するための手段】
上記目的のもとに、請求項1の発明は、帯状シートに対して直交する光軸方向にカラーラインTVカメラを配置し、帯状シートを横切る帯状視野に対して平行に設置される3色の棒状のライン光源のうち、1つを上段に配置するとともに、2つをカラーラインTVカメラの光軸に対して対向状態で下段に配置し、カラーラインTVカメラからの各色の映像を各色毎の画像プレーンのバッファに格納し、下段の一方のライン光源に対応する色の画像プレーンのバッファと上段のライン光源に対応する色の画像プレーンのバッファとの間で画素間の減算を行い、その減算結果をαバッファに格納し、また下段の他方のライン光源に対応する色の画像プレーンのバッファと上段のライン光源に対応する色の画像プレーンのバッファとの間で画素間の減算を行い、その減算結果をβバッファに格納し、さらにαバッファとβバッファとの各対応画素を比較し、濃度値の大きい画素の濃度値をγバッファの該当画素に入れ、このγバッファの映像データを2値化画像処理することにより、欠陥を白領域として検出するようにしている。
【0007】
また、請求項2の発明は、帯状シートに対して直交する光軸方向にカラーラインTVカメラを配置し、帯状シートを横切る帯状視野に対して平行に設置される2色の棒状のライン光源をカラーラインTVの光軸に対して対向状態で下段に配置し、カラーラインTVカメラからの各色の映像を各色毎の画像プレーンのバッファに格納し、下段の一方のライン光源に対応する色の画像プレーンのバッファと下段の他方のライン光源に対応する色の画像プレーンのバッファとの間で画素間の減算を行い、その減算結果をαバッファに格納し、また下段の他方のライン光源に対応する色の画像プレーンのバッファと下段の一方のライン光源に対応する色の画像プレーンのバッファとの間で画素間の減算を行い、その減算結果をβバッファに格納し、さらにαバッファとβバッファとの各対応画素を比較し、濃度値の大きい画素の濃度値をγバッファの該当画素に入れ、このγバッファの映像データを2値化画像処理することにより、欠陥を白領域として検出するようにしている。
【0008】
【発明の実施の形態】
図5は、本発明の多元照明を用いた検査装置10を示している。多元照明を用いた検査装置10は、帯状シート1を検査するために、カラーラインTVカメラ11、多元照明として3色の棒状のライン光源7、8、9および画像処理装置12などにより構成されている。
【0009】
カラーラインTVカメラ11は、帯状シート1の面に対して直交する線上に、カラーラインTVカメラ11の光軸を一致させた状態で配置され、帯状シート1の検査面を撮像し、R(赤)、G(緑)、B(青)の3色のカラー映像信号を画像処理装置12に送る。なお、カラーラインTVカメラ11のライン状視野は、帯状シート1の幅方向、つまり帯状シート1を横切るように設定される。
【0010】
ライン光源7は、ライン状視野の上方に置かれ、帯状シート1への照射角度90度に近い角度で帯状シート1の面を照らす。ライン光源7の照射光は、図5のように、ハーフミラー13を介して、光軸と平行に帯状シート1に注ぐようにしてもよく、また、光軸を挟んだ2本のライン光源7により発生するようにしてもよい。
【0011】
ライン光源8、9は、ライン光源7よりも下方で、ライン状視野に対して平行に置かれ、帯状シート1への照射角度は0度に近い。ライン光源8は、ライン状視野の左方に設置され、ライン光源9は、カラーラインTVカメラ11の光軸を挟んで、ライン光源8の反対側、つまりライン状視野の右方に設置される。ライン光源7、8、9からの照射光の照射角度は、それぞれのライン光源管の帯状照射窓により規制されている。これにより、一部の方向だけに照射光が照射されるようになっている。
【0012】
便宜上、ライン光源8は赤色(R)、ライン光源7は緑色(G)、ライン光源9は青色(B)に割り当てるが、これらのライン光源と色との対応は、これ以外に適当でよい。このような赤色(R)、緑色(G)、青色(B)の照明光のもとで、カラーラインTVカメラ11からのカラー映像信号は、画像処理装置12に送られる。
【0013】
図6は、画像処理装置12の構成例を示す。カラーラインTVカメラ11からのカラー映像信号は、各色毎に画像処理装置12の内部のA/D変換器14、15、16を介して、各色毎の画像プレーン17、18、19に記録される。これらの画像プレーン17、18、19は、各色の1ラインのデータをmライン格納できる専用のメモリ領域のダブルバッファとして2つのNo.1バッファおよびNo.2バッファにより構成されている。ここで、各色の1ラインは、N=1024画素、2048画素、5000画素などからなり、mラインは、ハード的またはソフト的に決められる。
【0014】
なお、カラー映像のデータなどは、バス26を介して、メモリ22、ビデオメモリ24に格納され、入出力部23から外部機器や、ビデオメモリ24およびD/A変換器25からCRTに送られる。
【0015】
バッファサイズは、1画素を1バイト表現とすると、N×mバイトであり、各色のプレーンサイズは、2×N×mバイトである。各色の映像データは、No.1バッファの先頭から順次に1ラインづつ格納され、No.1バッファを満たすと、次はNo.2バッファの先頭から順次1ラインづつ格納される。そして、映像データがNo.2バッファを満たすと、今度はNo.1バッファの先頭から循環するように格納される。
【0016】
画像処理装置12の内部のCPU20は、演算プレーン21内のαバッファ、βバッファおよびγバッファに対する2値化などの画像処理を行う。演算LSI22は、Rの画像プレーン17の1つのNo.1バッファまたはNo.2バッファとBの画像プレーン19の同一No.のNo.1バッファまたはNo.2バッファとの画素間で演算を行い、演算結果を演算プレーン21に格納する。
【0017】
演算プレーン21は、複数のαバッファ、βバッファ、γバッファを有しており、各色の画像プレーン17、18、19のバッファの画素間での演算結果を格納する。たとえば、映像データが各色の画像プレーン17、18、19のNo.2バッファに入っている場合、演算LSIは、Rの画像プレーン17のNo.1バッファとGの画像プレーン18のNo.1バッファとの間で減算処理を行い、減算結果を演算プレーン21のαバッファに格納する。なお、αバッファ、βバッファ、γバッファの大きさは、各色の画像プレーン17、18、19のバッファと同じN×mバイトである。
【0018】
この時の減算演算は、Rの画像プレーン17のNo.1バッファの任意の画素の濃度値からGの画像プレーン18のNo.1バッファの対応画素の濃度値を引く演算であるが、減算結果が負の値となった場合には0とする。同様に演算LSI22は、Bの画像プレーン19のNo.1バッファとGの画像プレーン18のNo.1バッファとの間で減算処理を行い、結果を演算プレーン21のβバッファに格納し、続いて、αバッファとβバッファとの各画素を比較し、濃度値の大きい画素の濃度値をγバッファの該当画素に入れる。
【0019】
この演算処理は、各色の画像プレーン17、18、19のNo.2バッファにカラー映像信号が格納され始めると同時に開始され、各色の画像プレーン17、18、19のNo.1バッファにカラー映像信号が格納され始める前には終了させる。このため、演算LSI22の処理速度は、上記の演算を処理できる能力を持つ。なお、カラー映像信号の各色の画像プレーン17、18、19への取り込みが遅い場合には、演算LSI22を用いずに、CPU20でこの演算処理を行うこともある。以上の説明で、各色の画像プレーン17、18、19のNo.1バッファに対する減算処理の場合をあげたが、No.2バッファに対する減算処理の場合でも同様である。
【0020】
図2のような帯状シート1の欠陥穴があった場合、図4のa、b、dと同様な画像が、図7のa、b、cに示すように、各色の画像プレーン17、18、19の各該当バッファに入る。これらのバッファの画像では、従来方法と同様に欠陥穴と汚れとの区別はできない。演算プレーン21のαバッファでは、下段左のライン光源8の照明(赤色)で照らされた欠陥穴の一部が白くなり、他の部分は黒くなる。これは、汚れ(白)や帯状シート1の地は、Rの画像プレーン17に比べてGの画像プレーン18は、ほぼ同じ明るさか明るいため、減算すると0または負の値となり、結局は0になるためである。従って、汚れ(白)や帯状シート1の地は、Rの画像プレーン17とだけ比較すると、地に対してはコントラストが向上し、また汚れの影響を受けない。
【0021】
同様に、演算プレーン21のβバッファには、下段右のライン光源9の照明(青色)で照らされた欠陥穴の一部が白くなり、他の部分は黒くなる。これは、汚れ(白)や帯状シートの地は、Bの画像プレーン19に比べてGの画像プレーン18は、ほぼ同じ明るさか明るいため、減算すると0または負の値となり、結局は0になるためである。従って、汚れ(白)や帯状シートの地は、Bの画像プレーン19とだけ比較すると、地に対してはコントラストが向上し、また汚れの影響を受けない。
【0022】
γバッファには、αバッファとβバッファとの各対応画素の比較・濃度値の大きい画素の濃度値の置き換え処理によって、方向の異なる2つの下段照明により照らされた欠陥穴の傾きをもった面が白として抽出されている。図7では、欠陥穴の一部に白く抽出されていないところがあるが、下段の照明光の照射角度を0度近くから45度近くまでの広がりをもった長方形の照明を用いれば、欠陥穴のほとんどを白として抽出することができる。従来の方法では、このような照明を用いた場合、地自体が明るくなり、欠陥穴を抽出することがむずかしくなる。
【0023】
なお、以上の説明で、Rの画像プレーン17の該当バッファからGの画像プレーン18の該当バッファのバッファ間の差分結果を演算プレーン21のαバッファに、Bの画像プレーン19の該当バッファからGの画像プレーン18の該当バッファのバッファ間の差分結果を演算プレーン21のβバッファに入れたが、これとは別に、Rの画像プレーン17の該当バッファからBの画像プレーン19の該当バッファのバッファ間の差分結果を演算プレーン21のαバッファに、Bの画像プレーン19の該当バッファからRの画像プレーン17の該当バッファのバッファ間の差分結果を演算プレーン21のβバッファに入れても、ほぼ同様の結果が得られる。これらの2つのαバッファ、βバッファの対応画素の明るい濃度値をγバッファに入れる。このようにすれば、上段のライン光源7は、不要になる。そして、最終的にγバッファの映像データを2値化画像処理することによって、欠陥を白領域として検出することになる。
【0024】
【発明の応用】
帯状シート1の欠陥穴で説明したが、凸状の欠陥も同様に抽出できる。従来のラインTVカメラ2を用いた手法では、凹凸の欠陥と汚れとを識別する事は難しい。これに対し、本発明では、明確に凹凸の欠陥だけを抽出できる。本発明で、各色の画像プレーン17、18、19では、汚れと欠陥穴とが画像処理(2値化処理)によって同時に抽出できるから、この結果と演算プレーン21(αバッファ、βバッファ、γバッファ)の結果とを各々比較すれば、汚れだけを抽出することもできる。
【0025】
【発明の効果】
本発明は、3色または2色の多元照明のもとで、カラーラインTVカメラからの各色の映像を各色毎の画像プレーンのバッファに格納し、各画像プレーンのバッファ間で画素間の減算を行い、減算結果を演算プレーンのバッファに格納し、さらにそれらのバッファ間の各対応画素の比較して、濃度値の大きい画素の濃度値をバッファの該当画素に入れ、この映像データを2値化画像処理することにより、欠陥を白領域として検出する。従って、本発明では、(1)検査対象面の凹凸の欠陥と汚れを明確に区別し、凹凸の欠陥だけを抽出でき、(2)検査対象面の凹凸の欠陥と検査対象面の地のコントラストを高め、地が多少明るい場合でも、影響を受けず、しかも方向の異なる2つの下段照明により照らされた欠陥穴の傾きをもった面が白として抽出されるから、検査の信頼性が高められる、という効果が得られる。
【図面の簡単な説明】
【図1】ラインTVカメラを用いた一般的な欠陥検査装置の斜面図である。
【図2】帯状シートの欠陥の断面図および平面図である。
【図3】従来の技術の光学系の説明図である。
【図4】下段および上段照明による画像の説明図である。
【図5】本発明による多元照明を用いた欠陥検査装置の斜面図である。
【図6】画像処理装置のブロック線図である。
【図7】各色の画像プレーンのバッファの画像および演算プレーンのバッファの画像の説明図である。
【符号の説明】
1 帯状シート
2 ラインTVカメラ
3 画像処理装置
4 ライン光源
5 ライン光源
6 ライン光源
7 ライン光源
8 ライン光源
9 ライン光源
10 多元照明を用いた欠陥検査装置
11 カラーラインTVカメラ
12 画像処理装置
13 ハーフミラー
14 A/D変換器
15 A/D変換器
16 A/D変換器
17 画像プレーン
18 画像プレーン
19 画像プレーン
20 CPU
21 演算プレーン
22 演算LSI
23 入出力部
24 ビデオメモリ
25 D/A変換器
26 バス

Claims (2)

  1. 帯状シートに対して直交する光軸方向にカラーラインTVカメラを配置し、帯状シートを横切る帯状視野に対して平行に設置される3色の棒状のライン光源のうち、1つを上段に配置するとともに、2つをカラーラインTVカメラの光軸に対して対向状態で下段に配置し、カラーラインTVカメラからの各色の映像を各色毎の画像プレーンのバッファに格納し、下段の一方のライン光源に対応する色の画像プレーンのバッファと上段のライン光源に対応する色の画像プレーンのバッファとの間で画素間の減算を行い、その減算結果をαバッファに格納し、また下段の他方のライン光源に対応する色の画像プレーンのバッファと上段のライン光源に対応する色の画像プレーンのバッファとの間で画素間の減算を行い、その減算結果をβバッファに格納し、さらにαバッファとβバッファとの各対応画素を比較し、濃度値の大きい画素の濃度値をγバッファの該当画素に入れ、このγバッファの映像データを2値化画像処理することにより、欠陥を白領域として検出することを特徴とする多元照明を用いた検査装置。
  2. 帯状シートに対して直交する光軸方向にカラーラインTVカメラを配置し、帯状シートを横切る帯状視野に対して平行に設置される2色の棒状のライン光源をカラーラインTVの光軸に対して対向状態で下段に配置し、カラーラインTVカメラからの各色の映像を各色毎の画像プレーンのバッファに格納し、下段の一方のライン光源に対応する色の画像プレーンのバッファと下段の他方のライン光源に対応する色の画像プレーンのバッファとの間で画素間の減算を行い、その減算結果をαバッファに格納し、また下段の他方のライン光源に対応する色の画像プレーンのバッファと下段の一方のライン光源に対応する色の画像プレーンのバッファとの間で画素間の減算を行い、その減算結果をβバッファに格納し、さらにαバッファとβバッファとの各対応画素を比較し、濃度値の大きい画素の濃度値をγバッファの該当画素に入れ、このγバッファの映像データを2値化画像処理することにより、欠陥を白領域として検出することを特徴とする多元照明を用いた検査装置。
JP2000367318A 2000-12-01 2000-12-01 多元照明を用いた検査装置 Expired - Fee Related JP3585222B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000367318A JP3585222B2 (ja) 2000-12-01 2000-12-01 多元照明を用いた検査装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000367318A JP3585222B2 (ja) 2000-12-01 2000-12-01 多元照明を用いた検査装置

Publications (2)

Publication Number Publication Date
JP2002168791A JP2002168791A (ja) 2002-06-14
JP3585222B2 true JP3585222B2 (ja) 2004-11-04

Family

ID=18837761

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000367318A Expired - Fee Related JP3585222B2 (ja) 2000-12-01 2000-12-01 多元照明を用いた検査装置

Country Status (1)

Country Link
JP (1) JP3585222B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003215055A (ja) * 2002-01-24 2003-07-30 Mitsubishi Materials Corp 検査装置
JP2010019657A (ja) * 2008-07-10 2010-01-28 Rozefu Technol:Kk カラー照明を用いた検査装置

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101385024B1 (ko) 2012-07-11 2014-04-14 삼성디스플레이 주식회사 편광 필름 검사 방법 및 이를 수행하기 위한 장치
JP2016212060A (ja) * 2015-05-13 2016-12-15 国立大学法人岐阜大学 鏡面検査装置
WO2017061318A1 (ja) * 2015-10-06 2017-04-13 日本碍子株式会社 セラミックス体の表面検査方法
CN107484422A (zh) 2016-04-08 2017-12-15 新日铁住金株式会社 金属体的表面状态监视装置和金属体的表面状态监视方法
WO2020158340A1 (ja) * 2019-02-01 2020-08-06 パナソニックIpマネジメント株式会社 検査装置、及び、検査方法
JP7111370B2 (ja) * 2019-10-23 2022-08-02 株式会社野毛電気工業 欠陥検査方法
KR102278801B1 (ko) * 2020-04-22 2021-07-20 (주)디이엔티 고속 양극 노칭기용 이차전지 전극필름의 스패터 검사방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003215055A (ja) * 2002-01-24 2003-07-30 Mitsubishi Materials Corp 検査装置
JP2010019657A (ja) * 2008-07-10 2010-01-28 Rozefu Technol:Kk カラー照明を用いた検査装置

Also Published As

Publication number Publication date
JP2002168791A (ja) 2002-06-14

Similar Documents

Publication Publication Date Title
TWI787296B (zh) 光學檢測方法、光學檢測裝置及光學檢測系統
JPH0690150B2 (ja) 壜の胴部検査方法及び装置
JP3585222B2 (ja) 多元照明を用いた検査装置
JPH07159337A (ja) 半導体素子の欠陥検査方法
JP3585225B2 (ja) カラー照明を用いた欠陥検査方法
JP2710527B2 (ja) 周期性パターンの検査装置
JPH04238592A (ja) 結束棒鋼自動検数装置
JPH06186002A (ja) ラベル外観検査方法及び装置
JPH1114334A (ja) 網入りガラスの欠陥検出方法および装置
JP3160743B2 (ja) 液晶パネル欠陥検査装置
JPH11257937A (ja) 欠陥検査方法
JP2005037203A (ja) 棒状物体の検査装置及び検査方法
JP2973663B2 (ja) 瓶口の外観検査方法
JP3047168B2 (ja) 鶏卵の検査方法
JPH05188006A (ja) 表面疵検知装置
JP2001083474A (ja) 液晶表示パネルの検査方法
JPH11281588A (ja) 表面検査装置
JPH06148094A (ja) シート状製品の異物混入検査方法
JPH02108167A (ja) 光学検査装置
JPH1058919A (ja) カラーライン検査装置
JPH1151810A (ja) Lcdパネルの検査装置
JPH0943162A (ja) 外観検査方法
JP3284463B2 (ja) 壜胴部の欠陥検出方法
JP2564737B2 (ja) 自動磁粉探傷装置
JP2000298726A (ja) 外観検査装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040705

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040706

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040802

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040802

R150 Certificate of patent or registration of utility model

Ref document number: 3585222

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313532

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R370 Written measure of declining of transfer procedure

Free format text: JAPANESE INTERMEDIATE CODE: R370

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313532

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100813

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100813

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130813

Year of fee payment: 9

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees