JP4014027B2 - 車両塗面の微小欠陥検査装置 - Google Patents

車両塗面の微小欠陥検査装置 Download PDF

Info

Publication number
JP4014027B2
JP4014027B2 JP2002068288A JP2002068288A JP4014027B2 JP 4014027 B2 JP4014027 B2 JP 4014027B2 JP 2002068288 A JP2002068288 A JP 2002068288A JP 2002068288 A JP2002068288 A JP 2002068288A JP 4014027 B2 JP4014027 B2 JP 4014027B2
Authority
JP
Japan
Prior art keywords
image
image signal
signal
vehicle
scanning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002068288A
Other languages
English (en)
Other versions
JP2003270162A (ja
Inventor
靖則 山岸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor East Japan Inc
Original Assignee
Kanto Auto Works Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kanto Auto Works Ltd filed Critical Kanto Auto Works Ltd
Priority to JP2002068288A priority Critical patent/JP4014027B2/ja
Publication of JP2003270162A publication Critical patent/JP2003270162A/ja
Application granted granted Critical
Publication of JP4014027B2 publication Critical patent/JP4014027B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、面発光体及びその前方位置を向くように配向されたイメージセンサを備えた撮像装置と、面発光体の照射光の塗面での正反射光がイメージセンサに入射するように、塗面に対する前記撮像装置の三次元位置及び姿勢を制御しつつ塗面を走査する塗面走査装置と、面発光体で光照射された車両塗面をイメージセンサで撮像して、イメージセンサから出力される画像信号レベルが低下するのを検出して車両塗面に生じている微小欠陥を自動的に検知する画像処理装置とを備えた車両塗面の微小欠陥検査装置に関するものである。
【0002】
【従来の技術】
この種の車両塗面の微小欠陥検査装置によれば、レーザ光によらずに面発光体の拡散光を利用する簡単な構成の光学系により、反射角の緩やかな肌荒れ、所謂ゆずに対しては反射光レベルを低下させることなく、反射角の急変化による反射光レベルの低下を基にゴミに起因するブツ、傷等の凹凸状の微小欠陥を画像処理により検出することができる。
【0003】
しかしながら、塗装面の光照射範囲を広く映し込み部分にすると、その側方領域ではゆず肌も検知されるようになり、また光照射範囲の境界部分が画像処理範囲に含まれると、ゆず肌が誤検知され易くなるだけでなく、画像処理自体も難しくなる。
【0004】
したがって、このような塗面検査方法においては、画像処理範囲の周辺領域をマスク画面処理を行うのが通常であり、さらに車両ボデーの加工により穴或いは突出部が在る場合にも、予めのマスク画面処理により画像処理対象外としている。
【0005】
本発明は、このような点に鑑みて、画像信号処理面に対してマスク処理を行うことなく画像処理を行って微小欠陥を検知し得る車両塗面の微小欠陥検査装置を提供することを目的とする。
【0006】
【課題を解決するための手段】
本発明は、この目的を達成するために、請求項1により、面発光体と、その前方位置を向くように面発光体に並置されたイメージセンサとを備えた撮像装置と、面発光体の照射光の塗面での正反射光がイメージセンサに入射するように、車両外面の車両塗面に対する撮像装置の三次元位置及び姿勢を制御しつつ車両塗面を走査する塗面走査装置と、面発光体で光照射された車両塗面を撮像するイメージセンサから出力された画像信号をメモリに格納し、所定の画像処理範囲にわたり読出し走査することにより読み出された画像信号の信号レベルが低下するのを検出して車両塗面に生じている微小欠陥を自動的に検知する画像処理装置とを備えた車両塗面の微小欠陥検査装置において、画像処理装置が、画像処理範囲を一方向に順に直交方向へシフトしつつ読出し走査することにより、画像信号の信号レベルが所定レベルを上回って低下する画像信号領域のエッヂを微分処理により検出するエッヂ検出手段と、エッヂから一方向に標準的な微小欠陥の画像信号の幅に相当する程度の画素数分だけ膨張処理をした2値化の膨張画像信号を作成する膨張画像作成手段と、画像処理範囲を一方向の正反対方向に順に直交方向へシフトしつつ読出し走査することにより、画像信号の信号レベルが所定レベルを上回って低下する画像信号領域のエッヂを微分処理により検出するエッヂ検出手段と、正反対方向のエッヂから正反対方向に標準的な微小欠陥の画像信号の幅に相当する程度の画素数分だけ膨張処理をした2値化の膨張画像信号を作成する膨張画像作成手段と、同一読み出し走査ラインの一方向及び正反対方向の膨張画像信号の時間軸を揃えた論理積信号を作成する論理積手段と、論理積信号をラベリング処理し、画像信号中の微小欠陥候補となる画像信号の車両塗面上の位置を設定するラベリング手段と、ラベリングされた画像信号のうち信号領域の面形状の大きさが所定の大きさを下回る画像信号を抽出する形状判断手段と、この形状判断手段で抽出された画像信号について信号領域の周辺部と中央部との信号レベルの差が所定値よりも大きな画像信号を抽出するレベル差判断手段とを備えたことを特徴とする。
【0007】
論理積処理により、微小欠陥でない幅の広い変化画像信号は、処理対象から排除される。同様に、画像処理範囲に照射光の明暗境界部分が含まれる場合、その不安定な変化画像信号も幅広により処理対象から排除される。排除された残りのラベリングされている微小欠陥候補となる画像信号について、車両塗面の構造等に起因している可能性のある大きな信号領域形状を伴う画像信号及びゆず肌である可能性のある信号領域の周辺部と中央部との信号レベルの差が所定値よりも小さな画像信号もさらに排除されて、残りのラベリングされている画像信号の車両塗面上の位置が、微小欠陥として検知される。
【0008】
【発明の実施の形態】
図1乃至図9を基に本発明の実施の形態による車両用塗面検査装置を説明する。図8に示すように、車両1の搬送路の両側にロボット39、39aが配置され、それぞれのロボットアーム9、9aの先端部に取付けられた基部29には、面発光体10及びイメージセンサとしてのCCDカメラ21よりなる撮像装置20が取付けられている。ロボット39、39aは、撮像装置20を順にシフトさせるように車両外板の車両塗面上を走査し、かつ各走査位置での撮像装置20の塗面に対面する3次元位置及び3軸方向の角度を任意に制御可能になっている。
【0009】
撮像装置20は、図6に示すように、直管形蛍光灯11、その前方に配置され、かつ直管形蛍光灯11の照射光の横幅を制限する縦長のスリットを有するスリット板12及びその前方に配置されてスリットを通して入射する照射光を直管形蛍光灯11の横幅方向に拡散させないように平行光に変換する縦長のフレネルレンズ13を有して、遮光板16で包囲された面発光体10(図7参照)と、この面発光体の縦幅方向の中間位置で横幅方向に間隔を置いた位置で、面発光体10の所定の前方位置の照明領域を撮像するように配向されたCCDカメラ21とが共通の基部29に取付けられて構成されている。
【0010】
撮像装置20には、CCDカメラ21から出力される画像信号レベルがブツに起因して通常の高い信号レベルから低下するのを検出する画像処理装置30が付属している。各ロボット39、39aは、それぞれの分担する車両1の両側の側面及び上面の半分の走査領域について、搬送速度よりも走査速度が大巾に速いことを前提に、図9に示すように、ロボット39、39aを双方が干渉しないように半分をさらに分割した走査領域について前後方向へ車幅方向に僅かづつシフトして折返しながら連続的に移動させ、その途中で逐次画像処理範囲Sに対応する塗面領域に距離を置いて所定の姿勢で対面するように、3次元位置及び3軸方向の角度を制御するティーチングが行われている。逆に、車両1の幅の狭い後部は、折返しながら車幅方向に連続的に移動させる。
【0011】
面発光体10のスリットの開口幅は、直管形蛍光灯11の直前に位置してその横幅と同程度もしくは狭い例えば5mmで、縦長は直管形蛍光灯11の長さに対応している。フレネルレンズ13はその焦点距離に対応してスリットの例えば15cm程度前方に位置して、横幅は直管形蛍光灯11の横幅よりも広い約5cmに設定され、対応した縦長を有する。CCDカメラ21はフレネルレンズ13の例えば50cmの前方位置の塗面での照射領域よりも充分広い横幅で、200mm程度の縦幅の範囲の正反射光が入射するように配向されている。即ち、面発光体10の縦横の中心位置を通る中心光軸A1と、CCDカメラ21の中心光軸A2とがそれぞれの例えば前方50cmで交差するように設定されている。
【0012】
画像処理装置30は、例えばパソコンを利用して構成され、図1に示すように、所定の走査位置に停止したCCDカメラ21の映し込み部分(図3A参照)の画像信号を逐次更新しつつメモリに格納して処理を行う。この画像処理装置は、その両側に光照射の境界部分を含んだ縦長領域Qを4分割した画像処理範囲Sの画像信号を例えば直管形蛍光灯11の横幅方向Xに沿った一方向に順にその直交方向の縦方向Yへシフトしつつ読出し走査して、信号レベルが所定のレベルを上回って低下する変化画像領域のエッヂを微分処理により検出するエッヂ検出手段31と、エッヂ画素について一方向に標準的な微小欠陥に相当する5画素数分よりも僅かに広く、例えば7画素だけ膨張させた2値化の膨張画像信号を作成する膨張画像作成手段32と、正反対方向の横幅方向Xに画像信号を順に縦方向Yへシフトしつつ読出し走査して、信号レベルが所定のレベルを上回って低下する画像領域のエッヂを微分処理により検出するエッヂ検出手段31aと、そのエッヂ画素について正反対方向に同様な膨張画像信号を作成する膨張画像作成手段32aと、同一読み出し走査ラインの一方向及び正反対方向の膨張画像信号の時間軸を揃えた論理積信号を作成する論理積手段33と、論理積信号をラベリング処理し、画像信号中の微小欠陥候補となる画像信号の車両塗面上の位置を設定するラベリング手段34と、微小欠陥候補となる画像信号のうち信号領域の面形状の大きさが所定の大きさを下回ることにより微小欠陥と想定される大きさの画像信号を抽出する形状判断手段35と、形状判断手段で抽出された画像信号についてこの画像信号領域の周辺部と中央部の信号レベルの積算値の差が所定値よりも大きな画像信号を抽出するレベル差判断手段36と、画像処理範囲Sについて通常想定される最大微小欠陥数を上回る、例えば5個以上のラベル数に達した場合に、その画像処理範囲Sの車両塗面上の位置を設定するラベリングを行うラベル数判定手段37とを備えている。
【0013】
形状判断手段35は、ラベリングされた実際の画像信号の信号領域の横幅方向(走査方向)及びその直交方向(縦幅方向)の最大幅、即ち最大画素数が所定の幅(数)を下回るか否かを判断する。塗面の加工構造等に起因して信号領域の面積が大きい画像信号、或いは縦横幅の一方が長過ぎる筋状の画像信号は微小欠陥候補から排除する。これにより、0.5mmの幅もしくはこの数倍程度の微小欠陥の画像信号を抽出する。また、雑音とみなされる縦横幅が共に極端に小さな画像信号も排除する。
【0014】
レベル差判断手段36は、形状判断手段35で抽出された微小欠陥である可能性のある大きさの画像信号について、図2に示すように、横幅方向Xの中央1/3領域及び縦幅方向Yの中央1/3領域が重なる中央領域のドットで示す9個の画素の信号レベルの積算値が、残りの周辺部における積算値に対して所定値以上であるか否か画素当りの平均信号レベル値として判断して、下回る場合は微小欠陥候補から排除する。即ち、特に画像処理範囲Sの横幅方向Xの周辺領域P(図3参照)で検出される可能性のある傾斜が緩やかな画像信号は、ゆず肌と判断して排除する。このレベル差判断手段は、処理の複雑さを甘受するならば、双方の領域の面積をさらに高精度に算出したり、互いの比を基にする等種々の方法が考えられる。
【0015】
図4及び図5を基に画像処理装置30の動作を画像信号の具体例を基に説明する。図4Aに示すように、画像処理範囲Sの横幅方向Xの読み出し走査による画像信号について微小欠陥の画像信号が検出されたとする(図4A及び図5Aで微小欠陥のパルス幅は拡大して図示してある)。横幅方向Xの図で見て右方向へ信号レベルの低下を走査することにより、微小欠陥によるパルス状の変化画像領域Aの立下りの画素位置であるエッヂデータD及び光照射領域Bが立ち下がるエッヂデータEを作成する。次いで、これらのエッヂの画素から7画素分だけ右方向へ膨張処理を行って2値化された点線で示す膨張画像信号を作成する(図4B及び図5B)。
【0016】
同様に同一読み出し走査ラインを右から左へ走査し、変化画像領域a、Cのレベル低下のエッヂデータF、Gの膨張画像信号を作成する(図4C及び図5C)。続いて、これらの双方向の膨張画像信号を時間軸を揃えて論理積処理を行うことにより、論理積信号Hを作成する(図4D及び図5D)。この論理積信号を微小欠陥候補としてラベリング処理し、車両外板上の位置を特定して格納しておく。
【0017】
ラベリングされた微小欠陥候補となる画像信号の信号領域面の大きさ、即ち画素数の多少で判断して所定の大きさよりも小さい画像信号が、微小欠陥候補として残される。この大きさ判断により、例えばボデー面の加工によるライン状の隆起もしくは凹部に起因する画像信号は排除される。尚、ボデー面の加工により生じる微小欠陥よりも幅広いパルスは、論理積処理の段階で排除される。
【0018】
さらに、処理領域の照明の境界領域で、ラベリングされた微小欠陥候補の画像信号が、図3Bに示すように、実線の微小欠陥に対して点線で示す頂部の変化が緩やかな場合、信号レベルの中央領域の積算値の画素当たりの平均値が両側の積算値の画素当たりの平均値に対する差が小さくなるためにゆず肌と判断して排除する。
【0019】
全塗面の検査終了後、微小欠陥データをラベリングに従い画面に表示させたり或はプリントアウトでき、目視による確認のために車両塗面の微小欠陥位置が指示される。その際、車両外板に、例えばウオッシャノズル孔が在り、連続する長い1個の画像信号としてラベリングされることなく、不連続に検出されて通常考えられる微小欠陥の最大数を越えて多数のラベルが発生された場合、その画像処理範囲Sの車両外板上の位置が別の方法で指示される。このような塗面領域については、目視により微小欠陥の有無を検査する。
【0020】
【発明の効果】
請求項1の発明によれば、光照射部分の境界領域或いは特異な塗面構造部分に対してマスク画像処理を行うことなく、車両塗面の微小欠陥がゆず肌を誤認せずに効率良く検査できる。その際、請求項2によれば、車両塗面上の特異な構造に起因して通常想定される最大微小欠陥数を上回るラベリングが行われた場合、マスキング処理を行わなくても、自動検査の対象外である旨が指示されて目視検査が促される。請求項3によれば、画像処理範囲を平行光線で広く照射できるために、中央領域の検出精度を向上させると共に、処理範囲を広げて検査効率を一層高めることができる。
【図面の簡単な説明】
【図1】本発明の実施の形態による車両塗面の微小欠陥検査装置の画像処理装置の構成を示す図である。
【図2】同画像処理装置のレベル差判断の処理動作を説明する図である。
【図3】同画像処理装置の画像信号の読出し及びレベル差判断の処理画像を説明する図である。
【図4】同画像処理装置の微小欠陥候補の検出動作を説明する図である。
【図5】同画像処理装置の同微小欠陥候補の検出動作を画像領域を基に説明する図である。
【図6】同微小欠陥検査装置の撮像装置を説明する図である。
【図7】同撮像装置の面発光体の光照射状態を説明する図である。
【図8】同微小欠陥検査装置の全体構成を説明する図である。
【図9】同微小欠陥検査装置の塗面走査状態を説明する図である。
【符号の説明】
1 車両
10 面発光体
11 直管形蛍光灯
12 スリット板
13 フレネルレンズ
20 撮像装置
21 CCDカメラ
39、39a ロボット

Claims (3)

  1. 面発光体と、その前方位置を向くように面発光体に並置されたイメージセンサとを備えた撮像装置と、面発光体の照射光の塗面での正反射光がイメージセンサに入射するように、車両外面の車両塗面に対する撮像装置の三次元位置及び姿勢を制御しつつ車両塗面を走査する塗面走査装置と、面発光体で光照射された車両塗面を撮像するイメージセンサから出力された画像信号をメモリに格納し、所定の画像処理範囲にわたり読出し走査することにより読み出された画像信号の信号レベルが低下するのを検出して車両塗面に生じている微小欠陥を自動的に検知する画像処理装置とを備えた車両塗面の微小欠陥検査装置において、
    画像処理装置が、画像処理範囲を一方向に順に直交方向へシフトしつつ読出し走査することにより、画像信号の信号レベルが所定レベルを上回って低下する画像信号領域のエッヂを微分処理により検出するエッヂ検出手段と、エッヂから一方向に標準的な微小欠陥の画像信号の幅に相当する程度の画素数分だけ膨張処理をした2値化の膨張画像信号を作成する膨張画像作成手段と、前記画像処理範囲を前記一方向の正反対方向に順に直交方向へシフトしつつ読出し走査することにより、画像信号の信号レベルが前記所定レベルを上回って低下する画像信号領域のエッヂを微分処理により検出するエッヂ検出手段と、前記正反対方向のエッヂから前記正反対方向に標準的な微小欠陥の画像信号の幅に相当する程度の画素数分だけ膨張処理をした2値化の膨張画像信号を作成する膨張画像作成手段と、同一読み出し走査ラインの前記一方向及び前記正反対方向の前記膨張画像信号の時間軸を揃えた論理積信号を作成する論理積手段と、前記論理積信号をラベリング処理し、画像信号中の微小欠陥候補となる画像信号の車両塗面上の位置を設定するラベリング手段と、ラベリングされた画像信号のうち信号領域の面形状の大きさが所定の大きさを下回る画像信号を抽出する形状判断手段と、この形状判断手段で抽出された画像信号について信号領域の周辺部と中央部との信号レベルの差が所定値よりも大きな画像信号を抽出するレベル差判断手段とを備えたことを特徴とする車両塗面の微小欠陥検査装置。
  2. 画像処理範囲について想定される最大微小欠陥数を上回る個数の論理積信号がラベリング処理されたか否かを判断するラベル数判定手段を備えたことを特徴とする請求項1記載の車両塗面の微小欠陥検査装置。
  3. 面発光体が、直管形蛍光灯の前方に配置され、かつこの直管形蛍光灯に沿った縦長のスリットと、このスリットの前方に配置され、かつ前記直管形蛍光灯の横幅よりも広い横幅を有し、前記スリットを通して入射する照射光を前記横幅方向の拡散が抑制された平行光に変換する縦長のフレネルレンズとを有することを特徴とする請求項1又は請求項2記載の車両塗面の微小欠陥検査装置。
JP2002068288A 2002-03-13 2002-03-13 車両塗面の微小欠陥検査装置 Expired - Fee Related JP4014027B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002068288A JP4014027B2 (ja) 2002-03-13 2002-03-13 車両塗面の微小欠陥検査装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002068288A JP4014027B2 (ja) 2002-03-13 2002-03-13 車両塗面の微小欠陥検査装置

Publications (2)

Publication Number Publication Date
JP2003270162A JP2003270162A (ja) 2003-09-25
JP4014027B2 true JP4014027B2 (ja) 2007-11-28

Family

ID=29199419

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002068288A Expired - Fee Related JP4014027B2 (ja) 2002-03-13 2002-03-13 車両塗面の微小欠陥検査装置

Country Status (1)

Country Link
JP (1) JP4014027B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4410635B2 (ja) * 2004-08-17 2010-02-03 オプテックスエフエー株式会社 画像の一致度判定方法および装置
JP2006242814A (ja) * 2005-03-04 2006-09-14 Kanto Auto Works Ltd 表面検査装置
EP3633353A4 (en) 2017-05-29 2020-06-10 Konica Minolta, Inc. DEVICE AND METHOD FOR INSPECTING SURFACE DEFECTS

Also Published As

Publication number Publication date
JP2003270162A (ja) 2003-09-25

Similar Documents

Publication Publication Date Title
US5237404A (en) Inspection apparatus with improved detection of surface defects over large and curved surfaces
US6462813B1 (en) Surface defect inspection system and method
JPS62184908A (ja) タイヤの自動判別方法
US7599050B2 (en) Surface defect inspecting method and device
JPH11337504A (ja) ガラス板の欠陥識別検査方法および装置
JP2000193601A (ja) 表面欠陥検査装置
JP2007316019A (ja) 表面欠陥検査装置
JP4014027B2 (ja) 車両塗面の微小欠陥検査装置
JPH1011629A (ja) コインの画像入力装置およびコイン識別装置
JP2001133409A (ja) 車両用塗面検査装置
JP2006038550A (ja) 塗面検査装置
JP3262150B2 (ja) 半田接合部の検査装置
JP3100448B2 (ja) 表面状態検査装置
JPS6232345A (ja) 欠点検出装置
JP3339677B2 (ja) 表面状態検査用スクリーン及びそのスクリーンを用いた検査装置
JP3025562B2 (ja) 明暗照明による表面状態検査方法
JP2955686B2 (ja) 表面欠陥検査装置
JP3095820B2 (ja) 表面状態検出装置
JPH05209734A (ja) 表面状態検査装置
JP3984367B2 (ja) 表面欠陥の検査方法および検査装置
JP3056552B2 (ja) 表面状態検査方法
JP3473800B2 (ja) 欠点検査方法及び装置
JPH02156144A (ja) シート状物の欠陥検査装置
JPH04186107A (ja) 表面の凹凸検査方法および装置
JPH08247961A (ja) 表面欠陥検査装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050207

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070426

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070530

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070725

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070905

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070905

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100921

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100921

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110921

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120921

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120921

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130921

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130921

Year of fee payment: 6

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130921

Year of fee payment: 6

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees