JPH0814827A - 画像処理装置の光源装置 - Google Patents

画像処理装置の光源装置

Info

Publication number
JPH0814827A
JPH0814827A JP6146051A JP14605194A JPH0814827A JP H0814827 A JPH0814827 A JP H0814827A JP 6146051 A JP6146051 A JP 6146051A JP 14605194 A JP14605194 A JP 14605194A JP H0814827 A JPH0814827 A JP H0814827A
Authority
JP
Japan
Prior art keywords
light
light source
image processing
guide tube
light guide
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP6146051A
Other languages
English (en)
Other versions
JP3548601B2 (ja
Inventor
Tetsuo Hotta
徹雄 堀田
Shinsaku Tsuchida
真作 土田
Keizo Shinano
敬藏 科野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Citizen Watch Co Ltd
Original Assignee
Citizen Watch Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Citizen Watch Co Ltd filed Critical Citizen Watch Co Ltd
Priority to JP14605194A priority Critical patent/JP3548601B2/ja
Priority to KR1019940016706A priority patent/KR100269731B1/ko
Priority to TW086218432U priority patent/TW364717U/zh
Priority to EP94111009A priority patent/EP0634892B1/en
Priority to SG1996004623A priority patent/SG47836A1/en
Priority to DE69409299T priority patent/DE69409299T2/de
Priority to US08/275,539 priority patent/US5457492A/en
Publication of JPH0814827A publication Critical patent/JPH0814827A/ja
Priority to HK98109294A priority patent/HK1008460A1/xx
Application granted granted Critical
Publication of JP3548601B2 publication Critical patent/JP3548601B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Supply And Installment Of Electrical Components (AREA)

Abstract

(57)【要約】 【目的】 基準マークが表面にハンダがコーティングさ
れたハンダレベラーの場合でも、画像の欠損部がなく、
確実に基準マークを検出する。 【構成】 撮像装置の下方に設けられた導光筒を有し、
その導光筒の内周面に面発光体又は補助光源を設けて導
光筒内から投射される光の光源とする。面発光体又は補
助光源は少なくとも導光筒内部の下端部に設けて、面発
光体からなる光源を撮像する被検出物に充分接近して配
置し、被検出物の表面に対して平行に近い光の成分を増
大された画像処理装置の光源装置。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、被検出物からの反射光
をITV(工業用テレビ)カメラで撮像した画像を二値
化して処理する画像処理装置の光源装置に関するもので
あり、特に、プリント回路基板上に形成されたハンダレ
ベラーの位置を検出するのに好適な画像処理装置の光源
装置に関するものである。
【0002】
【従来の技術】ITVカメラで撮像した画像を二値化し
て処理する画像処理装置は、数多くの技術分野で使用さ
れるようになり、電子部品の自動実装装置においても、
プリント回路基板上の電子部品の実装位置や基準マーク
等の位置検出等にも使用されるようになってきた。
【0003】従来の画像処理装置の一例を図1を参照し
て説明する。ITVカメラ2はロボット1に取付けら
れ、その焦点距離で定まる高さに設定されており、光源
装置11はITVカメラ2の鏡筒4を避けて取付けられ
ている。光源装置11は冷陰極管又は発光ダイオード等
の光源から発生した光を拡散板を通過させて投光するも
ので、拡散板を通過させた散乱光が充分な光量を有する
ように、比較的光量の多い光源を使用していた。
【0004】この光源装置からの散乱光の内、例えばプ
リント回路基板3の基準マーク10に投射される光の範
囲は、図1において光源装置11と基準マーク10とを
結ぶ想像線11aの範囲内の光のみであり、基準マーク
10に投光される光の方向は、この想像線の内側の範囲
の方向である。
【0005】従って、この光源装置11をプリント回路
基板3の基準マーク10の検出に使用する場合には、基
準マーク10が銅箔等の導電体で形成されているので、
その表面が平坦であり、図1に想像線11aで描かれた
範囲内の方向の光のみであっても、反射光がITVカメ
ラに入射する方向に充分な光量が反射する。従って格別
の支障は生じないが、銅箔等の導電体の表面にハンダが
コーティングされたハンダレベラーを検出する場合に
は、塗布されたハンダの厚さにバラツキが生じ、また表
面が平坦でない。即ち、図3に符号12で示すように、
ハンダレベラーではハンダの表面は平坦とならないこと
が多い。しかも溶融したハンダの表面張力でハンダの表
面は平滑になって乱反射がほとんど生じないので、ハン
ダレベラー12から反射する反射光の方向は、光の入射
角によって定まるほぼ一定方向のみになり、ハンダの表
面の傾きの角度或いはピンホールの発生等によっては、
例えば図3の点Bでは反射光がほとんどITVカメラ2
に入射しないことになる。従って画像処理装置における
二値化した画像においてはその部分が欠損した状態で認
識される。
【0006】更に詳しく説明すると、前述したように、
従来技術の光源装置11によってハンダレベラー12に
投光される光は、図1において光源装置11から基準マ
ーク10に向かって想像線11aで描かれた範囲の光で
ある。これを図3に点Aに投光される光として記入する
と、図示のハッチングを施した線11bの範囲となる。
入射光Aiはハンダレベラー12の表面の点Aで反射し
てITVカメラ2の方向に進む反射光Aoとなることが
できる。しかし表面の傾きが更に大きくなると、更に入
射角の大きい、即ち、更に傾いた方向から入射される光
でなければならないことは明らかである。しかし、従来
技術の光源装置11によって基準マーク10に投光され
る光の入射角は、入射光Aiが最大である。従って基準
マーク10の表面の傾きが更に大きくなった場合には、
全ての反射光Aoは、ITVカメラ2の方向から外れて
画像処理装置に入力されず、二値化した画像としては、
この部分が欠損したものとなる。
【0007】このように画像が欠損した状態で認識され
たときには、画像処理装置で認識される画像の外形々状
又は中心位置は、当然として被測定部の外形々状又は中
心位置とは異なり、画像処理装置による測定に誤差を生
じることとなる。画像が欠損した状態で認識されたとき
には、画像が欠損していることを検出して、特殊な演算
処理を行って欠損した画像を補充して認識することも行
われていたが、画像処理装置が高価なものとなると同時
に、画像が欠損しているか否かの判断が困難なものも多
く、この方法も完全なものではなかった。
【0008】本出願人は、上記従来技術の欠点、即ち、
銅箔等の導電体の表面にハンダがコーティングされたハ
ンダレベラー等のように、表面が平滑であり且つその表
面が平坦でない被検出物を検出するに適した画像処理装
置光源装置及びその照明方法を開発し、特願平5−19
7927号として出願した。
【0009】図2は、その画像処理装置の光源装置の縦
断面図である。図2において、ロボット1は、プリント
回路基板3上において、画像処理装置のITVカメラ2
及び電子部品の装着装置をXY方向に移動させるように
なっている。ITVカメラ2はレンズ等を備えた鏡筒4
を有し、この鏡筒4の下方には、その先願の発明による
画像処理装置の光源装置5が、鏡筒4のねじ部4aに螺
合して取付けられている。
【0010】光源装置5は、その上端ねじ部が前記鏡筒
4のねじ部4aに螺合して取付けられた導光筒6と、導
光筒6の上端近くに光源として環状に配設された複数個
の発光ダイオード7と、発光ダイオード7の上方に設け
られ、中心に透光孔8aを有する遮蔽板8と、発光ダイ
オード7の下方に設けられ、中心に透光孔9aを有する
拡散板9とからなっている。
【0011】発光ダイオード7から投光された光は、拡
散板9を通過することによって散乱光となり、導光筒6
の梨地状の反射面となっている内周面6aで乱反射し、
又は直接プリント回路基板3の基準マーク10に投光さ
れる。
【0012】従って、直接プリント回路基板3の基準マ
ーク10に投光される光は、被検出物に充分接近して設
けられた導光筒6の下端部の口径のほぼ全面から投光さ
れる散乱光となっている。
【0013】図2に符号11cとして図示するように、
入射角の範囲は広くなり、これを図3の点Bに投光され
る光として記入すると、図示のハッチングを施した範囲
11cとなる。この範囲から明らかなように、ハンダレ
ベラー12の表面の傾きが更に大きくなった点Bにおい
ても、充分に反射光BoがITVカメラ2の方向となる
入射光Biを含む範囲であり、画像処理装置に二値化し
た画像として描かれるので、基準マーク10の位置を確
実に検出することができる。
【0014】しかし乍ら、このような光源装置において
も、被検出物の表面に対して平行に近い光の成分は、垂
直に近い光の成分に比べてどうしても少なくなり、ハン
ダの表面の傾きの角度が大きいとき或いはピンホールが
存在しているときには、画像が暗くなって二値化したと
きに欠損部となることが生じ、二値化するためのスレッ
シュホルドレベルを調整して欠損部が生じないようにす
る必要があった。
【0015】
【発明が解決しようとする課題】本発明は、上記欠点を
解消して、被検出物の表面に対して平行に近い光の成分
を可能な限り増加して、ハンダの表面の傾きの角度が大
きいとき或いはピンホールが存在しているときにも、画
像が暗くなって二値化したときに欠損部となることが生
じないようにし、ハンダの表面の傾き等によってスレッ
シュホルドレベルを調整する必要のない反射光による画
像処理装置の光源装置を提供しようとするものである。
【0016】
【課題を解決するための手段】上記課題を解決するため
に、本発明による反射光による画像処理装置の光源装置
は、撮像手段の下方に設けられた導光筒を有し、該導光
筒内から投射される光の被検出物からの反射光によって
撮像する画像処理装置の光源装置において、前記導光筒
内から投射させる光の光源として該導光筒の内周面に面
発光体を設け、該面発光体を少なくとも導光筒内部の下
端部に設けて、面発光体からなる光源を撮像する被検出
物に充分接近して配置したことを特徴とする。
【0017】更に本発明による光源装置は撮像手段の下
方に設けられた導光筒を有し、該導光筒内から投射され
る光の被検出物からの反射光によって撮像する画像処理
装置の光源装置において、導光筒内部の上部に設けられ
た主光源と、該主光源からの光を散乱させる拡散板とを
有し、導光筒内部の下端部に補助光源を設け、該補助光
源を撮像する被検出物に充分接近して配置して構成した
ことを特徴とするものである。
【0018】更に、面発光体をエレクトロルミネッセン
スとし、或いはアクリル樹脂からなる導光板とし、ま
た、導光筒内部の上部に設けられた主光源と、導光筒内
部の下端部に設けられた補助光源との間は、導光筒の内
周面を光が散乱するように梨地状の反射面に形成し、或
いは補助光源を面発光体又は導光筒内部の上部に設けら
れた光源からの光が光ファイバーで導光され先端で放射
される光とすることによって、より確実に達成すること
ができるように構成したものである。
【0019】
【作用】画像処理装置の光源装置を上記のように構成す
ることによって、導光筒内部の下端部に設けられた面発
光体又は補助光源からの光が付加されるので、被検出物
の表面に対して平行に近い光の成分が増加し、ハンダの
表面の傾きの角度が大きいとき或いはピンホールが存在
しているときにも、ITVカメラに入射する光の光量が
不足して画像が暗くなり、二値化したときに欠損部とな
ることが防止され、ハンダの表面の傾き等によってスレ
ッシュホルドレベルを調整する必要のない反射光による
画像処理装置光源装置を構成することができる。
【0020】
【実施例】以下、本発明を実施例を示す図面に基づいて
説明する。図4は本発明の一実施例を示す縦断面図、図
5は、図4の光源部分の横断面図で、図2と同一部分に
同一符号を付している。
【0021】光源装置5は、導光筒6と、導光筒6の上
端近くに環状に配設された複数個の発光ダイオード7
と、発光ダイオード7の上方に設けられた遮蔽板8と、
発光ダイオード7の下方に設けられた拡散板9を有す
る。
【0022】この光源として放射状に配置された複数の
発光ダイオード7は、図5に示すように相互に連結され
ており、図示しない制御手段によって点滅されるように
なっている。遮蔽板8は光源である発光ダイオード7か
らの光が直接ITVカメラ2に入射して、画像処理装置
のノイズとなることを防止するためのものである。従っ
て、遮蔽板8の形状は、図4に例示するように、発光ダ
イオード7の上方のみに平板状に形成されている形状ば
かりでなく、この目的に合致する各種の形状、即ち少な
くとも発光ダイオード7の上方が遮蔽されている形状で
あれば足りるものであり、例えば下方のみを開放して発
光ダイオード7を囲むように構成した反射板等のように
構成することも可能である。
【0023】拡散板9及び遮蔽板8の中心には、プリン
ト回路基板3の基準マーク10からの反射光を画像処理
装置のITVカメラ2に入射する光として通過させるた
めの透光孔8a、9aが設けられている。従って、この
透光孔8a、9aは、透光性を有することのみが必要な
ものであって必ずしも孔に限定されるものではなく、透
明なガラス又はレンズ等であってもよい。
【0024】図4に示す実施例ではエレクトロルミネッ
センスよりなる円筒状の面発光体13が導光筒6の下端
部内側に固定されている。この面発光体の内周面は光を
乱反射させる梨地状の反射面となっている。円筒状のエ
レクトロルミネッセンスには電流が供給されて発光する
ようになっており、所要の光量が得られる容量を有して
いる。
【0025】次に本発明の光源装置5の作用を説明す
る。発光ダイオード7から投光された光は、拡散板9を
通過することによって散乱光となり、導光筒6の梨地状
の反射面となっている内周面6aで乱反射し、又は直接
プリント回路基板3の基準マーク10に投光される。更
に面発光体13からは水平に近い光がマーク10を照明
し、従ってマークの表面に対して平行に近い光の成分が
増加して、ハンダの表面の傾きの角度が大きいとき或い
はピンホールが存在しているときにも、画像が暗くなっ
て二値化したときに欠損部となることが生じない。
【0026】図6の実施例では、アクリル樹脂の円筒板
からなる導光体15が発光ダイオード7より導光筒6の
下端までに至って導光筒の内面に固定されている。この
導光体の内周面は梨地状の乱反射する面となっている。
導光体15の下端部は斜め下方に傾斜して形成され、面
発光する発光部15aが形成されており、発光ダイオー
ド7の光が導光体15内を通り、発光部15aより放射
されて、マーク10を照明するようになっている。
【0027】図7の実施例では、多数の光ファイバー1
6が発光ダイオード7と導光筒6の下端との間に環状に
配設されている。各光ファイバーの上端は発光ダイオー
ド7に接近しており、途中で導光筒6の外に出、下端で
再び筒内に入り、先端部が導光筒の内方へ向くように開
放され水平方向に光を放出するようになっている。図6
及び図7の実施例における導光筒6の内周面6a及び拡
散板9は図4の実施例のそれと同様な構成になってい
る。かくて、図6及び図7の実施例も図4の実施例と同
様な効果を上げることができる。
【0028】図8は本発明の更に他の実施例と示し、エ
レクトロルミネッセンスよりなる筒状面発光体17が導
光筒6内壁全面に亘って設けられ、上端部は中央に透光
孔17bを有する環状部17aを形成している。筒状本
体17bは導光筒6に固定され、上端環状部17aは取
付板9bに固定されている。この実施例では容量の大き
いエレクトロルミネッセンスで充分な光量が得られ、光
源の発光ダイオードは不要となり、設けられていない。
このような構成でも、上記図4乃至図7の実施例と同様
な効果が得られる。
【0029】以上の説明では画像処理装置は二値化する
ものについて述べてきたが、多価化する画像処理装置に
おいても同様に適用可能であり、二値価する画像処理装
置における程顕著なものでないにしても、同様の作用効
果を有するものである。
【0030】
【発明の効果】本発明は、画像処理装置の光源装置を上
記のように構成することによって、導光筒内部の下端部
に設けた面発光体又は補助光源からの光が付加されるの
で、被検出物の表面に対して平行に近い光の成分が増加
し、ハンダの表面の傾きの角度が大きいとき或いはピン
ホールが存在しているときにも、ITVカメラに入射す
る光の光量が増大し、二値化したときに欠損部となるこ
とが防止され、ハンダの表面の傾き等によってスレッシ
ュホルドレベルを調整する必要のない反射光による画像
処理装置の光源装置を構成することができる。
【図面の簡単な説明】
【図1】従来の画像処理装置の光源装置の縦断面図。
【図2】先願における画像処理装置の光源装置の縦断面
図。
【図3】投射光と反射光との関係を示す説明図。
【図4】本発明の一実施例の縦断面図。
【図5】図4の光源部分の横断面図。
【図6】本発明の他の実施例の縦断面図。
【図7】本発明の他の実施例の縦断面図。
【図8】本発明の他の実施例の縦断面図。
【符号の説明】
1 ロボット 2 ITVカメラ 3 プリント回路基板 4 鏡筒 4a ねじ部 5 光源装置 6 導光筒 6a 内周面 7 発光ダイオード 8 遮蔽板 8a 透光孔 9 拡散板 9a 透光孔 10 基準マーク 11 光源装置 12 ハンダレベラー 13 面発光体 15 導光体 15a 発光部 16 光ファイバー 17 面発光体 17a 環状部 17b 筒状本体

Claims (7)

    【特許請求の範囲】
  1. 【請求項1】 撮像手段の下方に設けられた導光筒を有
    し、該導光筒内から投射される光の被検出物からの反射
    光によって撮像する画像処理装置の光源装置において、 前記導光筒内から投射させる光の光源として該導光筒の
    内周面に面発光体を設け、 該面発光体を少なくとも導光筒内部の下端部に設けて、
    面発光体からなる光源を撮像する被検出物に充分接近し
    て配置したことを特徴とする反射光による画像処理装置
    の光源装置。
  2. 【請求項2】 撮像手段の下方に設けられた導光筒を有
    し、該導光筒内から投射される光の被検出物からの反射
    光によって撮像する画像処理装置の光源装置において、 導光筒内部の上部に設けられた主光源と、該主光源から
    の光を散乱させる拡散板と、 導光筒内部の下端部に設けられた補助光源とよりなり、 該補助光源を撮像する被検出物に充分接近して配置した
    ことを特徴とする反射光による画像処理装置の光源装
    置。
  3. 【請求項3】 請求項1記載の画像処理装置の光源装置
    において、面発光体がエレクトロルミネッセンスである
    ことを特徴とする反射光による画像処理装置の光源装
    置。
  4. 【請求項4】 請求項1記載の画像処理装置の光源装置
    において、面発光体がアクリル樹脂からなる導光板であ
    ることを特徴とする反射光による画像処理装置の光源装
    置。
  5. 【請求項5】 請求項2記載の画像処理装置の光源装置
    において、導光筒内部の上部に設けられた主光源と、導
    光筒内部の下端部に設けられた補助光源との間は、導光
    筒の内周面を光が散乱するように梨地状の反射面に形成
    したことを特徴とする反射光による画像処理装置の光源
    装置。
  6. 【請求項6】 請求項2記載の画像処理装置の光源装置
    において、補助光源が面発光体であることを特徴とする
    反射光による画像処理装置の光源装置。
  7. 【請求項7】 請求項2記載の画像処理装置の光源装置
    において、導光筒内部の下端部に設けられた補助光源
    は、導光筒内部の上部に設けられた光源からの光が光フ
    ァイバーで導光され先端で放射された光であることを特
    徴とする反射光による画像処理装置の光源装置。
JP14605194A 1993-07-15 1994-06-28 画像処理装置の光源装置 Expired - Fee Related JP3548601B2 (ja)

Priority Applications (8)

Application Number Priority Date Filing Date Title
JP14605194A JP3548601B2 (ja) 1994-06-28 1994-06-28 画像処理装置の光源装置
KR1019940016706A KR100269731B1 (ko) 1993-07-15 1994-07-12 영상 프로세서용 광원장치
TW086218432U TW364717U (en) 1993-07-15 1994-07-13 Light source device for an image processor
SG1996004623A SG47836A1 (en) 1993-07-15 1994-07-14 Light source device for an image processor
EP94111009A EP0634892B1 (en) 1993-07-15 1994-07-14 Light source device for an image processor
DE69409299T DE69409299T2 (de) 1993-07-15 1994-07-14 Lichtquelle-Vorrichtung für Bildverarbeitungsgerät
US08/275,539 US5457492A (en) 1993-07-15 1994-07-15 Light source device for an image processor
HK98109294A HK1008460A1 (en) 1993-07-15 1998-07-20 Light source device for an image processor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP14605194A JP3548601B2 (ja) 1994-06-28 1994-06-28 画像処理装置の光源装置

Publications (2)

Publication Number Publication Date
JPH0814827A true JPH0814827A (ja) 1996-01-19
JP3548601B2 JP3548601B2 (ja) 2004-07-28

Family

ID=15398989

Family Applications (1)

Application Number Title Priority Date Filing Date
JP14605194A Expired - Fee Related JP3548601B2 (ja) 1993-07-15 1994-06-28 画像処理装置の光源装置

Country Status (1)

Country Link
JP (1) JP3548601B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008009903A (ja) * 2006-06-30 2008-01-17 Matsushita Electric Works Ltd 画像読取装置
JP2008102103A (ja) * 2006-10-20 2008-05-01 Ccs Inc 光照射装置
KR100905103B1 (ko) * 2007-04-05 2009-06-30 신용관 전자부품 검사용 광원
JP2011076863A (ja) * 2009-09-30 2011-04-14 Edm Kk 照明装置及び画像処理装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008009903A (ja) * 2006-06-30 2008-01-17 Matsushita Electric Works Ltd 画像読取装置
JP2008102103A (ja) * 2006-10-20 2008-05-01 Ccs Inc 光照射装置
KR100905103B1 (ko) * 2007-04-05 2009-06-30 신용관 전자부품 검사용 광원
JP2011076863A (ja) * 2009-09-30 2011-04-14 Edm Kk 照明装置及び画像処理装置

Also Published As

Publication number Publication date
JP3548601B2 (ja) 2004-07-28

Similar Documents

Publication Publication Date Title
KR100345001B1 (ko) 기판 납땜 검사용 조명 및 광학 장치
EP0634892B1 (en) Light source device for an image processor
JP3299193B2 (ja) バンプ検査方法/装置、情報記憶媒体
JP4804295B2 (ja) 部品認識方法、部品認識装置、表面実装機及び部品検査装置
KR100671770B1 (ko) 패턴 검사 장치
JPH1123234A (ja) Bgaの半田ボールの高さ測定方法およびその装置
JPH0814827A (ja) 画像処理装置の光源装置
JP2000028320A (ja) 画像認識装置および画像認識方法
JP4351303B2 (ja) 電子部品の位置検出装置
KR0180803B1 (ko) 조명 장치 및 그것을 이용한 전자 부품 등의 조립 및 검사 장치
JP3247302B2 (ja) 半田付け検査装置
KR100333222B1 (ko) 연결 볼들의 존재를 검사하기 위한 방법
JPH07135400A (ja) 実装部品の検査方法
JP2775411B2 (ja) 印刷配線板検査装置用の照明装置
JPH06331564A (ja) 半田接合部の検査装置
JPH0727510A (ja) 画像処理装置の光源装置及び基準マークの検出方法
KR100479535B1 (ko) 반도체 패키지의 리드촬영장치
JPH07174539A (ja) 画像処理装置
JP4203107B2 (ja) 電子部品の認識装置
JPH08222896A (ja) 実装機の照明装置
JP3376054B2 (ja) 画像処理方法及びその装置
JP3128398B2 (ja) 部品装着装置における部品認識用照明装置
KR100232947B1 (ko) 납터치 검사 장치 및 방법
JPH029506B2 (ja)
KR19990018439A (ko) 부품 검사장치

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040406

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040419

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100423

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110423

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees