JP3806461B2 - 物品外観検査装置 - Google Patents

物品外観検査装置 Download PDF

Info

Publication number
JP3806461B2
JP3806461B2 JP07640096A JP7640096A JP3806461B2 JP 3806461 B2 JP3806461 B2 JP 3806461B2 JP 07640096 A JP07640096 A JP 07640096A JP 7640096 A JP7640096 A JP 7640096A JP 3806461 B2 JP3806461 B2 JP 3806461B2
Authority
JP
Japan
Prior art keywords
article
determination
inspection
visual inspection
appearance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP07640096A
Other languages
English (en)
Other versions
JPH09264856A (ja
Inventor
聖己 藤井
晋一 矢鍋
正俊 藤本
英二 高橋
有一郎 後藤
善郎 西元
万希志 中山
証 山口
Original Assignee
ジェネシス・テクノロジー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ジェネシス・テクノロジー株式会社 filed Critical ジェネシス・テクノロジー株式会社
Priority to JP07640096A priority Critical patent/JP3806461B2/ja
Publication of JPH09264856A publication Critical patent/JPH09264856A/ja
Application granted granted Critical
Publication of JP3806461B2 publication Critical patent/JP3806461B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

【0001】
【発明の属する技術分野】
本発明は,物品外観検査装置に係り,詳しくはテープ上に印刷加工された電子デバイス部品TCP(Tape Carrier Package,以下TCPと記す),その他の物品の外観を自動的に検査し,必要に応じて更に目視検査を行い,自動検査による判定結果を更新する物品外観検査装置に関するものである。
【0002】
【従来の技術】
これまでTCPの外観検査には,検査員が実際に目視して検査を行うための目視検査装置若しくはTCPの外観を撮像して得られた画像に所定の画像処理を施して自動的に検査を行う自動検査装置が用いられてきた。従来から多用されている目視検査装置では,例えば特開平6−124987号公報(以下第1引例文献と記す)に開示の技術が知られている。上記第1引例文献に開示の技術は,TCPの画像をCRTの中心に自動で位置決めして作業員の負担を軽減させ,高倍率で目視検査することができる装置に関するものであり,検査員の負担をできるだけ軽減するという目的において,他の目視検査装置と共通する。このような目視検査装置では,検査員がTCPの良否判定を下すのであるから,厳密な検査基準を作成する必要がなく,曖昧な表現の検査基準にも対応可能である。
一方,最近開発されている自動検査装置では,検査員の負担が最も大きい良否判定部分をも自動化し,検査員の作業量を大きく軽減している。この自動検査装置では,例えば特開平5−152405号公報(以下第2引例文献と記す)に開示の技術が知られている。上記第2の引例文献に開示の技術は,微細リードの検査を目的として,照明系やカメラ・レンズ系のハードウエアの改良により,完全自動化外観検査装置を実現している。一般的に自動検査装置では,所定の基準に従って,物品の外観の画像に画像処理を施すことによって判定を下すため,その運転方法のみを習得すればよいから検査員の教育期間が短縮されるという利点も有している。
【0003】
【発明が解決しようとする課題】
しかしながら,目視検査装置においては,人間の本質的な性質のため,うっかりミスによる不良流出の危険性を排除することができない。また検査員個人間もしくは一検査員の心身状態により検査基準の相違が発生し,検査基準が安定しない可能性がある。さらに,当然ながら検査員の作業負担は大きく,検査基準をある程度習得するにも相当の教育期間が必要となる。
また,自動検査装置において,自動検査装置が目視検査装置を代替えする手段として開発されているにもかかわらず,曖昧な判定を行うことができる人間を基準にして,自動検査の判定に「過検出」及び「見落とし」に相当する判定が下されるおそれがある。また,一度設定した検査基準を変更する場合,パラメータの調整及びテストによるしかなく,曖昧な表現の検査基準について柔軟に対応するのは難しい。本発明は上記したような従来の技術における課題を解決するために,物品外観検査装置を改良し,目視検査の利点を残しつつ,自動化により正確な検査を行い得る物品外観検査装置を提供することを目的とするものである。
【0004】
【課題を解決するための手段】
上記目的を達成するために本発明は,物品の外観を撮像手段により撮像して得られた撮像画像に検査基準に従って所定の画像処理を施し,物品の外観を自動的に検査する物品外観検査装置において,上記撮像画像における予め定められた検査範囲中の最高輝度を取得する最高輝度取得手段と,該最高輝度取得手段により取得された前記最高輝度に基づいて前記物品が良品,不良品及び良否判定不能品のいずれであるかを判定する第一判定手段と,該第一判定手段の判定結果に基づいて上記物品について目視検査を行うか否かを判定する第二判定手段と,を具備してなることを特徴とする物品外観検査装置として構成されている。
【0005】
さらには,前記第一判定手段により判定される前記良品,不良品及び良否判定不能品の各々について目視検査を行うか否かが設定された目視検査判定規則設定情報を記憶する判定規則設定情報記憶手段を具備し,前記第二判定手段が,前記第一判定手段の判定結果と前記目視検査判定規則設定情報とに基づいて前記物品について目視検査を行うか否かを判定してなる物品外観検査装置である。
さらには,上記目視検査判定規則設定情報が,上記第一判定手段による判定結果に応じて,上記物品の直接の目視検査を行うか否か,及び上記撮像画像を用いての目視検査を行うか否かの規則を含んでなる物品外観検査装置である。
さらには,上記第二判定手段による判定結果に関する情報を記憶する目視検査情報記憶手段を具備し,自動検査が複数の上記物品について一括して行われるものである物品外観検査装置である。
さらには,上記物品の外観を目視により検査するための目視検査手段を具備してなる物品外観検査装置である。
さらには,上記目視検査手段が,上記撮像手段により撮像された物品の外観の画像を表示する画像表示手段を含むものである物品外観検査装置である。
【0006】
さらには,上記画像表示手段が撮像手段に対して空間的に切り離して設置され,両手段が相互に情報のやり取りを行うための通信手段を介して接続されてなる物品外観検査装置である。
さらには,目視検査の結果に基づいて上記第一判定手段による判定結果を修正する修正手段を具備してなる物品外観検査装置である。
さらには,上記物品がテープ上に設けられた電子デバイス部品である物品外観検査装置である。
さらには,上記電子デバイス部品がテープ上に印刷されてなる物品外観検査装置である。
さらには,上記第二判定手段による判定結果に基づいて,上記テープを早送りし,目視検査の必要な物品が目視検査位置にきた時,テープを停止させる物品外観検査装置である。
【0007】
【発明の実施の形態】
以下添付図面を参照して,テープ上に印刷加工された電子デバイス部品TCPの外観検査を行う場合の実施の形態につき説明し,本発明の理解に供する。尚,以下の実施の形態は本発明を具体化した一例であって,本発明の技術的範囲を限定する性格のものではない。
ここに,図1は本発明の一実施の形態に係る物品外観検査装置A1の概略構成を示すブロック図,図2は物品外観検査装置A1における画像処理の処理手順を示すフロー図,図3は物品外観検査装置A1における判定規則を示す図表である。
【0008】
図1に示す如く,上記物品外観検査装置A1は,撮像手段及び目視検査手段の共用物としてのCCDカメラ1及び白色光源照明2,画像表示手段としてのモニター3,不良TCPデバイスをテープから除去するためのパンチャー4,パーソナルコンピュータ5,テープ送り器6から構成されており,パーソナルコンピュータ5は最高輝度取得手段,自動検査結果記憶手段,目視検査判定規則記憶手段,第1判定手段,第2判定手段,修正手段,画像記憶手段,TCPデバイスのテープ位置記憶手段としての機能を有する。即ち,従来の自動検査装置及び目視検査装置の両方と比べて,この実施の形態の新規な構成は目視検査を行うか否かの判定規則を記憶する目視検査判定規則記憶手段と,上記目視検査判定規則記憶手段に記憶された判定規則に従って,自動検査終了後のTCPデバイスについて,更に目視検査を行うTCPデバイスを選別する第2判定手段を有している点であり,これにより人間機械協調型の物品外観検査装置を実現している。
【0009】
図1において,検査員によりテープ送り器6にTCPがセットされ,パーソナルコンピュータ5から自動検査開始命令が送られると,命令を受けたテープ送り器6は,デバイス長さ間隔でステップ的に矢印Aの方向にテープ送りを行う。この時CCDカメラ1はテープ送り器6に同期されており,各TCPデバイスの画像を撮像し,パーソナルコンピュータ5に画像情報を送出する。パーソナルコンピュータ5において上記画像情報に,図2に示す画像処理が施される。
【0010】
図2において,S51,S52,S53,S54,S55,S56,S57は手順(ステップ)の番号を示し,画像が入力されると(S51),予め設定された検査範囲に対して(S52),微分処理を施し(S53),検査範囲中の最高輝度値が取得される(S54)。その最高輝度値が所定の第1のしきい値よりも小さければ,検査対象となったTCPは良品と判定され(S55),所定の第2のしきい値よりも大きければ,上記TCPは不良品と判定され(S56),上記最高輝度値が上記第1のしきい値よりも大きく,上記第2のしきい値よりも小さい場合には,判定不可能という結果が出力される(S57)。画像処理により得られた良,判定不可能,不良という3段階の自動検査判定結果に対して,予めパーソナルコンピュータ5に記憶されている図3に示すような判定規則に従い更に目視検査を行うか否かの選別が行われる。例えば図3における画像処理による判定の「判別不可能」について,「画像による検査員判定を行う」か「Yes」である規則が記憶されていれば,画像処理による判定の結果が「判定不可能」であるTCPデバイスについては,パーソナルコンピュータ5に画像を記憶しておき,且つその画像に対応するテープ位置を記憶する。また,例えば画像処理による判定の「判別不可能」について,「実物による検査員判定を行う」が「Yes」である規則が記憶されており,「画像による検査員判定を行う」が「No」である規則が記憶されていれば,画像処理による判定の結果が,「判定不可能」のTCPデバイスについて画像は記憶せず,テープ位置のみを記憶する。このようにパーソナルコンピュータ5に記憶された判定規則に従って,画像処理による自動検査終了後,記憶された画像がある場合には,モニター3に画像を表示し,検査員がその画像を見て目視検査を行い,その判定結果をパーソナルコンピュータ5に入力する。「実物による検査員判定を行う」対象のTCPデバイスがある場合は,画像処理による自動検査終了後,テープ送り器6により矢印Bの方向にステップ的でなく連続的且つ高速にテープを送り,CCDカメラ1直下に上記TCPデバイスが来た時にテープを停止させ,検査員が目視検査を行い,パーソナルコンピュータ5にその判定結果を入力する。最終的な判定結果を基に「不良」と判定されたTCPデバイスは,パンチャー4によりテープ上から除去される。
【0011】
【実施例】
本発明の一実施の形態に係る物品外観検査装置におけるCCDカメラ1及び光源照明2を複数台用いて検査ラインに適用させた物品外観検査装置を説明するブロック図を図4に示す。CCDカメラ1及び光源照明2を複数台用いることにより,TCPデバイス中の様々な不良に合わせて,CCDカメラ1の倍率をレンズの使用に変化させ,またTCPデバイスを裏から撮像したり,斜め方向から撮像するといった空間的な工夫や,色ガラスフィルタを用いて異なった波長の光でデバイスを照明するといった工夫が可能であり,TCPデバイス中の不良が画像的に,より鮮明に認識できる。このような物品外観検査装置も本発明の一例である。
【0012】
また,本発明の一実施の形態に係る物品外観検査装置におけるパーソナルコンピュータ5に通信手段を付加し,上記通信手段を介して複数台の物品外観検査装置をネットワークで接続し,物品外観検査装置の機能のうち画像による検査員判定を行う部分,少なくとも画像表示手段であるモニター3及びパーソナルコンピュータ5の入力装置を空間的に離れた場所に設置し,複数台の物品外観検査装置を集中的に管理できるようにした物品外観検査装置の概略構成を示すブロック図を図5に示す。この場合,画像による検査員判定が,空間的に離れた場所において行えるので,画像検査専門検査員により同時に1人でも複数台の物品外観検査装置について判定可能である。このような物品外観検査装置も本発明の一例である。
【0013】
また,図1におけるパーソナルコンピュータ5に記憶された自動検査結果,その結果に対応する画像及びテープ位置を管理できるデータベース型の外部記憶装置を付加することにより,一台の物品外観検査装置をある一定の期間は自動検査のみを行う装置として使用し,自動検査が終了したロットを一時滞留しておき,他のある一定期間は画像による検査員判定の機能を行う装置として使用して,自動検査終了したロットを一度に検査するといったことが可能となる。1台の装置を時間的に装置の機能を分離した形で運用すれば,検査員は各専門の操作のみを行えば良くなり,それだけ習熟期間も短縮される。このような物品外観検査装置も本発明の一例である。
またTCPデバイスの様々な不良に合わせて,図2の画像処理における微分処理を行わず,原画像そのものを最高輝度値及び最低輝度値を評価値として,その評価値と比較して,良・不良・判定不可能という3段階の判定を行う画像処理に変更したり,予め設定された検査範囲において所定のしきい値により2値化し,2値化によって生成された各図形に対し,図形毎に番号を割り振るというラベリング処理を行い,各図形の幅・高さを演算し,その幅・高さに対するしきい値によって,良・不良・判定不可能という判定を行う図形形状認識手法を適用した画像処理に変更した物品外観検査装置も発明の一例である。
【0014】
【発明の効果】
本発明の係る物品外観検査装置は,上記したように構成されているため,自動検査では,「過検出」及び「見落とし」に相当する誤った判定を下すおそれのある物品を選別し,必要に応じて更に目視検査を行うことができる。
その結果,検査員が全ての物品について検査を行う必要がなく,検査員の負担が軽減されると共に,曖昧な検査基準にも対応することができる。また,上記目視検査を物品の実物の外観について行うようにすれば,検査の信頼性がより向上する。また,画像表示手段を用いて目視検査を行えば,物品の実物の外観を目視せずにある程度判定を下すことが可能となるので,検査員の負担が更に軽減される。また,自動検査による結果を目視検査の結果により修正できるので,検査員の判定が最終的に装置判定に反映される。また,検査する物品がテープ上に設けられている,若しくは印刷されている電子デバイス部品であれば,テープを早送りし,目視検査の必要な物品が目視検査位置に来た時にテープを停止させることで,検査を迅速に行うことができる。また,撮像手段により得られた画像を記憶させれば,自動検査終了後,一括して上記画像による目視検査を行うことができ,時間的に柔軟な検査環境が提供される。
【0015】
また,上記画像表示手段を空間的に切り離して設置すれば,複数台の上記物品外観検査装置における画像による検査員判定が必要な物品を集中的に目視検査でき,検査員の専門化が行え,それだけ習熟期間が短縮される。また,目視検査判定規則を記憶させれば,検査状況に応じて実物による目視検査を行うか否か及び画像による目視検査を行うか否かを選別でき,様々な不良に対応できる柔軟な検査環境が提供される。
【図面の簡単な説明】
【図1】 本発明の一実施の形態に係る物品外観検査装置A1の概略構成を示すブロック図。
【図2】 物品外観検査装置A1における画像処理の処理手順を示すフロー図。
【図3】 物品外観検査装置A1における判定規則を示す図表。
【図4】 物品外観検査装置A1において撮像手段及び光源が複数ある場合の説明のためのブロック図。
【図5】 物品外観検査装置A1において複数台の装置をネットワークにより集中的に管理した場合の物品外観検査装置の概略構成を示すブロック。
【符号の説明】
1…CCDカメラ
2…白色光源
3…モニター
4…パンチャー
5…パーソナルコンピュータ
6…テープ送り器
A…テープ送り方向
B…Aと反対向きのテープ送り方向
S51…画像入力
S52…検査範囲設定
S53…微分処理
S54…最高輝度取得
S55…良品判定
S56…不良品判定
S57…判定不可能判定

Claims (11)

  1. 物品の外観を撮像手段により撮像して得られた撮像画像に検査基準に従って所定の画像処理を施し,物品の外観を自動的に検査する物品外観検査装置において,
    上記撮像画像における予め定められた検査範囲中の最高輝度を取得する最高輝度取得手段と,該最高輝度取得手段により取得された前記最高輝度に基づいて前記物品が良品,不良品及び良否判定不能品のいずれであるかを判定する第一判定手段と,該第一判定手段の判定結果に基づいて上記物品について目視検査を行うか否かを判定する第二判定手段と,を具備してなることを特徴とする物品外観検査装置。
  2. 上記第一判定手段により判定される上記良品,不良品及び良否判定不能品の各々について目視検査を行うか否かが設定された目視検査判定規則設定情報を記憶する判定規則設定情報記憶手段を具備し,
    上記第二判定手段が,上記第一判定手段の判定結果と上記目視検査判定規則設定情報とに基づいて上記物品について目視検査を行うか否かを判定してなる請求項1記載の物品外観検査装置。
  3. 上記目視検査判定規則設定情報が,上記第一判定手段による判定結果に応じて,上記物品の直接の目視検査を行うか否か,及び上記撮像画像を用いての目視検査を行うか否かの規則を含んでなる請求項2記載の物品外観検査装置。
  4. 上記第二判定手段による判定結果に関する情報を記憶する目視検査情報記憶手段を具備し,自動検査が複数の上記物品について一括して行われるものである請求項1〜3のいずれかに記載の物品外観検査装置。
  5. 上記物品の外観を目視により検査するための目視検査手段を具備してなる請求項1〜4のいずれかに記載の物品外観検査装置。
  6. 上記目視検査手段が,上記撮像手段により撮像された物品の外観の画像を表示する画像表示手段を含むものである請求項5記載の物品外観検査装置。
  7. 上記画像表示手段が撮像手段に対して空間的に切り離して設置され,両手段が相互に情報のやり取りを行うための通信手段を介して接続されてなる請求項6記載の物品外観検査装置。
  8. 目視検査の結果に基づいて上記第一判定手段による判定結果を修正する修正手段を具備してなる請求項1〜7のいずれかに記載の物品外観検査装置。
  9. 上記物品がテープ上に設けられた電子デバイス部品である請求項1〜8のいずれかに記載の物品外観検査装置。
  10. 上記電子デバイス部品がテープ上に印刷されてなる請求項9記載の物品外観検査装置。
  11. 上記第二判定手段による判定結果に基づいて,上記テープを早送りし,目視検査の必要な物品が目視検査位置にきた時,テープを停止させる請求項9又は10に記載の物品外観検査装置。
JP07640096A 1996-03-29 1996-03-29 物品外観検査装置 Expired - Fee Related JP3806461B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP07640096A JP3806461B2 (ja) 1996-03-29 1996-03-29 物品外観検査装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP07640096A JP3806461B2 (ja) 1996-03-29 1996-03-29 物品外観検査装置

Publications (2)

Publication Number Publication Date
JPH09264856A JPH09264856A (ja) 1997-10-07
JP3806461B2 true JP3806461B2 (ja) 2006-08-09

Family

ID=13604240

Family Applications (1)

Application Number Title Priority Date Filing Date
JP07640096A Expired - Fee Related JP3806461B2 (ja) 1996-03-29 1996-03-29 物品外観検査装置

Country Status (1)

Country Link
JP (1) JP3806461B2 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004163348A (ja) 2002-11-15 2004-06-10 Nippon Avionics Co Ltd 検査状況表示方法
JP2006308351A (ja) * 2005-04-27 2006-11-09 Jst Mfg Co Ltd 電子部品検査方法及び,これを用いる電子部品検査システム
JP4970852B2 (ja) * 2006-06-06 2012-07-11 株式会社メガトレード 目視検査装置
JP4970901B2 (ja) * 2006-10-30 2012-07-11 株式会社メガトレード 目視検査装置、および、当該目視検査装置のレビュー機を動作させるためのコンピュータープログラム
JP5274136B2 (ja) * 2008-07-24 2013-08-28 株式会社東芝 検査員の支援システム及び支援プログラム
JP5521440B2 (ja) 2009-08-28 2014-06-11 株式会社リコー 画像検査装置、画像検査方法、プログラムおよび記録媒体
JP5948797B2 (ja) * 2011-11-07 2016-07-06 オムロン株式会社 検査結果の目視確認作業の支援用のシステムおよび装置ならびに方法
JP5751630B2 (ja) * 2011-12-27 2015-07-22 Kddi株式会社 検査補助装置及び方法
US20220198785A1 (en) * 2019-03-29 2022-06-23 Musashi Ai Limited Inspection device and inspection method

Also Published As

Publication number Publication date
JPH09264856A (ja) 1997-10-07

Similar Documents

Publication Publication Date Title
US5751910A (en) Neural network solder paste inspection system
US5739846A (en) Method of inspecting component placement accuracy for each first selected circuit board to be assembled of a batch
JP2018159705A (ja) 自動光学検査システム及びその操作方法
JPH04208834A (ja) 液晶パネルの検査方法
JP2008249568A (ja) 外観検査装置
JP3806461B2 (ja) 物品外観検査装置
US7062080B2 (en) Method of inspecting curved surface and device for inspecting printed circuit board
KR20140091916A (ko) 디스플레이 패널 검사방법
JP2010014530A (ja) 基板外観検査方法および基板外観検査装置
JPH04158238A (ja) 液晶パネルの検査方法
KR101522312B1 (ko) Pcb 제품 검사 장치 및 이를 이용한 pcb 제품 검사 방법
EP1314974B1 (en) Method of inspecting curved surface and device for inspecting printed circuit board
KR101916134B1 (ko) 인쇄회로기판 상의 컨포멀 코팅 검사 장치
JP4664417B2 (ja) 表示パネル点灯検査装置、及び表示パネル点灯検査方法。
IL178321A (en) Optical test system
CN115546140A (zh) 一种显示面板检测方法、系统及电子装置
KR101523512B1 (ko) 자동 광학 검사 시스템, 장치 및 방법
CN111458344A (zh) 一种口罩缺陷视觉检测方法、设备、存储介质
EP0430095A2 (en) Inner lead bonding inspecting method and inspection apparatus therefor
JPH1073419A (ja) エンジン外付け部品の誤欠品検査装置
KR0119723B1 (ko) 집적회로의 리드 검사방법 및 그 장치
KR102321444B1 (ko) 와이어링 제품 검사 지원 장치
KR101758589B1 (ko) 자동 광학 검사 시스템, 장치 및 방법
JP2605971B2 (ja) 観測装置
KR200421155Y1 (ko) 자동차 퓨즈.릴레이박스의 비전검사시스템

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20040609

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040622

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040816

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050524

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050708

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060509

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060515

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090519

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090519

Year of fee payment: 3

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090519

Year of fee payment: 3

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090519

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090519

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100519

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100519

Year of fee payment: 4

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D02

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110519

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110519

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120519

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130519

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130519

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140519

Year of fee payment: 8

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees