JP4093460B2 - 複雑な形状をもつ物品の外観検査装置 - Google Patents

複雑な形状をもつ物品の外観検査装置 Download PDF

Info

Publication number
JP4093460B2
JP4093460B2 JP2002269106A JP2002269106A JP4093460B2 JP 4093460 B2 JP4093460 B2 JP 4093460B2 JP 2002269106 A JP2002269106 A JP 2002269106A JP 2002269106 A JP2002269106 A JP 2002269106A JP 4093460 B2 JP4093460 B2 JP 4093460B2
Authority
JP
Japan
Prior art keywords
image
article
processing unit
unit
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002269106A
Other languages
English (en)
Other versions
JP2004108833A (ja
Inventor
満保 福沢
正徳 屋敷
政俊 平井
孝則 土井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
YKK Corp
Original Assignee
YKK Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by YKK Corp filed Critical YKK Corp
Priority to JP2002269106A priority Critical patent/JP4093460B2/ja
Publication of JP2004108833A publication Critical patent/JP2004108833A/ja
Application granted granted Critical
Publication of JP4093460B2 publication Critical patent/JP4093460B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Spectrometry And Color Measurement (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、物品表面の欠陥を検出して、その良否を正確に且つ高速で判定する物品の外観検査装置とその検査方法及び前記検査装置が適用された不良品の連続的な高速選別装置に関する。
【0002】
【従来の技術】
工業製品にあって、特にその外観が重要視される製品は多い。例えば、日用品などの構成部品であって、それが外部に露呈する部分に配されるときは、仮にそれらの部品が微小なものであっても、その外観が製品の良否を左右することすらある。近年のファッションの多様化は、こうした微小な部品に対する外観的評価が製品に対する品質評価に直接つながる場合が多い。例えば、スライドファスナーの品質に対するユーザーの評価は厳しく、更に高品質の製品に対する要望が著しく高まっている。こうした要望に応えるべく、スライドファスナーの開離嵌挿具を構成する蝶棒や箱棒に対するメッキむらの検査を実施している。
【0003】
この開離嵌挿具は金属や合成樹脂材料から作られる蝶棒、箱棒及び箱体から構成される。このメッキは、通常、亜鉛材料からなる蝶棒、箱棒及び箱体の全表面に銅メッキ層を介してなされることが多い。これらのメッキは、多数の蝶棒、箱棒、箱体等の微小な部品を種別ごとにメッキ槽に浸漬して回転するバレル内に収容して行われる。このメッキの途中で部品同士が絡まり、その絡まった状態でメッキがなされて接触部分にはメッキがなされず、メッキ製品となったのちにメッキのなされていない部分が表面に露呈する。このメッキされない部分が表面に露呈すると、その部分と他の露呈部分との間に色差が生じ、色むらとなる。この色むらが一部にでも存在する場合には不良品となる。
【0004】
通常、前記色むらは検査員による目視検査に依存していた。しかるに、前述のような部品類は、微小寸法である上に複雑な形状を持っていることが多い。そのため、人手による目視検査では、次のような課題があった。
▲1▼ 大量の微小製品を長時間にわたって正確に検査することは、健康上の理由からも難しい。
▲2▼ 品質基準の個人差により、画一的な検査を行うことが困難である。
▲3▼ 人手によるため、膨大な時間とコストがかかる。
【0005】
そこで、従来も画像処理技術を利用して物品の外観検査を行うことが行われている。従来、多面体の全ての表面を撮像するには、その表面の数と同じ撮像機によって撮像し、その画像データを画像処理回路にて処理している。そのため、装置全体が大型化するだけでなく、撮像表面が増加すればするほど撮像機の数も増え、その操作制御が煩雑化し、同時に画像処理回路も複雑となり処理速度が大幅に遅くなる。
【0006】
こうした不具合を解消すべく、例えば特開平11−230728号公報や登録実用新案第2504636号公報では、撮像しようとする物品の多面に対応させて複数のミラーを設置し、物品の一部実像と複数の鏡像とを単一のカメラで同時に撮像する外観検査方法が提案されている。
【0007】
【発明が解決しようとする課題】
一般に、この種の撮像により外観検査を行うには、物品の撮像しようとする表面に対して照明を一律に照射する必要がある。例えば、上述のような被検査物品表面のメッキむらや色むらを検査する場合には、照明が均一でないと、その照明むらによって撮像画像にもむらが生じ、たとえメッキむらや色むらがないような良品に対して不良品であるとする検査結果が生じる。
【0008】
この点は、特に上述のごとくミラーを使用して多像を単一の撮像機をもって同時に撮像する場合には、先ず念頭においておく必要がある。しかるに、上記実用新案登録第2504636号公報では、物品の周辺を均等に取り囲むようにして多数の小型ランプを配設して、物品の撮像対象面を均一に照明するように一応は心掛けているのに対し、一方の特開平11−230728号公報では、この照明については単に蛍光灯照明や光ファイバーガイドを使って照明する点が記載されてはいるものの、それらの配設等に関しては僅かに図面に概略的に記載しているのみであって、このままでは実用化は到底難しい。
【0009】
前述のごとく、特にミラーを使う場合には、ミラーと撮像機との干渉を避けると共に、ミラーの反射光像を撮影するためミラーの反射光路との干渉をも避けて、照明を物品の撮影面に向けなければならない。その結果、照明は物品の撮影面に対して斜め方向から照明しなければならなくなる。しかるに、斜め方向からの照明では検査面の明るさを均一にすることは極めて難しい。さらに、ミラーを使用して1台の撮像機をもって複数面を同時に撮影して検査することから、それぞれの面同士の明るさを均一にして、検査の基準を一定にしなくてはならないが、斜め方向からの照明のため、それぞれの面を均一に照明するための調整が難しく、照明むらがそのままメッキむら又は色むらとなり、或いは照明の方向に影響される凹凸面をメッキむらや色むらとして扱ってしまい、均一照明下でのメッキむらや色むらを正確に検査することができなかった。
【0010】
本発明は、こうした課題を解決するためになされたものであり、その目的は多面体からなる物品の複数の面を単一の撮像機をもって同時に撮像し、正確に且つ高速に検査が可能な外面検査装置及びその検査方法と、前記検査装置が適用された不良品の連続選別装置を提供することにある。
【0011】
【課題を解決するための手段と作用効果】
かかる目的は、本発明の基本的な構成である、複雑な形状をもつ物品の外観の表面むらを検出する装置であって、検査領域に対面して配された1台のCCDカメラと、検査領域の近傍に傾斜して配され、同検査領域に置かれた物品の周側面の反射光像を前記CCDカメラに向けて反射させる1以上のハーフミラーと、前記物品の上面を照射する第1照明光源と、前記ハーフミラーの背面側に配され、同ハーフミラーを透過して前記物品の周側面を照射する1以上の第2照明光源とを備え、前記CCDカメラに接続された画像処理部と、同画像処理部と連繋するとともに、前記CCDカメラ及び上記第1及び第2照明光源に接続された制御部とを備え、前記画像処理部は、前記CCDカメラの撮像を濃淡処理する濃淡処理部と、同濃淡処理部で得られた濃淡処理画像を2値化して白黒画像を得る2値化処理部とを有し、前記制御部は、物品の撮像画面を多領域に分割し、各分割領域における2値化処理部にて処理された白黒画像の少なくとも各面積を算出するとともに2値化処理部にて処理された白黒画像の少なくとも一方の総面積を算出する算出部と、各分割領域ごとの算出結果と各領域ごとに予め設定された基準値α 1 〜α n とを比較するとともに前記総面積の演算結果と予め設定された画像全体に対する基準面積比とを比較する比較演算部と、その演算結果に基づき、少なくとも一方の分割領域又は全体において不良品と判断されたとき不良品であると判断する判断部とを有してなることを特徴とする複雑な形状をもつ物品の外観検査装置により達成される。
【0012】
ハーフミラーは、同ミラーの背面から照射した光は同ミラーを透過して照射するとともに、その前面に入射する光は背面側に透過せず前面で反射する。本発明はハーフミラーのこの性質を利用するものであり、検査領域を挟んで傾斜して配されたハーフミラーの背面側から照明光源により所定の光度をもつ光を照射すると、同照明光はハーフミラーを透過して、検査領域にある被検査物品の周側面の一表面に垂直に照射する。このとき、前記照明光源からの照射を面照射とすることが好ましい。面照射により、前記物品の照射面に対して均等な光量の照射がなされる。同物品で反射する光はハーフミラーの前面(鏡面)で反射し、その反射光像をCCDカメラにて撮像する。一方、被検査物品の上方にも第1照明光源が配されており、第2照明光源による照射と同時に、第1照明光源により被検査物品の上面を直接照射し、その反射光像を前記CCDカメラをもって同時に撮像する。
【0013】
このように、被検査物品の複数の外面を単一のカメラで同時に撮像して検査するとき、周側面に対向させてハーフミラーを配設するとともに、物品の周側面と対向するハーフミラーの鏡面とは反対側の背面側に第2照明光源を設置して、同照明光源からの照明光を物品の撮像しようとする周面に向けて照射すると、その照明光はハーフミラーをほぼ屈曲することなく透過する。その結果、従来のごとく、物品の照射面に対して斜めに照射されず、照射面に対して垂直に光が同照射面を照射するようになり、その照射面を均一に照明でき、照明によるむらが発生しないため、メッキむらや色むらを正確に検査することができる。さらに、第1及び第2照明光源により上面と各周側面とをそれぞれ個別に照明するため、各面は他の照明光による影響をほとんど受けず、被検査物品の各面に対する照明量も個別に調整することができ、しかもその調整が容易となる。
【0014】
本発明の外観検査装置は、上記構成に加えて、更に前記CCDカメラと、同CCDカメラに接続された画像処理部と、同画像処理部と連繋するとともに、前記CCDカメラ、上記第1及び第2照明光源に接続された制御部とを備えている。前記画像処理部は、前記CCDカメラの撮像を濃淡処理する濃淡処理部と、同濃淡処理部で得られた濃淡処理画像を2値化して白黒画像を得る2値化処理部とを有している。前記制御部は、物品の撮像画面を多領域に分割し、各分割領域における2値化処理部にて処理された白黒画像の少なくとも各面積を算出するとともに2値化処理部にて処理された白黒画像の少なくとも一方の総面積を算出する算出部と、各分割領域ごとの算出結果と各領域ごとに予め設定された基準値α 1 〜α n とを比較するとともに前記総面積の演算結果と予め設定された画像全体に対する基準面積比とを比較する比較演算部と、その演算結果に基づき、少なくとも一方の分割領域又は全体において不良品と判断されたとき不良品であると判断する判断部とを有している。
【0015】
前記算出部は、各分割領域における2値化処理部にて処理された白黒画像の不良品とされるいずれかの領域の総数を算出するようにすることもできる。その場合、算出部で算出された総数と予め設定された基準総数とを比較演算部で比較し、判断部にてその演算結果により良品か不良品かを判断する。更には、前記物品の撮像画面を多領域に分割せずに、2値化処理部にて処理された白黒画像の少なくとも一方の総面積を算出する算出部と、その算出結果と予め設定された基準値とを比較する比較演算部と、その演算結果により良品か不良品かを判断する判断部とを有するようにすることもできる。
【0016】
ここで重要な点は、既述したようにハーフミラーを使用することに加えて、上述の画像処理部と制御部とを有している点にある。
画像処理部では、CCDカメラに接続された画像処理部にて濃淡処理したのち、同濃淡処理された濃淡処理画像を2値化して白黒画像を得る。メッキ又は色彩を施した物品表面の撮像を、予め濃淡処理しておくと、物品表面の色差分布が顕著化される。2値化処理は、濃淡処理画像のある濃度を基準(閾値)として、この閾値よりも高い濃度領域を、例えば「白」領域に変換し、閾値よりも低い濃度領域を「黒」領域に変換し、白と黒との2画像に振り分ける。これにより、物品表面における閾値以上の領域と閾値以下の領域を容易に判別することができる。
【0017】
本発明にあっては、CCDカメラで撮像されて画像処理部にて濃淡処理されたのちに2値化された画像は、画像処理部に連繋された制御部において、最終的な良否判断がなされる。その判断手順には主に3種類があり、そのうちの二つは撮像された画像を予め幾つかの領域に分割しておき、各分割領域ごとに2値化処理部にて処理された2値化画像の各分割領域における不良部分の数又は面積を算出し、その算出結果と各分割領域ごとに予め設定された基準値とを比較演算部にて比較して、その演算結果により良品か不良品かを判断し、少なくとも一つの分割領域において不良品であると判断されると物品を不良品であると決定する。
【0018】
多面形態をもつ物品の各表面は平坦面からなるとは限らず、一部表面がメッキむらや色むらとは無関係な凹凸面であることも多い。この場合、その凹凸面が撮像画面に影響を与え、2値化後にむら領域に組み込まれてしまう可能性がある。また、物品の上面から周側面への移行領域では第1照明光源と第2照明光源との照明光が交差する部分が存在する。そのため、この移行領域においても前記凹凸面と同様に検査結果に影響を与えかねない。しかして、上述のごとく撮像された画像を予め幾つかの領域に分割しておくと、各分割領域における2値化処理にあたり、その閾値をそれぞれの分割領域ごとに設定することができ、各分割領域ごとに人手による場合と同様な高精度な良否の判定が可能になる。そして、この判定時に不良領域が一つでもあれば、その物品は不良品であると判定する。
【0019】
また、上記判定手順のうち残る一つは、前記物品の撮像画面を多領域に分割せず、2値化処理部にて処理された白黒画像の少なくとも一方の総面積を算出して、その算出結果と予め設定された基準値とを比較し、良品か不良品かを決定するものである。この判定手順は、物品形状が単純で平坦部分が多い場合に適用でき、手順が簡単なため装置のコスト減につながる。
【0020】
更に、本発明にあっては、上記CCDカメラによる撮像がカラー撮像であり、前記濃淡処理部が色差濃淡処理部であることがより好ましい。この場合も、検査領域に対面して配された1台のCCDカメラにより、前記物品の撮像は、上面を第1照明光源により照射し、前記物品の周側面を1以上のハーフミラーの背面側に配された1以上の第2照明光源により同ハーフミラーを透過して照射することにより、前記物品の上面を直接撮影すると共に前記ハーフミラーによる同物品の周側面の反射像をカラー撮影する。
【0021】
この撮像されたカラー画像は、上記画像処理部において色差濃淡処理がなされ、同濃淡処理がなされた色差濃淡処理画像を2値化して白黒画像を得たのち、前記画像処理部に連繋された制御部にて、物品の撮像画面を多領域に分割し、2値化処理部にて処理された2値化画像の各分割領域における不良部分の数又は面積を算出し、その算出結果と各分割領域ごとに予め設定された基準値(閾値)とを比較演算部にて比較して、その演算結果により少なくとも一つの分割領域において不良品であると判断されると同物品を不良品であると決定する。
【0022】
通常の白黒の濃淡画像は単に光強度しかもっていない。しかし、カラー画像は光強度に加えて波長の情報をもっている。すなわち、通常の濃淡画像は物品の輝度情報だけしかもっていないのに対して、カラー画像は色に関する情報をもっているため、色の識別が可能となり、例えば色メッキや色彩などの色むらに対しても、その色差値を計算することにより色差を明確にした画像を得ることができる。ここで色差濃淡処理とは、カラー画像を色差値(L* * * 色空間上の2色間の直線距離)に応じた濃淡画像に変換することをいう。この色差値ΔEは次の色で表される。
ΔE={(ΔL* 2 +(Δa* 2 +(Δb* 2 1/2
ここで、ΔL* 、Δa* 、Δb* は2物体間の各成分の差分である。
この色差式の他にも、例えばL* * * 表色系による以下の式差式などを使うこともできる。
ΔE={(ΔL* 2 +(Δu* 2 +(Δv* 2 1/2
ただし、ΔL* 、Δu* 、Δv* は2物体間の各成分の差分である。
色差濃淡画像への変換はCCDカメラにカラー画像の取り込む時間とほぼ同時になされる。こうして、色差濃淡処理がなされた色差画像データは、上述のように2値化処理され、制御部において物品の外観の良否が判断される。
【0023】
本発明の上記外観検査装置は不良品を連続的に検出して自動的に排除する選別装置に好適に適用できる。この不良品の連続選別装置は、物品供給部と、前記物品供給部から送り出される物品を搬送路に沿って搬送する搬送手段と、上記外観検査装置の上流側に配され、前記搬送手段上を搬送される物品を検出する物品検出手段と、同物品検出手段の検出信号に基づき、検出された物品が通過する時点で同物品の上面及び少なくともその周側面の一部を撮像する上記CCDカメラを作動する作動手段と、前記CCDカメラの下流側に配され、同作動手段の作動により撮像された画像を上記画像処理部にて上記画像処理するとともに、上記制御部にて不良品と判断された物品を同制御部からの判断信号に基づき搬送路外に機械的に排出する排出手段とを備えている。
【0024】
検査対象となる物品を搬送する搬送手段により搬送路に沿って搬送する。その搬送の途中にて物品検出手段が物品を検出して、その信号を制御部に送る。制御部では前記物品検出信号を受けてCCDカメラを作動して撮影を行い、画像処理部にて上述のような画像処理を行ったのち、制御部にて予め分割された画像領域に対応して設定された基準色と比較し、基準色と異なる色の数又はその占める面積によって、良品と不良品の選別を行い、排出手段を作動させて不良品を搬送路から自動的に排除する。
【0025】
【発明の実施形態】
以下、本発明の代表的な実施形態を図面に基づいて具体的に説明する。
なお、以下に説明する実施形態はスライドファスナーの端部に装着されるスライダー止具である開離嵌挿具の蝶棒を被検査物品としている。勿論、これは単なる典型例であって、その被検査物品の種類は特定されない。また、以下の実施形態では撮像機としてCCDカラーカメラを用いているが、物品の外観検査が色彩を無視できるような場合には、通常のCCDカメラを使うこともできる。そのときは、画像処理部では後述する色差濃淡処理に代わって、単なる濃淡処理を行えばよい。
【0026】
上記開離嵌挿具はスライドファスナーの構成部材である一対のファスナーテープのうち、一方のファスナーテープのエレメント列端部に固着された蝶棒と、他方のファスナーテープのエレメント列端部に固着され、前記蝶棒が挿脱可能な箱体に一体とされた箱棒とから構成されている。前記蝶棒は多様な種類と形状を有しているが、図1にはその一例が示されている。本実施形態による蝶棒1は、同図に示すように、平面視では矩形状を呈するとともに、側面視ではナイフ形状に類似する外形を有し、その長手方向の一端左右から平行に突出する(図示せぬ)突出部を有するほぼ矩形断面を有する金属片から構成されている。
【0027】
前記蝶棒には、その表面に金色、銀色、白色、黒色などの色付きメッキが施される。通常、蝶棒1の母材として亜鉛合金が使われており、その表面に銅メッキがなされたのち、更に、例えば金色メッキであれば真鍮を、銀色メッキであればニッケル合金などのメッキがなされる。蝶棒1は微小寸法であるため、1個ずつメッキせずに、多数個を同時にメッキする。このメッキは、例えば多数の蝶棒1を図示せぬメッキ槽の内部で駆動回転するバレル内に収納し、陰極につながるバレルを回転させながら母材表面にメッキ金属を析出させて電気メッキがなされる。
【0028】
設計時には蝶棒1の母材形状は互いに絡まらないように設計されるため、銅メッキの時には2個以上が絡まったり、当接状態を維持することはないが、最終のメッキ段階では銅メッキのメッキ厚さが一律になるとは限らずで、2個以上の蝶棒同士が互いに絡まって離れずにメッキが続けられることがある。このとき、蝶棒同士が絡まって接触している部分にはメッキが施されないため、最終製品に局部的に最終色のメッキがなされず、局部的に銅メッキが露呈して、周辺部分と異なった色となる。また、2個の蝶棒1が接触し合っていて、その隙間からメッキ液が浸入しにくいところでは、所望の厚みのメッキができず、他の完全にメッキがなされた部分との間に色に差が生じる。これらがメッキむらや色むらの原因となる。メッキむらや色むらのある蝶棒1は不良品として良品から選別されて排除される。
【0029】
この選別にあたり、本発明の外観検査装置が使われる。図2は同検査装置の機構を概略的に示している。同図において、符号11はCCDカメラであり、本実施形態ではCCDカラーカメラが使われている。このCCDカラーカメラ11の下方には第1照明装置12が配設されている。前記蝶棒1はこの第1照明装置12の直下に配される。第1照明装置12には、図示は省略しているが、蝶棒1の上面に対して垂直に直接照射するため、CCDカラーカメラ11と蝶棒1との間にハーフミラーを45°の傾斜角度をもって介装し、同ハーフミラーの鏡面側に照明源を配した同軸落射照明装置12aと、その下方に配され、蝶棒1の上面になるべく影を作らないような内面が反射面とされた半球状の殻体からなるドーム型照明装置12bとを採用している。
【0030】
前記ドーム型照明装置12bは、その開口部の内周面に図示せぬ多数の光源ランプが半球状殻体の内壁面に向けて取り付けられ、その反射光が被検査物品である蝶棒1の上面を均等に照射するように設計されている。蝶棒1の上面を全方向から均一に照射する照明光は、同上面で反射して、その反射光像が上記CCDカラーカメラ11に直接入射されてCCD素子を介して撮像される。
【0031】
更に、前記蝶棒1の左右側面に対峙する部位には、それぞれ本発明の特徴部を構成するハーフミラー13が斜めに起立して設置されている。本実施形態にあっては、このときのハーフミラー13の蝶棒設置面に対する傾斜角度ωを30°に設定されている。前記ハーフミラー11の蝶棒1の側面側とは反対側である背面側には、ハーフミラー13の背面と対峙させて第2照明装置14が設置されている。この第2照明装置14は、例えば多数のLEDからの発光を拡散して平行光線に揃えて、全て同一光度で左右側面に対して垂直に照射する面照明を構成する。これらの照明には、リング照明、蛍光灯なども採用でき、或いはその他の照明装置を使うこともできる。
【0032】
上記第1照明装置12の同軸落射照明装置12aに使われた図示せぬハーフミラーも同様であるが、前記ハーフミラー13は、前記第2照明装置14から対峙する蝶棒1の側面に対して垂直な照明光を照射すると、同照明光はハーフミラー13をほぼ真っ直ぐに透過して蝶棒1の側面を照射する。こうしてハーフミラー13を透過して蝶棒1の側面を照射した照明光は蝶棒1の側面で反射して、その反射光像が更にハーフミラー13の蝶棒側面と対峙する鏡面にて反射し、これが直上に配されたCCDカラーカメラ11に入射されて、同カメラ11のCCD素子を介してその反射像が撮像される。
【0033】
このように、本実施形態にあっては一台のCCDカラーカメラ11をもって、被検査物品である蝶棒1の上面とその周側面のうちの2面を、均一で理想的な照明下で、図3に示すように同一画面上に同時に撮像することができる。しかして、本発明は図示実施形態に限定されるものではなく、例えば被検査物品の全表面を検査したい場合には、同物品を挟んで上下に2組の上記照明装置及びCCDカメラを、前記物品の中心軸線に対して90°の位相差をもって配置することにより被検査物品の全表面を検査することも可能である。
【0034】
上記CCDカラーカメラ11は制御装置15に接続されている。同制御装置15は画像処理部16と制御部17とを備えており、前記画像処理部16はCCDカラーカメラ11に直接接続され、CCDカラーカメラ11で撮影した撮像画像データが画像処理部16に送られて、同画像処理部16で画像処理がなされる。前記制御部17は同画像処理部16と連繋されるとともに、CCDカラーカメラ11や上記第1及び第2照明装置12,14に接続され、画像処理部16の処理結果に基づいて物品の良否を判断するとともに、CCDカラーカメラ11の焦点を自動調整し、或いは第1及び第2照明装置12,14の各照明度(光量)を自動的に調整する。
【0035】
ここで重要な点は、既述したようにハーフミラー13を使用することに加えて、上述の制御装置15が画像処理部16と制御部17とを有している点にある。前記画像処理部16には、前記CCDカラーカメラ11で撮像されたカラー画像を色差に応じて濃淡処理する色差濃淡処理部16aと、同濃淡処理部16aで得られた色差濃淡処理画像を2値化して白黒画像に変換する2値化処理部16bとを有している。
【0036】
ところで、通常の濃淡画像は物品の輝度情報だけしかもっていないのに対して、カラー画像は色に関する情報をもっているため、色の識別が可能となり、例えば色メッキや色彩などの色むらに対しても、その色差値を計算することにより色差を加味した濃淡の明確な画像を得ることができる。ここで色差濃淡処理とは、カラー画像を色空間上の色差値(例えば、L* * * 色空間上の2色間の直線距離)に応じた濃淡画像に変換することをいう。この色差値は、従来から提案されている多様な色差式を使って算出される。色差濃淡画像への変換はCCDカメラにカラー画像の取り込む時間とほぼ同時になされる。こうして、色差濃淡処理がなされた色差画像データは、画像処理部16において、同濃淡処理部16aで得られた色差濃淡画像を2値化処理され、物品の外観の良否が判断される。
【0037】
本実施形態にあっては、CCDカラーカメラ11に接続された上記画像処理部15における色差濃淡処理部16aにて、図3に示すようなCCDカラーカメラ11による撮像を、図4Bに示すように色差をも加味した濃淡処理を行ったのち、同濃淡処理された色差濃淡画像を2値化処理部16bにおいて2値化して、同図Cに示すごとく白黒画像に変換される。メッキ又は色彩を施した物品表面の撮像を色差濃淡処理すると、物品表面の濃淡分布が顕著化される。2値化処理は、図5に示すように、濃淡処理画像のある濃度を基準値(閾値)αとして、この閾値αよりも低い濃度領域を、例えば「白色」画像に変換し、閾値αよりも高い濃度領域を「黒」画像に変換して、白と黒との2画像に振り分ける。これにより、物品表面における閾値α以上の領域と閾値α以下の領域とを容易に判別することができる。
【0038】
一方、本実施形態にあっては、前記制御部17の図示せぬ記憶部において、予め蝶棒1の撮像画面を多領域に分割する分割データが記憶されており、2値化処理部16bにて処理された2値化画像データに基づき、各分割領域ごとに処理された「白色」画像の面積を算出部17aにて算出している。この算出部17aにより算出された、各分割領域ごとの算出結果と各領域ごとに予め設定された基準値とを比較演算部17bにて比較する。更に判断部17cにて、比較演算部17bによる演算結果に基づき良品か不良品かを判断し、少なくとも一つの分割領域において不良品であると判断された蝶棒1を不良品であると決定する。
【0039】
前記算出部17aにおいて、2値化処理部16bにて処理された各分割領域ごとの白黒画像のうち不良品とされる画像の総数を算出するようにしてもよい。その場合、制御部17には不良品とされるときの上限総数が基準値(閾値)βとして記憶されており、算出部17aで算出された実総数と予め設定された基準値(閾値)βとを比較演算部17bで比較し、判断部17cにてその演算結果に基づいて良品か不良品かを判断する。更に本発明にあっては、前記物品の撮像画面を多領域に分割することなく、2値化処理部16bにて処理された「白色」画像の総面積を算出部17aにて算出し、比較演算部17bにてその算出結果と予め設定された基準値(閾値)γとを比較演算し、その演算結果に基づき判断部17cにて良品か不良品かを選別することもできる。
【0040】
上述のごとく、CCDカメラ11で撮像されて画像処理部16にて色差濃淡処理されたのちに2値化された白黒画像は、画像処理部16に連繋された制御部17において、最終的な良否の判断がなされる。その判断手順には、上述のごとく主に3種類があり、そのうちの二つは撮像された画像を予め幾つかの領域に分割しておき、各分割領域ごとに2値化処理部16bにて処理された2値化画像の各分割領域における不良部分の数又は面積を算出部17aにて算出し、その算出結果と各分割領域ごとに予め設定された基準値(閾値)γ 1 〜γ n とを比較演算部17bにて比較して、その演算結果により判断部17cにて良品か不良品かを判断し、少なくとも一つの分割領域において不良品であると判断されると物品を不良品であると判定する。
【0041】
ところで、多面形態をもつ物品の各表面は平坦面からなるとは限らず、一部表面がメッキむらや色むらとは無関係な凹凸面であることや曲面をなすことも多い。この場合、その凹凸面や曲面が撮像画面に影響を与え、2値化後にむら領域に組み込まれてしまう可能性がある。また、物品の上面から周側面への移行領域では第1照明装置12と第2照明装置14との照明光が交差する部分が存在する。本実施形態では、上述のごとく照明面に影を作らないように第1照明装置12にドーム型照明を採用しているため、前記交差部分における影響は少なくなるとは言え、未だに検査結果に対して影響を与えかねない。
【0042】
しかして、図4に示すようにCCDカラーカメラ11にて撮像された画像を複数の分割領域R1〜Rnに分割して、その各分割領域R1〜Rnごとに異なる閾値γ 1 〜γ n を設定しておけば、各分割領域R1〜Rnごとの2値化処理が均等化され、各分割領域R1〜Rnに特有の、例えば曲面や凹凸面による画像上の影響が排除でき、各分割領域R1〜Rnごとに人手による場合と同様の高精度な良否の判定が可能となる。
【0043】
ところで、このようにCCDカラーカメラ11にて撮像された画像を複数の分割領域R1〜Rnに分割することは、隣接する分割領域R1─R2〜R(n−1) ─Rnに跨がってメッキむらや色むらが存在する場合に、その良否の判断に影響を与えることがある。すなわち、メッキむらや色むらが隣接領域間で分割されたとき、各分割領域R1〜Rnごとのメッキむらや色むらの総面積や総個数が閾値よりは小さくなるが、隣接する分割領域R1─R2〜R(n−1) ─Rnをも含めた総面積や総個数では、物品全体で比較する場合に閾値を越えてしまうことがあり得る。また、この場合とは逆の関係になることもあり得る。
【0044】
こうした場合をも保障しようとするには、上記判定手順のうち残る一つの上記手段を併用することが有効である。すなわち、この残る手順は前記物品の撮像画面を多領域に分割することなく、2値化処理部16bにて画像変換された「白色」画像の総面積や白黒画像のうちの不良品画像の総個数を算出して、その算出結果と予め設定された閾値とを比較し、良品か不良品かを決定するものである。従って、多数の分割領域R1〜Rnに区分する上記二つの判定手順のうちの一つと、前記画像領域を分割しない判定手順とを組み合わせて物品の外観検査を行えば、分割領域R1〜Rnごとの不良物品の判定と、画像の全領域によるトータルとしての不良物品の判定との二通りの判定を同時に行うことになり、上述の問題は解消され信頼性の高い判定結果が得られることになる。一方、被検査物品の全ての表面が平面から構成されている場合には、分割領域を設定しない前記判定手順を単独に採用することができ、この手順の簡便性と相まって信頼性も得られるため, 装置のコストの低減と検査の高速性が得られる。
【0045】
次に、上記実施形態による物品の外観検査装置を使った不良物品の連続選別装置について、同じく図面を参照しながら具体的に説明する。
図6は、その連続選別装置の概要を模式的に示している。この連続選別装置20は、パーツ21を単個ずつ一定方向に供給するパーツフィーダ22と、駆動源23により一定速度で連続駆動され、同パーツフィーダ22から受け取ったパーツ21を一方向に搬送する搬送ベルト24と、同搬送ベルト24の途中に配される上記実施形態による物品外観検査装置と実質的に同一の構成を備えた物品外観検査装置10と、その物品外観検査装置10の上流側に配され、前記パーツ21の通過を検出し、上記制御装置15にその検出信号を送る、例えば光電式検出器のごときパーツ検出装置25と、前記物品外観検査装置10の下流側に配され、前記制御装置15からの指令を受けて不良品を搬送ベルト24から排除する不良品排出手段26とを備えている。本実施形態における同不良排出手段26は、電動機26aの出力軸に所定の位相差をもって複数の翼板26bが固着されて構成され、電動機26aの駆動により翼板26bを所定の回転角回転させることにより、搬送ベルト24上の不良物品21aをベルト外に排出する。
【0046】
本実施形態における検査物品21はスライドファスナーの開離嵌挿具の構成部品の一つである蝶棒であり、その表面には色付きの金属メッキがなされている。従って、本実施形態による外観検査装置20は、蝶棒21のメッキむらを連続して検査するものである。
【0047】
予め、蝶棒21の上面及び左右側面に対する照明の明るさが一致するように、制御装置15を操作して第1及び第2照明装置12,14の明るさを調整する。また、この調整操作と同時に、色むらの判断の基準となる基準色を制御装置15の制御部17に記憶する。制御装置15において、各面の照明による明るさに違いがあると判断された場合、制御装置15から第1及び第2の照明装置12,14に調整信号が発信され、調整を行う。このときの照明の明るさの調整は、第1及び第2照明装置12,14の各照射光が、既述したとおり、上面及び左右側面を垂直に照射するため、各照明装置12,14の調整が簡単にできる。
【0048】
この調整時に、メッキむらのない良品の蝶棒21を外観検査装置10の検査領域に置いておき、前記照明の調整と同時に外観検査装置10のCCDカラーカメラ11により前記蝶棒21を撮影する。その撮像データが制御装置15の画像処理部16に送られ、色差濃淡処理部16aを経て2値化処理部16bにて2値化画像に変換される。制御部17には蝶棒21の全画像が多数に分割されており、画像処理部16から送られてくる2値化画像データに基づき、算出部17aにおいて各分割領域ごとに良品と不良品との「白色」画像の面積が算出されるようになっている。前記良品の撮像に基づく2値化画像データは、算出部17aにおいて前記面積比を算出し、その算出結果を基準データ(閾値)として記憶させる。
【0049】
これらの調整及び基準色の設定が終了すると、外観検査装置10の運転を開始する。このとき既に、検査対象となる多数の蝶棒21がパーツフィーダ22に投入されており、運転の開始と同時に蝶棒21はパーツフィーダ22の供給路22aを通って1個ずつ搬送ベルト24に供給される。蝶棒21がパーツフィーダ22から送り出されるとき、その上面と下面が逆になっていたり、前後が逆になっているものは、図示せぬ公知の不良姿勢品排出手段によって前記供給路22aから排除され、前記供給路22aを通るときは全てが同一方向の向きを向いている。
【0050】
蝶棒1が搬送ベルト24に移されて搬送され、カメラの撮影領域の近くまで達すると、上記通過検出手段25によってその通過を確認する。通過検出手段25は蝶棒21の通過を確認すると、その検出信号は制御装置15に送られる。制御装置15では、蝶棒21の検出信号を受けると図示せぬタイマーが作動して、所定の時間経過後にCCDカラーカメラ11に対してシャッター作動信号が発せられる。CCDカラーカメラ11は、この作動信号によりシャッターを作動し、蝶棒21の上面及び左右側面を同時に撮影する。このときも搬送ベルト24は停止せずに回動を続ける。
【0051】
このとき撮影されたCCDカラーカメラ11による撮像データは上記制御装置15の画像処理部16に送られ、同画像処理部16の色差濃淡処理部16aにて濃淡処理画像に変換されたのちに、2値化処理部16bにて更に2値化画像に変換される。その2値化変換がなされた画像データは制御部17へと送られる。制御部17に送られた2値化画像データに基づき良品と不良品との「白色」画像の面積が算出される。このとき、第1及び第2照明装置12,14は蝶棒21の各面に対して、均等に且つ垂直に光を当てているので、照明のむらが発生せず、検査の基準の色との比較も誤差なく正確に行ことができる。
【0052】
本実施形態にあっては、前記面積比の算出はCCDカラーカメラ11による撮像の分割領域ごとになされる。そして、各分割領域ごとに算出された値と、先に記憶された同じく分割された領域ごとの基準値γ 1 〜γ n とを比較演算部17bにて比較演算し、いずれかの分割領域において閾値γ 1 〜γ n を越える値が合った場合には、判断部17cによりその蝶棒21は不良品であると判断され、その旨の信号が不良品排出装置26に送られる。不良品排出装置26はその信号を受けてから所定の時間差をおいて作動し、搬送ベルト24上を搬送されてくる不良品とされた前記蝶棒21を同ベルト24から排除され、良品と判断された場合には不良品排出装置26は作動せず搬送ベルト24上を下流側に搬送される。
【0053】
本実施形態にあっては、そこで、ハーフミラーを使って、横方向に面照明を設置し、上面と左右側面に均一な光を照射できるようにした。かかる構成により、カメラ1台で3面を同時に検査し、調整の簡略化、コストの大幅削減が可能となった。
【0054】
蝶棒21に金色にメッキ処理したメッキ部分を基準色として登録した。その色差変換した濃淡画像では、図4Bに示すようにむらの部分がはっきりと認識できた。CCDカラーカメラ11にて撮像したときの画像データを、色差濃淡処理部16aとして専用のハードウェア(クラボウ製KA−200A)を使って、色差濃淡画像(256階調)に色差変換する。この色差変換画像は、基準色に近いほど白、遠いほど黒に変換されるため、むら欠陥部分の濃度が濃い画像となる。色差画像データはカメラの取り込み時間とほぼ同時に作成でき、タイムロスがなく、検査を高速に行うことが可能となった。
【0055】
色差変換画像の2値化処理により、閾値αよりも高い設定濃度範囲内の部分を黒、閾値αよりも低い設定濃度範囲内の部分を白に変換すると、2値化画像はむら欠陥部分だけを白く残った画像とする。上記選別装置20は、毎分200個の検査能力が要求されるため、製品排出のバラツキを考慮した検査処理時間は、1個あたり約120msとなる。最終的に残った白色部分の面積又は個数を算出し、それぞれの分割領域における一つの分割領域において、その算出値が設定基準の範囲内にある場合は良品、範囲外は不良品と判断する。
【図面の簡単な説明】
【図1】本発明の物品外観検査装置の撮像部の一例を示す説明図である。
【図2】本発明の物品外観検査装置の代表的な実施形態を示す概略構成図である。
【図3】同検査装置により撮像された物品の3表面の同時画像例を示す平面図である。
【図4】同検査装置による同一物品に対する撮像画面、色差濃淡処理画面及び2値化画面を示す平面図である。
【図5】画像の濃淡領域の濃淡分布を示す基準図の一例である。
【図6】上記外観検査装置が適用された本発明の不良品の連続選別装置の代表的な実施形態を概略で示す立体図である。
【符号の説明】
1,21 蝶棒(被検査物品)
10 外観検査装置
11 CCDカラーカメラ(カラー撮像機)
12 第1照明装置
13 ハーフミラー
14 第2照明装置
15 制御装置
16 画像処理部
16a 色差濃淡処理部
16b 2値化処理部
17 制御部
17a 算出部
17b 比較演算部
17c 判断部
20 物品の連続選別装置
21a 不良品
22 ハーツフィーダ
23 駆動源
24 搬送ベルト
25 物品検出手段
26 不良品排出手段
26a 電動機
26b 翼板

Claims (3)

  1. 複雑な形状をもつ物品(1) の外観の表面むらを検出する装置であって、 検査領域に対面して配された1台のCCDカメラ(11)と、検査領域の近傍に傾斜して配され、同検査領域に置かれた物品(1) の周側面の反射光像を前記CCDカメラに向けて反射させる1以上のハーフミラー(13)と、前記物品(1) の上面を照射する第1照明光源(12)と、前記ハーフミラー(13)の背面側に配され、同ハーフミラー(13)を透過して前記物品(1,21)の周側面を照射する1以上の第2照明光源(14)とを備え、
    前記CCDカメラ(11)に接続された画像処理部(16)と、同画像処理部(16)と連繋するとともに、前記CCDカメラ(11)及び上記第1及び第2照明光源(12,14) に接続された制御部(17)とを備え、
    前記画像処理部(16)は、前記CCDカメラ(11)の撮像を濃淡処理する濃淡処理部(16a) と、同濃淡処理部(16a) で得られた濃淡処理画像を2値化して白黒画像を得る2値化処理部(16b) とを有し、
    前記制御部(17)は、物品の撮像画面を多領域に分割し、各分割領域(R1 〜Rn) における2値化処理部(16b) にて処理された白黒画像の少なくとも一方の各面積を算出するとともに2値化処理部(16b) にて処理された白黒画像の少なくとも一方の総面積を算出する算出部(17a) と、各分割領域(R1 〜Rn) ごとの各面積と各領域ごとに予め設定された基準値 (γ1 〜γn ) とを比較するとともに前記総面積と予め設定された基準値 (γ)とを比較する比較演算部(17b) と、その比較演算部 (17b) の比較結果に基づき、少なくとも一方の分割領域又は全体において不良品と判断されたとき不良品であると判断する判断部(17c) とを有してなる、
    ことを特徴とする物品の外観検査装置。
  2. 前記制御部 (17) は、物品 (1) の撮像画面を多領域に分割し、各分割領域 (R1 Rn) における2値化処理部 (16b) にて処理された白黒画像の不良品とされるいずれかの領域の総数を算出する算出部 (17a) と、同算出部 (17a) にて算出された総数と予め設定された分割領域 (R1 Rn) の基準総数及び予め設定された画像全体の総数とを更に比較する比較演算部 (17b) と、その演算結果により良品か不良品かを判断する判断部 (17c) とを有してなる、
    ことを特徴とする請求項1記載の外観検査装置。
  3. 前記CCDカメラ(11)による撮像がカラー撮像であり、前記濃淡処理部(16a) が色差濃淡処理部であることを特徴とする請求項1又は2に記載の外観検査装置。
JP2002269106A 2002-09-13 2002-09-13 複雑な形状をもつ物品の外観検査装置 Expired - Fee Related JP4093460B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002269106A JP4093460B2 (ja) 2002-09-13 2002-09-13 複雑な形状をもつ物品の外観検査装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002269106A JP4093460B2 (ja) 2002-09-13 2002-09-13 複雑な形状をもつ物品の外観検査装置

Publications (2)

Publication Number Publication Date
JP2004108833A JP2004108833A (ja) 2004-04-08
JP4093460B2 true JP4093460B2 (ja) 2008-06-04

Family

ID=32267144

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002269106A Expired - Fee Related JP4093460B2 (ja) 2002-09-13 2002-09-13 複雑な形状をもつ物品の外観検査装置

Country Status (1)

Country Link
JP (1) JP4093460B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018128310A1 (ko) * 2017-01-03 2018-07-12 주식회사 엘지화학 전극 탭들의 용접 부위를 정밀하게 설정하여 용접 신뢰성을 향상할 수 있는 용접 방법

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006153580A (ja) * 2004-11-26 2006-06-15 Fuji Electric Holdings Co Ltd レリーフ表面検査方式
JP4753706B2 (ja) * 2005-12-20 2011-08-24 ミツテック株式会社 光沢平面検査装置
JP2007205974A (ja) * 2006-02-03 2007-08-16 Toppan Printing Co Ltd メッキの検査方法及びリードフレームの検査方法
JP2007309886A (ja) * 2006-05-22 2007-11-29 Olympus Corp 分析装置
JP5060808B2 (ja) * 2007-03-27 2012-10-31 オリンパス株式会社 外観検査装置
JP2010122167A (ja) * 2008-11-21 2010-06-03 Daiichi Jyushi Industrial Co Ltd 表面検査方法とこれを利用した表面欠陥探知装置
JP5534919B2 (ja) * 2010-04-22 2014-07-02 富士機械製造株式会社 電子部品の撮像判定方法及び部品実装機
KR101291111B1 (ko) * 2011-03-23 2013-08-01 한국기계전기전자시험연구원 광 측정 시스템
JP6016515B2 (ja) * 2012-08-10 2016-10-26 株式会社キーレックス プレス部品用検査装置
JP6267480B2 (ja) * 2013-10-18 2018-01-24 リコーエレメックス株式会社 撮像装置および検査装置
CN106461566B (zh) * 2014-06-24 2019-05-17 Ykk株式会社 拉链链牙的检查条件设定方法和拉链链牙检查方法
JP2016114452A (ja) * 2014-12-15 2016-06-23 株式会社NejiLaw 撮像システム
JP6907464B2 (ja) * 2016-04-25 2021-07-21 株式会社村田製作所 外観検査方法
JP6801860B2 (ja) * 2016-09-09 2020-12-16 株式会社ミューチュアル 被検査物の外観検査装置
CN106645151B (zh) * 2016-12-08 2024-03-08 苏州德创测控科技有限公司 一种螺丝的涂胶检测装置
CN107373920B (zh) * 2017-07-18 2021-01-22 浙江伟星实业发展股份有限公司 一种拉链在线检错标记装置
CN110033439B (zh) * 2019-03-19 2022-12-02 河南中烟工业有限责任公司 一种制丝过程中皮带输送机堵料的视觉检测方法
CN111650201B (zh) * 2020-07-15 2023-06-06 Oppo(重庆)智能科技有限公司 检测装置及检测方法
CN112945149B (zh) * 2021-01-26 2023-07-25 宁波诺视智能科技有限公司 一种链条铆钉铆接面积的检测装置及其检测方法
CN114324395B (zh) * 2021-12-30 2024-01-19 广州市斯睿特智能科技有限公司 一种跟随式3d涂胶视觉检测装置及检测方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018128310A1 (ko) * 2017-01-03 2018-07-12 주식회사 엘지화학 전극 탭들의 용접 부위를 정밀하게 설정하여 용접 신뢰성을 향상할 수 있는 용접 방법
US10985430B2 (en) 2017-01-03 2021-04-20 Lg Chem, Ltd. Welding method capable of improving welding reliability by precisely setting welding portions of the electrode taps

Also Published As

Publication number Publication date
JP2004108833A (ja) 2004-04-08

Similar Documents

Publication Publication Date Title
JP4093460B2 (ja) 複雑な形状をもつ物品の外観検査装置
US5963328A (en) Surface inspecting apparatus
JP4060750B2 (ja) 撮像検査システム
EP1580691A2 (en) Automatic adjustment of acquisition of inspection image
JP5670915B2 (ja) 外観検査装置
JP3640247B2 (ja) 錠剤の外観検査装置及びptp包装機
TWI698629B (zh) 塑膠殼內隱形眼鏡之檢測系統及其方法
AU2013347859A1 (en) Calibration of a dynamic digital imaging system for detecting defects in production stream
JP2015068668A (ja) 外観検査装置
DE10297337T5 (de) Automatischer Inspektionsapparat und Verfahren zur Erkennung von Anomalien in einem 3-dimensionalen transluzenten Objekt
JP5654486B2 (ja) 外観検査装置
CN208350678U (zh) 透明容器口部裂纹在线检测装置
CN115427790A (zh) 用于对反射对象成像的系统和方法
JPH11508039A (ja) 物体の表面検査
US10902575B2 (en) Automated grains inspection
JP4015436B2 (ja) 金めっき欠陥検査装置
CN116773537A (zh) 环状产品的外观检查装置
JP7224846B2 (ja) 光学硬貨識別装置、硬貨処理機及び硬貨識別方法
JPH04296978A (ja) 選果装置
JPH0979990A (ja) 半導体装置の検査装置及びその検査方法
JPH0737955A (ja) ボンディングワイヤー外観自動検査装置
JP2000236771A (ja) 不良卵検出装置
JPH10160676A (ja) 米粒検査装置
JP3021775B2 (ja) ブラシ検査方法およびその装置
JPH0829138A (ja) パターン検査装置及び方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050314

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070815

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070828

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071023

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071204

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080125

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080226

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080229

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110314

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4093460

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110314

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120314

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130314

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130314

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees