JP3846617B2 - Appearance inspection device - Google Patents

Appearance inspection device Download PDF

Info

Publication number
JP3846617B2
JP3846617B2 JP32521499A JP32521499A JP3846617B2 JP 3846617 B2 JP3846617 B2 JP 3846617B2 JP 32521499 A JP32521499 A JP 32521499A JP 32521499 A JP32521499 A JP 32521499A JP 3846617 B2 JP3846617 B2 JP 3846617B2
Authority
JP
Japan
Prior art keywords
display information
image
data
window
appearance inspection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP32521499A
Other languages
Japanese (ja)
Other versions
JP2001141426A (en
Inventor
隆司 脇田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CKD Corp
Original Assignee
CKD Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CKD Corp filed Critical CKD Corp
Priority to JP32521499A priority Critical patent/JP3846617B2/en
Publication of JP2001141426A publication Critical patent/JP2001141426A/en
Application granted granted Critical
Publication of JP3846617B2 publication Critical patent/JP3846617B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Accessory Devices And Overall Control Thereof (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、アルミ電解コンデンサ等の検査対象物の画像を取り込んで、その対象物の表面に付された文字,記号,図形といった印字等による各種表示情報を検査する外観検査装置を含む技術分野に属するものである。
【0002】
【従来の技術】
アルミ電解コンデンサは、円柱状の本体の下面から負極端子及び正極端子からなる一対の電極端子が延びている。これらの両端子は正極と負極との区別のために互いの長さが異なっている。具体的には、負極端子を短く、正極端子を長くしている。一方、前記本体の上面には、所定の表示情報がインクジェット等により印刷されている。所定の表示情報とは、例えば、極性マーク、製造メーカの社標、ロット番号、容量、電圧といった文字,記号,図形等の表示情報である。
【0003】
ここで、極性マークとは負極端子と対応する位置に付されたマークであり、かかる極性マークによって本体上面からでも正極と負極との区別ができるようになっている。極性マークは、例えば、三日月状や長方形状をなす黒色の塗りつぶし図形によって表現されている場合が一般的である。従って、極性マークの表示は極性を知る上で重要である。
【0004】
また、前記社標、ロット番号、容量、電圧等の表示情報は、本体上面のうちの、極性マークが付されていない部分に行分けして印刷されているのが普通である。かかる社標の表示は製造メーカの特定のために重要であり、ロット番号の表示は製品を特定するために重要である。また、容量の表示は必要な容量範囲を満たしているか等を確認するために重要であり、電圧の表示は使用される電圧値が所定の許容電圧値を越えていないものであるか等を確認する上で重要である。
【0005】
従って、これらの印刷された表示情報を、確実に読み取ることができるか、また読み取り易くなっているかという点がきわめて重要であり、これらの観点から表示情報を少なくとも出荷前に検査する必要がある。
【0006】
【発明が解決しようとする課題】
しかしながら、従来では、アルミ電解コンデンサに付された表示情報の良・不良の検査は、作業者の目視に委ねられていた。
【0007】
そのため、アルミ電解コンデンサの製造工程が自動化されその生産効率が向上している状況であっても、表示情報の目視検査が製造速度に追いつかず、製品出荷に至るまでの効率は低下せざるを得ない。その上、目視検査専属の作業者が必要となって生産コストが高くなる。
【0008】
また、目視検査が作業者による検査である以上、作業者個々の良・不良の判定基準が異なっていたり、同一作業者であってもその時々に判定基準が変化したり、場合によっては、本来不良と判定すべき製品を見過ごしてしまうという事態も想定される。その結果、アルミ電解コンデンサ個々にみると表示情報のばらつきが生じやすくなる。
【0009】
本発明は、上記事情に鑑みてなされたものであり、その主たる目的は、アルミ電解コンデンサ等の検査対象物に付された表示情報の検査の自動化を図り、しかも、表示情報の検査としてばらつきの少ない正確な検査とすることができるようにすることにある。
【0010】
【課題を解決するための手段及び発明の効果】
上記目的を達成し得る特徴的手段について以下に説明する。また、各手段につき、特徴的な作用及び効果を必要に応じて記載する。
【0011】
手段1.検査対象物の表面に付された複数種の表示情報の良否を判定するための外観検査装置であって、
前記表面からの反射光を受光する撮像手段と、該撮像手段によって得られた多値画像を二値画像に変換可能であり、その二値画像及び多値画像に基づいて表示情報の良否を判定する画像処理装置とを備え、
該画像処理装置は、前記複数種の表示情報を分割して各表示情報毎に良否判定処理を行うものであり、かつ、
前記画像処理装置は、二値画像に基づいて前記検査対象物の表示情報が付された領域の輪郭位置を測定し、その測定結果に基づいて二値画像に対し複数のウインドを設定し、各ウインドを利用して各表示情報の良否判定を行うものであり、
前記ウインドのうち第1のウインドを、表示情報が付された領域と表示情報が付されていない領域とに跨るように設定し、該第1のウインド内の多値画像を検査することにより、第1のウインド内の明画像と暗画像の切り替わりを判別するようにし、
前記ウインドのうち第2のウインドを、所定の複数の表示情報を包含しかつ前記検査対象物の表面から部分的に逸脱する大きさ及び位置となるように設定し、該第2のウインド内での各表示情報の検査に際しては前記表面よりも外周側の領域をマスク処理するようにし、
前記ウインドのうち第3のウインドを、前記検査対象物の表示情報が付された領域の輪郭の内外に跨るように設定し、
該第3のウインド内及び前記第1のウインド内において、それぞれの多値画像に基づいて明画像部分を抽出し、当該明画像部分の輝度の平均値を、前記検査対象物の表面よりも外周側の領域の画像データに当てはめることで、前記第2のウインド内でのマスク処理を行うようにしたことを特徴とする外観検査装置。
【0012】
かかる手段1によれば、撮像手段によって検査対象物の表面からの反射光が受光され、その撮像手段によって得られた多値画像が画像処理装置によって二値画像に変換される。画像処理装置はこの二値画像及び多値画像を用いて表示情報の良否を判定する。ここで、画像処理装置は、全ての表示情報を一括して判定処理するものではなく各表示情報毎に良否判定処理を行うため、各表示情報毎に良否を判定することができ、正確な良否判定を自動的に行うことができる。
【0013】
なお、自然光に基づく反射光を撮像手段によって受光することも可能であるが、検査対象物の表面を照明手段によって積極的に照明し、その反射光を撮像手段によって受光することが、安定した画像を取り込む上で好ましい。
また、かかる手段1によれば、二値画像を直接判定するのではなく、検査対象物の表面位置に基づいて複数のウインドを設定し、それら各ウインドを利用して良否判定が行われるので、検査対象たる表示情報の的を絞った判定ができる等の利点がある。
第1のウインドとして、表示情報が付された領域と表示情報が付されていない領域とに跨るように設定した。これにより、第1のウインド内を一方から他方へ走査する等により、第1のウインド内の明画像と暗画像の切り替わりを判別することができる。かかる判別結果を、表示情報の良否判定の一材料として用いることができる。なお、かかる手段は、アルミ電解コンデンサにおいては極性マークの良否判定の際に有効である。
また、手段1によれば、第2のウインドとして、所定の複数の表示情報を包含しかつ検査対象物の表面から部分的に逸脱する大きさ及び位置となるように設定した。これにより、第2のウインド内に含まれる各表示情報を一括して検査したり、一方から他方へ走査する等により各表示情報毎の高さ或いは幅を検査することができる。かかる検査結果を、表示情報の良否判定の一材料として用いることができる。なお、かかる手段は、アルミ電解コンデンサにおいては社標、ロット番号、容量値、電圧値等の良否判定の際に有効である。ここで、上記のように複数の表示情報を包含するように第2のウインドを設定すると、特に前記表面が円形等である場合には当該円形領域よりも外周側の領域も当該ウインドに含んでしまうが、該外周側の領域をマスク処理することにより、前記表面の外周側領域が表示情報と誤認識されることがなくなるので、第2のウインドを前記表面の大きさに拘束されずに設定することができる。
また、手段1では、第3のウインドとして、検査対象の表示情報が付された領域の輪郭の内外に跨るように設定した。また、この第3のウインドにおける輝度を利用してマスク処理を行うようにした。これにより、実際の画像の輝度を利用しながらマスク処理が実行されるので、マスク処理を確実に行って、前記表面の領域外を確実に表示情報と切り離して検査することができる。なお、第3のウインドとともに上記第1のウインドにおける輝度をも利用してそれらの輝度を平均化することで、マスク処理を一層確実なものとすることができる。
【0014】
手段2.前記画像処理装置は、更に各表示情報毎に1文字単位等の最小単位での良否の判定処理を行うことを特徴とする手段1記載の外観検査装置。かかる手段2によれば、表示情報が複数文字で構成されている等の場合に、各文字単位即ち最小単位での良否判定を行うこととなり、良否判定の精度を一層向上させることができる。
【0015】
手段3.前記画像処理装置により前記多値画像を二値画像に変換する際、二値化閾値を前記多値画像の輝度に基づいて毎回設定するようにしたことを特徴とする手段1又は手段2記載の外観検査装置。
【0016】
一般的な手法として二値化閾値を各種条件を加味して所定の一定値に設定することも可能である。しかし、照明の明るさが変化したり、印刷等の表示情報に濃淡がある場合に、二値化閾値が一定値であると正確な検査を行うことができない。これに対し、かかる手段3によれば、多値画像の輝度に基づいて二値化閾値を毎回設定することから、照明の変化や表示情報の濃淡等に影響されずに正確な良否判定を行うことができる。
【0017】
なお、具体的には、例えば、多値画像のうち最も暗い値と最も明るい値との中間位置を閾値としたり、多値画像の輝度の偏差を考慮するなど色々な手法があるが、最も明るい値と最も暗い値との中間位置とする方法が最も簡易で演算処理を素早く実行することができる点で優れている。また、この場合、最も明るい値と最も暗い値との中央位置を二値化閾値とすることが最適である。勿論、どのように二値化閾値を決定するかの設定は入力手段により適宜設定可能とすることが好ましい。
【0018】
手段.前記画像処理装置は、各表示情報に関する1文字単位等の最小単位の記憶データをそれぞれ記憶した記憶手段を備え、該記憶手段に記憶された記憶データを、それに対応する実際の二値画像の最小単位データの縦横の大きさに合わせる処理を行うことにより基準データを生成し、該基準データを利用して実際の二値画像の最小単位データと比較することにより、各最小単位の良否を判定することを特徴とする手段1乃至手段のいずれかに記載の外観検査装置。
【0019】
かかる手段によれば、記憶手段には最小単位の記憶データが記憶されており、この記憶データを実際の二値画像の最小単位データの縦横の大きさに合わせる処理を行って基準データを生成した。そして、この基準データをもとに実際の二値画像との比較判定を行うようにした。これにより、記憶手段には、縦横数ドット程度でのデータを記憶データとして保有しておくだけでよく、記憶容量が少なくて済む。しかも、その基準データはその縦横長さを実際の二値画像の最小単位データの縦横に合わせるように処理するので、縦方向又は横方向に間延びした文字等にも柔軟に対応することができる。
【0020】
手段.前記画像処理装置は、各表示情報に関する1文字単位等の最小単位の記憶データをそれぞれ記憶した記憶手段を備え、該記憶データにかかる最小単位のデータを利用して膨張及び収縮処理を行って膨張データ及び収縮データを生成し、実際の二値画像の最小単位データと膨張データ及び収縮データとをそれぞれ比較して一致度を検査するとともに、その一致度をもとに各最小単位の良否を判定することを特徴とする手段1乃至手段のいずれかに記載の外観検査装置。
【0021】
かかる手段によれば、単純に基準データと実際の二値画像の最小単位データとを比較するのではなく、基準データを膨張した膨張データ及び収縮した収縮データをもとに実際の二値画像の最小単位データと比較するようにしたので、文字等の欠損や滲み等を確実に不良と判定することができる。なお、この比較処理は膨張データと実際の最小単位データとを重ね合わせてその一致度をみたり、収縮データと実際の最小データとを重ね合わせてその一致度をみることによって行うことが好ましい。また、一致度は、必ずしも100%とする必要はなく、例えば95%等のように許容される程度に応じて入力設定できるようにすることが好ましい。
【0022】
手段.前記収縮処理は細線化処理であり、収縮データは細線データである手段9記載の外観検査装置。一般にいわれる収縮処理では、収縮データが一連の繋がりをもつとは限らず、その場合、収縮データの非連続部分と実際のデータの非連続部分とがたまたま一致すると、本来は不良判定されるべきものが良品判定されるおそれがある。しかし、かかる手段によれば、収縮処理の中でも特に細線化処理を採用することにより、細線データは連続的なデータとなり、基準データとして最適なデータを提供することができる。
【0023】
手段.前記検査対象物の表面が印刷面とされ、該印刷面に表示情報が印刷されたものであることを特徴とする手段1乃至のいずれかに記載の外観検査装置。かかる手段によれば、表示情報として印刷されたものを対象とすることで、印刷濃さがうすい場合、印刷に滲みがある場合、印刷に欠損がある場合にそれらを不良判定することが可能となる。なお、手段において説明した記憶データとして、印刷データを用いれば、必要な記憶容量を一層少なくすることができる。
【0024】
手段.前記検査対象物の表面を円形状とした手段1乃至手段のいずれかに記載の外観検査装置。かかる手段によれば、円形状の表面内に付された表示情報の良否を判定することができる。この場合、上記第2のウインドのように、所定の複数の表示情報を包含する長方形状のウインドを設定した場合には表面の円形領域外に第2のウインドがさしかかりやすくなるが、この場合も上記マスク処理によって確実に円形領域外を表示情報と区別することができる。
【0025】
手段.検査対象物は、表面がアルミニウムによって形成されたアルミ電解コンデンサであり、印刷は印刷面の地色とは輝度が異なることを特徴とする手段7又は手段8記載の外観検査装置。かかる手段によれば、従来作業者による目視検査でしか判定できなかったアルミ電解コンデンサの表面に印刷された表示情報の良否を自動的に判定処理することができる。
【0026】
手段10.複数種の表示情報として、少なくとも極性マークと複数段に配置された表示情報とを含み、前記極性マークを他の表示情報とは相異なる検査項目にて良否判定することを特徴とする手段記載の外観検査装置。かかる手段によれば、アルミ電解コンデンサに特有の極性マークの検査を他の文字等の情報とは区別して検査されることで、確実に極性マークの良否判定を行うことができる。なお、極性マークの良否判定は、例えば極性マークの幅検査と、極性マーク内に設定されたウインド内での面積検査とで行うことができる。
【0027】
尚、手段1乃至手段10のいずれかに記載の外観検査装置を備えた印刷装置に具体化することも可能である。かかる印刷装置によれば、表示情報を印刷により付した場合に、その印刷処理と同時進行的にその表示情報の外観検査を行うことができ、検査対象物の生産効率が向上する。
【0028】
また、上記印刷装置は、検査対象物の表面に表示情報として印刷を施す印刷手段と、その印刷手段から外観検査装置へ検査対象物を移送する移送手段とを備え、移送手段は前記印刷手段による印刷時から前記外観検査装置による検査時まで検査対象物の姿勢を一定に保持したまま当該検査対象物を移送することとしてもよい。
【0029】
かかる構成によれば、印刷工程と検査工程との間では移送手段によって検査対象物の姿勢が一定に保持されるので、印刷工程と検査工程とで検査箇所である検査対象物の表面が一定姿勢に配置されることとなって、検査工程時に一々前記表面の姿勢修正を行う必要がなくなる。なお、検査対象物が手段に記載したようなアルミ電解コンデンサの場合には、該コンデンサの一対の電極端子を前記移送手段によって把持しながら移送することで、かかるコンデンサを一定姿勢に保持することが可能である。
【0030】
【発明の実施の形態】
以下、一実施の形態について、図1乃至図13を参照しつつ説明する。
【0031】
この実施の形態では、検査対象物をアルミ電解コンデンサ1(以下、コンデンサという)とした場合について説明する。
【0032】
図1(b)乃至(d)等に示すように、コンデンサ1は、外形が略円柱状をなすアルミニウム製の本体2と、該本体2の下面から延びる互いに長さの異なる一対の電極端子3,4とから構成されている。両電極端子3,4の長さの差異は、正極と負極とを一見して識別できるようにするために設けられている。具体的には、負極端子3が短く、正極端子4が長くなっている。
【0033】
コンデンサ1の本体2の上面(表面)は円形かつ平坦な印刷面5とされている。図5に示すように、印刷面5には、所定の表示情報がインクジェットにより印刷されている。所定の表示情報とは、ここでは、極性マーク6、製造メーカの社標7、ロット番号8、容量値9、電圧値10であるが、他の文字,記号,図形等の表示情報であってもよい。
【0034】
ここで、極性マーク6とは負極端子3と対応する位置に付されたマークであり、かかる極性マーク6によって本体2の上面からでも正極と負極との区別ができるようになっている。極性マーク6は、ここでは、三日月状をなす黒色の塗りつぶし図形によって表現されている。
【0035】
また、社標7は、ここでは一例として略楕円形状をなす黒色の塗りつぶし図形によって表現されており、この表示情報によりコンデンサ1の製造メーカが判別できるようになっている。ロット番号8は製品種別等を特定するためのもので、所定の数字やアルファベット文字等で表現されている場合が多いが、ここでは一例として「ABC」の3文字で構成されている場合について説明する。
【0036】
容量値9はコンデンサ1の最大容量を数値で表したものであり、ここでは「1」の表示がなされている。電圧値10はコンデンサ1の許容電圧を数値で表したものであり、ここでは「50V」の表示がなされている。
【0037】
次に、コンデンサ1の印刷面5に印刷を施すための印刷装置11の概略について説明する。図1(a)に示すように、印刷装置11は、コンデンサ1の移送方向でみて上流側から下流側に向けて、投入整列装置12、方向修正装置13、印刷手段としての印刷処理装置14、硬化処理装置15、外観検査装置16及び分別処理装置17が、順に備えられている。
【0038】
投入整列装置12には、印刷前のコンデンサ1が投入される。投入整列装置12に投入された印刷前のコンデンサ1は図1(b)に示すようにランダムな配置であるが、投入整列装置12内で一列に整列された後に、次の方向修正装置13へ送り出される。ここでの整列とは、図1(c)に示すように、コンデンサ1の印刷面5が上向きに、両端子3,4が下向きに整えられたものであるが、負極端子3と正極端子4の前後関係はばらばらの状態となっている。
【0039】
方向修正装置13では、本体2を図示しないチャックにより把持した状態で両電極端子3,4の長さの差異が検査され、この検査結果により、両電極端子3,4の前後関係を全てのコンデンサ1で一致させるべく、チャックを180度回転させる処理が行われる。これにより、図1(d)に示すように、電極端子3,4の前後関係も一致することとなり、次の印刷処理装置14へ送り込まれる。
【0040】
印刷処理装置14への送り込みの際には、方向修正装置13においてチャックで本体2を把持している状態であるため、印刷処理装置14側では両電極3,4を移送手段としてのチャック18(図2参照)で把持することで、コンデンサ1の授受が行われる。印刷処理装置14では、コンデンサ1の上面である印刷面5に、前記極性マーク6,社標7,ロット番号8,容量値9,電圧値10の各表示情報が印刷される。本実施の形態では、転写方式としてインクジェット方式を採用している。
【0041】
その後、硬化処理装置15では、紫外線を利用した印刷面5側の硬化処理が行われる。これにより、印刷面5に印刷された各表示情報が落ちにくくなる。
【0042】
次に、コンデンサ1は外観検査装置16に送り込まれる。図2に示すように、外観検査装置16では、印刷面5側を照らす照明手段としての照明19と、その照明19に基づく印刷面5からの反射光を受光する撮像手段としてのCCDカメラ20とがコンデンサ1の搬送部位に近接して配置されている。外観検査装置16ではCCDカメラ20によって撮像された画像データに基づいて印刷面5の良否を検査することとなる。なお、前記チャック18により印刷処理装置14から外観検査装置16に至るまで、コンデンサ1は印刷面5を上方に向けた一定姿勢に保持されるため、印刷工程から検査工程までの作業の流れを円滑なものとすることができる。
【0043】
外観検査装置16による検査結果に応じて、コンデンサ1は良品と不良品とに区別され、分別処理装置17によってそれらが分別処理される。即ち、不良品と判別されたコンデンサ1は廃棄処理される。一方、良品と判定されたコンデンサ1は、印刷装置11とは別に設けたチップ搭載装置21へと搬送される。
【0044】
チップ搭載装置21では、チップ22と前記両端子3,4とを接続する処理が行われるとともに、本体2をチップ22上に搭載する処理が行われる。これにより、図1(e)に示すように、チップ22上に本体2が搭載されたチップ型のコンデンサ1が完成される。
【0045】
次に、図3に示したブロック図に基づいて、外観検査装置16における画像処理手段としての画像処理部25を中心とした構成を説明する。
【0046】
画像処理部25はA/Dコンバータ26を備えている。前記CCDカメラ20はA/Dコンバータ26と接続されている。そして、CCDカメラ20により取り込まれたアナログ信号である画像データは、A/Dコンバータ26によってデジタル信号に変換される。A/Dコンバータ26には、デジタル化された画像データを記憶する画像メモリ27と、入力された信号を混合して出力するビデオミキサ28と、画像データからその外観を所定の計算方式によって計算する計算ロジック29とがそれぞれ接続されている。前記画像メモリ27及び計算ロジック29には、それぞれの各動作を規定するコントロールロジック30が接続されている。
【0047】
画像処理部25には、演算及び制御処理を総括的に行う制御手段としてのCPU31が備えられている。そして、CPU31と前記画像メモリ27及び計算ロジック29とはそれぞれ双方向に接続されている。CPU31には、制御プログラム等を記憶した記憶手段としてのROM32と、入力された設定値や各種表示情報に関する検査演算結果等のデータを一時的に記憶する記憶手段としてのRAM33がそれぞれ接続されている。
【0048】
CPU31には入出力装置34が接続されている。入出力装置34には外観検査装置16を駆動するための図示しないスタート手段が接続されており、このスタート手段からの所定のスタート信号に基づいてCPU31を中心とした外観検査が実行される。また、入出力装置34には図示しない検査表示手段が接続されているおり、コンデンサ1の印刷状態が正常か否かの判定信号をCPU31から分別処理装置17等へ出力する。
【0049】
入出力装置34には更に外部入力手段或いは設定手段としてのキーボード35が接続されている。キーボード35の入力操作により、外観検査に関わる各種の設定が行われる。更に、前記ビデオミキサ28には、表示装置としてのディスプレイモニタ36が接続されている。ディスプレイモニタ36には、コンデンサ1の外観、ここでは印刷面5の印刷状態を作業者に認識させることができるように、ビデオミキサ28からの信号に基づき画像が表示される。
【0050】
次に、以上の構成からなる外観検査装置16による外観検査の手順について、図4に示した一つのコンデンサ1の外観検査を実行する際の処理手順を示したフローチャート図をもとに説明する。なお、この一連の処理はCPU31の制御処理によって実行されるものである。
【0051】
まず、ステップS1では、コンデンサ1の有無について判定される。図2に示すようにCCDカメラ20と相対向する位置にコンデンサ1が配置されていれば、照明19によって照らされたコンデンサ1からの反射光がCCDカメラ20に取り込まれるため、コンデンサ1が存在すると判定され、次のステップS2へと移行する。一方、コンデンサ1がCCDカメラ20と相対向する位置にない場合には照明19からの光はCCDカメラ20によって反射光として捉えられることはなく、コンデンサ1が存在しないと判定されて一連の処理を一旦終了する。
【0052】
ステップS2では、二値化閾値の設定処理が実行される。この処理は、CCDカメラ20から取り込んだ多値データである画像データのうち、輝度の最も高い値D1及び最も低い値D2を用いた演算処理である。具体的には、予めキーボード35により設定値vを入力しておき、
(D1−D2)・v+D2
の式に各値を代入することによって二値化閾値が算出される。ここで、設定値vとして0.5(50%)を設定しておけば、二値化閾値は輝度の最も高い値D1と最も低い値D2との間の中央の値に設定される。このように、二値化閾値が固定されているわけではなくその都度設定されるので、照明19の明るさの経時変化や印刷色の濃さの相違にかかわらず、好適な二値化閾値を得ることができる。勿論、キーボード35による入力設定によって前記設定値vを例えば0.45や0.6等に適宜変更することにより、検査環境等に応じた最適な二値化閾値を得ることもできる。なお、上記のとおり中間点をとる代わりに、輝度の偏差を考慮して二値化閾値を設定することも可能である。また、ステップS2では、算出された二値化閾値に基づいて、多値データである画像データの二値化処理が行われる。この二値化処理によって二値画像が得られる。
【0053】
なお、図6を含みそれ以降の各図においては、説明の便宜上、二値画像のうち暗画像をハッチングで示すとともに、印刷面5,極性マーク6,社標7,ロット番号8,容量値9,電圧値10の各表示情報に対応する画像も同一符号を付した。また、以降の説明では、印刷面6の各表示情報の向きを基準として上下左右という表現を用いる。
【0054】
ステップS3では、本体位置測定処理が実行される。この処理は、ステップS2によって得られた二値画像をもとに、図6に示すように本体2の表面、即ち印刷面5の位置を測定するものである。さて、このステップS2では、二値画像の明暗の境界をもとに、上端点P1、右端点P2、下端点P3が測定される。また、これら各点P1〜P3を用いて演算処理することにより、印刷面5の中心点P0が求められる。更に、これら各点P0〜P3を用いて演算処理することにより、左端点P4が求められる。なお、左端点P4を演算により求めることとしたのは、左端点P4は極性マーク6に対応する暗画像と本体2外周側の暗画像とによって両者の識別ができないからである。
【0055】
ステップS4では、ウインド設定処理が実行される。ここでは、6つのウインドが設定されるが、これらは全てステップS3にて測定演算処理された各点P0〜P4の座標値を基準として設定される。即ち、図7に示すように、ウインドW1は上端点P1を含む縦長の長方形状に設定され、ウインドW2は右端点P2を含む横長の長方形状に設定され、ウインドW3は下端点P3を含む縦長の長方形状に設定される。ウインドW4は印刷面5のうち横長の長方形状であって、かつ左側が極性マーク6に対応する暗画像にさしかかるとともに右側がその他の表示情報7〜10を付していない明画像部分になるように設定される。ウインドW5は印刷が正常である場合の極性マーク6に対応する暗画像に全てが含まれる縦長の長方形状に設定される。ウインドW6は極性マーク6に対応する暗画像にさしかからないようにするとともにその他の表示情報7〜10に対応する暗画像を全て含む長方形状に設定される。これら各ウインドW1〜W6は以下の画像検査の際に適宜使用される。
【0056】
ステップS5では、極性マーク6の測定処理が実行される。ここでは、図8に示すように、ステップS3での処理により左端点P4が検出され、ステップS4での処理によりウインドW4及びウインドW5が設定されているので、これらを使用し、極性マーク6に対応する暗画像の幅の測定と面積の測定とを行う。極性マーク6に対応する暗画像の幅の測定について説明すると、極性マーク6に対応する暗画像の左端は左端点P4であるが右端点が不明である。そこで、ウインドW4を右側から走査していくと、明画像が暗画像に切り替わるポイントが存在するので、そこを右端点とみなすことができる。これら左右両点から極性マーク6に対応する暗画像の幅t1が測定される。次に、極性マーク6の面積は、ウインドW5によって測定される。ウインドW5は正常時であれば全て暗画像となっているはずである。
【0057】
ステップS6では、極性マーク6の良否判定処理が実行される。ここでは、ステップS5において求めた極性マーク6に対応する暗画像の幅t1と面積がそれぞれ許容値以内であるか否かが判定される。各許容値はキーボード35を介して予め設定される。具体的には、幅t1が予め設定した許容値に満たない場合や、面積が予め設定した許容面積値に満たない場合には、ステップS19へジャンプして不良品判定処理がなされる。例えば、極性マーク6の幅t1が短い場合には必要十分な大きさの極性マーク6が印刷されていないとして不良と判定される。また、極性マーク6の面積(ウインドW5内の面積)に関しては印刷に欠損がある場合等には不良と判定される。一方、測定された幅t1及び面積が許容値内であれば、極性マーク6は正常に印刷されているものとしてステップS7へ移行する。
【0058】
ステップS7では、マスク処理が実行される。かかる処理ステップからは、極性マーク6以外の各表示情報7〜10が正常に印刷されているか否かを判定するために実行される。そこで、ステップS7においては、まずこれら各表示情報7〜10を含むウインドW6に着目する。ウインドW6ではこれら各表示情報7〜10を全て確実に含めようとする関係上、印刷面5が円形であることも相俟って、ウインドW6の右上部分W6aと右下部分W6bが背景画像である暗画像にさしかかっている。従って、かかる右上部分W6aと右下部分W6bとを各表示情報7〜10と区別する必要が生じる。そこで、まずウインドW1とウインドW4との明画像部分の輝度の平均値を算出し、印刷面5の周囲である背景画像がその算出された輝度となるように処理される。これにより、背景画像が明画像とみなされ、ウインドW6内における右上部分W6aや右下部分W6bも明画像に切り換えられる。なお、ウインドW1とウインドW4との輝度の平均値を利用したのは、一方のウインドW1又はW4内の明画像部分に予定していない印刷部分等を含んでいても平均化することで確実にマスク処理を実行することができるようにするためである。
【0059】
ステップS8では、文字列の切出し処理が実行される。なお、以下においても文字或いは文字列と表現するが、それらは数字、記号、図形等も含む表示情報と同等の意味であり、説明の便宜上使用しているに過ぎない。ここでは、図10に示すように、ステップS7でマスク処理されたウインドW6の画像が用いられ、同ウインドW6内の画像について上から下へと走査される。すると、明画像から暗画像へ切り替わる箇所が存在する。ここが社標マーク7に対応する暗画像の上端位置である。更に走査を続けると、暗画像から明画像へ切り替わる箇所が存在する。ここが社標マーク7に対応する暗画像の下端位置である。更に走査を続けると明画像と暗画像との切り替わりが繰り返される。これにより、各表示情報7〜10に対応するそれぞれの暗画像の各高さh1,h2,h3,h4及び各表示情報7〜10に対応する全ての暗画像を含む高さHが測定される。
【0060】
ステップS9では、文字列全体の高さに関する判定処理が実行される。ここでは、ステップS8により測定された各表示情報7〜10の全体高さHが所定の許容値内にあるか否かが判定される。この許容値はキーボード35を介して予め設定される。具体的には、高さHが予め設定した許容範囲内(上限値と下限値との間)に属さない場合には、ステップS19へジャンプして不良品判定処理がなされる。例えば、各表示情報7〜10が相互に重なっているような場合では前記高さHが短くなって不良と判定される。一方、測定された高さHが許容値内であれば、各表示情報7〜10全体としての高さHは正常であるものとしてステップS10へ移行する。
【0061】
ステップS10では、各文字列の高さに関する判定処理が実行される。ここでは、ステップS8により測定された各表示情報7〜10毎の各高さh1〜h4が所定の許容値内にあるか否かが判定される。この許容値はキーボード35を介して予め設定される。具体的には、高さh1〜h4が予め設定した許容範囲内(上限値と下限値との間)に属さない場合には、ステップS19へジャンプして不良品判定処理がなされる。例えば、社標7に対応する上半分が印刷されていないような場合では前記高さh1が短くなって不良と判定される。一方、測定された高さh1〜h4が全て許容値内であれば、各表示情報7〜10個々の高さh1〜h4は全て正常であるものとしてステップS11へ移行する。
【0062】
ステップS11では、各文字列の幅測定処理が実行される。ここでは、ステップS7でマスク処理されたウインドW6の画像が用いられ、同ウインドW6内の画像について左から右への走査と右から左への走査とを行う。例えば、社標マーク7に対応する暗画像に対応する部分において、左から右へ走査すると、明画像から暗画像へ切り替わる箇所が存在する。ここが社標マーク7に対応する暗画像の左端位置である。逆に、右から左へ走査すると、明画像から暗画像へ切り替わる箇所が存在する。ここが社標マーク7に対応する暗画像の右端位置である。そして、他の各表示情報8〜10においても同様の処理を実行する。これにより、図10に示すように、各表示情報7〜10に対応するそれぞれの暗画像の各幅d1,d2,d3,d4が測定される。
【0063】
ステップS12では、各文字列の幅に関する判定処理が実行される。ここでは、ステップS11により測定された各表示情報7〜10毎の各幅h1〜h4が所定の許容値内にあるか否かが判定される。この許容値はキーボード35を介して予め設定される。具体的には、幅d1〜d4が予め設定した許容範囲内(上限値と下限値との間)に属さない場合には、ステップS19へジャンプして不良品判定処理がなされる。例えば、ロット番号8に対応する右半分等が印刷されていないような場合では前記幅d2が短くなって不良と判定される。一方、測定された幅d1〜d4が許容値内であれば、各表示情報7〜10個々の幅d1〜d4は正常であるものとしてステップS13へ移行する。
【0064】
ステップS13では、各文字の切出し処理が実行される。即ち、以上の処理ステップでは文字列単位での測定処理及び判定処理が行われたが、これ以降では更に細かく各文字単位、即ち最小単位での測定処理及び判定処理が行われる。ここでは、図11(a)に示すように電圧値10の表示である「50V」という表示情報に着目して説明する。まず、キーボード36からの入力操作により、予め文字列数、各文字列の文字数、文字種類等が設定されていることが前提とされるが、本実施の形態においては、外観検査前においてコンデンサ1の種類に応じて全ての表示情報6〜10についての入力設定が行われている。これにより、例えば電圧値10であれば、文字列としては4列目であり、ここには3文字が印刷され、3文字とは左から順に「5」「0」「V」の文字種類であることがわかる。従って、ここでは、図11(a)に示すように、ステップS8で測定された電圧値10にかかる暗画像である幅d4を3等分して各文字毎に切出す処理を実行する。なお、電圧値10の表示情報に関して「5」に対応する暗画像を画像c1、「0」に対応する暗画像を画像c2、「V」に対応する暗画像を画像c3として説明する。すると、各画像c1〜c3は文字間の隙間である明画像部分で仕切られる。ただし、画像c1〜c3同士が近接していたり、それらの間隔が不規則である場合には、仕切線に各画像c1〜c3が重なる可能性があるが、この場合には仕切線を左右に位置調整する処理が行われる。このようにして、図11(b)に示すように、各画像c1〜c3が個々に切出される。その後、各画像c1〜c3について、図11(c)に示すように、外接四角形を設定する処理が実行される。また、この外接四角形内における暗画像が占める面積が測定される。
【0065】
ステップS14では、各画像c1〜c3の面積に関する判定処理が実行される。ここでは、ステップS13により測定された各画像c1〜c3毎の各暗画像の面積が所定の許容値内にあるか否かが判定される。この許容値はキーボード35を介して予め設定される。具体的には、各面積が予め設定した許容範囲内(上限値と下限値との間)に属さない場合には、ステップS19へジャンプして不良品判定処理がなされる。一方、測定された面積がそれぞれ許容値内であれば、各画像c1〜c3個々の面積は正常であるものとしてステップS15へ移行する。
【0066】
ステップS15では、膨脹・収縮処理が実行される。ここでは、画像c3についてのみ説明するが、言うまでもなく他の全ての画像について実行される。RAM33には、図12(a)に示すように、縦7ドット、横5ドットのドットデータが記憶されているに過ぎない。このように非常に小さなデータ量だけを記憶しておくだけで済むため、RAM33の記憶容量を無駄に使用することがなくなる。また、この記憶データiは印刷時のフォントデータを利用している。この記憶データiに対し、実際に得られる画像c3(図11(c)参照)はドット数が多く、直接的に比較することはできない。そこで、膨脹・収縮処理に先立って、正規化処理が実行される。正規化処理とは、記憶データiと実際の画像c3の外接四角形とを同一にする処理である。例えば図11(c)に示すように画像c3の外接四角形が縦xドット、横yドットであるとした場合、記憶データiの縦横の長さを調整する処理が行われる。具体的には、記憶データiを縦方向にx/7倍するとともに横方向にy/5倍する。その結果、図12(b)に示すように、画像c3と同一の外接四角形となる基準データIが生成される。この基準データIは、以上のようにその都度画像3cの縦xと横yとを合わせるようにして生成されることから、画像c3の大きさが異なったり、縦長又は横長の画像となっている場合であっても、基準データIとして最も最適なデータを提供することができる。
【0067】
正規化処理の終了後に、基準データIの膨脹・収縮処理が実行される。まず、収縮処理について説明する。ここでは収縮処理の中でも特に細線化処理が実行される。細線化とは、一般に「線状の図形を、図形の連結性を保ちながら幅の中心に存在する点の列に変換する操作」をいうとされており、ここでも同様の処理を行うことで、図12(c)に示すように細線データIaが生成される。なお、一般にいう収縮処理では得られる収縮データがとぎれてしまって連続性がなくなる場合があるので、本実施の形態のように文字等の連続した線状図形を検査する場合には細線化処理を適用することが好ましい。次に、膨脹処理について説明する。膨張とは、「1の画素の近傍を1に変える操作」であり、その近傍としては公知の「4−近傍」又は「8−近傍」のどちらかを採用して行われるのが一般的であり、ここでも同様の処理を行うことで、図12(d)に示すように膨張データIbが生成される。
【0068】
ステップS16では、重ね合せ処理が実行される。この重ね合せ処理の基準となるデータは、ステップS15における膨張・収縮処理によって生成された細線データIa及び膨張データIbである。また、これらに重ね合される比較データは今回の取り込まれた画像であって、ここでは画像c3である。そして、図13(a)に示すように、細線データIaと画像c3とを重ね合せる処理が行われる。また、図13(b)に示すように、膨張データIbと画像c3とを重ね合せる処理が行われる。
【0069】
ステップS17では、ステップS16による重ね合せの結果について、その一致度の判定処理が実行される。一致度の許容値は、キーボード35による入力操作によって予め設定されるものであり、例えば98%等の必要に応じた設定が可能である。そして、細線データIaと画像c3とを重ね合せた結果、細線データIaが全て画像c3の暗画像領域内に含まれた場合を100%として一致度が判定される。また、膨張データIbと画像c3とを重ね合せた結果、膨張データIbの暗画像領域内に画像c3が全て含まれた場合を100%として一致度が判定される。そして、それぞれの一致度のうち一方でも許容値(下限値)を下回った場合には、ステップS19へ移行して不良品判定がなされる。
【0070】
例えば、図13(a)に示すように画像c3について欠損部分c3aが存在する場合や、図13(b)に示すように画像c3についてはみ出し部分c3bが存在する場合には、一致度が低下し、その一致度が前記許容値たる下限値を下回った場合に不良品と判定されることとなる。これにより、最小単位である各文字単位での印刷文字の欠損や滲み等を確実に不良判定することが可能となる。一方、一致度がそれぞれ許容値内であれば、画像c3の印刷文字は正常であるものとしてステップS18へ移行する。
【0071】
ステップS18では、良品判定処理が実行される。即ち、以上の検査項目を全てクリアしたものだけが良品と判定されることとなり、ステップS6,S9,S10,S17においてクリアできなかったものはステップS19において全て不良品と判定され、1つのコンデンサ1についての検査処理が終了する。なお、ステップS19において不良品判定されたコンデンサ1は、図1の分別処理装置17によって良品と分別された後に別途廃棄処分される。一方、ステップS18において良品判定されたコンデンサ1はチップ搭載装置21へと搬送され、最終製品であるチップ形コンデンサ1とされる。
【0072】
以上説明した外観検査装置16によれば、コンデンサ1の印刷面5の検査に際して、作業者の目視検査をなくして、画像処理を利用した自動検査とすることができる。その結果、検査を含めたコンデンサ1の生産効率の向上につながり、製作コストも低減することができる。
【0073】
また、作業者による目視検査による弊害、例えば良否の判定基準のばらつき等をなくして、常に一定の水準で印刷状態の良否判定を行うことができる。その結果、コンデンサ1の各製品間のばらつきが少なくなる。
【0074】
また、外観検査装置16を印刷装置11に組み込んであるため、印刷後にそのまま検査へと移行させることができる。しかも、印刷時から検査時まで一貫してチャック18によってコンデンサ1が固定されているため、コンデンサ1の姿勢を印刷時と同様の状態に保持したまま検査することができ、いちいちコンデンサ1の回転位置を大幅に修正するといった必要もなくなる。その結果、印刷面5の検査効率も著しく向上する。
【0075】
また、印刷面5の検査に関する個々の特徴については各処理ステップS1〜S19での説明によって明らかであるため詳細には述べないが、例えば、二値化閾値の毎回の自動設定や、極性マーク6と他の表示情報7〜10とを区別しての検査や、各文字列或いは文字の切出し処理、各文字の一致度検査等の各種特徴的処理によって、単に印刷面5の検査ができるというだけでなく、その良否判定を適正に行うことができるという利点を有する。
【0076】
しかも、ステップS6,S9,S10,S12,S14,S17における判定処理に使用される各設定値をキーボード35を介して入力設定することができるため、印刷面5の各表示情報6〜10に要求される印刷の鮮明さや文字等の形状の程度によって適宜調整をすることができる。勿論、例えばロット番号8だけは明確にすべきとの要求があればその部分での設定値だけ判定基準を厳しく設定すること等も可能であるため、状況や要求に応じた検査を容易に実現することができる。
【0077】
なお、本実施の形態では、検査対象物としてコンデンサ1、特にアルミ電解コンデンサとしたが、これに限らず他のコンデンサであってもよい。また、コンデンサに限らず、他の電気・電子部品であってもよい。更には、電気・電子部品に限らず、他の物品であってもよい。
【0078】
また、本実施の形態では、印刷面5の印刷状態を検査する場合について説明したが、印刷でなくても、捺印や焼き付け文字等の他の表示情報を検査するものであってもよい。即ち、表示情報とそれ以外の箇所との輝度が異なることを前提としたものであればよい。
【0079】
また、外観検査装置16は印刷装置11に付設されるものではなく、印刷等のように検査対象物に表示情報が付された後に別途検査できる箇所に設置されるのであればよい。従って、印刷装置11等と独立して単独で設置してもよい。
【図面の簡単な説明】
【図1】 (a)は一実施の形態に係る印刷装置及びチップ搭載装置の概略図、(b)、(c)、(d)はコンデンサの整列状態を示す図、(e)はチップ形コンデンサを示す斜視図。
【図2】 外観検査装置による検査状態を示す正面図。
【図3】 外観検査装置のブロック図。
【図4】 外観検査装置による検査手順を示すフローチャート図。
【図5】 コンデンサの平面図。
【図6】 本体位置測定時の検査画像の説明図。
【図7】 ウインド設定時の検査画像の説明図。
【図8】 極性マーク検査時の検査画像の説明図。
【図9】 マスク処理時の検査画像の説明図。
【図10】 文字列高さ及び幅測定時の検査画像の説明図。
【図11】 (a)は各文字切出し時の検査画像の説明図、(b)は各文字切出し後の検査画像の説明図、(c)は外接四角形設定時の検査画像の説明図。
【図12】 (a)は記憶データの説明図、(b)は記憶データを正規化処理した後の基準データの説明図、(c)は細線データの説明図、(d)は膨張データの説明図。
【図13】 (a)は細線データとの重ね合せ処理時の説明図、(b)は膨張データとの重ね合せ処理時の説明図。
【符号の説明】
1…検査対象物としてのコンデンサ、2…本体、3,4…電極端子としての負極端子及び正極端子、5…検査対象面である表面としての印刷面、6〜10…表示情報としての極性マーク,社標,ロット番号,容量値及び電圧値、11…印刷装置、14…印刷手段としての印刷処理装置、16…外観検査装置、18…移送手段としてのチャック、19…照明、20…CCDカメラ、25…画像処理手段としての画像処理部、26…A/Dコンバータ、27…画像メモリ、28…ビデオミキサ、29…計算ロジック、30…コントロールロジック、31…CPU、32…記憶手段としてのROM、33…記憶手段としてのRAM、34…入出力装置、35…入力手段としてのキーボード、36…表示手段としてのディスプレイモニタ、W1〜W6…ウインド、i…記憶データ、I…基準データ、Ia…細線データ、Ib…膨張データ。
[0001]
BACKGROUND OF THE INVENTION
  The present invention relates to a technical field including an appearance inspection device that takes in an image of an inspection object such as an aluminum electrolytic capacitor and inspects various display information such as characters, symbols, and graphics printed on the surface of the object. It belongs to.
[0002]
[Prior art]
  In the aluminum electrolytic capacitor, a pair of electrode terminals including a negative electrode terminal and a positive electrode terminal extend from the lower surface of a cylindrical main body. These two terminals are different in length from each other in order to distinguish between the positive electrode and the negative electrode. Specifically, the negative electrode terminal is short and the positive electrode terminal is long. On the other hand, predetermined display information is printed on the upper surface of the main body by inkjet or the like. The predetermined display information is, for example, display information such as a polarity mark, a manufacturer's company name, a lot number, a capacity, and a voltage such as characters, symbols, and figures.
[0003]
  Here, the polarity mark is a mark attached to a position corresponding to the negative electrode terminal, and the polarity mark can distinguish the positive electrode and the negative electrode even from the upper surface of the main body. In general, the polar mark is expressed by, for example, a black filled figure having a crescent or rectangular shape. Therefore, the display of the polarity mark is important for knowing the polarity.
[0004]
  In addition, the display information such as the company mark, lot number, capacity, voltage, etc. is usually printed in a line on a portion of the upper surface of the main body where no polarity mark is attached. The display of the company mark is important for specifying the manufacturer, and the display of the lot number is important for specifying the product. In addition, the capacity display is important for confirming whether the required capacity range is satisfied. The voltage display confirms that the voltage value used does not exceed the specified allowable voltage value. It is important to do.
[0005]
  Therefore, it is extremely important that these printed display information can be read reliably and are easy to read. From these viewpoints, it is necessary to inspect the display information at least before shipment.
[0006]
[Problems to be solved by the invention]
  Conventionally, however, inspection of good / bad display information attached to an aluminum electrolytic capacitor has been left to the operator's visual inspection.
[0007]
  Therefore, even if the production process of aluminum electrolytic capacitors is automated and the production efficiency is improved, visual inspection of display information cannot keep up with the production speed, and the efficiency up to product shipment must be reduced. Absent. In addition, a worker dedicated to visual inspection is required, resulting in high production costs.
[0008]
  In addition, since the visual inspection is an inspection by the worker, the judgment criteria for good / bad of each worker are different, the judgment criteria change from time to time even for the same worker, and in some cases, It is also assumed that a product that should be judged as defective is overlooked. As a result, variation in display information is likely to occur among individual aluminum electrolytic capacitors.
[0009]
  The present invention has been made in view of the above circumstances, and its main purpose is to automate the inspection of display information attached to an inspection object such as an aluminum electrolytic capacitor, and further, there is no variation in the inspection of display information. It is to be able to make the inspection less accurate.
[0010]
[Means for Solving the Problems and Effects of the Invention]
  Characteristic means capable of achieving the above object will be described below. For each means, characteristic actions and effects are described as necessary.
[0011]
  Means 1. An appearance inspection apparatus for determining the quality of multiple types of display information attached to the surface of an inspection object,
  An imaging means for receiving reflected light from the surface, and a multi-valued image obtained by the imaging means into a binary imageConvertible, Its binary imageAnd multi-valued imagesAn image processing device that determines the quality of display information based on
  The image processing apparatus divides the plurality of types of display information and performs pass / fail judgment processing for each display information, and
  The image processing apparatus is configured to detect the inspection object based on a binary image.Outline position of the area with display information, And setting a plurality of windows for the binary image based on the measurement results, and using each window to determine the quality of each display information,
  A first window of the windows is set so as to straddle an area to which display information is attached and an area to which display information is not attached.Multi-valued imageBy inspectingSwitching between bright and dark images in the first windowTo determine,
  A second window of the windows is set to have a size and position that includes a plurality of predetermined display information and partially deviates from the surface of the inspection object. When inspecting each display information, the area on the outer peripheral side than the surface is masked,
  The third of the windowsSaidOf inspection objectOutline of the area with display informationSet to straddle the inside and outside of
  In the third window and the first window, a bright image portion is extracted based on each multi-valued image, and the average value of the brightness of the bright image portion is set to the outer circumference than the surface of the inspection object. By applying it to the image data of the area on the side,An appearance inspection apparatus characterized by performing mask processing.
[0012]
  According to the means 1, the reflected light from the surface of the inspection object is received by the imaging means, and the multivalued image obtained by the imaging means is converted into a binary image by the image processing device. The image processing device uses this binary image.And multi-valued imagesIs used to determine the quality of the display information. Here, the image processing apparatus does not perform determination processing for all display information at once, but performs quality determination processing for each display information. Therefore, it is possible to determine quality for each display information. Judgment can be made automatically.
[0013]
  Although reflected light based on natural light can be received by the imaging means, a stable image can be obtained when the surface of the inspection object is actively illuminated by the illumination means and the reflected light is received by the imaging means. It is preferable when taking in.
Further, according to the means 1, instead of directly determining the binary image, a plurality of windows are set based on the surface position of the inspection object, and pass / fail determination is performed using each of the windows. There is an advantage that the targeted determination of the display information to be inspected can be made.
The first window is set so as to straddle the region with display information and the region without display information. Thereby, it is possible to determine the switching between the bright image and the dark image in the first window by scanning the inside of the first window from one side to the other. Such a determination result can be used as a material for determining the quality of display information. Such means is effective in determining the quality of the polarity mark in an aluminum electrolytic capacitor.
Further, according to the means 1, the second window is set so as to have a size and a position that include a plurality of predetermined display information and partially depart from the surface of the inspection object. Thereby, each display information contained in the second window can be inspected collectively, or the height or width of each display information can be inspected by scanning from one to the other. Such inspection results can be used as one material for determining the quality of display information. Such means is effective for determining the quality of an aluminum electrolytic capacitor such as a company mark, a lot number, a capacitance value, and a voltage value. Here, when the second window is set so as to include a plurality of display information as described above, particularly when the surface is circular or the like, an area on the outer peripheral side of the circular area is also included in the window. However, by masking the outer peripheral area, the outer peripheral area of the surface is not erroneously recognized as display information, so the second window is set without being restricted by the size of the surface. can do.
Further, in the means 1, the third window is set so as to straddle the inside and outside of the contour of the region to which the display information to be inspected is attached. In addition, mask processing is performed using the luminance in the third window. As a result, the mask process is executed while using the luminance of the actual image, so that the mask process can be reliably performed and the outside of the surface area can be reliably separated from the display information and inspected. Note that the mask processing can be made more reliable by averaging the luminance in the first window together with the luminance in the first window.
[0014]
  Mean 2. The appearance inspection apparatus according to claim 1, wherein the image processing apparatus further performs pass / fail determination processing in a minimum unit such as one character unit for each display information. According to the means 2, when the display information is composed of a plurality of characters, the pass / fail determination is performed in units of characters, that is, the minimum unit, and the accuracy of the pass / fail determination can be further improved.
[0015]
  Means 3. The means 1 or 2 according to claim 1, wherein when the multi-value image is converted into a binary image by the image processing device, a binarization threshold is set every time based on the luminance of the multi-value image. Appearance inspection device.
[0016]
  As a general method, the binarization threshold can be set to a predetermined constant value in consideration of various conditions. However, when the brightness of illumination changes or display information such as printing has light and shade, an accurate inspection cannot be performed if the binarization threshold is a constant value. On the other hand, according to the means 3, since the binarization threshold value is set every time based on the luminance of the multi-valued image, an accurate pass / fail judgment is performed without being affected by a change in illumination, shading of display information, or the like. be able to.
[0017]
  Specifically, for example, there are various methods such as setting an intermediate position between the darkest value and the brightest value in the multi-valued image as a threshold value, or taking into account the luminance deviation of the multi-valued image. The method of setting the intermediate position between the value and the darkest value is the simplest and is excellent in that the arithmetic processing can be executed quickly. In this case, it is optimal to set the center position between the brightest value and the darkest value as the binarization threshold. Of course, it is preferable that the setting of how the binarization threshold is determined can be appropriately set by the input means.
[0018]
  means4. The image processing apparatus includes a storage unit that stores storage data in a minimum unit such as one character unit for each display information, and stores the storage data stored in the storage unit as a minimum of an actual binary image corresponding to the storage unit. The reference data is generated by performing processing to match the vertical and horizontal sizes of the unit data, and the quality of each minimum unit is determined by using the reference data and comparing with the minimum unit data of the actual binary image. Means 1 to means characterized in that3The visual inspection apparatus according to any one of the above.
[0019]
  Such means4According to the above, storage data of the minimum unit is stored in the storage means, and the reference data is generated by performing processing for matching the storage data with the vertical and horizontal sizes of the minimum unit data of the actual binary image. Then, based on this reference data, a comparison determination with an actual binary image is performed. As a result, the storage means only needs to store data of several dots in the vertical and horizontal directions as the storage data, and the storage capacity can be reduced. In addition, since the reference data is processed so that the vertical and horizontal lengths match the vertical and horizontal directions of the minimum unit data of the actual binary image, it is possible to flexibly deal with characters or the like that extend in the vertical or horizontal direction.
[0020]
  means5. The image processing apparatus includes storage means for storing storage data in a minimum unit such as one character unit for each display information, and performs expansion and contraction processing using the minimum unit data for the storage data. Data and contraction data are generated, the minimum unit data of the actual binary image is compared with the expansion data and contraction data, respectively, and the degree of coincidence is examined. Based on the degree of coincidence, the quality of each minimum unit is determined. Means 1 to means characterized in that4The visual inspection apparatus according to any one of the above.
[0021]
  Such means5According to the above, instead of simply comparing the reference data with the minimum unit data of the actual binary image, the minimum unit of the actual binary image based on the expansion data obtained by expanding the reference data and the contracted contraction data. Since the comparison with the data is made, it is possible to reliably determine that a defect such as a character or a blur is defective. This comparison process is preferably performed by superimposing the expansion data and the actual minimum unit data to see the degree of coincidence, or superposing the contraction data and the actual minimum data to see the degree of coincidence. Further, the degree of coincidence is not necessarily 100%, and it is preferable that input can be set according to an allowable degree such as 95%.
[0022]
  means6. The appearance inspection apparatus according to claim 9, wherein the contraction process is a thinning process, and the contraction data is thin line data. In general contraction processing, contraction data does not always have a series of connections. In that case, if a discontinuous part of contraction data coincides with a discontinuous part of actual data, it should be judged as defective. There is a risk that things are judged as good. But such means6Accordingly, by adopting the thinning process among the shrinking processes, the thin line data becomes continuous data, and the optimum data can be provided as the reference data.
[0023]
  means7. The surface of the inspection object is a printing surface, and display information is printed on the printing surface.6The visual inspection apparatus according to any one of the above. Such means7According to the above, by making the printed information as display information, it is possible to determine a defect when the printing density is thin, the printing is blurred, or the printing is defective. Means4,5If print data is used as the storage data described in, the required storage capacity can be further reduced.
[0024]
  means8. Means 1 to means in which the surface of the inspection object is circular.7The visual inspection apparatus according to any one of the above. Such means8According to this, it is possible to determine the quality of the display information attached to the circular surface. In this case, as in the case of the second window, when a rectangular window including a plurality of predetermined display information is set, the second window is likely to approach the circular area on the surface. The mask processing can reliably distinguish the outside of the circular area from the display information.
[0025]
  means9. The appearance inspection apparatus according to means 7 or 8, wherein the inspection object is an aluminum electrolytic capacitor whose surface is formed of aluminum, and printing has a luminance different from the ground color of the printed surface. Such means9According to the above, it is possible to automatically determine whether the display information printed on the surface of the aluminum electrolytic capacitor, which could only be determined by visual inspection by a conventional worker, is acceptable.
[0026]
  means10. Means including at least a polarity mark and display information arranged in a plurality of stages as the plurality of types of display information, wherein the polarity mark is determined to be good or bad by an inspection item different from other display information.9Appearance inspection apparatus as described. Such means9Accordingly, the inspection of the polarity mark peculiar to the aluminum electrolytic capacitor is inspected separately from information such as other characters, so that the quality of the polarity mark can be reliably determined. The determination of pass / fail of the polarity mark can be made by, for example, a width inspection of the polarity mark and an area inspection in a window set in the polarity mark.
[0027]
  still,Means 1 to10A printing apparatus comprising the appearance inspection apparatus according to any one ofIt is also possible to embody.TakePrinting deviceAccordingly, when the display information is attached by printing, the appearance inspection of the display information can be performed simultaneously with the printing process, and the production efficiency of the inspection object is improved.
[0028]
  In addition, the printing apparatusA printing unit that prints display information on a surface of the inspection object; and a transfer unit that transfers the inspection object from the printing unit to the appearance inspection device. The inspection object is transferred while keeping the posture of the inspection object constant until the inspection byIt is good.
[0029]
  TakeConstitutionAccording to the above, since the posture of the inspection object is kept constant by the transfer means between the printing process and the inspection process, the surface of the inspection object which is the inspection point is arranged in a constant posture between the printing process and the inspection process. This eliminates the need to correct the surface posture one by one during the inspection process. The inspection object is a means.9In the case of the aluminum electrolytic capacitor as described in (1), it is possible to hold the capacitor in a fixed posture by moving the pair of electrode terminals while holding the pair of electrode terminals by the transfer means.
[0030]
DETAILED DESCRIPTION OF THE INVENTION
  Hereinafter, an embodiment will be described with reference to FIGS.
[0031]
  In this embodiment, a case where an inspection object is an aluminum electrolytic capacitor 1 (hereinafter referred to as a capacitor) will be described.
[0032]
  As shown in FIGS. 1B to 1D, the capacitor 1 includes an aluminum main body 2 whose outer shape is substantially cylindrical, and a pair of electrode terminals 3 extending from the lower surface of the main body 2 and having different lengths. , 4. The difference in length between the electrode terminals 3 and 4 is provided so that the positive electrode and the negative electrode can be distinguished at a glance. Specifically, the negative terminal 3 is short and the positive terminal 4 is long.
[0033]
  The upper surface (surface) of the main body 2 of the capacitor 1 is a circular and flat printing surface 5. As shown in FIG. 5, predetermined display information is printed on the printing surface 5 by inkjet. Here, the predetermined display information includes the polarity mark 6, the manufacturer's company mark 7, the lot number 8, the capacity value 9, and the voltage value 10, which are display information such as other characters, symbols, and figures. Also good.
[0034]
  Here, the polarity mark 6 is a mark attached to a position corresponding to the negative electrode terminal 3, and the polarity mark 6 can distinguish the positive electrode and the negative electrode even from the upper surface of the main body 2. Here, the polar mark 6 is represented by a black filled figure having a crescent shape.
[0035]
  In addition, the company mark 7 is represented here by a black solid figure having a substantially elliptical shape as an example, and the manufacturer of the capacitor 1 can be identified by this display information. The lot number 8 is for specifying the product type and is often expressed by a predetermined number or alphabetic character, but here, as an example, a case where it is composed of three characters “ABC” will be described. To do.
[0036]
  The capacitance value 9 represents the maximum capacitance of the capacitor 1 by a numerical value, and “1” is displayed here. The voltage value 10 represents the allowable voltage of the capacitor 1 as a numerical value, and “50 V” is displayed here.
[0037]
  Next, an outline of the printing apparatus 11 for printing on the printing surface 5 of the capacitor 1 will be described. As shown in FIG. 1A, the printing apparatus 11 includes a loading and aligning device 12, a direction correcting device 13, a printing processing device 14 as a printing unit, from the upstream side to the downstream side in the transfer direction of the capacitor 1. A curing processing device 15, an appearance inspection device 16, and a sorting processing device 17 are provided in this order.
[0038]
  A capacitor 1 before printing is input to the input alignment device 12. As shown in FIG. 1 (b), the capacitors 1 before printing that are input to the input / alignment device 12 are randomly arranged, but after being aligned in a line in the input / alignment device 12, the next direction correction device 13. Sent out. As shown in FIG. 1 (c), the alignment here means that the printed surface 5 of the capacitor 1 is arranged upward and the terminals 3 and 4 are arranged downward, but the negative terminal 3 and the positive terminal 4 are arranged. The context of is disjoint.
[0039]
  In the direction correcting device 13, the length difference between the electrode terminals 3 and 4 is inspected while the main body 2 is gripped by a chuck (not shown). In order to match with 1, the process of rotating the chuck 180 degrees is performed. As a result, as shown in FIG. 1 (d), the front and back relations of the electrode terminals 3 and 4 also coincide with each other and are sent to the next print processing apparatus 14.
[0040]
  Since the main body 2 is gripped by the chuck in the direction correcting device 13 when being fed into the print processing device 14, the chuck 18 (both electrodes 3 and 4 are used as transfer means on the print processing device 14 side). The capacitor 1 is exchanged by gripping with reference to FIG. In the print processing device 14, the display information of the polarity mark 6, company logo 7, lot number 8, capacitance value 9, and voltage value 10 is printed on the printing surface 5 that is the upper surface of the capacitor 1. In this embodiment, an ink jet method is adopted as a transfer method.
[0041]
  Thereafter, the curing processing device 15 performs a curing process on the printing surface 5 side using ultraviolet rays. Thereby, each display information printed on the printing surface 5 becomes difficult to drop.
[0042]
  Next, the capacitor 1 is sent to the appearance inspection device 16. As shown in FIG. 2, in the appearance inspection apparatus 16, an illumination 19 that illuminates the printing surface 5 side, and a CCD camera 20 as an imaging unit that receives reflected light from the printing surface 5 based on the illumination 19. Is disposed in proximity to the conveyance site of the capacitor 1. The appearance inspection device 16 inspects the quality of the printing surface 5 based on the image data captured by the CCD camera 20. In addition, since the capacitor 1 is held in a fixed posture with the printing surface 5 facing upward from the print processing device 14 to the appearance inspection device 16 by the chuck 18, the flow of work from the printing process to the inspection process is smooth. Can be.
[0043]
  According to the inspection result by the appearance inspection device 16, the capacitor 1 is classified into a non-defective product and a defective product, and these are separated by the separation processing device 17. That is, the capacitor 1 determined to be defective is discarded. On the other hand, the capacitor 1 determined to be non-defective is conveyed to a chip mounting device 21 provided separately from the printing device 11.
[0044]
  In the chip mounting device 21, processing for connecting the chip 22 and both the terminals 3 and 4 is performed, and processing for mounting the main body 2 on the chip 22 is performed. Thereby, as shown in FIG. 1E, the chip type capacitor 1 in which the main body 2 is mounted on the chip 22 is completed.
[0045]
  Next, based on the block diagram shown in FIG. 3, a configuration centering on the image processing unit 25 as image processing means in the appearance inspection apparatus 16 will be described.
[0046]
  The image processing unit 25 includes an A / D converter 26. The CCD camera 20 is connected to an A / D converter 26. The image data that is an analog signal captured by the CCD camera 20 is converted into a digital signal by the A / D converter 26. The A / D converter 26 includes an image memory 27 for storing digitized image data, a video mixer 28 for mixing and outputting input signals, and calculating the appearance from the image data by a predetermined calculation method. Calculation logic 29 is connected to each other. The image memory 27 and the calculation logic 29 are connected to a control logic 30 that defines each operation.
[0047]
  The image processing unit 25 is provided with a CPU 31 as a control unit that performs calculation and control processing collectively. The CPU 31, the image memory 27, and the calculation logic 29 are connected bidirectionally. Connected to the CPU 31 are a ROM 32 as a storage means for storing a control program and the like, and a RAM 33 as a storage means for temporarily storing data such as inputted setting values and inspection calculation results regarding various display information. .
[0048]
  An input / output device 34 is connected to the CPU 31. A start means (not shown) for driving the appearance inspection apparatus 16 is connected to the input / output device 34, and an appearance inspection centered on the CPU 31 is executed based on a predetermined start signal from the start means. Further, an inspection display means (not shown) is connected to the input / output device 34, and a determination signal indicating whether or not the printing state of the capacitor 1 is normal is output from the CPU 31 to the separation processing device 17 or the like.
[0049]
  The input / output device 34 is further connected with a keyboard 35 as external input means or setting means. Various settings relating to the appearance inspection are performed by an input operation of the keyboard 35. Further, a display monitor 36 as a display device is connected to the video mixer 28. An image is displayed on the display monitor 36 based on a signal from the video mixer 28 so that the operator can recognize the appearance of the capacitor 1, here, the printing state of the printing surface 5.
[0050]
  Next, an appearance inspection procedure performed by the appearance inspection apparatus 16 having the above-described configuration will be described with reference to a flowchart showing a processing procedure for executing an appearance inspection of one capacitor 1 shown in FIG. This series of processing is executed by the control processing of the CPU 31.
[0051]
  First, in step S1, the presence or absence of the capacitor 1 is determined. As shown in FIG. 2, if the capacitor 1 is arranged at a position opposite to the CCD camera 20, the reflected light from the capacitor 1 illuminated by the illumination 19 is taken into the CCD camera 20. The determination is made and the process proceeds to the next step S2. On the other hand, when the capacitor 1 is not located opposite to the CCD camera 20, the light from the illumination 19 is not captured as reflected light by the CCD camera 20, and it is determined that the capacitor 1 does not exist and a series of processing is performed. Exit once.
[0052]
  In step S2, a binarization threshold setting process is executed. This process is an arithmetic process using the highest value D1 and the lowest value D2 of the image data which is multi-value data captured from the CCD camera 20. Specifically, the set value v is input in advance using the keyboard 35,
(D1-D2) · v + D2
A binarization threshold value is calculated by substituting each value into the formula. Here, if 0.5 (50%) is set as the setting value v, the binarization threshold value is set to a central value between the highest value D1 and the lowest value D2. Thus, since the binarization threshold is not fixed and is set each time, a suitable binarization threshold is set regardless of the change in the brightness of the illumination 19 over time or the difference in the print color density. Obtainable. Of course, by appropriately changing the set value v to, for example, 0.45 or 0.6 by the input setting using the keyboard 35, it is possible to obtain an optimal binarization threshold corresponding to the inspection environment or the like. Note that instead of taking an intermediate point as described above, it is also possible to set a binarization threshold in consideration of a luminance deviation. In step S2, binarization processing of image data that is multi-value data is performed based on the calculated binarization threshold. A binary image is obtained by this binarization processing.
[0053]
  6 and subsequent drawings, for convenience of explanation, the dark image of the binary image is indicated by hatching, and the printing surface 5, the polarity mark 6, the company mark 7, the lot number 8, and the capacity value 9 are shown. The image corresponding to each display information of the voltage value 10 is also given the same symbol. Further, in the following description, expressions such as up, down, left, and right are used with reference to the orientation of each display information on the printing surface 6.
[0054]
  In step S3, a body position measurement process is executed. This process measures the position of the surface of the main body 2, that is, the printing surface 5 as shown in FIG. 6 based on the binary image obtained in step S 2. In step S2, the upper end point P1, the right end point P2, and the lower end point P3 are measured based on the light / dark boundary of the binary image. Moreover, the center point P0 of the printing surface 5 is calculated | required by calculating using these points P1-P3. Furthermore, the left end point P4 is obtained by performing arithmetic processing using these points P0 to P3. The reason why the left end point P4 is calculated is that the left end point P4 cannot be distinguished from the dark image corresponding to the polarity mark 6 and the dark image on the outer peripheral side of the main body 2.
[0055]
  In step S4, a window setting process is executed. Here, six windows are set, and these are all set with reference to the coordinate values of the points P0 to P4 subjected to the measurement calculation processing in step S3. That is, as shown in FIG. 7, the window W1 is set in a vertically long rectangular shape including the upper end point P1, the window W2 is set in a horizontally long rectangular shape including the right end point P2, and the window W3 is vertically long including the lower end point P3. It is set to a rectangular shape. The window W4 has a horizontally long rectangular shape on the printing surface 5, and the left side approaches a dark image corresponding to the polar mark 6 and the right side becomes a bright image portion without any other display information 7-10. Set to The window W5 is set to a vertically long rectangular shape in which all of the dark image corresponding to the polarity mark 6 when printing is normal is included. The window W6 is set to a rectangular shape that covers only the dark image corresponding to the polar mark 6 and includes all the dark images corresponding to the other display information 7-10. These windows W1 to W6 are appropriately used in the following image inspection.
[0056]
  In step S5, the measurement process of the polarity mark 6 is executed. Here, as shown in FIG. 8, the left end point P4 is detected by the process at step S3, and the window W4 and the window W5 are set by the process at step S4. Measure the width and area of the corresponding dark image. The measurement of the width of the dark image corresponding to the polar mark 6 will be described. The left end of the dark image corresponding to the polar mark 6 is the left end point P4, but the right end point is unknown. Therefore, when the window W4 is scanned from the right side, there is a point where the bright image is switched to the dark image, and can be regarded as the right end point. The width t1 of the dark image corresponding to the polarity mark 6 is measured from both the left and right points. Next, the area of the polarity mark 6 is measured by the window W5. If the window W5 is normal, it should be a dark image.
[0057]
  In step S6, pass / fail judgment processing for the polarity mark 6 is executed. Here, it is determined whether or not the width t1 and the area of the dark image corresponding to the polarity mark 6 obtained in step S5 are within allowable values. Each allowable value is set in advance via the keyboard 35. Specifically, when the width t1 is less than the preset allowable value or when the area is less than the preset allowable area value, the process jumps to step S19 to perform defective product determination processing. For example, when the width t1 of the polarity mark 6 is short, it is determined that the necessary and sufficient size of the polarity mark 6 has not been printed, and is defective. Further, regarding the area of the polarity mark 6 (area in the window W5), if there is a defect in printing, it is determined to be defective. On the other hand, if the measured width t1 and area are within the allowable values, the polarity mark 6 is assumed to be printed normally and the process proceeds to step S7.
[0058]
  In step S7, a mask process is executed. From this processing step, it is executed to determine whether each display information 7 to 10 other than the polarity mark 6 is normally printed. Therefore, in step S7, attention is first focused on the window W6 including these pieces of display information 7-10. In the window W6, all of the display information 7 to 10 are surely included, and the print surface 5 is circular, so that the upper right portion W6a and the lower right portion W6b of the window W6 are background images. You are approaching a dark image. Therefore, it is necessary to distinguish the upper right portion W6a and the lower right portion W6b from the display information 7 to 10. Therefore, first, the average value of the brightness of the bright image portion of the window W1 and the window W4 is calculated, and processing is performed so that the background image around the printing surface 5 has the calculated brightness. Accordingly, the background image is regarded as a bright image, and the upper right portion W6a and the lower right portion W6b in the window W6 are also switched to the bright image. Note that the average value of the brightness of the window W1 and the window W4 is used by surely averaging even if the unscheduled print portion is included in the bright image portion in one of the windows W1 or W4. This is because the mask process can be executed.
[0059]
  In step S8, a character string cut-out process is executed. In addition, although expressed as a character or a character string below, they have the same meaning as display information including numbers, symbols, figures, etc., and are used only for convenience of explanation. Here, as shown in FIG. 10, the image of the window W6 masked in step S7 is used, and the image in the window W6 is scanned from top to bottom. Then, there is a place where the bright image is switched to the dark image. This is the upper end position of the dark image corresponding to the company mark 7. When scanning is further continued, there is a place where the dark image is switched to the bright image. This is the lower end position of the dark image corresponding to the company mark 7. If scanning is further continued, switching between a bright image and a dark image is repeated. As a result, the heights h1, h2, h3, h4 of the respective dark images corresponding to the display information 7 to 10 and the height H including all the dark images corresponding to the display information 7 to 10 are measured. .
[0060]
  In step S9, a determination process regarding the height of the entire character string is executed. Here, it is determined whether or not the overall height H of each display information 7 to 10 measured in step S8 is within a predetermined allowable value. This allowable value is set in advance via the keyboard 35. Specifically, when the height H does not fall within the preset allowable range (between the upper limit value and the lower limit value), the process jumps to step S19 to perform defective product determination processing. For example, when the display information 7 to 10 overlap each other, the height H is shortened and it is determined as defective. On the other hand, if the measured height H is within the allowable value, it is assumed that the display information 7 to 10 as a whole is normal, and the process proceeds to step S10.
[0061]
  In step S10, a determination process regarding the height of each character string is executed. Here, it is determined whether or not the heights h1 to h4 for each display information 7 to 10 measured in step S8 are within a predetermined allowable value. This allowable value is set in advance via the keyboard 35. Specifically, when the heights h1 to h4 do not belong to the preset allowable range (between the upper limit value and the lower limit value), the process jumps to step S19 to perform defective product determination processing. For example, in the case where the upper half corresponding to the company mark 7 is not printed, the height h1 is shortened and it is determined as defective. On the other hand, if all the measured heights h1 to h4 are within the allowable value, the heights h1 to h4 of the display information 7 to 10 are all normal, and the process proceeds to step S11.
[0062]
  In step S11, a width measurement process for each character string is executed. Here, the image of the window W6 masked in step S7 is used, and the image in the window W6 is scanned from left to right and from right to left. For example, in the portion corresponding to the dark image corresponding to the company mark 7, there is a place where the bright image is switched to the dark image when scanned from left to right. This is the left end position of the dark image corresponding to the company mark 7. Conversely, when scanning from right to left, there is a place where a bright image is switched to a dark image. This is the right end position of the dark image corresponding to the company mark 7. And the same process is performed also about each other display information 8-10. Thereby, as shown in FIG. 10, each width | variety d1, d2, d3, d4 of each dark image corresponding to each display information 7-10 is measured.
[0063]
  In step S12, a determination process regarding the width of each character string is executed. Here, it is determined whether or not the widths h1 to h4 for each display information 7 to 10 measured in step S11 are within a predetermined allowable value. This allowable value is set in advance via the keyboard 35. Specifically, when the widths d1 to d4 do not belong to the preset allowable range (between the upper limit value and the lower limit value), the process jumps to step S19 to perform defective product determination processing. For example, when the right half corresponding to the lot number 8 is not printed, the width d2 is shortened and it is determined as defective. On the other hand, if the measured widths d1 to d4 are within the allowable value, the display information 7 to 10 and the individual widths d1 to d4 are assumed to be normal, and the process proceeds to step S13.
[0064]
  In step S13, a process for cutting out each character is executed. In other words, in the above processing steps, measurement processing and determination processing in character string units are performed, but thereafter measurement processing and determination processing in character units, that is, minimum units are performed more finely. Here, as shown in FIG. 11A, description will be made by paying attention to display information “50 V” that is a display of the voltage value 10. First, it is assumed that the number of character strings, the number of characters of each character string, the character type, and the like are set in advance by an input operation from the keyboard 36. In the present embodiment, the capacitor 1 is set before the appearance inspection. The input settings for all the display information 6 to 10 are made according to the type. Thus, for example, if the voltage value is 10, the character string is the fourth column, and three characters are printed here, and the three characters are character types “5”, “0”, and “V” in order from the left. I know that there is. Accordingly, here, as shown in FIG. 11A, a process of cutting out each character by dividing the width d4, which is a dark image applied to the voltage value 10 measured in step S8, into three equal parts. As for the display information of the voltage value 10, a dark image corresponding to “5” will be described as an image c1, a dark image corresponding to “0” will be described as an image c2, and a dark image corresponding to “V” will be described as an image c3. Then, the images c1 to c3 are partitioned by a bright image portion that is a gap between characters. However, if the images c1 to c3 are close to each other or their intervals are irregular, the images c1 to c3 may overlap the partition line. In this case, the partition line is left and right. A process for adjusting the position is performed. In this way, as shown in FIG. 11B, the images c1 to c3 are cut out individually. Thereafter, for each of the images c1 to c3, as shown in FIG. 11C, a process for setting a circumscribed rectangle is executed. Further, the area occupied by the dark image in the circumscribed rectangle is measured.
[0065]
  In step S14, a determination process regarding the areas of the images c1 to c3 is executed. Here, it is determined whether or not the area of each dark image for each of the images c1 to c3 measured in step S13 is within a predetermined allowable value. This allowable value is set in advance via the keyboard 35. Specifically, if each area does not belong to the preset allowable range (between the upper limit value and the lower limit value), the process jumps to step S19 to perform defective product determination processing. On the other hand, if the measured areas are within the allowable values, the areas of the images c1 to c3 are assumed to be normal, and the process proceeds to step S15.
[0066]
  In step S15, expansion / contraction processing is executed. Here, only the image c3 will be described, but it goes without saying that it is executed for all other images. As shown in FIG. 12A, the RAM 33 stores dot data of 7 dots vertically and 5 dots horizontally. Since only a very small amount of data needs to be stored in this way, the storage capacity of the RAM 33 is not wasted. The stored data i uses font data at the time of printing. For this stored data i, the actually obtained image c3 (see FIG. 11 (c)) has a large number of dots and cannot be directly compared. Therefore, normalization processing is executed prior to expansion / contraction processing. The normalization process is a process for making the stored data i and the circumscribed square of the actual image c3 the same. For example, as shown in FIG. 11C, when the circumscribed rectangle of the image c3 is vertical x dots and horizontal y dots, processing for adjusting the vertical and horizontal lengths of the stored data i is performed. Specifically, the stored data i is multiplied by x / 7 in the vertical direction and y / 5 times in the horizontal direction. As a result, as shown in FIG. 12B, reference data I having the same circumscribed rectangle as the image c3 is generated. Since the reference data I is generated by matching the vertical x and horizontal y of the image 3c each time as described above, the size of the image c3 is different, or the image is a vertically or horizontally long image. Even in this case, the most optimal data can be provided as the reference data I.
[0067]
  After the normalization process ends, the expansion / contraction process of the reference data I is executed. First, the contraction process will be described. Here, the thinning process is executed among the shrinking processes. Thinning is generally referred to as “an operation to convert a linear figure into a sequence of points existing in the center of the width while maintaining the connectivity of the figure.” Here, the same processing is performed. The thin line data Ia is generated as shown in FIG. Note that the shrinkage data obtained in general shrinkage processing may be interrupted and the continuity may be lost. Therefore, when inspecting continuous linear figures such as characters as in this embodiment, thinning processing is performed. It is preferable to apply. Next, the expansion process will be described. The expansion is “an operation for changing the neighborhood of one pixel to 1”, and is generally performed by adopting a known “4-neighbor” or “8-neighbor” as the neighborhood. Yes, by performing the same processing here, the expansion data Ib is generated as shown in FIG.
[0068]
  In step S16, an overlay process is executed. The reference data for the superimposition processing is the thin line data Ia and the expansion data Ib generated by the expansion / contraction processing in step S15. Further, the comparison data to be superimposed on these is the image captured this time, and here is the image c3. Then, as shown in FIG. 13A, a process of superimposing the thin line data Ia and the image c3 is performed. Further, as shown in FIG. 13B, a process of superimposing the expansion data Ib and the image c3 is performed.
[0069]
  In step S17, a process for determining the degree of coincidence is executed for the result of superposition in step S16. The allowable value of the degree of coincidence is set in advance by an input operation using the keyboard 35, and can be set as necessary, for example, 98%. Then, as a result of superimposing the thin line data Ia and the image c3, the degree of coincidence is determined with 100% being the case where all the thin line data Ia is included in the dark image area of the image c3. Further, the degree of coincidence is determined with 100% being the case where all the images c3 are included in the dark image area of the expansion data Ib as a result of superimposing the expansion data Ib and the image c3. If one of the respective degrees of coincidence falls below the allowable value (lower limit value), the process proceeds to step S19 to determine defective products.
[0070]
  For example, when the missing portion c3a exists in the image c3 as shown in FIG. 13A or when the protruding portion c3b exists in the image c3 as shown in FIG. When the degree of coincidence falls below the lower limit, which is the allowable value, it is determined as a defective product. As a result, it is possible to reliably determine defectiveness or blurring of printed characters in each character unit that is the minimum unit. On the other hand, if the degree of coincidence is within the allowable value, the print character of the image c3 is assumed to be normal, and the process proceeds to step S18.
[0071]
  In step S18, a non-defective product determination process is executed. That is, only those that have cleared all the above inspection items are determined to be non-defective products, and those that cannot be cleared in steps S6, S9, S10, and S17 are all determined to be defective products in step S19, and one capacitor 1 The inspection process for is completed. The capacitors 1 determined as defective in step S19 are separated from non-defective products by the separation processing device 17 in FIG. On the other hand, the capacitor 1 determined to be non-defective in step S18 is transported to the chip mounting device 21 to be the chip capacitor 1 as the final product.
[0072]
  According to the visual inspection apparatus 16 described above, when the printed surface 5 of the capacitor 1 is inspected, it is possible to eliminate an operator's visual inspection and perform an automatic inspection using image processing. As a result, the production efficiency of the capacitor 1 including inspection can be improved, and the manufacturing cost can be reduced.
[0073]
  Further, it is possible to eliminate the bad effects caused by the visual inspection by the operator, for example, the variation of the determination criteria of the quality, and the quality of the printing state can always be determined at a constant level. As a result, the variation between the products of the capacitor 1 is reduced.
[0074]
  Moreover, since the appearance inspection apparatus 16 is incorporated in the printing apparatus 11, it can be shifted to the inspection as it is after printing. Moreover, since the capacitor 1 is constantly fixed by the chuck 18 from the time of printing to the time of inspection, the posture of the capacitor 1 can be inspected while being held in the same state as at the time of printing. It is no longer necessary to make a major correction. As a result, the inspection efficiency of the printing surface 5 is also significantly improved.
[0075]
  Further, since individual characteristics regarding the inspection of the printing surface 5 are apparent from the explanations in the respective processing steps S1 to S19, they will not be described in detail. The print surface 5 can be simply inspected by various distinctive processes such as inspection for distinguishing the display information 7 from 10 and other display information, processing for cutting out each character string or character, and checking the degree of matching of each character. In addition, there is an advantage that the quality determination can be performed appropriately.
[0076]
  In addition, since the setting values used for the determination processing in steps S6, S9, S10, S12, S14, and S17 can be input and set via the keyboard 35, each display information 6 to 10 on the printing surface 5 is requested. It is possible to make appropriate adjustments depending on the sharpness of the prints to be made and the degree of the shape of the characters. Of course, for example, if there is a request that only the lot number 8 should be clarified, it is possible to set the judgment criteria strictly for the set value in that part, so inspections according to the situation and request can be easily realized. can do.
[0077]
  In the present embodiment, the inspection object is the capacitor 1, particularly the aluminum electrolytic capacitor. However, the present invention is not limited to this and may be another capacitor. Moreover, it is not limited to a capacitor, and other electric / electronic components may be used. Furthermore, it is not limited to electrical / electronic components, but may be other articles.
[0078]
  In the present embodiment, the case where the printing state of the printing surface 5 is inspected has been described. However, other display information such as a seal or a printed character may be inspected instead of printing. In other words, it may be based on the premise that the brightness of the display information and other portions are different.
[0079]
  In addition, the appearance inspection device 16 is not attached to the printing device 11, but may be installed in a place that can be separately inspected after display information is attached to the inspection object, such as printing. Therefore, it may be installed independently from the printing apparatus 11 or the like.
[Brief description of the drawings]
1A is a schematic diagram of a printing apparatus and a chip mounting apparatus according to an embodiment, FIG. 1B is a diagram showing an alignment state of capacitors, and FIG. 1E is a chip shape. The perspective view which shows a capacitor | condenser.
FIG. 2 is a front view showing an inspection state by an appearance inspection apparatus.
FIG. 3 is a block diagram of an appearance inspection apparatus.
FIG. 4 is a flowchart showing an inspection procedure by an appearance inspection apparatus.
FIG. 5 is a plan view of a capacitor.
FIG. 6 is an explanatory diagram of an inspection image at the time of measuring a main body position.
FIG. 7 is an explanatory diagram of an inspection image when a window is set.
FIG. 8 is an explanatory diagram of an inspection image at the time of polarity mark inspection.
FIG. 9 is an explanatory diagram of an inspection image at the time of mask processing.
FIG. 10 is an explanatory diagram of an inspection image when measuring a character string height and width.
11A is an explanatory diagram of an inspection image when each character is cut out, FIG. 11B is an explanatory diagram of the inspection image after each character is cut out, and FIG. 11C is an explanatory diagram of the inspection image when a circumscribed rectangle is set.
12A is an explanatory diagram of stored data, FIG. 12B is an explanatory diagram of reference data after normalizing the stored data, FIG. 12C is an explanatory diagram of thin line data, and FIG. Illustration.
FIG. 13A is an explanatory diagram at the time of superimposing processing with thin line data, and FIG. 13B is an explanatory diagram at the time of superimposing processing with expansion data.
[Explanation of symbols]
  DESCRIPTION OF SYMBOLS 1 ... Capacitor as inspection object, 2 ... Main body, 3, 4 ... Negative electrode terminal and positive electrode terminal as electrode terminals, 5 ... Printed surface as surface to be inspected surface, 6-10 ... Polarity mark as display information , Company mark, lot number, capacity value and voltage value, 11 ... printing device, 14 ... printing processing device as printing means, 16 ... visual inspection device, 18 ... chuck as transferring means, 19 ... illumination, 20 ... CCD camera , 25: Image processing unit as image processing means, 26: A / D converter, 27: Image memory, 28: Video mixer, 29 ... Calculation logic, 30 ... Control logic, 31 ... CPU, 32 ... ROM as storage means 33 ... RAM as storage means, 34 ... input / output device, 35 ... keyboard as input means, 36 ... display monitor as display means, W1 to W6 Wind, i ... stored data, I ... reference data, Ia ... fine line data, Ib ... inflation data.

Claims (10)

検査対象物の表面に付された複数種の表示情報の良否を判定するための外観検査装置であって、
前記表面からの反射光を受光する撮像手段と、該撮像手段によって得られた多値画像を二値画像に変換可能であり、その二値画像及び多値画像に基づいて表示情報の良否を判定する画像処理装置とを備え、
該画像処理装置は、前記複数種の表示情報を分割して各表示情報毎に良否判定処理を行うものであり、かつ、
前記画像処理装置は、二値画像に基づいて前記検査対象物の表示情報が付された領域の輪郭位置を測定し、その測定結果に基づいて二値画像に対し複数のウインドを設定し、各ウインドを利用して各表示情報の良否判定を行うものであり、
前記ウインドのうち第1のウインドを、表示情報が付された領域と表示情報が付されていない領域とに跨るように設定し、該第1のウインド内の多値画像を検査することにより、第1のウインド内の明画像と暗画像の切り替わりを判別するようにし、
前記ウインドのうち第2のウインドを、所定の複数の表示情報を包含しかつ前記検査対象物の表面から部分的に逸脱する大きさ及び位置となるように設定し、該第2のウインド内での各表示情報の検査に際しては前記表面よりも外周側の領域をマスク処理するようにし、
前記ウインドのうち第3のウインドを、前記検査対象物の表示情報が付された領域の輪郭の内外に跨るように設定し、
該第3のウインド内及び前記第1のウインド内において、それぞれの多値画像に基づいて明画像部分を抽出し、当該明画像部分の輝度の平均値を、前記検査対象物の表面よりも外周側の領域の画像データに当てはめることで、前記第2のウインド内でのマスク処理を行うようにしたことを特徴とする外観検査装置。
An appearance inspection apparatus for determining the quality of multiple types of display information attached to the surface of an inspection object,
An imaging unit that receives reflected light from the surface, and a multi-valued image obtained by the imaging unit can be converted into a binary image, and the quality of display information is determined based on the binary image and the multi-valued image. An image processing device for
The image processing apparatus divides the plurality of types of display information and performs pass / fail judgment processing for each display information, and
The image processing device measures the contour position of the region to which the display information of the inspection object is attached based on the binary image, sets a plurality of windows on the binary image based on the measurement result, Use the window to determine the quality of each display information.
By setting the first window of the windows so as to straddle the area with display information and the area without display information, and inspecting the multi-valued image in the first window, The switching between the bright image and the dark image in the first window is determined,
A second window of the windows is set to have a size and position that includes a plurality of predetermined display information and partially deviates from the surface of the inspection object. When inspecting each display information, the area on the outer peripheral side than the surface is masked,
The third window of said window, and set so as to extend in and out of the contour of the display information of the inspection object is attached region,
In the third window and the first window, a bright image portion is extracted based on each multi-valued image, and the average value of the brightness of the bright image portion is set to the outer circumference than the surface of the inspection object. A visual inspection apparatus characterized by performing mask processing in the second window by applying to the image data of the side area .
前記画像処理装置は、更に各表示情報毎に1文字単位等の最小単位での良否の判定処理を行うことを特徴とする請求項1に記載の外観検査装置。  The appearance inspection apparatus according to claim 1, wherein the image processing apparatus further performs pass / fail determination processing in a minimum unit such as one character unit for each display information. 前記画像処理装置により前記多値画像を二値画像に変換する際、二値化閾値を前記多値画像の輝度に基づいて毎回設定するようにしたことを特徴とする請求項1又は請求項2に記載の外観検査装置。 3. The binarization threshold value is set every time based on the luminance of the multi-value image when the multi-value image is converted into a binary image by the image processing device. 2. An appearance inspection apparatus according to 1. 前記画像処理装置は、各表示情報に関する1文字単位等の最小単位の記憶データをそれぞれ記憶した記憶手段を備え、該記憶手段に記憶された記憶データを、それに対応する実際の二値画像の最小単位データの縦横の大きさに合わせる処理を行うことにより基準データを生成し、該基準データを利用して実際の二値画像の最小単位データと比較することにより、各最小単位の良否を判定することを特徴とする請求項1乃至請求項のいずれかに記載の外観検査装置。The image processing apparatus includes a storage unit that stores storage data in a minimum unit such as one character unit for each display information, and stores the storage data stored in the storage unit as a minimum of an actual binary image corresponding to the storage unit. The reference data is generated by performing processing to match the vertical and horizontal sizes of the unit data, and the quality of each minimum unit is determined by using the reference data and comparing with the minimum unit data of the actual binary image. The appearance inspection apparatus according to any one of claims 1 to 3 , wherein the appearance inspection apparatus is provided. 前記画像処理装置は、各表示情報に関する1文字単位等の最小単位の記憶データをそれぞれ記憶した記憶手段を備え、該記憶データにかかる最小単位のデータを利用して膨張及び収縮処理を行って膨張データ及び収縮データを生成し、実際の二値画像の最小単位データと膨張データ及び収縮データとをそれぞれ比較して一致度を検査するとともに、その一致度をもとに各最小単位の良否を判定することを特徴とする請求項1乃至請求項いずれかに記載の外観検査装置。The image processing apparatus includes storage means for storing storage data in a minimum unit such as one character unit for each display information, and performs expansion and contraction processing using the minimum unit data for the storage data. Data and contraction data are generated, the minimum unit data of the actual binary image is compared with the expansion data and contraction data, respectively, and the degree of coincidence is checked. Based on the degree of coincidence, the quality of each minimum unit is determined appearance inspection apparatus according to any claims 1 to 4, characterized in that. 前記収縮処理は細線化処理であり、収縮データは細線データである請求項記載の外観検査装置。The appearance inspection apparatus according to claim 5 , wherein the contraction process is a thinning process, and the contraction data is thin line data. 前記検査対象物の表面が印刷面とされ、該印刷面に表示情報が印刷されたものであることを特徴とする請求項1乃至請求項のいずれかに記載の外観検査装置。The appearance inspection apparatus according to any one of claims 1 to 6 , wherein a surface of the inspection object is a printing surface, and display information is printed on the printing surface. 前記検査対象物の表面を円形状とした請求項1乃至請求項のいずれかに記載の外観検査装置。Appearance inspection apparatus according to any one of claims 1 to 7 the surface of the inspection object has a circular shape. 検査対象物は、表面がアルミニウムによって形成されたアルミ電解コンデンサであり、印刷は印刷面の地色とは輝度が異なることを特徴とする請求項又は請求項に記載の外観検査装置。The appearance inspection apparatus according to claim 7 or 8 , wherein the inspection object is an aluminum electrolytic capacitor having a surface formed of aluminum, and printing has a luminance different from a ground color of a printed surface. 複数種の表示情報として、少なくとも極性マークと複数段に配置された表示情報とを含み、前記極性マークを他の表示情報とは相異なる検査項目にて良否判定することを特徴とする請求項記載の外観検査装置。As the display information of a plurality of types, and a display information arranged in at least the polarity marks and a plurality of stages, according to claim wherein the polarity marked other display information, characterized in that quality determination at different test items 9 Appearance inspection apparatus as described.
JP32521499A 1999-11-16 1999-11-16 Appearance inspection device Expired - Fee Related JP3846617B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP32521499A JP3846617B2 (en) 1999-11-16 1999-11-16 Appearance inspection device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP32521499A JP3846617B2 (en) 1999-11-16 1999-11-16 Appearance inspection device

Publications (2)

Publication Number Publication Date
JP2001141426A JP2001141426A (en) 2001-05-25
JP3846617B2 true JP3846617B2 (en) 2006-11-15

Family

ID=18174310

Family Applications (1)

Application Number Title Priority Date Filing Date
JP32521499A Expired - Fee Related JP3846617B2 (en) 1999-11-16 1999-11-16 Appearance inspection device

Country Status (1)

Country Link
JP (1) JP3846617B2 (en)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100440098B1 (en) * 2002-02-26 2004-07-14 백성욱 Method for position set the using capture video of a body and video signal capture device
JP4812482B2 (en) * 2006-03-22 2011-11-09 株式会社メガトレード Printing state inspection apparatus and printing state inspection method
JP5056434B2 (en) * 2008-01-23 2012-10-24 セイコーエプソン株式会社 Printing apparatus and printing method
KR101307781B1 (en) * 2011-12-30 2013-09-12 조성제 Method and system for inspecting object using 3-dimensional patern kernel, computer-readable recording medium and computer apparatus
JP5383877B1 (en) * 2012-08-06 2014-01-08 三菱電機株式会社 Capacitor deterioration diagnosis device, inverter device, and home appliance
JP2017071077A (en) * 2015-10-05 2017-04-13 株式会社日立産機システム Ink jet recording system, ink jet recording device used in the same, printing inspection device, and method for adjusting printing character height
CN105548201B (en) * 2016-01-15 2018-07-13 浙江野马电池有限公司 A kind of battery welding cap visible detection method
CN105548186B (en) * 2016-01-15 2018-09-14 浙江野马电池有限公司 A kind of pulp layered paper visible detection method
CN105548216B (en) * 2016-01-15 2019-03-12 浙江野马电池有限公司 A kind of semi-finished product battery apparent visual detection method
JP6767163B2 (en) * 2016-05-23 2020-10-14 住友ゴム工業株式会社 How to detect stains on articles
CN111553906B (en) * 2020-04-30 2023-07-14 珠海格力智能装备有限公司 Method and device for detecting appearance of capacitor
CN114429443A (en) * 2020-10-29 2022-05-03 技嘉科技股份有限公司 Method for determining polarity of capacitor

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5574667A (en) * 1978-11-29 1980-06-05 Nec Home Electronics Ltd Pattern discrimination method
JP2870695B2 (en) * 1989-03-27 1999-03-17 株式会社日立製作所 Polarity inspection method for mounting polar parts and mounting board appearance inspection method
JPH0587939U (en) * 1991-06-03 1993-11-26 ニチコン株式会社 Electrolytic capacitor
JP3447751B2 (en) * 1991-08-16 2003-09-16 株式会社東芝 Pattern recognition method
JP3279099B2 (en) * 1994-10-25 2002-04-30 三菱電機株式会社 Mark recognition device and mark recognition method
JPH0936001A (en) * 1995-07-14 1997-02-07 Elna Co Ltd Manufacture of electrolytic condenser
JPH09147114A (en) * 1995-11-16 1997-06-06 Nippon Avionics Co Ltd Pattern recognizing method
JPH1040380A (en) * 1996-07-22 1998-02-13 Sony Corp Method and device for inspecting mark

Also Published As

Publication number Publication date
JP2001141426A (en) 2001-05-25

Similar Documents

Publication Publication Date Title
JP3846617B2 (en) Appearance inspection device
US20040057629A1 (en) Print inspection method and print inspection apparatus
JPH09231362A (en) Appearance inspecting device and its method
JP4241361B2 (en) Cap top surface inspection method
CN116168218A (en) Circuit board fault diagnosis method based on image recognition technology
CN113724218B (en) Method, device and storage medium for identifying chip welding defect by image
JP3589424B1 (en) Board inspection equipment
CN113780235A (en) Icon flaw detection method and system
JP3960127B2 (en) Appearance inspection device
JPH07332951A (en) Apparatus and method for inspecting image
JP3589756B2 (en) Inspection set value input display method and device for defect inspection
CN114354491A (en) DCB ceramic substrate defect detection method based on machine vision
JPH06258226A (en) Appearance inspection method for tablet
JP4010838B2 (en) Pattern inspection device
JP2006035505A (en) Method and device for inspecting printed matter
JP4653340B2 (en) Can appearance inspection device using a three-plate CCD camera
JP3461128B2 (en) Appearance inspection method and device for stamped tablets
CN116184034A (en) Electrolytic capacitor shaping, detecting and automatic correcting and inserting integrated equipment
JP3781467B2 (en) Pattern inspection method
JP3447280B2 (en) Inspection method of printed matter and its inspection device
JP2005145055A (en) Inspection methods of printing state as well as character and inspection device using these methods
JP4275582B2 (en) Board inspection equipment
JPH09147056A (en) Method and device for checking appearance of mark
TWI703320B (en) Marking inspection apparatus, marking inspection method and article inspection apparatus
JP2001013081A (en) Method and device for inspecting tire

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060703

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060816

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090901

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100901

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110901

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120901

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120901

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130901

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130901

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140901

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees