JP4288922B2 - 接合部材の検査方法およびその検査装置 - Google Patents
接合部材の検査方法およびその検査装置 Download PDFInfo
- Publication number
- JP4288922B2 JP4288922B2 JP2002298770A JP2002298770A JP4288922B2 JP 4288922 B2 JP4288922 B2 JP 4288922B2 JP 2002298770 A JP2002298770 A JP 2002298770A JP 2002298770 A JP2002298770 A JP 2002298770A JP 4288922 B2 JP4288922 B2 JP 4288922B2
- Authority
- JP
- Japan
- Prior art keywords
- joining member
- standard pattern
- joining
- electrode terminal
- inspection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Electric Connection Of Electric Components To Printed Circuits (AREA)
- Combinations Of Printed Boards (AREA)
- Supply And Installment Of Electrical Components (AREA)
- Length Measuring Devices By Optical Means (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、表示パネルと電子回路を形成する回路基板を電気的、機械的に接合するのに用いる接合部材、特に接合部材の接合検査方法およびその検査装置に関するものである。
【０００２】
【従来の技術】
従来の接合方法の一つについて図１２を用いて説明をする。
【０００３】
表示パネル１上の電極部２を挟んで形成された基準マーク３aまたは３bを、カメラ５で見たときに、視野範囲５a内の画像を黒白に二値化して、認識できるかできないかで接合部材４の有無を判定する方法である。表示パネル１上の電極部２は、複数の端子１５を有し、その電極部２を挟んで基準マーク３aおよび３bが形成されている。この電極部２と基準マーク３aおよび３bを覆うように、設計値より求めた長さに切断された接合部材４を接合して、回路基板との接合に用いる。接合部材４は半透明のため、接合部材４の下の電極部２を形成する端子１５と基準マーク３aおよび３bは認識し難い。接合部材４が正常に接合されていれば、基準マーク３aおよび３bは、共に接合部材４により覆われる。
【０００４】
カメラ５は、画像認識機能を有し、黒白の濃淡で表される基準マーク３aおよび３bの識別と、撮像部を見やすくするための照明装置と、所定の距離を移動することができる機能を備えている。また画像認識機能は、基準マーク３aおよび３bを識別できないときは、接合部材４が存在するものと判定するようにプログラムされている。
【０００５】
図１２(a)において、電極部２に接合部材４が接合された基準マーク３aの位置に所定の機能でカメラ５を移動させる。カメラ５は画像認識機能により、視野範囲５a内に基準マーク３aを認識しようとするが、接合部材４により覆われているために、黒白の画像として識別しにくく、認識することが難しい。従って前記プログラムにより、基準マーク３aの位置には接合部材４が存在するものと判定する。
【０００６】
次にカメラ５は基準マーク３bに移動し、同様に基準マーク３bも識別できないため、接合部材４が存在すると判定する。基準マーク３aおよび３bの両方が識別できないときは、接合部材４が正しく接合されているものと判定するようにプログラムしておけば、当該位置における接合部材４の接合は正しいものと判定される。
【０００７】
図１２(b)は、基準マーク３bにおいて、接合部材４の接合位置がずれるか、または接合不良により基準マーク３bが認識できる状態を示している。カメラ５は、前記図１２(a)における説明のように、基準マーク３aの位置においては、基準マーク３aを認識できず、基準マーク３bの位置に移動して、接合部材４がずれているために、基準マーク３bを認識する。
【０００８】
従って基準マーク３aにおいては接合部材４があり、基準マーク３bにおいては接合部材４がないという結果から、接合部材４が正しく接合されていないものと判定する。なお基準マーク３aおよび３bの認識は、基準マークの大きさを変えることにより、接合精度を変えることが出来る。
【０００９】
他の方法は、図１３を用いて、接合部材４の長さが電極部２を形成する端子１５の設計値の幅寸法ｘに余裕を加えて切断して用い、電極部２のみに接合部材４を接合する方法について説明する。
【００１０】
カメラ５の画像認識機能は、基準マーク３aと端子１５の左端の端子１５a、または基準マーク３bと端子１５の右端の端子１５bを組み合わせた画像が判定基準となるようにプログラムされている。
【００１１】
図１３(a)は、接合部材４が電極部２に適切に接合された状態を示すもので、カメラ５は、基準マーク３aにおいて、基準マーク３aと、その右側に端子１５の左端子１５aとを視野範囲５a内に認識している。基準マーク３bにおいては、基準マーク３bと、その左側に端子１５の右端子１５bを視野範囲５a内に認識している。この２つの画像を正しい接合部材４接合の判定基準としてプログラムしておき接合の良否を判定する。従って当該位置における接合部材４の接合状態を正しいものとして判定することが出来る。
【００１２】
図１３(b)は、基準マーク３aにおいては、図１３(a)において説明のように基準マーク３aと左端子１５aが判定基準に合致するものである。一方基準マーク３bにおいては、基準マーク３bと右端子１５bと、右端子の一部１５cが視野範囲５a内に認識される。この状態は、接合部材４の接合のずれか、接合不良により生じるものであり、前記判定基準に合致しない。従って接合部材４の接合は、接合不良と判定される。
【００１３】
【発明が解決しようとする課題】
しかしながら上記のような構成では、基準マークの認識や、基準マークと端子の組み合わせ状態により判定するため、接合部材の切断のばらつきや、接合時の接合部材端部形状の変形、基準マークの誤認識（１．マークの形状がいびつである。２．マークに異物が付着して認識しにくい。３．照明の乱反射等）により、接合部材の接合の確認が不安定となりやすく、接続不良を生じやすいという問題がある。
【００１４】
本発明は、接合部材と表示パネルをカメラにより接合部材の端部角部を探索し、探索結果を演算処理して、接合部材の端部角部を数値により特定して、接合位置を判定し、決定する方法を提供することを目的とするものである。
【００１５】
【課題を解決するための手段】
上記目的を達成するために本発明は、電極部を間にしてその両側に形成された２つの基準マークと、接合部材の端部角部を２つのカメラを用いて左右同時に撮像し、画像に対して接合部材と表示パネルに対応する不感帯領域を有する２つの標準パターンを重ね合わせ、接合部材の端部角部を特定するための探索を行い、探索結果を演算処理して、接合部材の端部角部の接合位置を数値により特定した後、接合位置の可否判定基準値と比較して、接合部材の接合の良否判定をする。
【００１６】
【発明の実施の形態】
本発明の請求項１記載の発明は、電極部を挟んで配置され、この電極部との相対位置が既知である２つの基準マークとこの電極部上に設置された接合部材の端部とを撮像する工程と、この撮像した画像から前記基準マークと前記端部とを認識する工程と、この認識した前記基準マーク間と前記端部間の距離を測定する工程と、この測定した基準マーク間距離から前記端部間距離を減じたものを基準値と比較する工程と、この比較した結果により良否判定を行う工程とを有した検査方法としたものであり、撮像状態を数値化し計算により得た数値と基準値を比較して位置の良否確認を行うことが出来るため、接合部材位置の確認作業の時間短縮と、正確な位置確認が容易に行える。
【００１７】
本発明の請求項２記載の発明は、基準マークと電極部との相対位置が既知であり、この基準マーク間の設計値と測定値を比較して形成誤差を算出する工程と、この算出した形成誤差を加味した接合部材端部間の距離を算出する工程と、この算出した接合部材端部間の距離と測定値とを比較して良否判定を行う工程とを有した検査方法としたものであり、微細化の進む電極部に対しても最小長さの接合部材の使用を可能にし、コストダウンと接続の信頼性を向上させることができる。
【００１８】
本発明の請求項３記載の発明は、接合部材の端部を認識する工程は、この接合部材を探索する第１の標準パターンと背景となる被接合物を探索する第２の標準パターンとで前記接合部材の端部または角部を囲って組み合わせた探索標準パターンを構成し、この探索標準パターンには前記第１と第２の標準パターン間に演算要素を持たない不感帯領域を設け、且つ拡大縮小でき、この探索標準パターンと、マッチング演算を行う検査方法としたものであり、接合部材の切断部の形状ばらつきや、表面の局所的な輝度むらや汚れに影響されず、接合部材端部を検査できる。
【００１９】
本発明の請求項４記載の発明は、第１の標準パターンは接合部材の端部または角部に内接する形状を用いる検査方法としたものであり、形状合致によるため接合部材の切断部の形状ばらつきや、接合部材表面の局所的な輝度むらや汚れに影響されず、接合部材の端部または角部を正確に検査できる。
【００２０】
本発明の請求項５記載の発明は、接合部材の端部または角部に内接する第１の標準パターンの形状が内角９０°の扇形形状であることとしたものであり、形状合致によるため接合部材の切断部の形状ばらつきや、接合部材の表面の局所的な輝度むらや汚れに影響されず、接合部材の端部または角部を正確に検査できる。
【００２１】
本発明の請求項６記載の発明は、検査領域の輝度のヒストグラム関数と正規分布関数の畳み込み積分計算を行い、この畳み込み積分関数から接合部材の有無を認識する工程を有する検査方法としたものであり、接合部材と被接合部の異なる物質表面の輝度の違いを利用するものであり、接合部材の切断部の形状ばらつきや、接合部材の表面の局所的な輝度むらや汚れに影響されず、接合部材の有無を正確に検査できる。
【００２２】
本発明の請求項７記載の発明は、接合部材が、接合部材、熱硬化樹脂フィルム、導電性樹脂ペースト、熱硬化樹脂ペーストのいずれかを用いたものの検査方法であることとしたものであり、いずれの接合部材を用いても検査方法や用いる装置は共通して使用できるため、検査コストの削減に大きな効果がある。
【００２３】
本発明の請求項８記載の発明は、基準マークと接合部材の端部を撮像する撮像部と、この撮像した画像から前記基準マークと前記端部とを認識する認識部と、この認識した前記基準マーク間と前記端部間の距離を測定し、前記基準マーク間距離から前記端部間距離を減じたものを基準値と比較する比較部と、この比較した結果により良否判定を行う良否判定部とを有した検査装置としたものであり、コンピュータとカメラを連動させることで撮像状態を数値化し、計算により得た数値と基準値を比較して位置の良否確認を行うことが出来て接合部材位置の確認作業の時間短縮と、正確な位置確認が容易に行える。
【００２４】
本発明の請求項９記載の発明は、認識部が、接合部材を探索する第１の標準パターンと背景となる被接合物を探索する第２の標準パターンとを組み合わせた探索標準パターンと、この第１と第２の標準パターン間に演算要素を持たない不感帯領域とを有した検査装置としたものであり、不感帯領域内の接合部材面積を一定値以下となる位置を探索することで、接合部材の切断部の形状ばらつきや接合部材表面の局所的な輝度むらに影響されず、接合部材端部を特定出来る検査装置とすることができる。
【００２５】
本発明の請求項１０記載の発明は、検査領域の輝度のヒストグラム関数と正規分布関数の畳み込み積分計算を行い、この畳み込み積分関数から接合部材の有無を認識する接合部材有無検査部を有する検査装置としたものであり、コンピュータとカメラを用い、異なる物質表面の輝度を数値化し、接合部材の有無を確認するもので、接合部材の切断部の形状ばらつきや接合部材表面の局所的な輝度むらに影響されることのない検査装置とすることができる。
【００２６】
以下本発明の実施の形態について、図面を用い同一部分については同一番号を付与して説明する。
【００２７】
（実施の形態１）
本実施の形態を、図１(a)を用いて容易に接合部材４の接合位置検査を行う方法について説明をする。
【００２８】
図１(a)において、表示パネル１上の電極部２を挟んで形成された基準マーク３aと３bとの間に、電極部２を形成する複数の端子１５の幅寸法ｍより大きい長さｎに切断された接合部材４が、電極部２を覆うように接合されている。基準マーク３aおよび３bを見下ろす位置には、視野範囲５a、視野範囲６aを有するカメラ５およびカメラ６の２つが、視野範囲内の所定の計算作業を行うように設定された演算制御装置９に接続されて設置されている。カメラ５とカメラ６は、視野範囲５aには、基準マーク３aと接合部材４の端部４aおよび電極部２を形成する端子１５の左端子１５aを、視野範囲６a内に、基準マーク３bと接合部材４の端部４bおよび電極部２を形成する右端子１５bが入るように設定する。
【００２９】
設定後、基準マーク３aと３b間の寸法と、接合部材４の左右の端部４aと端部４b間の寸法、および端子１５の両端の左端子１５aと右端子１５bとの間を測定する。測定結果から、演算制御装置９により、基準マーク３aと接合部材４の端部４a間の寸法s、および基準マーク３bと端部４b間の寸法tを算出する。
【００３０】
理論的に計算式は、sまたはt＝（Ｌ−ｎ）／２となる。また基準マーク３aと端子１５aとの間の寸法b１と、基準マーク３bと端子１５bとの間の寸法b２を求める。計算式は、b１またはb２＝（Ｌ−ｍ）／２で求めることが出来る。そしてs＝b１またはs<b１となり、t＝b２またはt<b２となれば、電極部２に接合部材４が接合されているという情報を、あらかじめ演算制御装置９に入力しておけば、接合部材４の接合の良否が容易に確認できる。
【００３１】
なおs＝b１またはs<b１と、t＝b２またはt<b２について、計算式より求める方法について述べたが、カメラ５とカメラ６に測定機能を持たせ、寸法sとtおよびb１とb２を直接測定して比較することができる方法もある。いずれの方法によるかは用いるカメラ５とカメラ６や、演算制御装置７の特性、性能や対象検査物や、求める検査精度により選択すればよい。
【００３２】
（実施の形態２）
本実施の形態は、図１(b)および図２を用いて、基準マーク３aおよび３bと接合された接合部材４の基準マークに近い両端とをカメラで撮像し、計測した値と設計値と比較して、接合の位置確認を行う方法について説明をする。
【００３３】
図１(b)において、表示パネル１に複数の端子１５により電極部２が形成され、接合部材４は、基準マーク３aおよび３b間の形成誤差を加味した寸法で、電極部２の幅寸法ｍより大きく、かつ基準マーク３aと３b間の寸法Ｌより短い長さｎに切断され、電極部２を覆うように接合されている。基準マーク３aと３bの上方には、視野範囲５a、視野範囲６aを有するカメラ５およびカメラ６の２つが、視野範囲５aと６a内の所定の計算と、比較確認の作業を行うように設定された演算制御装置９に接続されて設置されている。
【００３４】
まず図２に示すstp１において、カメラ５視野範囲５aに基準マーク３aと接合部材端部角部７を、カメラ６の視野範囲６aに基準マーク３bおよび接合部材端部角部８とを確認撮像する。図２のstp２で、視野範囲５aと６a内の基準マーク３aと３bとの間を寸法測定して寸法Ｌを求める。図２のstp３では、基準マーク３aと３b間の寸法Ｌの設計値と、測定値より基準マーク３aと３bの間の形成誤差値を求める。
【００３５】
一方、視野範囲５aと６a内の接合部材４は、図２のstp１において画像認識法や標準パターンを用いる方法等、任意の方法で接合部材端部角部７と８の有無の確認を行う。図２のstp２で、接合部材端部角部７と８との間の寸法測定を行い長さｎを求める。図２のstp３では、接合部材４の設計値長さと、基準マーク間寸法から求めた形成誤差を用いて、接合部材４の実際に使用する長さを計算する。
【００３６】
図２のstp４では、stp２で接合部材４の測定値と、図２のstp３で求めた計算値を比較し、許容範囲内であることと、電極部２の幅寸法ｍより大きく、基準マーク３aと３bの間の寸法Ｌより小さいことを確認する。接合部材４は、切断誤差と接合誤差を有し、さらに接合時に加熱加圧により変形するので、許容範囲を狭くすると製品の仕上がり精度および品質は良くなるが、歩留まりが悪くなるため、変形量を実験により確認して許容範囲を設定するのが望ましい。
【００３７】
図２のstp５において、基準マーク３aと３bの間の寸法Lと接合部材４の長さｎを用い、基準マーク３aと接合部材端部角部７との距離s、および基準マーク３bと接合部材端部角部８との距離tとを、sまたはt＝（L-ｎ）／２で求め、設計値と、演算制御装置９を用いて比較確認する。
【００３８】
確認の結果、設定値内であれば、図２のstp６で基準マーク３aの座標値 (x1,y1)と基準マーク３bの座標値 (x2,y2)を、接合部材端部角部７の座標値(X1,Y1)と接合部材端部角部８の座標値 (X2,Y2)とを求める。この座標値より、図２のstp７で基準マーク３aと３bに対する、接合部材４の縦方向と横方向の位置関係と、接合姿勢を確認する。
【００３９】
すなわちX1-x1とX2-x2、Y1-y1とY2-y2の絶対値が同じか、許容設定値内であれば、接合部材４は、電極部２に対して所定位置に接合されているものとして、図２のstp８で次工程に移行する。座標値、X1-x1とX2-x2、Y1-y1とY2-y2の値が許容設定値からはずれることは、接合部材４が電極部２に対して斜め、もしくは、ずれて接合されていることを示しており、接合し直さなければならない。
【００４０】
なお図２のstp５での作業を省略して図２のstp６において、座標値を用いs=X1-x1、t=X2-x2として求めても良い。
【００４１】
（実施の形態３）
本実施の形態は、図１(b)に示す電極部２に接合された、接合部材端部角部７と８の位置を特定するためのものである。
【００４２】
図３は、図１(b)に示す接合部材端部角部７と８とを探索する、探索標準パターン１０の代表的なものの一部を示すものである。図３(a)〜(h)は、それぞれ接合部材表面を探索する第１の標準パターン１１と、表示パネル１の表面を探索する第２の標準パターン１２との２つの標準パターンの間に、どちらにも反応しない演算要素をもたない不感帯領域１３を設け、探索標準パターン１０を形成している。不感帯領域の大きさについては、求める接合部材４の接合精度、変形量により任意に変えることが出来るものである。
【００４３】
図３(a)の索標準パターン１０は、第１の標準パターン１１と、表示パネル１の表面を探索する第２の標準パターン１２とで、不感帯領域１３が逆Ｌ字型になるように形成されたもので、接合部材端部角部７または８が、複雑な凸凹形状を有している場合に用いることが多い。図３(b)は、図３(a)と対称形をしているもので、図３(a)が探索する対称位置を探索する場合に用いる。
【００４４】
図３(c)の探索標準パターン１０は、内角９０度で扇形の第１の標準パターン１１と、逆Ｌ字型の第２の標準パターン１２とにより、不感帯領域１３が形成されている。接合された接合部材４は、加熱加圧により、変形して部分的に円形凸部を形成することが多く、接合部材端部角部７または８の円形を有する部分が、第１の標準パターン１１に合致する部分をさがして位置を特定する場合に用いる。
【００４５】
図３(d)は、図３(c)と対象形をなすもので、図３(c)が探索する対称の位置を探索する場合に用いる。図３(e)は図３(a)の、また図３(f)は図３(b)の変形で、不感帯領域１３の角部分を斜めにした形状で、接合された接合部材端部角部７または８が、斜めの折り曲げや、斜めに引きちぎられた形状で接合されている場合に適応しやすい。
【００４６】
図３(g)は図３(c)の、また図３(h)は図３(d)の変形で、第１の標準パターン１１が、複数の円形部を有しているもので、接合部材４を所定の長さに切断するときに角が引きちぎられたときに発生しやすい形状に用いることが多いものである。
【００４７】
探索標準パターン１０は、必要に応じて形成して用いることは任意であるが、図３(a)、図３(b)、図３(c)および図３(d)の４種類があれば、接合部材接合位置の探索に支障をきたすことは少ない。図３では、左右対称図のみを示しているが、この形状にこだわるものではなく、上下左右いずれの方向の形状も可能である。
【００４８】
また探索標準パターン１０は、縦、横方向に拡大縮小出来る機能も有し、必要に応じて大きさを変えて用いることができるが、不感帯領域の幅は常に一定である。
【００４９】
次に探索標準パターン１０を用いた探索例の一つは、図４に略工程と、図３(a)の探索標準パターン１０を用いて、図１(b)に示す接合部材端部角部８を探索するもので、図６に示す接合部材端部角部位置計測手段２５の構成図と、図７に示す接合部材端部角部位置探索のフローチャートを用いて説明する。
【００５０】
図４(a)は、図７に示すstp９において、図６の接合部材端部角部探索標準パターン発生手段２０を用いて、第１の標準パターン１１と、第２の標準パターン１２の間に不感帯領域１３を設けて組み合わせ、探索標準パターン１０をコンピュータ（図は省略）により形成する。同時に、別途撮像された電極部２に接合部材４が接合された、図１(b)に示す視野範囲６aの画像を、画像データ２６としてコンピュータに取り込む。
【００５１】
図７のstp１０で、視野範囲６aの画像に、探索標準パターン１０を重ね合わせ、図６の検査領域設定手段２３を介して、図６のマッチング演算手段２２でマッチング演算を行う。探索標準パターン１０と、接合部材４端部角部８がマッチングしないときは、図４(b)の様に、図７のstp１１で探索標準パターン１０を移動させて探索を続ける。そして図４(c)において、第１の標準パターン１１が接合された接合部材４の上を覆い、かつ第２の標準パターン１２が、接合部材４にかからない、または一部重複する位置で、図７のstp１２で探索標準パターン１０を重ねて固定される。この状態に於いて、図７のstp１３で図６のマッチング演算手段２２を用いマッチング演算を行う。
【００５２】
マッチング演算では、不感帯領域１３内で確認される接合部材４のはみ出し部分は面積計算され不感帯領域１３の面積に対して、所定値以下であれば許容範囲とするように図６の演算結果判定手段２４に、あらかじめ記憶させておくことによりマッチングの可否判定が行える。あらかじめ記憶させる不感帯領域１３に占める接合部材４の面積比は、小さいほど精度は高くなるが、通常は、面積比５０〜７０％に設定して用いることが多い。
【００５３】
図７のstp１４では、stp１３における図６のマッチング演算手段２２によって計算された数値を、図６の演算結果判定手段２４で判定し、マッチング結果を確認の後、図６の検査結果データ２７を用いて、図７のstp１５において図４(ｃ)の不感帯領域１３の逆Ｌ字型の角部dとeを結んだ線上の中間点を、接合部材角部位置１４と決定する。
【００５４】
他の例については、その略工程は図５に示すように、探索標準パターン１０は、図３(c)の内角９０度の扇形の第１の標準パターン１１と、逆Ｌ字型の第２の標準パターン１２を組み合わせたもので、不感帯領域１３は、前記第１の標準パターン１１と、第２の標準パターン１２の間に形成されたものを用いるものである。
【００５５】
図５(a)において、図７に示すstp９およびstp１０の工程は、前記探索例一つ目の例と同様の動作をし、図７のstp１１で探索標準パターン１０は、接合部材４に重なり、図中の矢示A方向に移動して、接合部材４の端部のマッチングする部分を図６の検査領域設定手段２３により探索する。
【００５６】
そして図５(b)において、図７のstp１２で探索標準パターン１０の第１の標準パターン１１と、接合部材４の一部がマッチングし、図７のstp１３で、互いに同形状で、かつ許容範囲内でマッチングするかどうかの演算を図６のマッチング演算手段２２で行い、図７のstp１４でマッチング結果を図６の演算結果判定手段２４で確認した後、図６の検査結果データ２７により、図７のstp１５で接合部材端部角部８の位置を決定する。この場合、接合部材端部角部８の位置は、図５(b)の探索標準パターン１０の不感帯領域１３の逆Ｌ字型角部を接合部材角部位置１４と決定する。
【００５７】
なお図６の標準パターン拡大縮小手段２１は、探索する部分が同一形状で大きさが異なる場合に必要に応じて、探索標準パターン１０の大きさを変えるときに動作させる。
【００５８】
（実施の形態４）
本実施の形態を、図８，図９および図１０を用い、接合部材４の有無を判定し、所定位置における接合部材４の有無を確認する方法について説明をする。
【００５９】
図１０に示すstp１６で、接合部材４の有無を検査する領域をカメラで撮像し、図９カメラからの画像データ２６として、図８(a)視野範囲６aをコンピュータに入力する。同時にコンピュータにより、接合部材４の有無を検査するべき範囲の大きさを、図９に示す接合部材接合有無検査手段３６の、マーカー作成手段３７により、図８(a)に示す接合部材有無検査範囲マーカー３０として設定する。
【００６０】
図１０のstp１７では、カメラで撮像した画像上の、あらかじめ設定された検査するべき所定位置で、接合部材４と表示パネル１の両方が入るように、接合部材有無検査範囲マーカー３０を合わせる。図８(a)では、接合部材有無検査範囲マーカー３０内に、接合部材４と表示パネル１の両方が確認されている。この状態で、接合部材有無検査範囲マーカー３０内の接合部材４の表面と、表示パネル１表面の輝度を、カメラを通して、図９に示すマーカー内輝度測定手段３８により測定する。
【００６１】
このとき、接合部材４および表示パネル１の表面が、撮像用の照明や、周辺の光により乱反射することがあっても、異なる物質の表面の輝度が同じということはなく、輝度の差として測定することが出来る。測定値は、図１０のstp１８で図９のヒストグラム作成手段３９により、図８(b)のように接合部材有無検査範囲マーカー３０内のヒストグラム３２と３３として作成される。ヒストグラム３２と３３は、接合部材４および表示パネル１の表面が、乱反射や汚れの影響で不規則な形状ではあるが、輝度の異なる２つの分布形状として表されている。
【００６２】
一般的に前記形状は、それぞれ正規分布関数グラフ３１の形状に近いものとされている。従って、接合部材有無検査範囲マーカー３０内に、２つの異なる物質が存在することが確認できる。通常ガラスで形成されている表示パネル１が接合部材４より輝度が高いことから、ヒストグラム３２は接合部材４であり、ヒストグラム３３は、表示パネル１と想定することができる。
【００６３】
次に図１０のstp１９で、接合部材有無検査範囲マーカー３０内のヒストグラム関数と正規分布関数を、図９に示す畳み込み積分演算計算手段４０を用い、畳み込み積分計算を行うことにより、図１０のstp２０で、図８(c)に示す２つの畳み込み積分関数グラフ３４と３５が得られたことから、図９に示す畳み込み積分関数形状判定手段４１により、左側の畳み込み積分関数グラフ３４は接合部材４を、右側の畳み込み積分関数グラフ３５は表示パネル１をあらわすものと判定される。図１０のstp２１で判定結果は、検査結果データ４２よりYESとなり、図１０のstp２２で、検査の結果は合格となる。
【００６４】
なお図１０のstp２０で、畳み込み積分関数グラフが一つしか確認出来ない場合は、接合部材有無検査範囲マーカー３０内に接合部材４が存在せず、例えば汚れやゴミによる他の要因によって誤認識して、ヒストグラムを表した可能性が考えられ、判定はNOとなり検査結果は不合格となる。この誤認識を防止する一つの方法として、あらかじめ図９のヒストグラム作成手段３９に、接合部材４と表示パネル１の想定される輝度と頻度を記憶させておき、比較確認することも有効である。また接合部材有無検査範囲マーカー３０を構成する複数の画素の１画素値を小さくすることにより、極めて微小範囲の検査を行うことが可能となり、より高精度の検査を行うことができる。
【００６５】
（実施の形態５）
本実施の形態を、検査装置に関するもので、その検査装置の略構造を示す図１１を用いて説明をする。
【００６６】
検査装置５０は、搬送装置５１、コンピュータ５３とカメラ５およびカメラ６とが接続され、さらにコンピュータ５３は、検査装置５０の各種機器の制御を行う演算制御装置５２とも接続して構成されている。コンピュータ５３は、図６に示す接合部材端部角部位置計測手段２５と、図９の接合部材接合有無検査手段３６を有している。搬送装置５１により、接合部材４が接合された表示パネル１が、カメラ５およびカメラ６に対して所定位置に搬送され、一番目の接合部材４が接合された位置に固定されると、演算制御装置５２より、固定信号がコンピュータ５３に送られる。
【００６７】
固定信号を受けたコンピュータ５３は、カメラ５およびカメラ６を駆動させ、所定部分の撮像を行い、コンピュータ画面５４に表示する。同時にコンピュータ５３は、図６に示す接合部材端部角部位置計測手段２５を用い、あらかじめ設定されたプログラムに従い接合部材４の位置計測をするか、図９に示す接合部材接合有無検査手段３６を駆動させて、プログラムに従い接合部材接合有無検査のどちらかの作業を行う。
【００６８】
どちらの手段を用いるかは、あらかじめコンピュータ５３に入力しておくことで容易に実施できる。接合部材端部角部位置計測に関しては実施の形態３において、また接合部材接合有無検査に関しては実施の形態４において説明の動作と同様におこなう。
【００６９】
所定の作業が終了すると、コンピュータ５３より演算制御装置５２に終了の信号が送られ、演算制御装置５２は、搬送装置５１を駆動して、表示パネル１を移動させ、隣接する接合部材４の接合位置をカメラ５およびカメラ６に対して所定位置に設置し、前記動作を繰り返し、接合部材４の接合検査を行う。
【００７０】
【発明の効果】
以上のように本発明は、カメラを用い所定部分の測定を行い、測定値と設計値より接合部材の角部の座標値を算出し位置を確認できる。また複数種類の接合部材端部角部探索標準パターンを準備し、接合部材４の端部または角部を探索してマッチング位置を特定し、位置を正確にＸＹ座標値として特定できる。さらに接合部材有無検査範囲マーカー内の輝度をヒストグラム化し、ヒストグラム関数と正規分布関数との畳み込み積分計算により、畳み込み積分関数を求めグラフ化することで、接合部材表面や表示パネル表面の光の乱反射に惑わされることなく接合部材４の有無を正確に確認することが出来る。
【図面の簡単な説明】
【図１】（ａ）本発明の第１実施の形態に係る平面図と側面図
（ｂ）本発明の第２実施の形態に係る平面図と側面図
【図２】本発明の第２施の形態に係る工程フローチャート
【図３】（ａ）本発明の第３実施の形態に係る逆Ｌ字型の不感帯領域を有する探索標準パタ−ン図
（ｂ）本発明の第３実施の形態に係る（ａ）の対称形探索標準パターン図
（ｃ）本発明の第３実施の形態に係る内角９０度の扇状の探索標準パターン図
（ｄ）本発明の第３実施の形態に係る（ｃ）の対称形探索標準パターン図
（ｅ）本発明の第３実施の形態に係る逆Ｌ字状の不感帯領域の角を斜めにした形状を有する探索標準パターン図
（ｆ）本発明の第３実施の形態に係る（ｅ）の対称形を有する探索標準パターン図
（ｇ）本発明の第３実施の形態に係る内角９０度で山が複数の探索標準パターン図
（ｈ）本発明の第３実施の形態に係る（ｇ）の対象形状を有する探索標準パターン図
【図４】本発明の第３実施の形態に係る一つの例の探索標準パターンによる略動作工程図
【図５】本発明の第３実施の形態に係る他の例の探索標準パターンによる略動作工程図
【図６】本発明の第３実施の形態に係る接合部材端部角部の位置計測手段構成図
【図７】本発明の第３実施の形態に係る動作工程フローチャート
【図８】（ａ）本発明の第４実施の形態に係るカメラ画像に接合部材有無検査範囲マーカーを重ねた図
（ｂ）本発明の第４実施の形態に係るヒストグラム図
（ｃ）本発明の第４実施の形態に係る畳み込み積分関数グラフ
【図９】本発明の第４実施の形態に係る接合部材接合有無監査手段構成図
【図１０】本発明の第４実施の形態に係る接合部材接合有無検査の動作工程フローチャート
【図１１】本発明の第５実施の形態に係る接合部材接合検査装置の略構成図
【図１２】（ａ）従来方法で接合部材が基準マークを覆い接合した平面図と側面図
（ｂ）従来方法で接合部材が基準マークよりずれて接合された平面図と側面図
【図１３】（ａ）従来方法で接合部材が電極部を覆い接合された平面図と側面図
（ｂ）従来方法で接合部材が電極部からずれて接合された平面図と側面図
【符号の説明】
１ 表示パネル
２ 電極部
３a，３b 基準マーク
４ 接合部材
４a，４b 接合部材端部
５，６ カメラ
５a，６a 視野範囲
７，８ 接合部材端部角部
９ 演算制御装置
１０ 探索標準パターン
１１ 第１の標準パターン
１２ 第２の標準パターン
１３ 不感帯領域
１４ 接合部材角部位置
１５ 端子
１５a 左端子
１５b 右端子
１５c 右端子の一部
２０ 接合部材端部角部探索標準パターン発生手段
２１ 標準パターン拡大縮小手段
２２ マッチング演算手段
２３ 検査領域設定手段
２４ 演算結果判定手段
２５ 接合部材端部角部位置計測手段
２６ カメラより画像データ
２７ 検査結果データ
３０ 接合部材有無検査範囲マーカー
３１ 正規分布関数グラフ
３２ 接合部材表面ヒストグラム
３３ 表示パネル表面ヒストグラム
３４ 接合部材表面畳み込み積分関数グラフ
３５ 表示パネル表面畳み込み積分関数グラフ
３６ 接合部材接合有無検査手段
３７ マーカー作成手段
３８ マーカー内輝度測定手段
３９ ヒストグラム作成手段
４０ 畳み込み積分演算計算手段
４１ 畳み込み積分関数形状判定手段
４２ 検査結果データ
５０ 検査装置
５１ 搬送装置
５２ 演算制御装置
５３ コンピュータ
５４ コンピュータ画面
【発明の属する技術分野】
本発明は、表示パネルと電子回路を形成する回路基板を電気的、機械的に接合するのに用いる接合部材、特に接合部材の接合検査方法およびその検査装置に関するものである。
【０００２】
【従来の技術】
従来の接合方法の一つについて図１２を用いて説明をする。
【０００３】
表示パネル１上の電極部２を挟んで形成された基準マーク３aまたは３bを、カメラ５で見たときに、視野範囲５a内の画像を黒白に二値化して、認識できるかできないかで接合部材４の有無を判定する方法である。表示パネル１上の電極部２は、複数の端子１５を有し、その電極部２を挟んで基準マーク３aおよび３bが形成されている。この電極部２と基準マーク３aおよび３bを覆うように、設計値より求めた長さに切断された接合部材４を接合して、回路基板との接合に用いる。接合部材４は半透明のため、接合部材４の下の電極部２を形成する端子１５と基準マーク３aおよび３bは認識し難い。接合部材４が正常に接合されていれば、基準マーク３aおよび３bは、共に接合部材４により覆われる。
【０００４】
カメラ５は、画像認識機能を有し、黒白の濃淡で表される基準マーク３aおよび３bの識別と、撮像部を見やすくするための照明装置と、所定の距離を移動することができる機能を備えている。また画像認識機能は、基準マーク３aおよび３bを識別できないときは、接合部材４が存在するものと判定するようにプログラムされている。
【０００５】
図１２(a)において、電極部２に接合部材４が接合された基準マーク３aの位置に所定の機能でカメラ５を移動させる。カメラ５は画像認識機能により、視野範囲５a内に基準マーク３aを認識しようとするが、接合部材４により覆われているために、黒白の画像として識別しにくく、認識することが難しい。従って前記プログラムにより、基準マーク３aの位置には接合部材４が存在するものと判定する。
【０００６】
次にカメラ５は基準マーク３bに移動し、同様に基準マーク３bも識別できないため、接合部材４が存在すると判定する。基準マーク３aおよび３bの両方が識別できないときは、接合部材４が正しく接合されているものと判定するようにプログラムしておけば、当該位置における接合部材４の接合は正しいものと判定される。
【０００７】
図１２(b)は、基準マーク３bにおいて、接合部材４の接合位置がずれるか、または接合不良により基準マーク３bが認識できる状態を示している。カメラ５は、前記図１２(a)における説明のように、基準マーク３aの位置においては、基準マーク３aを認識できず、基準マーク３bの位置に移動して、接合部材４がずれているために、基準マーク３bを認識する。
【０００８】
従って基準マーク３aにおいては接合部材４があり、基準マーク３bにおいては接合部材４がないという結果から、接合部材４が正しく接合されていないものと判定する。なお基準マーク３aおよび３bの認識は、基準マークの大きさを変えることにより、接合精度を変えることが出来る。
【０００９】
他の方法は、図１３を用いて、接合部材４の長さが電極部２を形成する端子１５の設計値の幅寸法ｘに余裕を加えて切断して用い、電極部２のみに接合部材４を接合する方法について説明する。
【００１０】
カメラ５の画像認識機能は、基準マーク３aと端子１５の左端の端子１５a、または基準マーク３bと端子１５の右端の端子１５bを組み合わせた画像が判定基準となるようにプログラムされている。
【００１１】
図１３(a)は、接合部材４が電極部２に適切に接合された状態を示すもので、カメラ５は、基準マーク３aにおいて、基準マーク３aと、その右側に端子１５の左端子１５aとを視野範囲５a内に認識している。基準マーク３bにおいては、基準マーク３bと、その左側に端子１５の右端子１５bを視野範囲５a内に認識している。この２つの画像を正しい接合部材４接合の判定基準としてプログラムしておき接合の良否を判定する。従って当該位置における接合部材４の接合状態を正しいものとして判定することが出来る。
【００１２】
図１３(b)は、基準マーク３aにおいては、図１３(a)において説明のように基準マーク３aと左端子１５aが判定基準に合致するものである。一方基準マーク３bにおいては、基準マーク３bと右端子１５bと、右端子の一部１５cが視野範囲５a内に認識される。この状態は、接合部材４の接合のずれか、接合不良により生じるものであり、前記判定基準に合致しない。従って接合部材４の接合は、接合不良と判定される。
【００１３】
【発明が解決しようとする課題】
しかしながら上記のような構成では、基準マークの認識や、基準マークと端子の組み合わせ状態により判定するため、接合部材の切断のばらつきや、接合時の接合部材端部形状の変形、基準マークの誤認識（１．マークの形状がいびつである。２．マークに異物が付着して認識しにくい。３．照明の乱反射等）により、接合部材の接合の確認が不安定となりやすく、接続不良を生じやすいという問題がある。
【００１４】
本発明は、接合部材と表示パネルをカメラにより接合部材の端部角部を探索し、探索結果を演算処理して、接合部材の端部角部を数値により特定して、接合位置を判定し、決定する方法を提供することを目的とするものである。
【００１５】
【課題を解決するための手段】
上記目的を達成するために本発明は、電極部を間にしてその両側に形成された２つの基準マークと、接合部材の端部角部を２つのカメラを用いて左右同時に撮像し、画像に対して接合部材と表示パネルに対応する不感帯領域を有する２つの標準パターンを重ね合わせ、接合部材の端部角部を特定するための探索を行い、探索結果を演算処理して、接合部材の端部角部の接合位置を数値により特定した後、接合位置の可否判定基準値と比較して、接合部材の接合の良否判定をする。
【００１６】
【発明の実施の形態】
本発明の請求項１記載の発明は、電極部を挟んで配置され、この電極部との相対位置が既知である２つの基準マークとこの電極部上に設置された接合部材の端部とを撮像する工程と、この撮像した画像から前記基準マークと前記端部とを認識する工程と、この認識した前記基準マーク間と前記端部間の距離を測定する工程と、この測定した基準マーク間距離から前記端部間距離を減じたものを基準値と比較する工程と、この比較した結果により良否判定を行う工程とを有した検査方法としたものであり、撮像状態を数値化し計算により得た数値と基準値を比較して位置の良否確認を行うことが出来るため、接合部材位置の確認作業の時間短縮と、正確な位置確認が容易に行える。
【００１７】
本発明の請求項２記載の発明は、基準マークと電極部との相対位置が既知であり、この基準マーク間の設計値と測定値を比較して形成誤差を算出する工程と、この算出した形成誤差を加味した接合部材端部間の距離を算出する工程と、この算出した接合部材端部間の距離と測定値とを比較して良否判定を行う工程とを有した検査方法としたものであり、微細化の進む電極部に対しても最小長さの接合部材の使用を可能にし、コストダウンと接続の信頼性を向上させることができる。
【００１８】
本発明の請求項３記載の発明は、接合部材の端部を認識する工程は、この接合部材を探索する第１の標準パターンと背景となる被接合物を探索する第２の標準パターンとで前記接合部材の端部または角部を囲って組み合わせた探索標準パターンを構成し、この探索標準パターンには前記第１と第２の標準パターン間に演算要素を持たない不感帯領域を設け、且つ拡大縮小でき、この探索標準パターンと、マッチング演算を行う検査方法としたものであり、接合部材の切断部の形状ばらつきや、表面の局所的な輝度むらや汚れに影響されず、接合部材端部を検査できる。
【００１９】
本発明の請求項４記載の発明は、第１の標準パターンは接合部材の端部または角部に内接する形状を用いる検査方法としたものであり、形状合致によるため接合部材の切断部の形状ばらつきや、接合部材表面の局所的な輝度むらや汚れに影響されず、接合部材の端部または角部を正確に検査できる。
【００２０】
本発明の請求項５記載の発明は、接合部材の端部または角部に内接する第１の標準パターンの形状が内角９０°の扇形形状であることとしたものであり、形状合致によるため接合部材の切断部の形状ばらつきや、接合部材の表面の局所的な輝度むらや汚れに影響されず、接合部材の端部または角部を正確に検査できる。
【００２１】
本発明の請求項６記載の発明は、検査領域の輝度のヒストグラム関数と正規分布関数の畳み込み積分計算を行い、この畳み込み積分関数から接合部材の有無を認識する工程を有する検査方法としたものであり、接合部材と被接合部の異なる物質表面の輝度の違いを利用するものであり、接合部材の切断部の形状ばらつきや、接合部材の表面の局所的な輝度むらや汚れに影響されず、接合部材の有無を正確に検査できる。
【００２２】
本発明の請求項７記載の発明は、接合部材が、接合部材、熱硬化樹脂フィルム、導電性樹脂ペースト、熱硬化樹脂ペーストのいずれかを用いたものの検査方法であることとしたものであり、いずれの接合部材を用いても検査方法や用いる装置は共通して使用できるため、検査コストの削減に大きな効果がある。
【００２３】
本発明の請求項８記載の発明は、基準マークと接合部材の端部を撮像する撮像部と、この撮像した画像から前記基準マークと前記端部とを認識する認識部と、この認識した前記基準マーク間と前記端部間の距離を測定し、前記基準マーク間距離から前記端部間距離を減じたものを基準値と比較する比較部と、この比較した結果により良否判定を行う良否判定部とを有した検査装置としたものであり、コンピュータとカメラを連動させることで撮像状態を数値化し、計算により得た数値と基準値を比較して位置の良否確認を行うことが出来て接合部材位置の確認作業の時間短縮と、正確な位置確認が容易に行える。
【００２４】
本発明の請求項９記載の発明は、認識部が、接合部材を探索する第１の標準パターンと背景となる被接合物を探索する第２の標準パターンとを組み合わせた探索標準パターンと、この第１と第２の標準パターン間に演算要素を持たない不感帯領域とを有した検査装置としたものであり、不感帯領域内の接合部材面積を一定値以下となる位置を探索することで、接合部材の切断部の形状ばらつきや接合部材表面の局所的な輝度むらに影響されず、接合部材端部を特定出来る検査装置とすることができる。
【００２５】
本発明の請求項１０記載の発明は、検査領域の輝度のヒストグラム関数と正規分布関数の畳み込み積分計算を行い、この畳み込み積分関数から接合部材の有無を認識する接合部材有無検査部を有する検査装置としたものであり、コンピュータとカメラを用い、異なる物質表面の輝度を数値化し、接合部材の有無を確認するもので、接合部材の切断部の形状ばらつきや接合部材表面の局所的な輝度むらに影響されることのない検査装置とすることができる。
【００２６】
以下本発明の実施の形態について、図面を用い同一部分については同一番号を付与して説明する。
【００２７】
（実施の形態１）
本実施の形態を、図１(a)を用いて容易に接合部材４の接合位置検査を行う方法について説明をする。
【００２８】
図１(a)において、表示パネル１上の電極部２を挟んで形成された基準マーク３aと３bとの間に、電極部２を形成する複数の端子１５の幅寸法ｍより大きい長さｎに切断された接合部材４が、電極部２を覆うように接合されている。基準マーク３aおよび３bを見下ろす位置には、視野範囲５a、視野範囲６aを有するカメラ５およびカメラ６の２つが、視野範囲内の所定の計算作業を行うように設定された演算制御装置９に接続されて設置されている。カメラ５とカメラ６は、視野範囲５aには、基準マーク３aと接合部材４の端部４aおよび電極部２を形成する端子１５の左端子１５aを、視野範囲６a内に、基準マーク３bと接合部材４の端部４bおよび電極部２を形成する右端子１５bが入るように設定する。
【００２９】
設定後、基準マーク３aと３b間の寸法と、接合部材４の左右の端部４aと端部４b間の寸法、および端子１５の両端の左端子１５aと右端子１５bとの間を測定する。測定結果から、演算制御装置９により、基準マーク３aと接合部材４の端部４a間の寸法s、および基準マーク３bと端部４b間の寸法tを算出する。
【００３０】
理論的に計算式は、sまたはt＝（Ｌ−ｎ）／２となる。また基準マーク３aと端子１５aとの間の寸法b１と、基準マーク３bと端子１５bとの間の寸法b２を求める。計算式は、b１またはb２＝（Ｌ−ｍ）／２で求めることが出来る。そしてs＝b１またはs<b１となり、t＝b２またはt<b２となれば、電極部２に接合部材４が接合されているという情報を、あらかじめ演算制御装置９に入力しておけば、接合部材４の接合の良否が容易に確認できる。
【００３１】
なおs＝b１またはs<b１と、t＝b２またはt<b２について、計算式より求める方法について述べたが、カメラ５とカメラ６に測定機能を持たせ、寸法sとtおよびb１とb２を直接測定して比較することができる方法もある。いずれの方法によるかは用いるカメラ５とカメラ６や、演算制御装置７の特性、性能や対象検査物や、求める検査精度により選択すればよい。
【００３２】
（実施の形態２）
本実施の形態は、図１(b)および図２を用いて、基準マーク３aおよび３bと接合された接合部材４の基準マークに近い両端とをカメラで撮像し、計測した値と設計値と比較して、接合の位置確認を行う方法について説明をする。
【００３３】
図１(b)において、表示パネル１に複数の端子１５により電極部２が形成され、接合部材４は、基準マーク３aおよび３b間の形成誤差を加味した寸法で、電極部２の幅寸法ｍより大きく、かつ基準マーク３aと３b間の寸法Ｌより短い長さｎに切断され、電極部２を覆うように接合されている。基準マーク３aと３bの上方には、視野範囲５a、視野範囲６aを有するカメラ５およびカメラ６の２つが、視野範囲５aと６a内の所定の計算と、比較確認の作業を行うように設定された演算制御装置９に接続されて設置されている。
【００３４】
まず図２に示すstp１において、カメラ５視野範囲５aに基準マーク３aと接合部材端部角部７を、カメラ６の視野範囲６aに基準マーク３bおよび接合部材端部角部８とを確認撮像する。図２のstp２で、視野範囲５aと６a内の基準マーク３aと３bとの間を寸法測定して寸法Ｌを求める。図２のstp３では、基準マーク３aと３b間の寸法Ｌの設計値と、測定値より基準マーク３aと３bの間の形成誤差値を求める。
【００３５】
一方、視野範囲５aと６a内の接合部材４は、図２のstp１において画像認識法や標準パターンを用いる方法等、任意の方法で接合部材端部角部７と８の有無の確認を行う。図２のstp２で、接合部材端部角部７と８との間の寸法測定を行い長さｎを求める。図２のstp３では、接合部材４の設計値長さと、基準マーク間寸法から求めた形成誤差を用いて、接合部材４の実際に使用する長さを計算する。
【００３６】
図２のstp４では、stp２で接合部材４の測定値と、図２のstp３で求めた計算値を比較し、許容範囲内であることと、電極部２の幅寸法ｍより大きく、基準マーク３aと３bの間の寸法Ｌより小さいことを確認する。接合部材４は、切断誤差と接合誤差を有し、さらに接合時に加熱加圧により変形するので、許容範囲を狭くすると製品の仕上がり精度および品質は良くなるが、歩留まりが悪くなるため、変形量を実験により確認して許容範囲を設定するのが望ましい。
【００３７】
図２のstp５において、基準マーク３aと３bの間の寸法Lと接合部材４の長さｎを用い、基準マーク３aと接合部材端部角部７との距離s、および基準マーク３bと接合部材端部角部８との距離tとを、sまたはt＝（L-ｎ）／２で求め、設計値と、演算制御装置９を用いて比較確認する。
【００３８】
確認の結果、設定値内であれば、図２のstp６で基準マーク３aの座標値 (x1,y1)と基準マーク３bの座標値 (x2,y2)を、接合部材端部角部７の座標値(X1,Y1)と接合部材端部角部８の座標値 (X2,Y2)とを求める。この座標値より、図２のstp７で基準マーク３aと３bに対する、接合部材４の縦方向と横方向の位置関係と、接合姿勢を確認する。
【００３９】
すなわちX1-x1とX2-x2、Y1-y1とY2-y2の絶対値が同じか、許容設定値内であれば、接合部材４は、電極部２に対して所定位置に接合されているものとして、図２のstp８で次工程に移行する。座標値、X1-x1とX2-x2、Y1-y1とY2-y2の値が許容設定値からはずれることは、接合部材４が電極部２に対して斜め、もしくは、ずれて接合されていることを示しており、接合し直さなければならない。
【００４０】
なお図２のstp５での作業を省略して図２のstp６において、座標値を用いs=X1-x1、t=X2-x2として求めても良い。
【００４１】
（実施の形態３）
本実施の形態は、図１(b)に示す電極部２に接合された、接合部材端部角部７と８の位置を特定するためのものである。
【００４２】
図３は、図１(b)に示す接合部材端部角部７と８とを探索する、探索標準パターン１０の代表的なものの一部を示すものである。図３(a)〜(h)は、それぞれ接合部材表面を探索する第１の標準パターン１１と、表示パネル１の表面を探索する第２の標準パターン１２との２つの標準パターンの間に、どちらにも反応しない演算要素をもたない不感帯領域１３を設け、探索標準パターン１０を形成している。不感帯領域の大きさについては、求める接合部材４の接合精度、変形量により任意に変えることが出来るものである。
【００４３】
図３(a)の索標準パターン１０は、第１の標準パターン１１と、表示パネル１の表面を探索する第２の標準パターン１２とで、不感帯領域１３が逆Ｌ字型になるように形成されたもので、接合部材端部角部７または８が、複雑な凸凹形状を有している場合に用いることが多い。図３(b)は、図３(a)と対称形をしているもので、図３(a)が探索する対称位置を探索する場合に用いる。
【００４４】
図３(c)の探索標準パターン１０は、内角９０度で扇形の第１の標準パターン１１と、逆Ｌ字型の第２の標準パターン１２とにより、不感帯領域１３が形成されている。接合された接合部材４は、加熱加圧により、変形して部分的に円形凸部を形成することが多く、接合部材端部角部７または８の円形を有する部分が、第１の標準パターン１１に合致する部分をさがして位置を特定する場合に用いる。
【００４５】
図３(d)は、図３(c)と対象形をなすもので、図３(c)が探索する対称の位置を探索する場合に用いる。図３(e)は図３(a)の、また図３(f)は図３(b)の変形で、不感帯領域１３の角部分を斜めにした形状で、接合された接合部材端部角部７または８が、斜めの折り曲げや、斜めに引きちぎられた形状で接合されている場合に適応しやすい。
【００４６】
図３(g)は図３(c)の、また図３(h)は図３(d)の変形で、第１の標準パターン１１が、複数の円形部を有しているもので、接合部材４を所定の長さに切断するときに角が引きちぎられたときに発生しやすい形状に用いることが多いものである。
【００４７】
探索標準パターン１０は、必要に応じて形成して用いることは任意であるが、図３(a)、図３(b)、図３(c)および図３(d)の４種類があれば、接合部材接合位置の探索に支障をきたすことは少ない。図３では、左右対称図のみを示しているが、この形状にこだわるものではなく、上下左右いずれの方向の形状も可能である。
【００４８】
また探索標準パターン１０は、縦、横方向に拡大縮小出来る機能も有し、必要に応じて大きさを変えて用いることができるが、不感帯領域の幅は常に一定である。
【００４９】
次に探索標準パターン１０を用いた探索例の一つは、図４に略工程と、図３(a)の探索標準パターン１０を用いて、図１(b)に示す接合部材端部角部８を探索するもので、図６に示す接合部材端部角部位置計測手段２５の構成図と、図７に示す接合部材端部角部位置探索のフローチャートを用いて説明する。
【００５０】
図４(a)は、図７に示すstp９において、図６の接合部材端部角部探索標準パターン発生手段２０を用いて、第１の標準パターン１１と、第２の標準パターン１２の間に不感帯領域１３を設けて組み合わせ、探索標準パターン１０をコンピュータ（図は省略）により形成する。同時に、別途撮像された電極部２に接合部材４が接合された、図１(b)に示す視野範囲６aの画像を、画像データ２６としてコンピュータに取り込む。
【００５１】
図７のstp１０で、視野範囲６aの画像に、探索標準パターン１０を重ね合わせ、図６の検査領域設定手段２３を介して、図６のマッチング演算手段２２でマッチング演算を行う。探索標準パターン１０と、接合部材４端部角部８がマッチングしないときは、図４(b)の様に、図７のstp１１で探索標準パターン１０を移動させて探索を続ける。そして図４(c)において、第１の標準パターン１１が接合された接合部材４の上を覆い、かつ第２の標準パターン１２が、接合部材４にかからない、または一部重複する位置で、図７のstp１２で探索標準パターン１０を重ねて固定される。この状態に於いて、図７のstp１３で図６のマッチング演算手段２２を用いマッチング演算を行う。
【００５２】
マッチング演算では、不感帯領域１３内で確認される接合部材４のはみ出し部分は面積計算され不感帯領域１３の面積に対して、所定値以下であれば許容範囲とするように図６の演算結果判定手段２４に、あらかじめ記憶させておくことによりマッチングの可否判定が行える。あらかじめ記憶させる不感帯領域１３に占める接合部材４の面積比は、小さいほど精度は高くなるが、通常は、面積比５０〜７０％に設定して用いることが多い。
【００５３】
図７のstp１４では、stp１３における図６のマッチング演算手段２２によって計算された数値を、図６の演算結果判定手段２４で判定し、マッチング結果を確認の後、図６の検査結果データ２７を用いて、図７のstp１５において図４(ｃ)の不感帯領域１３の逆Ｌ字型の角部dとeを結んだ線上の中間点を、接合部材角部位置１４と決定する。
【００５４】
他の例については、その略工程は図５に示すように、探索標準パターン１０は、図３(c)の内角９０度の扇形の第１の標準パターン１１と、逆Ｌ字型の第２の標準パターン１２を組み合わせたもので、不感帯領域１３は、前記第１の標準パターン１１と、第２の標準パターン１２の間に形成されたものを用いるものである。
【００５５】
図５(a)において、図７に示すstp９およびstp１０の工程は、前記探索例一つ目の例と同様の動作をし、図７のstp１１で探索標準パターン１０は、接合部材４に重なり、図中の矢示A方向に移動して、接合部材４の端部のマッチングする部分を図６の検査領域設定手段２３により探索する。
【００５６】
そして図５(b)において、図７のstp１２で探索標準パターン１０の第１の標準パターン１１と、接合部材４の一部がマッチングし、図７のstp１３で、互いに同形状で、かつ許容範囲内でマッチングするかどうかの演算を図６のマッチング演算手段２２で行い、図７のstp１４でマッチング結果を図６の演算結果判定手段２４で確認した後、図６の検査結果データ２７により、図７のstp１５で接合部材端部角部８の位置を決定する。この場合、接合部材端部角部８の位置は、図５(b)の探索標準パターン１０の不感帯領域１３の逆Ｌ字型角部を接合部材角部位置１４と決定する。
【００５７】
なお図６の標準パターン拡大縮小手段２１は、探索する部分が同一形状で大きさが異なる場合に必要に応じて、探索標準パターン１０の大きさを変えるときに動作させる。
【００５８】
（実施の形態４）
本実施の形態を、図８，図９および図１０を用い、接合部材４の有無を判定し、所定位置における接合部材４の有無を確認する方法について説明をする。
【００５９】
図１０に示すstp１６で、接合部材４の有無を検査する領域をカメラで撮像し、図９カメラからの画像データ２６として、図８(a)視野範囲６aをコンピュータに入力する。同時にコンピュータにより、接合部材４の有無を検査するべき範囲の大きさを、図９に示す接合部材接合有無検査手段３６の、マーカー作成手段３７により、図８(a)に示す接合部材有無検査範囲マーカー３０として設定する。
【００６０】
図１０のstp１７では、カメラで撮像した画像上の、あらかじめ設定された検査するべき所定位置で、接合部材４と表示パネル１の両方が入るように、接合部材有無検査範囲マーカー３０を合わせる。図８(a)では、接合部材有無検査範囲マーカー３０内に、接合部材４と表示パネル１の両方が確認されている。この状態で、接合部材有無検査範囲マーカー３０内の接合部材４の表面と、表示パネル１表面の輝度を、カメラを通して、図９に示すマーカー内輝度測定手段３８により測定する。
【００６１】
このとき、接合部材４および表示パネル１の表面が、撮像用の照明や、周辺の光により乱反射することがあっても、異なる物質の表面の輝度が同じということはなく、輝度の差として測定することが出来る。測定値は、図１０のstp１８で図９のヒストグラム作成手段３９により、図８(b)のように接合部材有無検査範囲マーカー３０内のヒストグラム３２と３３として作成される。ヒストグラム３２と３３は、接合部材４および表示パネル１の表面が、乱反射や汚れの影響で不規則な形状ではあるが、輝度の異なる２つの分布形状として表されている。
【００６２】
一般的に前記形状は、それぞれ正規分布関数グラフ３１の形状に近いものとされている。従って、接合部材有無検査範囲マーカー３０内に、２つの異なる物質が存在することが確認できる。通常ガラスで形成されている表示パネル１が接合部材４より輝度が高いことから、ヒストグラム３２は接合部材４であり、ヒストグラム３３は、表示パネル１と想定することができる。
【００６３】
次に図１０のstp１９で、接合部材有無検査範囲マーカー３０内のヒストグラム関数と正規分布関数を、図９に示す畳み込み積分演算計算手段４０を用い、畳み込み積分計算を行うことにより、図１０のstp２０で、図８(c)に示す２つの畳み込み積分関数グラフ３４と３５が得られたことから、図９に示す畳み込み積分関数形状判定手段４１により、左側の畳み込み積分関数グラフ３４は接合部材４を、右側の畳み込み積分関数グラフ３５は表示パネル１をあらわすものと判定される。図１０のstp２１で判定結果は、検査結果データ４２よりYESとなり、図１０のstp２２で、検査の結果は合格となる。
【００６４】
なお図１０のstp２０で、畳み込み積分関数グラフが一つしか確認出来ない場合は、接合部材有無検査範囲マーカー３０内に接合部材４が存在せず、例えば汚れやゴミによる他の要因によって誤認識して、ヒストグラムを表した可能性が考えられ、判定はNOとなり検査結果は不合格となる。この誤認識を防止する一つの方法として、あらかじめ図９のヒストグラム作成手段３９に、接合部材４と表示パネル１の想定される輝度と頻度を記憶させておき、比較確認することも有効である。また接合部材有無検査範囲マーカー３０を構成する複数の画素の１画素値を小さくすることにより、極めて微小範囲の検査を行うことが可能となり、より高精度の検査を行うことができる。
【００６５】
（実施の形態５）
本実施の形態を、検査装置に関するもので、その検査装置の略構造を示す図１１を用いて説明をする。
【００６６】
検査装置５０は、搬送装置５１、コンピュータ５３とカメラ５およびカメラ６とが接続され、さらにコンピュータ５３は、検査装置５０の各種機器の制御を行う演算制御装置５２とも接続して構成されている。コンピュータ５３は、図６に示す接合部材端部角部位置計測手段２５と、図９の接合部材接合有無検査手段３６を有している。搬送装置５１により、接合部材４が接合された表示パネル１が、カメラ５およびカメラ６に対して所定位置に搬送され、一番目の接合部材４が接合された位置に固定されると、演算制御装置５２より、固定信号がコンピュータ５３に送られる。
【００６７】
固定信号を受けたコンピュータ５３は、カメラ５およびカメラ６を駆動させ、所定部分の撮像を行い、コンピュータ画面５４に表示する。同時にコンピュータ５３は、図６に示す接合部材端部角部位置計測手段２５を用い、あらかじめ設定されたプログラムに従い接合部材４の位置計測をするか、図９に示す接合部材接合有無検査手段３６を駆動させて、プログラムに従い接合部材接合有無検査のどちらかの作業を行う。
【００６８】
どちらの手段を用いるかは、あらかじめコンピュータ５３に入力しておくことで容易に実施できる。接合部材端部角部位置計測に関しては実施の形態３において、また接合部材接合有無検査に関しては実施の形態４において説明の動作と同様におこなう。
【００６９】
所定の作業が終了すると、コンピュータ５３より演算制御装置５２に終了の信号が送られ、演算制御装置５２は、搬送装置５１を駆動して、表示パネル１を移動させ、隣接する接合部材４の接合位置をカメラ５およびカメラ６に対して所定位置に設置し、前記動作を繰り返し、接合部材４の接合検査を行う。
【００７０】
【発明の効果】
以上のように本発明は、カメラを用い所定部分の測定を行い、測定値と設計値より接合部材の角部の座標値を算出し位置を確認できる。また複数種類の接合部材端部角部探索標準パターンを準備し、接合部材４の端部または角部を探索してマッチング位置を特定し、位置を正確にＸＹ座標値として特定できる。さらに接合部材有無検査範囲マーカー内の輝度をヒストグラム化し、ヒストグラム関数と正規分布関数との畳み込み積分計算により、畳み込み積分関数を求めグラフ化することで、接合部材表面や表示パネル表面の光の乱反射に惑わされることなく接合部材４の有無を正確に確認することが出来る。
【図面の簡単な説明】
【図１】（ａ）本発明の第１実施の形態に係る平面図と側面図
（ｂ）本発明の第２実施の形態に係る平面図と側面図
【図２】本発明の第２施の形態に係る工程フローチャート
【図３】（ａ）本発明の第３実施の形態に係る逆Ｌ字型の不感帯領域を有する探索標準パタ−ン図
（ｂ）本発明の第３実施の形態に係る（ａ）の対称形探索標準パターン図
（ｃ）本発明の第３実施の形態に係る内角９０度の扇状の探索標準パターン図
（ｄ）本発明の第３実施の形態に係る（ｃ）の対称形探索標準パターン図
（ｅ）本発明の第３実施の形態に係る逆Ｌ字状の不感帯領域の角を斜めにした形状を有する探索標準パターン図
（ｆ）本発明の第３実施の形態に係る（ｅ）の対称形を有する探索標準パターン図
（ｇ）本発明の第３実施の形態に係る内角９０度で山が複数の探索標準パターン図
（ｈ）本発明の第３実施の形態に係る（ｇ）の対象形状を有する探索標準パターン図
【図４】本発明の第３実施の形態に係る一つの例の探索標準パターンによる略動作工程図
【図５】本発明の第３実施の形態に係る他の例の探索標準パターンによる略動作工程図
【図６】本発明の第３実施の形態に係る接合部材端部角部の位置計測手段構成図
【図７】本発明の第３実施の形態に係る動作工程フローチャート
【図８】（ａ）本発明の第４実施の形態に係るカメラ画像に接合部材有無検査範囲マーカーを重ねた図
（ｂ）本発明の第４実施の形態に係るヒストグラム図
（ｃ）本発明の第４実施の形態に係る畳み込み積分関数グラフ
【図９】本発明の第４実施の形態に係る接合部材接合有無監査手段構成図
【図１０】本発明の第４実施の形態に係る接合部材接合有無検査の動作工程フローチャート
【図１１】本発明の第５実施の形態に係る接合部材接合検査装置の略構成図
【図１２】（ａ）従来方法で接合部材が基準マークを覆い接合した平面図と側面図
（ｂ）従来方法で接合部材が基準マークよりずれて接合された平面図と側面図
【図１３】（ａ）従来方法で接合部材が電極部を覆い接合された平面図と側面図
（ｂ）従来方法で接合部材が電極部からずれて接合された平面図と側面図
【符号の説明】
１ 表示パネル
２ 電極部
３a，３b 基準マーク
４ 接合部材
４a，４b 接合部材端部
５，６ カメラ
５a，６a 視野範囲
７，８ 接合部材端部角部
９ 演算制御装置
１０ 探索標準パターン
１１ 第１の標準パターン
１２ 第２の標準パターン
１３ 不感帯領域
１４ 接合部材角部位置
１５ 端子
１５a 左端子
１５b 右端子
１５c 右端子の一部
２０ 接合部材端部角部探索標準パターン発生手段
２１ 標準パターン拡大縮小手段
２２ マッチング演算手段
２３ 検査領域設定手段
２４ 演算結果判定手段
２５ 接合部材端部角部位置計測手段
２６ カメラより画像データ
２７ 検査結果データ
３０ 接合部材有無検査範囲マーカー
３１ 正規分布関数グラフ
３２ 接合部材表面ヒストグラム
３３ 表示パネル表面ヒストグラム
３４ 接合部材表面畳み込み積分関数グラフ
３５ 表示パネル表面畳み込み積分関数グラフ
３６ 接合部材接合有無検査手段
３７ マーカー作成手段
３８ マーカー内輝度測定手段
３９ ヒストグラム作成手段
４０ 畳み込み積分演算計算手段
４１ 畳み込み積分関数形状判定手段
４２ 検査結果データ
５０ 検査装置
５１ 搬送装置
５２ 演算制御装置
５３ コンピュータ
５４ コンピュータ画面
Claims (9)
- 電極端子部を挟んで配置され、この電極端子部との相対位置が既知である２つの基準マークと、この電極端子部上に設置された接合部材の端部と、前記電極端子部とを撮像する工程と、
この撮像した画像から前記基準マークと前記接合部材の端部と前記電極端子部を認識する工程と、
この認識した前記基準マーク間距離（Ｌ）と前記接合部材の端部間距離（ｎ）と前記電極端子部の左右の端子間距離（ｍ）の距離を測定する工程と、
ｓ＝（Ｌ−ｎ）／２とｂ＝（Ｌ−ｍ）／２を計算する工程と、
ｓ≦ｂなら接合されていると良否判定を行う工程
とを有したことを特徴とする接合部材の検査方法。 - 接合部材の端部を認識する工程は、この接合部材を探索する第１の標準パターンと、背景となる被接合物を探索する第２の標準パターンとで探索標準パターンを構成し、この探索標準パターンには前記第１と第２の標準パターン間に演算要素を持たない不感帯領域を設け、且つ拡大縮小でき、この探索標準パターンと、前記接合部材端部の角部とをマッチング演算を行い前記接合部材端部の角部位置を特定することを特徴とする請求項１に記載の接合部材の検査方法。
- 第１の標準パターンは接合部材の端部または角部に内接する形状であることを特徴とする請求項２に記載の接合部材の検査方法。
- 接合部材の端部または角部に内接する第１の標準パターンの形状が内角９０°の扇形形状であることを特徴とする請求項３に記載の接合部材の検査方法。
- 検査領域の輝度のヒストグラム関数と正規分布関数の畳み込み積分計算を行い、この畳み込み積分関数から接合部材の有無を認識する工程を有すること特徴とする請求項１〜４のいずれか１項に記載の接合部材の検査方法。
- 接合部材が、異方性導電フィルム、熱硬化樹脂フィルム、導電性樹脂ペースト、熱硬化樹脂ペーストのいずれかであることを特徴とする請求項１〜５のいずれかに記載の接合部材の検査方法。
- 電極端子部を挟んで配置され、この電極端子部との相対位置が既知である２つの基準マークと、この電極端子部上に設置された接合部材の端部と前記電極端子部とを撮像する撮影部と、
この撮像した画像から前記基準マークと前記接合部材の端部と前記電極端子部を認識する認識部と、
この認識した前記基準マーク間距離（Ｌ）と前記接合部材の端部間距離（ｎ）と前記電極端子部の左右の端子間距離（ｍ）の距離を測定する測定部と、
ｓ＝（Ｌ−ｎ）／２とｂ＝（Ｌ−ｍ）／２を計算する計算部と、
ｓ≦ｂなら接合されていると良否判定を行う判定部
とを有したことを特徴とする接合部材の検査装置。 - 認識部は、前記接合部材端部の角部位置を特定する時に、
この接合部材を探索する第１の標準パターンと、背景となる被接合物を探索する第２の標準パターンとで探索標準パターンを構成し、この探索標準パターンには前記第１と第２の標準パターン間に演算要素を持たない不感帯領域を設け、且つ拡大縮小でき、この探索標準パターンと、接合部材端部の角部とをマッチング演算を行い前記接合部材端部の角部位置を特定することを有したことを特徴とする請求項７に記載の接合部材の検査装置。 - 検査領域の輝度のヒストグラム関数と正規分布関数の畳み込み積分計算を行い、この畳み込み積分関数から接合部材の有無を認識する接合部材有無検査部を有することを特徴とする請求項７、８のいずれかに記載の接合部材の検査装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002298770A JP4288922B2 (ja) | 2002-10-11 | 2002-10-11 | 接合部材の検査方法およびその検査装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002298770A JP4288922B2 (ja) | 2002-10-11 | 2002-10-11 | 接合部材の検査方法およびその検査装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004132877A JP2004132877A (ja) | 2004-04-30 |
| JP4288922B2 true JP4288922B2 (ja) | 2009-07-01 |
Family
ID=32288086
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002298770A Expired - Fee Related JP4288922B2 (ja) | 2002-10-11 | 2002-10-11 | 接合部材の検査方法およびその検査装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4288922B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU208039U1 (ru) * | 2020-08-26 | 2021-11-30 | Общество с ограниченной ответственностью "Терра-сталь Групп" | Устройство для волочения труб с радиальными ультразвуковыми колебаниями |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100863700B1 (ko) * | 2008-02-18 | 2008-10-15 | 에스엔유 프리시젼 주식회사 | 비전 검사 시스템 및 이것을 이용한 피검사체의 검사 방법 |
| JP5221402B2 (ja) * | 2009-01-21 | 2013-06-26 | 芝浦メカトロニクス株式会社 | 電子部品の実装状態の検査装置及び検査方法 |
-
2002
- 2002-10-11 JP JP2002298770A patent/JP4288922B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU208039U1 (ru) * | 2020-08-26 | 2021-11-30 | Общество с ограниченной ответственностью "Терра-сталь Групп" | Устройство для волочения труб с радиальными ультразвуковыми колебаниями |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004132877A (ja) | 2004-04-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105783784B (zh) | 检查装置及检查装置的控制方法 | |
| US7466854B2 (en) | Size checking method and apparatus | |
| CN106908443B (zh) | 接头检查装置 | |
| TW201331572A (zh) | 檢查結果之目視確認作業之支援用之系統及裝置和方法 | |
| CN114022436B (zh) | 一种印制电路板的检测方法、装置及检测设备 | |
| KR101711020B1 (ko) | 마크 및 패턴 인식을 통한 ｔｆｏｇ 본딩 얼라인 검사장치 | |
| KR20120054689A (ko) | 검사방법 | |
| CN107735675B (zh) | 基板检査装置和基板制造方法 | |
| Perng et al. | Design and development of a new machine vision wire bonding inspection system | |
| US20050100206A1 (en) | Method for inspecting a pattern and method for manufacturing a semiconductor chip having a circuit pattern | |
| JP4288922B2 (ja) | 接合部材の検査方法およびその検査装置 | |
| JP2000067247A (ja) | 画像認識装置 | |
| US6965687B2 (en) | Size checking method and apparatus | |
| CN105136818A (zh) | 印刷基板的影像检测方法 | |
| JP4454428B2 (ja) | 部品エッジ検出方法、部品エッジ検出プログラム及び検査装置 | |
| JP2002107311A (ja) | 実装基板検査装置及び方法 | |
| US6940527B2 (en) | Inspection status display method | |
| JPH09147107A (ja) | 画像位置評価方法およびその装置 | |
| JP4429640B2 (ja) | 溶接痕の外観検査方法 | |
| JPH08234226A (ja) | 液晶基板製造用画像処理装置 | |
| JP3694198B2 (ja) | パターンの位置合わせ方法 | |
| JP3049488B2 (ja) | パターン検査方法及びパターン検査装置 | |
| JP4423130B2 (ja) | プリント回路基板外観検査方法、プリント回路基板外観検査プログラム及びプリント回路基板外観検査装置 | |
| JP4357666B2 (ja) | パターン検査方法および装置 | |
| JPS62233746A (ja) | チツプ搭載基板チエツカ |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051006 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20051114 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20081017 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081028 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081226 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090310 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090323 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120410 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130410 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |