JP3685596B2 - 物体傾斜角計測方法及び装置並びに記憶媒体 - Google Patents
物体傾斜角計測方法及び装置並びに記憶媒体 Download PDFInfo
- Publication number
- JP3685596B2 JP3685596B2 JP18088497A JP18088497A JP3685596B2 JP 3685596 B2 JP3685596 B2 JP 3685596B2 JP 18088497 A JP18088497 A JP 18088497A JP 18088497 A JP18088497 A JP 18088497A JP 3685596 B2 JP3685596 B2 JP 3685596B2
- Authority
- JP
- Japan
- Prior art keywords
- inclination angle
- binary image
- area
- measuring method
- relationship
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、物体の２値画像を処理して物体傾斜角を計測する方法及び装置並びにこの方法を実施するためのプログラムが記憶された記憶媒体に関する。
【０００２】
【従来の技術】
図６は、従来の半導体チップ姿勢調整装置の概略構成を示す。
この装置は、半導体チップ１０をロボットで搬送する途中において、その姿勢を調整するものである。ハンド１１及び回転駆動装置１２は搬送ロボットの一部であり、半導体チップ１０は、ハンド１１の下端に吸着され、ハンド１１の回転角が回転駆動装置１２で調整可能になっている。半導体チップ１０は、撮像装置１３で撮像され、その画像のビデオ信号ＶＳが撮像装置１３から出力される。画像入力回路１４は、ビデオ信号ＶＳに含まれている同期信号に基づいてアドレスを生成し、ビデオ信号ＶＳに含まれている輝度信号を２値化して、画像メモリ１５のこのアドレスへ書き込む。画像メモリ１５に格納された半導体チップ１０の２値画像が画像処理装置１６で処理されて、半導体チップ１０の傾斜角θが測定される。回転角制御回路１７は、１回の操作で傾斜角θを０にするため、回転駆動装置１２を介しハンド１１を−θだけ回転させる。
【０００３】
画像処理装置１６は、図７（Ａ）に示す如く、画像メモリ１５内の２値画像１０Ｇに対しラスタースキャンし、２値画像１０Ｇの角の点Ｐ１及びＰ２の座標（Ｘ１，Ｙ１）及び（Ｘ２，Ｙ２）を検出する。傾斜角θは、
θ＝ｔａｎ-1｛（Ｙ２−Ｙ１）／（Ｘ１−Ｘ２）｝ ・・・（１）
で算出される。
【０００４】
【発明が解決しようとする課題】
ところが、傾斜角θが小さい場合には、画像入力回路１４での２値化における量子化誤差により、図７（Ｂ）に示す如く、点Ｐ１の候補が走査線ＳＬ１上に複数画素存在し、測定精度が低くなる。また、ノイズで画素値が反転して‘１’になっているものが点Ｐ１又は点Ｐ２の候補になる場合もあり、測定精度がさらに低くなる。
【０００５】
このような問題は、サーキットボード上に搭載されている電子部品の傾き欠陥を画像処理により検出するパターン検査装置や任意の物体の微小傾斜角を画像処理により測定する装置においても生ずる。
本発明の目的は、このような問題点に鑑み、画像処理により微小傾斜角をより高精度に測定可能な物体傾斜角計測方法及び装置並びに記憶媒体を提供することにある。
【０００６】
【課題を解決するための手段及びその作用効果】
請求項１では、物体の２値画像を処理して該物体の所望の姿勢に対する傾斜角θを測定する物体傾斜角計測方法において、
該物体の２値画像の外接長方形の面積Ｓと該物体の２値画像の面積Ｓ０と該傾斜角θとの関係を予め求めておき、
該物体の２値画像について該面積Ｓ及び該面積Ｓ０を測定し、
該関係に基づいて該傾斜角θを求める。
【０００７】
この物体傾斜角計測方法によれば、上記面積Ｓ０及びＳに基づいて物体の傾斜角θを測定しているので、２値化の量子化誤差及びノイズによる画素値反転の影響が小さくなり、２値画像に対し２角の点を結んだ直線の傾きを直接測定する場合よりも高い精度で傾斜角θを測定することができるという効果を奏する。
請求項２の物体傾斜角計測方法では、請求項１において、上記物体の２値画像は長方形であり、
上記関係は実質的に式Ｓ０＝ＸＹ−（Ｘ2＋Ｙ2）（ｓｉｎ２θ）／２で表され、ここに、Ｘ及びＹは長方形の隣り合う２辺の長さである。
【０００８】
実質的にとは、この式を変形した式を用いる場合を含む意味である（以下同様）。
この物体傾斜角計測方法によれば、計算が簡単になり容易迅速に傾斜角θを測定することができるという効果を奏する。
請求項３の物体傾斜角計測方法では、請求項２において、実質的に、面積比ＸＹ／Ｓ０が所定値より小さい場合には上記関係の式に基づき該面積比ＸＹ／Ｓ０が所定値以上の場合には式ｔａｎθ＝（Ｙ２−Ｙ１）／（Ｘ１−Ｘ２）に基づいて、傾斜角θを算出する。
【０００９】
この物体傾斜角計測方法によれば、さらに計算が簡単になるという効果を奏する。
請求項４の物体傾斜角計測方法では、請求項１において、上記物体の２値画像は長方形であり、
上記関係は実質的に式Ｓ０＝｛ＸＹ−（Ｘ2＋Ｙ2）ｃｏｓθｓｉｎθ｝／｛ｃｏｓ4θ（１−ｔａｎ2θ）2｝で表され、ここに、Ｘ及びＹは長方形の隣り合う２辺の長さである。
【００１０】
この物体傾斜角計測方法によれば、請求項２及び３の場合よりも正確に傾斜角θを求めることができるという効果を奏する。
請求項５では、請求項２乃至４のいずれか１つにおいて、上記物体の２値画像の２角以上の点の座標に基づいて、上記傾斜角θの正負を判定する。
この物体傾斜角計測方法によれば、傾斜角θの正負を容易に判定することができるという効果を奏する。
【００１１】
請求項６の物体傾斜角計測方法では、請求項２乃至４のいずれか１つにおいて、上記外接長方形の端部所定領域に上記物体の２値画像の画素が存在するか否かに基づいて上記傾斜角θの正負を判定する。
この物体傾斜角計測方法によれば、物体画素を計数して上記面積Ｓ０を求める際に並行して傾斜角正負判定処理を行うことができるという効果を奏する。
【００１２】
請求項７の物体傾斜角計測方法では、請求項２において、上記外接長方形の端部の一方の角側所定領域と他方の角側所定領域とに存在する上記物体の２値画像の画素数の差に基づいて上記傾斜角θの正負を判定する。
この物体傾斜角計測方法によれば、ノイズによる画素値反転の影響が殆ど無くなり、傾斜角が微小であっても判定結果が請求項６の場合よりも正確になるという効果を奏する。
【００１３】
請求項８の記憶媒体では、請求項１乃至７のいずれか１つに記載の関係に基づいて上記傾斜角θを求めるプログラムが記憶されている。
請求項９では、物体の２値画像を処理して該物体の所望の姿勢に対する傾斜角θを測定する物体傾斜角計測装置において、
該物体の２値画像の面積Ｓ０及び該物体の２値画像の外接長方形の面積Ｓを測定し、該面積Ｓ０と該面積Ｓと該傾斜角θとの関係に基づいて該傾斜角θを求める。
【００１４】
【発明の実施の形態】
以下、図面に基づいて本発明の実施形態を説明する。
［第１実施形態］
図１は、本発明の第１実施形態の傾斜角測定手順を示す。図１の処理は、画像処理装置、例えば図６の画像処理装置１６で実行される。この画像処理装置は、例えばコンピュータを備えている。以下の括弧内の数値は、図１中のステップ識別番号である。
【００１５】
（２０）図２（Ａ）に示す如く、画像メモリ１５内のフレーム画像に対しラスタースキャンして２値画像１０Ｇの４角の点Ｐ１〜Ｐ４の座標（Ｘ１，Ｙ１）〜（Ｘ４，Ｙ４）を検出する。点Ｐ１〜Ｐ４は、ラスタースキャンしたときの‘０’から‘１’及び‘１’から‘０’の変化点のＸ座標及びＹ座標の極値に対応している。２値画像１０Ｇの微分画像からこれらの座標を検出してもよい。
【００１６】
（２１）図２（Ｂ）に示す２値画像１０Ｇの外接長方形Ｑ１Ｑ２Ｑ３Ｑ４の辺の長さＸ及びＹを測定する。この外接長方形は、点Ｐ１を通りＸ軸に平行な直線と、点Ｐ２を通りＹ軸に平行な直線と点Ｐ３を通りＸ軸に平行な直線と、点Ｐ４を通りＹ軸に平行な直線とで囲まれる長方形として求められる。
辺の長さＸ及びＹを測定できればよいので、外接長方形Ｑ１Ｑ２Ｑ３Ｑ４自体は求めなくてもよい。傾斜角θが正の場合には、図２（Ａ）から明らかなように、
Ｘ＝Ｘ４−Ｘ２、Ｙ＝Ｙ３−Ｙ１ ・・・（２）
として求められる。傾斜角θが負の場合には、
Ｘ＝Ｘ１−Ｘ３、Ｙ＝Ｙ４−Ｙ２ ・・・（３）
として求められる。式（２）及び（３）と関係して、次のＤＸ及びＤＹ、
ＤＸ＝（Ｘ４−Ｘ２）−（Ｘ１−Ｘ３） ・・・（４）
ＤＹ＝（Ｙ３−Ｙ１）−（Ｙ４−Ｙ２） ・・・（５）
を定義すると、傾斜角θが正のときには、ＤＸ＞０かつＤＹ＞０が成立し、傾斜角θが負のときには、ＤＸ＜０かつＤＹ＜０が成立する。
【００１７】
傾斜角θの正負判定にはＤＸとＤＹとの一方を用いてもよいが、傾斜角θが微小角の場合には、量子化誤差やノイズによる画素反転によりこれらのことが成立しない場合も考えられる。そこで、量子化誤差やノイズによる画素反転の影響を低減するために、
Ｄ＝ＤＸ＋ＤＹ・・・（６）
の正負により傾斜角θの正負を判定して、上記（２）又は（３）によりＸ及びＹを求める。
【００１８】
（２２）２値画像１０Ｇの面積Ｓ０を測定する。面積Ｓ０は、上記ステップ２０でのラスタースキャンにおいて、‘１’の画素を計数することにより、容易にかつ精度よく求めることができる。精度がよい理由は、‘１’の累積加算により正負の量子化誤差が平均化され、かつ、ノイズの割合が極めて小さくなるからである。
【００１９】
（２３）外接長方形Ｑ１Ｑ２Ｑ３Ｑ４の面積Ｓ＝ＸＹと２値画像１０Ｇの面積Ｓ０との比Ｓ／Ｓ０が大きくなるほど、傾斜角θが大きくなる。傾斜角θがある程度大きい場合には、上述の従来法で求めた傾斜角θの測定精度は比較的高く、かつ、短時間で傾斜角θを算出することができる。
そこで、予め定められた後述の比較定数Ｋに対し、ＸＹ／Ｓ０≧Ｋであればステップ２４へ進み、そうでなければステップ２５へ進む。
【００２０】
（２４）傾斜角θを、上式（１）で算出して、傾斜角測定処理を終了する。
（２５〜２７）Ｄ＞０であれば傾斜角θを次の近似式、
θ＝０．５ｓｉｎ-1｛２（ＸＹ−Ｓ０）／（Ｘ2＋Ｙ2）｝ ・・・（７）
で算出し、そうでなければ次の近似式、
θ＝−０．５ｓｉｎ-1｛２（ＸＹ−Ｓ０）／（Ｘ2＋Ｙ2）｝ ・・・（８）
で算出する。
【００２１】
上記近似式は、以下のようにして求められる。
Ｘ０＝Ｐ１Ｐ２＝Ｐ３Ｐ４、ΔＸ＝Ｐ１Ｑ１＝Ｐ３Ｑ３ ・・・（９）
Ｙ０＝Ｐ２Ｐ３＝Ｐ４Ｐ１、ΔＹ＝Ｐ２Ｑ２＝Ｐ４Ｑ４ ・・・（１０）
とおくと、次式が成立する。
Ｘ０＝ΔＹ／ｓｉｎθ ・・・（１１）
Ｙ０＝ΔＸ／ｓｉｎθ ・・・（１２）
ｔａｎθ＝ΔＹ／（Ｘ−ΔＸ）＝ΔＸ／（Ｙ−ΔＹ）・・・（１３）
この式（１３）から、ΔＸ及びΔＹは次式で表される。
【００２２】
ΔＸ＝ｔａｎθ（Ｙ−Ｘｔａｎθ）／（１−ｔａｎ2θ） ・・・（１４）
ΔＹ＝ｔａｎθ（Ｘ−Ｙｔａｎθ）／（１−ｔａｎ2θ） ・・・（１５）
これらΔＹ及びΔＸをそれぞれ式（１１）及び（１２）へ代入すると、次式が得られる。
Ｘ０＝（Ｘ−Ｙｔａｎθ）／ｃｏｓθ（１−ｔａｎ2θ） ・・・（１６）
Ｙ０＝（Ｙ−Ｘｔａｎθ）／ｃｏｓθ（１−ｔａｎ2θ） ・・・（１７）
式（１６）及び（１７）の右辺の分母及び分子にｃｏｓθを乗ずると、次式が得られる。
【００２３】
Ｘ０＝（Ｘｃｏｓθ−Ｙｓｉｎθ）／｛ｃｏｓ2θ（１−ｔａｎ2θ）｝ ・（１８）
Ｙ０＝（Ｙｃｏｓθ−Ｘｓｉｎθ）／｛ｃｏｓ2θ（１−ｔａｎ2θ）｝ ・（１９）
よって、２値画像１０Ｇの面積Ｓ０＝Ｘ０・Ｙ０は、次式で表される。
【００２４】
Ｓ０＝（Ｘｃｏｓθ−Ｙｓｉｎθ）（Ｙｃｏｓθ−Ｘｓｉｎθ）／｛ｃｏｓ4θ（１−ｔａｎ2θ）2｝
＝｛ＸＹ−（Ｘ2＋Ｙ2）ｃｏｓθｓｉｎθ｝／｛ｃｏｓ4θ（１−ｔａｎ2θ）2｝ ・・・（２０）
ここで、傾斜角θが充分小さいときには、
ｃｏｓ4θ≒１、ｔａｎ2θ≒０ ・・・（２１）
とみなせるので、式（２０）は、以下のように近似することができる。
【００２５】
Ｓ＝ＸＹ−（Ｘ2＋Ｙ2）ｃｏｓθｓｉｎθ
＝ＸＹ−（Ｘ2＋Ｙ2）（ｓｉｎ２θ）／２ ・・・（２２）
この式（２２）から、上記近似式（７）及び（８）が得られる。
ステップ２３の比較定数Ｋは、画像のノイズの程度や上式（２１）の近似をどの程度の誤差まで認めるかを考慮して決定する。傾斜角θと、式（７）の式（２０）に対する近似誤差との関係は、次のようになる。
【００２６】
θ＝５゜のとき、ＣＯＳ4θ（１−ｔａｎ2θ）2＝０．９６９８４（約３．１％）
θ＝１０゜のとき、ＣＯＳ4θ（１−ｔａｎ2θ）2＝０．８８３０３（約１１．７％）
本第１実施形態では、２値画像１０Ｇの面積Ｓ０と２値画像１０Ｇの外接長方形の面積Ｓ＝ＸＹと面積の次元のＸ2及びＹ2に基づいて物体の傾斜角θを測定しているので、傾斜角θが小さくても、従来技術の欄で述べた量子化誤差及びノイズの影響が小さくなり、より高い精度で傾斜角θを測定することができる。
［第２実施形態］
上述のＤを用いずに物体傾斜角θの正負を判定することも可能であり、これを第２実施形態として以下に説明する。
【００２７】
図３（Ａ）〜（Ｃ）は、図２（Ａ）の２値画像１０Ｇの上部拡大図である。
図３（Ａ）に示す如く、点Ｑ１と点Ｑ２の中点Ｃを通り、傾きが｜θ｜の直線と、直線Ｑ２Ｑ３との交点をＲ２とする。｜θ｜は、上式（７）から求められる。三角形ＣＱ２Ｒ２内に２値画像１０Ｇの画素が存在しなければ、すなわち、‘１’の画素が存在しなければ、傾斜角θが正であると判定し、‘１’の画素が存在すれば、傾斜角θが負であると判定する。
【００２８】
他の正負判定方法を、図３（Ｂ）に示す。この方法では、点Ｑ１と点Ｑ２の中点Ｃを通り、傾きが−｜θ｜の直線と、直線Ｑ１Ｑ４との交点をＲ１とする。そして、三角形ＣＱ１Ｒ１内に‘１’の画素が存在すれば、傾斜角θが正であると判定し、‘１’の画素が存在しなければ、傾斜角θが負であると判定する。
さらに他の正負判定方法を、図３（Ｃ）に示す。この方法は、上記２つの考え方を用いており、三角形ＣＲ１Ｑ１内に存在する‘１’の画素数と、三角形ＣＱ２Ｒ２内に存在する‘１’の画素数との差が正であれば傾斜角θが正であると判定し、そうでなけば傾斜角θが負であると判定する。この方法によれば、ノイズによるビット反転の影響が殆ど無くなる。
【００２９】
［第３実施形態］
上記第１及び第２の実施形態では、２値画像が長方形である場合を説明したが、２値画像の外接長方形の面積Ｓと２値画像の面積Ｓ０との比が物体傾斜角θの関数であることに着目すれば、任意の形状の物体の微小傾斜角θを測定することが可能である。
【００３０】
図４（Ａ）は２値画像１０ＡＧが三角形である場合を示しており、図４（Ｂ）は２値画像１０ＢＧがボトル形状である場合を示している。
２値画像１０ＡＧの場合には、面積比Ｓ／Ｓ０と傾斜角θの関係を理論的に算出することもできる。２値画像１０ＢＧの場合には、図５に示すような傾斜角θと面積比Ｓ／Ｓ０との関係を画像処理により予め求めて、これをテーブル化し又は近似式で表す。傾斜角測定の際には、面積比Ｓ／Ｓ０を画像処理で求め、該関係から傾斜角θを求める。
【００３１】
本第３実施形態では、面積比Ｓ／Ｓ０に基づいて物体傾斜角θを測定しているので、傾斜角θが小さくても、従来技術の欄で述べた量子化誤差及びノイズの影響が小さくなり、２値画像に対し２角の点を結んだ直線の傾きを直接測定する場合よりも高い精度で、傾斜角θを測定することができる。
なお、本発明には外にも種々の変形例が含まれる。
【００３２】
例えば、上記近似式（７）及び（８）を用いる替わりに、近似前の上式（２０）の右辺から左辺を引いた関数
ｆ（θ）＝｛ＸＹ−（Ｘ2＋Ｙ2）ｃｏｓθｓｉｎθ｝／｛ｃｏｓ4θ（１−ｔａｎ2θ）2｝−Ｓ０ ・・・（２３）
を用い、右辺のＸ、Ｙ及びＳ０に数値を代入し、方程式ｆ（θ）＝０を満たす解θを１／２探索法又はニュートンラプソン法等で求める構成であってもよい。この場合、図１のステップ２３及び２４の処理は不要である。
【００３３】
また、傾斜角θの正負判定式には、上記ＤＸ、ＤＹ又はＤ以外にも考えられる。例えば、傾斜角θが正の場合にはＸ４＞Ｘ１、Ｘ３＞Ｘ２、Ｙ２＞Ｙ１及びＹ３＞Ｙ４が成立し、傾斜角θが負の場合にはこれらの不等号を逆にした関係が成立するので、これらのいずれか又は結合、例えば、Ｘ４−Ｘ１＋Ｙ２−Ｙ１又は（Ｘ４−Ｘ１）／Ｘ＋（Ｙ２−Ｙ１）／Ｙ等の正負により傾斜角θの正負を判定してもよい。
【００３４】
さらに、傾斜角θの正負判定に用いる図３中の領域は三角形に限定されない。例えば図３（Ｃ）において、直線Ｒ１Ｒ２の中点をＤとしたとき、長方形ＤＣＱ１Ｒ１内に存在する‘１’の画素数と、長方形ＤＣＱ２Ｒ２内に存在する‘１’の画素数との差が正であれば傾斜角θが正であると判定し、そうでなけば傾斜角θが負であると判定してもよい。この場合、点Ｒ１及びＲ２の位置はそれぞれ、点Ｑ１及びＱ２から等距離であれば任意でよい。
【図面の簡単な説明】
【図１】本発明の第１実施形態の物体傾斜角測定手順を示すフローチャートである。
【図２】図１の処理で用いられる物体傾斜角計測方法の説明図である。
【図３】本発明の第２実施形態の物体傾斜角正負判定方法説明図である。
【図４】本発明の第３実施形態の物体傾斜角計測方法説明図である。
【図５】物体の傾斜角と面積比との関係を示す線図である。
【図６】従来の半導体チップ姿勢調整装置の概略構成図である。
【図７】従来の物体傾斜角計測方法説明図である。
【符号の説明】
１０ 半導体チップ
１０Ｇ、１０ＡＧ、１０ＢＧ ２値画像
１１ ハンド
１２ 回転駆動装置
１３ 撮像装置
１４ 画像入力回路
１５ 画像メモリ
１６ 画像処理装置
１７ 回転角制御回路
ＳＬ１〜ＳＬ４ 走査線
θ 傾斜角
【発明の属する技術分野】
本発明は、物体の２値画像を処理して物体傾斜角を計測する方法及び装置並びにこの方法を実施するためのプログラムが記憶された記憶媒体に関する。
【０００２】
【従来の技術】
図６は、従来の半導体チップ姿勢調整装置の概略構成を示す。
この装置は、半導体チップ１０をロボットで搬送する途中において、その姿勢を調整するものである。ハンド１１及び回転駆動装置１２は搬送ロボットの一部であり、半導体チップ１０は、ハンド１１の下端に吸着され、ハンド１１の回転角が回転駆動装置１２で調整可能になっている。半導体チップ１０は、撮像装置１３で撮像され、その画像のビデオ信号ＶＳが撮像装置１３から出力される。画像入力回路１４は、ビデオ信号ＶＳに含まれている同期信号に基づいてアドレスを生成し、ビデオ信号ＶＳに含まれている輝度信号を２値化して、画像メモリ１５のこのアドレスへ書き込む。画像メモリ１５に格納された半導体チップ１０の２値画像が画像処理装置１６で処理されて、半導体チップ１０の傾斜角θが測定される。回転角制御回路１７は、１回の操作で傾斜角θを０にするため、回転駆動装置１２を介しハンド１１を−θだけ回転させる。
【０００３】
画像処理装置１６は、図７（Ａ）に示す如く、画像メモリ１５内の２値画像１０Ｇに対しラスタースキャンし、２値画像１０Ｇの角の点Ｐ１及びＰ２の座標（Ｘ１，Ｙ１）及び（Ｘ２，Ｙ２）を検出する。傾斜角θは、
θ＝ｔａｎ-1｛（Ｙ２−Ｙ１）／（Ｘ１−Ｘ２）｝ ・・・（１）
で算出される。
【０００４】
【発明が解決しようとする課題】
ところが、傾斜角θが小さい場合には、画像入力回路１４での２値化における量子化誤差により、図７（Ｂ）に示す如く、点Ｐ１の候補が走査線ＳＬ１上に複数画素存在し、測定精度が低くなる。また、ノイズで画素値が反転して‘１’になっているものが点Ｐ１又は点Ｐ２の候補になる場合もあり、測定精度がさらに低くなる。
【０００５】
このような問題は、サーキットボード上に搭載されている電子部品の傾き欠陥を画像処理により検出するパターン検査装置や任意の物体の微小傾斜角を画像処理により測定する装置においても生ずる。
本発明の目的は、このような問題点に鑑み、画像処理により微小傾斜角をより高精度に測定可能な物体傾斜角計測方法及び装置並びに記憶媒体を提供することにある。
【０００６】
【課題を解決するための手段及びその作用効果】
請求項１では、物体の２値画像を処理して該物体の所望の姿勢に対する傾斜角θを測定する物体傾斜角計測方法において、
該物体の２値画像の外接長方形の面積Ｓと該物体の２値画像の面積Ｓ０と該傾斜角θとの関係を予め求めておき、
該物体の２値画像について該面積Ｓ及び該面積Ｓ０を測定し、
該関係に基づいて該傾斜角θを求める。
【０００７】
この物体傾斜角計測方法によれば、上記面積Ｓ０及びＳに基づいて物体の傾斜角θを測定しているので、２値化の量子化誤差及びノイズによる画素値反転の影響が小さくなり、２値画像に対し２角の点を結んだ直線の傾きを直接測定する場合よりも高い精度で傾斜角θを測定することができるという効果を奏する。
請求項２の物体傾斜角計測方法では、請求項１において、上記物体の２値画像は長方形であり、
上記関係は実質的に式Ｓ０＝ＸＹ−（Ｘ2＋Ｙ2）（ｓｉｎ２θ）／２で表され、ここに、Ｘ及びＹは長方形の隣り合う２辺の長さである。
【０００８】
実質的にとは、この式を変形した式を用いる場合を含む意味である（以下同様）。
この物体傾斜角計測方法によれば、計算が簡単になり容易迅速に傾斜角θを測定することができるという効果を奏する。
請求項３の物体傾斜角計測方法では、請求項２において、実質的に、面積比ＸＹ／Ｓ０が所定値より小さい場合には上記関係の式に基づき該面積比ＸＹ／Ｓ０が所定値以上の場合には式ｔａｎθ＝（Ｙ２−Ｙ１）／（Ｘ１−Ｘ２）に基づいて、傾斜角θを算出する。
【０００９】
この物体傾斜角計測方法によれば、さらに計算が簡単になるという効果を奏する。
請求項４の物体傾斜角計測方法では、請求項１において、上記物体の２値画像は長方形であり、
上記関係は実質的に式Ｓ０＝｛ＸＹ−（Ｘ2＋Ｙ2）ｃｏｓθｓｉｎθ｝／｛ｃｏｓ4θ（１−ｔａｎ2θ）2｝で表され、ここに、Ｘ及びＹは長方形の隣り合う２辺の長さである。
【００１０】
この物体傾斜角計測方法によれば、請求項２及び３の場合よりも正確に傾斜角θを求めることができるという効果を奏する。
請求項５では、請求項２乃至４のいずれか１つにおいて、上記物体の２値画像の２角以上の点の座標に基づいて、上記傾斜角θの正負を判定する。
この物体傾斜角計測方法によれば、傾斜角θの正負を容易に判定することができるという効果を奏する。
【００１１】
請求項６の物体傾斜角計測方法では、請求項２乃至４のいずれか１つにおいて、上記外接長方形の端部所定領域に上記物体の２値画像の画素が存在するか否かに基づいて上記傾斜角θの正負を判定する。
この物体傾斜角計測方法によれば、物体画素を計数して上記面積Ｓ０を求める際に並行して傾斜角正負判定処理を行うことができるという効果を奏する。
【００１２】
請求項７の物体傾斜角計測方法では、請求項２において、上記外接長方形の端部の一方の角側所定領域と他方の角側所定領域とに存在する上記物体の２値画像の画素数の差に基づいて上記傾斜角θの正負を判定する。
この物体傾斜角計測方法によれば、ノイズによる画素値反転の影響が殆ど無くなり、傾斜角が微小であっても判定結果が請求項６の場合よりも正確になるという効果を奏する。
【００１３】
請求項８の記憶媒体では、請求項１乃至７のいずれか１つに記載の関係に基づいて上記傾斜角θを求めるプログラムが記憶されている。
請求項９では、物体の２値画像を処理して該物体の所望の姿勢に対する傾斜角θを測定する物体傾斜角計測装置において、
該物体の２値画像の面積Ｓ０及び該物体の２値画像の外接長方形の面積Ｓを測定し、該面積Ｓ０と該面積Ｓと該傾斜角θとの関係に基づいて該傾斜角θを求める。
【００１４】
【発明の実施の形態】
以下、図面に基づいて本発明の実施形態を説明する。
［第１実施形態］
図１は、本発明の第１実施形態の傾斜角測定手順を示す。図１の処理は、画像処理装置、例えば図６の画像処理装置１６で実行される。この画像処理装置は、例えばコンピュータを備えている。以下の括弧内の数値は、図１中のステップ識別番号である。
【００１５】
（２０）図２（Ａ）に示す如く、画像メモリ１５内のフレーム画像に対しラスタースキャンして２値画像１０Ｇの４角の点Ｐ１〜Ｐ４の座標（Ｘ１，Ｙ１）〜（Ｘ４，Ｙ４）を検出する。点Ｐ１〜Ｐ４は、ラスタースキャンしたときの‘０’から‘１’及び‘１’から‘０’の変化点のＸ座標及びＹ座標の極値に対応している。２値画像１０Ｇの微分画像からこれらの座標を検出してもよい。
【００１６】
（２１）図２（Ｂ）に示す２値画像１０Ｇの外接長方形Ｑ１Ｑ２Ｑ３Ｑ４の辺の長さＸ及びＹを測定する。この外接長方形は、点Ｐ１を通りＸ軸に平行な直線と、点Ｐ２を通りＹ軸に平行な直線と点Ｐ３を通りＸ軸に平行な直線と、点Ｐ４を通りＹ軸に平行な直線とで囲まれる長方形として求められる。
辺の長さＸ及びＹを測定できればよいので、外接長方形Ｑ１Ｑ２Ｑ３Ｑ４自体は求めなくてもよい。傾斜角θが正の場合には、図２（Ａ）から明らかなように、
Ｘ＝Ｘ４−Ｘ２、Ｙ＝Ｙ３−Ｙ１ ・・・（２）
として求められる。傾斜角θが負の場合には、
Ｘ＝Ｘ１−Ｘ３、Ｙ＝Ｙ４−Ｙ２ ・・・（３）
として求められる。式（２）及び（３）と関係して、次のＤＸ及びＤＹ、
ＤＸ＝（Ｘ４−Ｘ２）−（Ｘ１−Ｘ３） ・・・（４）
ＤＹ＝（Ｙ３−Ｙ１）−（Ｙ４−Ｙ２） ・・・（５）
を定義すると、傾斜角θが正のときには、ＤＸ＞０かつＤＹ＞０が成立し、傾斜角θが負のときには、ＤＸ＜０かつＤＹ＜０が成立する。
【００１７】
傾斜角θの正負判定にはＤＸとＤＹとの一方を用いてもよいが、傾斜角θが微小角の場合には、量子化誤差やノイズによる画素反転によりこれらのことが成立しない場合も考えられる。そこで、量子化誤差やノイズによる画素反転の影響を低減するために、
Ｄ＝ＤＸ＋ＤＹ・・・（６）
の正負により傾斜角θの正負を判定して、上記（２）又は（３）によりＸ及びＹを求める。
【００１８】
（２２）２値画像１０Ｇの面積Ｓ０を測定する。面積Ｓ０は、上記ステップ２０でのラスタースキャンにおいて、‘１’の画素を計数することにより、容易にかつ精度よく求めることができる。精度がよい理由は、‘１’の累積加算により正負の量子化誤差が平均化され、かつ、ノイズの割合が極めて小さくなるからである。
【００１９】
（２３）外接長方形Ｑ１Ｑ２Ｑ３Ｑ４の面積Ｓ＝ＸＹと２値画像１０Ｇの面積Ｓ０との比Ｓ／Ｓ０が大きくなるほど、傾斜角θが大きくなる。傾斜角θがある程度大きい場合には、上述の従来法で求めた傾斜角θの測定精度は比較的高く、かつ、短時間で傾斜角θを算出することができる。
そこで、予め定められた後述の比較定数Ｋに対し、ＸＹ／Ｓ０≧Ｋであればステップ２４へ進み、そうでなければステップ２５へ進む。
【００２０】
（２４）傾斜角θを、上式（１）で算出して、傾斜角測定処理を終了する。
（２５〜２７）Ｄ＞０であれば傾斜角θを次の近似式、
θ＝０．５ｓｉｎ-1｛２（ＸＹ−Ｓ０）／（Ｘ2＋Ｙ2）｝ ・・・（７）
で算出し、そうでなければ次の近似式、
θ＝−０．５ｓｉｎ-1｛２（ＸＹ−Ｓ０）／（Ｘ2＋Ｙ2）｝ ・・・（８）
で算出する。
【００２１】
上記近似式は、以下のようにして求められる。
Ｘ０＝Ｐ１Ｐ２＝Ｐ３Ｐ４、ΔＸ＝Ｐ１Ｑ１＝Ｐ３Ｑ３ ・・・（９）
Ｙ０＝Ｐ２Ｐ３＝Ｐ４Ｐ１、ΔＹ＝Ｐ２Ｑ２＝Ｐ４Ｑ４ ・・・（１０）
とおくと、次式が成立する。
Ｘ０＝ΔＹ／ｓｉｎθ ・・・（１１）
Ｙ０＝ΔＸ／ｓｉｎθ ・・・（１２）
ｔａｎθ＝ΔＹ／（Ｘ−ΔＸ）＝ΔＸ／（Ｙ−ΔＹ）・・・（１３）
この式（１３）から、ΔＸ及びΔＹは次式で表される。
【００２２】
ΔＸ＝ｔａｎθ（Ｙ−Ｘｔａｎθ）／（１−ｔａｎ2θ） ・・・（１４）
ΔＹ＝ｔａｎθ（Ｘ−Ｙｔａｎθ）／（１−ｔａｎ2θ） ・・・（１５）
これらΔＹ及びΔＸをそれぞれ式（１１）及び（１２）へ代入すると、次式が得られる。
Ｘ０＝（Ｘ−Ｙｔａｎθ）／ｃｏｓθ（１−ｔａｎ2θ） ・・・（１６）
Ｙ０＝（Ｙ−Ｘｔａｎθ）／ｃｏｓθ（１−ｔａｎ2θ） ・・・（１７）
式（１６）及び（１７）の右辺の分母及び分子にｃｏｓθを乗ずると、次式が得られる。
【００２３】
Ｘ０＝（Ｘｃｏｓθ−Ｙｓｉｎθ）／｛ｃｏｓ2θ（１−ｔａｎ2θ）｝ ・（１８）
Ｙ０＝（Ｙｃｏｓθ−Ｘｓｉｎθ）／｛ｃｏｓ2θ（１−ｔａｎ2θ）｝ ・（１９）
よって、２値画像１０Ｇの面積Ｓ０＝Ｘ０・Ｙ０は、次式で表される。
【００２４】
Ｓ０＝（Ｘｃｏｓθ−Ｙｓｉｎθ）（Ｙｃｏｓθ−Ｘｓｉｎθ）／｛ｃｏｓ4θ（１−ｔａｎ2θ）2｝
＝｛ＸＹ−（Ｘ2＋Ｙ2）ｃｏｓθｓｉｎθ｝／｛ｃｏｓ4θ（１−ｔａｎ2θ）2｝ ・・・（２０）
ここで、傾斜角θが充分小さいときには、
ｃｏｓ4θ≒１、ｔａｎ2θ≒０ ・・・（２１）
とみなせるので、式（２０）は、以下のように近似することができる。
【００２５】
Ｓ＝ＸＹ−（Ｘ2＋Ｙ2）ｃｏｓθｓｉｎθ
＝ＸＹ−（Ｘ2＋Ｙ2）（ｓｉｎ２θ）／２ ・・・（２２）
この式（２２）から、上記近似式（７）及び（８）が得られる。
ステップ２３の比較定数Ｋは、画像のノイズの程度や上式（２１）の近似をどの程度の誤差まで認めるかを考慮して決定する。傾斜角θと、式（７）の式（２０）に対する近似誤差との関係は、次のようになる。
【００２６】
θ＝５゜のとき、ＣＯＳ4θ（１−ｔａｎ2θ）2＝０．９６９８４（約３．１％）
θ＝１０゜のとき、ＣＯＳ4θ（１−ｔａｎ2θ）2＝０．８８３０３（約１１．７％）
本第１実施形態では、２値画像１０Ｇの面積Ｓ０と２値画像１０Ｇの外接長方形の面積Ｓ＝ＸＹと面積の次元のＸ2及びＹ2に基づいて物体の傾斜角θを測定しているので、傾斜角θが小さくても、従来技術の欄で述べた量子化誤差及びノイズの影響が小さくなり、より高い精度で傾斜角θを測定することができる。
［第２実施形態］
上述のＤを用いずに物体傾斜角θの正負を判定することも可能であり、これを第２実施形態として以下に説明する。
【００２７】
図３（Ａ）〜（Ｃ）は、図２（Ａ）の２値画像１０Ｇの上部拡大図である。
図３（Ａ）に示す如く、点Ｑ１と点Ｑ２の中点Ｃを通り、傾きが｜θ｜の直線と、直線Ｑ２Ｑ３との交点をＲ２とする。｜θ｜は、上式（７）から求められる。三角形ＣＱ２Ｒ２内に２値画像１０Ｇの画素が存在しなければ、すなわち、‘１’の画素が存在しなければ、傾斜角θが正であると判定し、‘１’の画素が存在すれば、傾斜角θが負であると判定する。
【００２８】
他の正負判定方法を、図３（Ｂ）に示す。この方法では、点Ｑ１と点Ｑ２の中点Ｃを通り、傾きが−｜θ｜の直線と、直線Ｑ１Ｑ４との交点をＲ１とする。そして、三角形ＣＱ１Ｒ１内に‘１’の画素が存在すれば、傾斜角θが正であると判定し、‘１’の画素が存在しなければ、傾斜角θが負であると判定する。
さらに他の正負判定方法を、図３（Ｃ）に示す。この方法は、上記２つの考え方を用いており、三角形ＣＲ１Ｑ１内に存在する‘１’の画素数と、三角形ＣＱ２Ｒ２内に存在する‘１’の画素数との差が正であれば傾斜角θが正であると判定し、そうでなけば傾斜角θが負であると判定する。この方法によれば、ノイズによるビット反転の影響が殆ど無くなる。
【００２９】
［第３実施形態］
上記第１及び第２の実施形態では、２値画像が長方形である場合を説明したが、２値画像の外接長方形の面積Ｓと２値画像の面積Ｓ０との比が物体傾斜角θの関数であることに着目すれば、任意の形状の物体の微小傾斜角θを測定することが可能である。
【００３０】
図４（Ａ）は２値画像１０ＡＧが三角形である場合を示しており、図４（Ｂ）は２値画像１０ＢＧがボトル形状である場合を示している。
２値画像１０ＡＧの場合には、面積比Ｓ／Ｓ０と傾斜角θの関係を理論的に算出することもできる。２値画像１０ＢＧの場合には、図５に示すような傾斜角θと面積比Ｓ／Ｓ０との関係を画像処理により予め求めて、これをテーブル化し又は近似式で表す。傾斜角測定の際には、面積比Ｓ／Ｓ０を画像処理で求め、該関係から傾斜角θを求める。
【００３１】
本第３実施形態では、面積比Ｓ／Ｓ０に基づいて物体傾斜角θを測定しているので、傾斜角θが小さくても、従来技術の欄で述べた量子化誤差及びノイズの影響が小さくなり、２値画像に対し２角の点を結んだ直線の傾きを直接測定する場合よりも高い精度で、傾斜角θを測定することができる。
なお、本発明には外にも種々の変形例が含まれる。
【００３２】
例えば、上記近似式（７）及び（８）を用いる替わりに、近似前の上式（２０）の右辺から左辺を引いた関数
ｆ（θ）＝｛ＸＹ−（Ｘ2＋Ｙ2）ｃｏｓθｓｉｎθ｝／｛ｃｏｓ4θ（１−ｔａｎ2θ）2｝−Ｓ０ ・・・（２３）
を用い、右辺のＸ、Ｙ及びＳ０に数値を代入し、方程式ｆ（θ）＝０を満たす解θを１／２探索法又はニュートンラプソン法等で求める構成であってもよい。この場合、図１のステップ２３及び２４の処理は不要である。
【００３３】
また、傾斜角θの正負判定式には、上記ＤＸ、ＤＹ又はＤ以外にも考えられる。例えば、傾斜角θが正の場合にはＸ４＞Ｘ１、Ｘ３＞Ｘ２、Ｙ２＞Ｙ１及びＹ３＞Ｙ４が成立し、傾斜角θが負の場合にはこれらの不等号を逆にした関係が成立するので、これらのいずれか又は結合、例えば、Ｘ４−Ｘ１＋Ｙ２−Ｙ１又は（Ｘ４−Ｘ１）／Ｘ＋（Ｙ２−Ｙ１）／Ｙ等の正負により傾斜角θの正負を判定してもよい。
【００３４】
さらに、傾斜角θの正負判定に用いる図３中の領域は三角形に限定されない。例えば図３（Ｃ）において、直線Ｒ１Ｒ２の中点をＤとしたとき、長方形ＤＣＱ１Ｒ１内に存在する‘１’の画素数と、長方形ＤＣＱ２Ｒ２内に存在する‘１’の画素数との差が正であれば傾斜角θが正であると判定し、そうでなけば傾斜角θが負であると判定してもよい。この場合、点Ｒ１及びＲ２の位置はそれぞれ、点Ｑ１及びＱ２から等距離であれば任意でよい。
【図面の簡単な説明】
【図１】本発明の第１実施形態の物体傾斜角測定手順を示すフローチャートである。
【図２】図１の処理で用いられる物体傾斜角計測方法の説明図である。
【図３】本発明の第２実施形態の物体傾斜角正負判定方法説明図である。
【図４】本発明の第３実施形態の物体傾斜角計測方法説明図である。
【図５】物体の傾斜角と面積比との関係を示す線図である。
【図６】従来の半導体チップ姿勢調整装置の概略構成図である。
【図７】従来の物体傾斜角計測方法説明図である。
【符号の説明】
１０ 半導体チップ
１０Ｇ、１０ＡＧ、１０ＢＧ ２値画像
１１ ハンド
１２ 回転駆動装置
１３ 撮像装置
１４ 画像入力回路
１５ 画像メモリ
１６ 画像処理装置
１７ 回転角制御回路
ＳＬ１〜ＳＬ４ 走査線
θ 傾斜角
Claims (9)
- 物体の２値画像を処理して該物体の所望の姿勢に対する傾斜角θを測定する物体傾斜角計測方法において、
該物体の２値画像の外接長方形の面積Ｓと該物体の２値画像の面積Ｓ０と該傾斜角θとの関係を予め求めておき、
該物体の２値画像について該面積Ｓ及び該面積Ｓ０を測定し、
該関係に基づいて該傾斜角θを求める、
ことを特徴とする物体傾斜角計測方法。 - 上記物体の２値画像は長方形であり、
上記関係は実質的に式Ｓ０＝ＸＹ−（Ｘ2 ＋Ｙ2）（ｓｉｎ２θ）／２で表され、ここに、Ｘ及びＹは長方形の隣り合う２辺の長さである、
ことを特徴とする請求項１記載の物体傾斜角計測方法。 - 実質的に、面積比ＸＹ／Ｓ０が所定値より小さい場合には上記関係の式に基づき該面積比ＸＹ／Ｓ０が所定値以上の場合には式ｔａｎθ＝（Ｙ２−Ｙ１）／（Ｘ１−Ｘ２）に基づいて、傾斜角θを算出する、
ことを特徴とする請求項２記載の物体傾斜角計測方法。 - 上記物体の２値画像は長方形であり、
上記関係は実質的に式Ｓ０＝｛ＸＹ−（Ｘ2＋Ｙ2）ｃｏｓθｓｉｎθ｝／｛ｃｏｓ4θ（１−ｔａｎ2θ）2｝で表され、ここに、Ｘ及びＹは長方形の隣り合う２辺の長さである、
ことを特徴とする請求項１記載の物体傾斜角計測方法。 - 上記物体の２値画像の２角以上の点の座標に基づいて、上記傾斜角θの正負を判定することを特徴とする請求項２乃至４のいずれか１つに記載の物体傾斜角計測方法。
- 上記外接長方形の端部所定領域に上記物体の２値画像の画素が存在するか否かに基づいて上記傾斜角θの正負を判定することを特徴とする請求項２乃至４のいずれか１つに記載の物体傾斜角計測方法。
- 上記外接長方形の端部の一方の角側所定領域と他方の角側所定領域とに存在する上記物体の２値画像の画素数の差に基づいて上記傾斜角θの正負を判定することを特徴とする請求項２記載の物体傾斜角計測方法。
- 請求項１乃至７のいずれか１つに記載の関係に基づいて上記傾斜角θを求めるプログラムが記憶されていることを特徴とする記憶媒体。
- 物体の２値画像を処理して該物体の所望の姿勢に対する傾斜角θを測定する物体傾斜角計測装置において、
該物体の２値画像の面積Ｓ０及び該物体の２値画像の外接長方形の面積Ｓを測定し、該面積Ｓ０と該面積Ｓと該傾斜角θとの関係に基づいて該傾斜角θを求めることを特徴とする物体傾斜角計測装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP18088497A JP3685596B2 (ja) | 1997-07-07 | 1997-07-07 | 物体傾斜角計測方法及び装置並びに記憶媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP18088497A JP3685596B2 (ja) | 1997-07-07 | 1997-07-07 | 物体傾斜角計測方法及び装置並びに記憶媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH1123241A JPH1123241A (ja) | 1999-01-29 |
| JP3685596B2 true JP3685596B2 (ja) | 2005-08-17 |
Family
ID=16091029
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP18088497A Expired - Fee Related JP3685596B2 (ja) | 1997-07-07 | 1997-07-07 | 物体傾斜角計測方法及び装置並びに記憶媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3685596B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4635164B2 (ja) * | 2005-01-27 | 2011-02-16 | 新世代株式会社 | 傾き検出方法、コンピュータプログラム、及びエンタテインメント・システム |
| JP5306100B2 (ja) * | 2009-07-30 | 2013-10-02 | 三菱電機株式会社 | 画像投射装置 |
| JP5197729B2 (ja) * | 2010-12-24 | 2013-05-15 | 独立行政法人国立高等専門学校機構 | ピッキングシステムおよびピッキング方法 |
-
1997
- 1997-07-07 JP JP18088497A patent/JP3685596B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH1123241A (ja) | 1999-01-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2802561B2 (ja) | 半導体チップのアライメント方法およびレーザ修理用ターゲット | |
| US7639863B2 (en) | Die-to-database photomask defect detection using region data to modify inspection thresholds | |
| JPH0618243A (ja) | Ｉｃの傾き検査方法 | |
| US7024041B2 (en) | Pattern inspection apparatus and method | |
| JP3685596B2 (ja) | 物体傾斜角計測方法及び装置並びに記憶媒体 | |
| JP3266429B2 (ja) | パターン検出方法 | |
| JP2001043378A (ja) | 繰り返しパターン消去方法及びパターン欠陥検査装置 | |
| JPH0843025A (ja) | 部品認識方法及び装置 | |
| JP3771329B2 (ja) | 電子部品の取付方向検査方法 | |
| JPH11167640A (ja) | 画像認識による計測方法および記録媒体 | |
| JPH10227622A (ja) | リードの検査方法及びリード検査装置 | |
| JP2007048194A (ja) | 画像処理方法および画像処理装置 | |
| JP4150262B2 (ja) | 部品認識方法及び装置 | |
| JPH10160681A (ja) | パターン欠陥検出装置及びパターン欠陥検出方法 | |
| JP2001084379A (ja) | パターン検査方法および装置 | |
| JPH11214485A (ja) | ウェハの回転方向決定方法 | |
| JPH11160246A (ja) | パターン検査方法 | |
| JPH0766262A (ja) | ボンディングワイヤ検査におけるネック部検出方法 | |
| JP4554663B2 (ja) | パターン検査装置及びパターン検査方法 | |
| JPH08315147A (ja) | テンプレートマッチング方法 | |
| JP4642648B2 (ja) | 実装装置に搭載される部品の画像処理方法及び装置 | |
| JPS59159007A (ja) | 微小角度測定装置 | |
| JP2000205838A (ja) | 対象物の形状認識方法及びその装置 | |
| JP2003004660A (ja) | ボンディング状態の検査方法 | |
| JP2005165822A (ja) | 用紙傾き検出装置、用紙傾き検出方法及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050328 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050531 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050531 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090610 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100610 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110610 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120610 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120610 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130610 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140610 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |