JPH0989537A - 表面うねり検査装置 - Google Patents
表面うねり検査装置Info
- Publication number
- JPH0989537A JPH0989537A JP24466995A JP24466995A JPH0989537A JP H0989537 A JPH0989537 A JP H0989537A JP 24466995 A JP24466995 A JP 24466995A JP 24466995 A JP24466995 A JP 24466995A JP H0989537 A JPH0989537 A JP H0989537A
- Authority
- JP
- Japan
- Prior art keywords
- image
- pattern
- light source
- pixel
- edge position
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Abstract
(57)【要約】
【課題】 パターン化光源の明るさの変動や被検査試料
の位置ずれや被検査試料毎の反射率のばらつきによる誤
検出を無くすこと。 【解決手段】 所定の光源パターンを発生するパターン
化光源１と、被検査試料Ｗを間にしてパターン化光源に
対向配置され被検査試料を介してパターン化光源を撮像
する撮像装置２と、撮像装置により撮像された画像の明
るさ情報に基づき、画像内の各パターンのエッジ位置を
算出するエッジ位置算出手段（Ｓ５２，５４）と、エッ
ジ位置に基づき、エッジ位置を含む画素及びそれと隣合
う画素にエッジ位置の重み付けを行う重み付け手段（Ｓ
５６）と、各画素の重み付け値に基づき、被検査試料の
表面上のうねりの有無を判定する判定手段（Ｓ７４）と
を備えたことである。
の位置ずれや被検査試料毎の反射率のばらつきによる誤
検出を無くすこと。 【解決手段】 所定の光源パターンを発生するパターン
化光源１と、被検査試料Ｗを間にしてパターン化光源に
対向配置され被検査試料を介してパターン化光源を撮像
する撮像装置２と、撮像装置により撮像された画像の明
るさ情報に基づき、画像内の各パターンのエッジ位置を
算出するエッジ位置算出手段（Ｓ５２，５４）と、エッ
ジ位置に基づき、エッジ位置を含む画素及びそれと隣合
う画素にエッジ位置の重み付けを行う重み付け手段（Ｓ
５６）と、各画素の重み付け値に基づき、被検査試料の
表面上のうねりの有無を判定する判定手段（Ｓ７４）と
を備えたことである。
Description
【０００１】
【発明の属する技術分野】本発明は、被検査試料の表面
に存在する凸部や凹部といったうねりの存在を検査する
表面うねり検査装置に関するものである。
に存在する凸部や凹部といったうねりの存在を検査する
表面うねり検査装置に関するものである。
【０００２】
【従来の技術】従来、この種の表面うねり検査装置とし
ては、特開平５−２８８５３３号公報に示されるものが
知られている。このものは、この公報の図９に示すよう
に、パターン化光源と、被検査試料を間にしてパターン
化光源に対向配置され、光梃子効果を用いて被検査試料
を介してパターン化光源を撮像するカメラと、アナログ
的に規則正しい強度変化を示す表示パターン波形（うね
り欠陥がない場合のカメラの出力波形と同一）を発生
し、パターン化光源に出力するパターンジェネレータ
と、カメラから取り込まれた画像データ（カメラの出力
波形）とパターンジェネレータの出力波形との差分を演
算して異常を検出するアナログ差分回路とを備えるもの
である。
ては、特開平５−２８８５３３号公報に示されるものが
知られている。このものは、この公報の図９に示すよう
に、パターン化光源と、被検査試料を間にしてパターン
化光源に対向配置され、光梃子効果を用いて被検査試料
を介してパターン化光源を撮像するカメラと、アナログ
的に規則正しい強度変化を示す表示パターン波形（うね
り欠陥がない場合のカメラの出力波形と同一）を発生
し、パターン化光源に出力するパターンジェネレータ
と、カメラから取り込まれた画像データ（カメラの出力
波形）とパターンジェネレータの出力波形との差分を演
算して異常を検出するアナログ差分回路とを備えるもの
である。
【０００３】このものでは、パターンジェネレータによ
りアナログ的に規則正しい強度変化を示す表示パターン
波形を発生してそれをパターン化光源に表示し、それに
よる光源パターンの主光線像を撮像したカメラの出力波
形がパターンジェネレータの出力波形と同じであれば、
アナログ差分回路によりうねり欠陥無と判定し、カメラ
の出力波形に微妙なひずみが発生しカメラの出力波形が
パターンジェネレータの出力波形と異なると、アナログ
差分回路によりうねり欠陥有と判定している。
りアナログ的に規則正しい強度変化を示す表示パターン
波形を発生してそれをパターン化光源に表示し、それに
よる光源パターンの主光線像を撮像したカメラの出力波
形がパターンジェネレータの出力波形と同じであれば、
アナログ差分回路によりうねり欠陥無と判定し、カメラ
の出力波形に微妙なひずみが発生しカメラの出力波形が
パターンジェネレータの出力波形と異なると、アナログ
差分回路によりうねり欠陥有と判定している。
【０００４】
【発明が解決しようとする課題】ところが、このもので
は、被検査試料を撮像したカメラの出力波形とうねり欠
陥無（正常）の被検査試料を撮像したカメラの出力波形
に相当するパターンジェネレータの出力波形との差分を
演算してその結果によりうねり有無を検出するものであ
るので、雰囲気温度の変化等によりパターン化光源の明
るさが変動したり、被検査試料の位置がずれたり、被検
査試料毎にその表面の反射率がばらついたりした場合に
おいて、被検査試料が正常（うねり無）なのにもかかわ
らず異常（うねり有）と判断し、誤検出が多くなる恐れ
がある。
は、被検査試料を撮像したカメラの出力波形とうねり欠
陥無（正常）の被検査試料を撮像したカメラの出力波形
に相当するパターンジェネレータの出力波形との差分を
演算してその結果によりうねり有無を検出するものであ
るので、雰囲気温度の変化等によりパターン化光源の明
るさが変動したり、被検査試料の位置がずれたり、被検
査試料毎にその表面の反射率がばらついたりした場合に
おいて、被検査試料が正常（うねり無）なのにもかかわ
らず異常（うねり有）と判断し、誤検出が多くなる恐れ
がある。
【０００５】故に、本発明は、パターン化光源の明るさ
の変動や被検査試料の位置ずれや被検査試料毎の反射率
のばらつきによる誤検出を無くすことを、その技術的課
題とするものである。
の変動や被検査試料の位置ずれや被検査試料毎の反射率
のばらつきによる誤検出を無くすことを、その技術的課
題とするものである。
【０００６】
【課題を解決するための手段】上記技術的課題を解決す
るために本発明において講じた第１の手段は、所定の光
源パターンを発生するパターン化光源と、被検査試料を
間にして前記パターン化光源に対向配置され、前記被検
査試料を介して前記パターン化光源を撮像する撮像装置
と、前記撮像装置により撮像された画像の明るさ情報に
基づき、画像内の各パターンのエッジ位置を算出するエ
ッジ位置算出手段と、前記エッジ位置に基づき、前記エ
ッジ位置を含む画素及びそれと隣合う画素にエッジ位置
の重み付けを行う重み付け手段と、各画素の重み付け値
に基づき、被検査試料の表面上のうねりの有無を判定す
る判定手段とを備えたことである。
るために本発明において講じた第１の手段は、所定の光
源パターンを発生するパターン化光源と、被検査試料を
間にして前記パターン化光源に対向配置され、前記被検
査試料を介して前記パターン化光源を撮像する撮像装置
と、前記撮像装置により撮像された画像の明るさ情報に
基づき、画像内の各パターンのエッジ位置を算出するエ
ッジ位置算出手段と、前記エッジ位置に基づき、前記エ
ッジ位置を含む画素及びそれと隣合う画素にエッジ位置
の重み付けを行う重み付け手段と、各画素の重み付け値
に基づき、被検査試料の表面上のうねりの有無を判定す
る判定手段とを備えたことである。
【０００７】上記第１の手段によれば、撮像装置により
撮像された画像の明るさ情報に基づき、画像内の各パタ
ーンのエッジ位置を算出し、そのエッジ位置に基づき、
エッジ位置を含む画素及びそれと隣合う画素にエッジ位
置の重み付けを行い、各画素の重み付け値に基づき、被
検査試料の表面上のうねりの有無を判定するので、パタ
ーン化光源の明るさの変動や被検査試料の位置ずれや被
検査試料毎の反射率のばらつきによる誤検出が無くな
る。
撮像された画像の明るさ情報に基づき、画像内の各パタ
ーンのエッジ位置を算出し、そのエッジ位置に基づき、
エッジ位置を含む画素及びそれと隣合う画素にエッジ位
置の重み付けを行い、各画素の重み付け値に基づき、被
検査試料の表面上のうねりの有無を判定するので、パタ
ーン化光源の明るさの変動や被検査試料の位置ずれや被
検査試料毎の反射率のばらつきによる誤検出が無くな
る。
【０００８】上記技術的課題を解決するために本発明に
おいて講じた第２の手段は、所定の光源パターンを発生
するパターン化光源と、被検査試料を間にして前記パタ
ーン化光源に対向配置され、前記被検査試料を介して前
記パターン化光源を撮像する撮像装置と、前記撮像装置
により撮像された画像の明るさ情報を画素で微分し、そ
の微分値を加重平均して画像内の各パターンのエッジ位
置を画素の分解能よりも高分解能で算出するエッジ位置
算出手段と、前記エッジ位置に基づき、前記エッジ位置
を含む画素及び次の画素にエッジ位置の重み付けを行う
重み付け手段と、前記パターン化光源のパターンをそれ
の配列方向へ所定ドットだけ平行移動させるパターン変
化装置と、前記パターン化光源のパターンを平行移動さ
せる毎に、前回までの各画素の重み付け値に今回の各画
素の重み付け値を加算し、平行移動のドット総和が前記
パターン化光源の各パターン幅に相当するドットに到達
するまでこの加算処理を実行する重み付け値加算手段
と、加算された各画素の重み付け値に基づき、被検査試
料の表面上のうねりの有無を判定する判定手段とを備え
たことである。
おいて講じた第２の手段は、所定の光源パターンを発生
するパターン化光源と、被検査試料を間にして前記パタ
ーン化光源に対向配置され、前記被検査試料を介して前
記パターン化光源を撮像する撮像装置と、前記撮像装置
により撮像された画像の明るさ情報を画素で微分し、そ
の微分値を加重平均して画像内の各パターンのエッジ位
置を画素の分解能よりも高分解能で算出するエッジ位置
算出手段と、前記エッジ位置に基づき、前記エッジ位置
を含む画素及び次の画素にエッジ位置の重み付けを行う
重み付け手段と、前記パターン化光源のパターンをそれ
の配列方向へ所定ドットだけ平行移動させるパターン変
化装置と、前記パターン化光源のパターンを平行移動さ
せる毎に、前回までの各画素の重み付け値に今回の各画
素の重み付け値を加算し、平行移動のドット総和が前記
パターン化光源の各パターン幅に相当するドットに到達
するまでこの加算処理を実行する重み付け値加算手段
と、加算された各画素の重み付け値に基づき、被検査試
料の表面上のうねりの有無を判定する判定手段とを備え
たことである。
【０００９】上記第２の手段によれば、第１の手段と同
様に、撮像装置により撮像された画像の明るさ情報に基
づき、画像内の各パターンのエッジ位置を算出し、その
エッジ位置に基づき、エッジ位置を含む画素及びそれと
隣合う画素にエッジ位置の重み付けを行い、各画素の重
み付け値に基づき、被検査試料の表面上のうねりの有無
を判定するので、パターン化光源の明るさの変動や被検
査試料の位置ずれや被検査試料毎の反射率のばらつきに
よる誤検出が無くなる。
様に、撮像装置により撮像された画像の明るさ情報に基
づき、画像内の各パターンのエッジ位置を算出し、その
エッジ位置に基づき、エッジ位置を含む画素及びそれと
隣合う画素にエッジ位置の重み付けを行い、各画素の重
み付け値に基づき、被検査試料の表面上のうねりの有無
を判定するので、パターン化光源の明るさの変動や被検
査試料の位置ずれや被検査試料毎の反射率のばらつきに
よる誤検出が無くなる。
【００１０】また、パターン化光源のパターンをそれの
配列方向へ所定ドットだけ平行移動させ、その度に、前
回までの各画素の重み付け値に今回の各画素の重み付け
値を加算し、平行移動のドット総和がパターン化光源の
パターン幅に相当するドットになるまでこの加算処理を
実行し、その結果に基づいてうねりの有無を判定するの
で、被検査試料の全表面のうねりの有無を確実に検出で
きる。
配列方向へ所定ドットだけ平行移動させ、その度に、前
回までの各画素の重み付け値に今回の各画素の重み付け
値を加算し、平行移動のドット総和がパターン化光源の
パターン幅に相当するドットになるまでこの加算処理を
実行し、その結果に基づいてうねりの有無を判定するの
で、被検査試料の全表面のうねりの有無を確実に検出で
きる。
【００１１】
（第１の実施形態）図１〜図１１を参照して、本発明の
第１の実施形態について説明する。
第１の実施形態について説明する。
【００１２】図１に示すように、表面うねり検査装置１
０は、ワーク（被検査試料）Ｗ（ここではウインドフレ
ームを図示）の表面上の凹部や凸部といったうねりの有
無及びその位置を検査するもので、液晶パターン化光源
１と、カメラ（撮像装置）２と、画像処理装置３と、パ
ターンジェネレータ４と、液晶ドライバ５とを備えてい
る。
０は、ワーク（被検査試料）Ｗ（ここではウインドフレ
ームを図示）の表面上の凹部や凸部といったうねりの有
無及びその位置を検査するもので、液晶パターン化光源
１と、カメラ（撮像装置）２と、画像処理装置３と、パ
ターンジェネレータ４と、液晶ドライバ５とを備えてい
る。
【００１３】液晶パターン化光源１は、等間隔の縞状の
光源パターンを表示するもので、液晶１１と、蛍光灯１
２と、反射板１３と、拡散板１４とを備えている。液晶
１１は、図１に示すような等間隔の明暗（白黒）縞状の
液晶パターンを表示するもので、最下面に位置する。図
１０に示すように、液晶１１は、パターンの配列方向
（Ｘ方向）において０〜５９９ドットに区分されてお
り、パターンの延在方向（Ｙ方向）において０〜３９９
ドットに区分されている。ここでは、液晶パターンの各
黒パターン幅及び各白パターン幅は、４ドットである。
尚、液晶パターンの延在方向をＸ方向にしても良い。蛍
光灯１２は、液晶１１及びワークＷに向けて光を照射す
るもので、液晶１１よりも上方に配置されている。反射
板１３は、蛍光灯１２から上方に向けて照射された光を
液晶１１側に当てるためのもので、蛍光灯１２よりも上
方に配置されている。拡散板１４は、蛍光灯１２の光を
液晶１１に均一に当てるためのもので、液晶１１と蛍光
灯１２の間に配置されている。
光源パターンを表示するもので、液晶１１と、蛍光灯１
２と、反射板１３と、拡散板１４とを備えている。液晶
１１は、図１に示すような等間隔の明暗（白黒）縞状の
液晶パターンを表示するもので、最下面に位置する。図
１０に示すように、液晶１１は、パターンの配列方向
（Ｘ方向）において０〜５９９ドットに区分されてお
り、パターンの延在方向（Ｙ方向）において０〜３９９
ドットに区分されている。ここでは、液晶パターンの各
黒パターン幅及び各白パターン幅は、４ドットである。
尚、液晶パターンの延在方向をＸ方向にしても良い。蛍
光灯１２は、液晶１１及びワークＷに向けて光を照射す
るもので、液晶１１よりも上方に配置されている。反射
板１３は、蛍光灯１２から上方に向けて照射された光を
液晶１１側に当てるためのもので、蛍光灯１２よりも上
方に配置されている。拡散板１４は、蛍光灯１２の光を
液晶１１に均一に当てるためのもので、液晶１１と蛍光
灯１２の間に配置されている。
【００１４】カメラ２は、ワークＷを間にして液晶パタ
ーン化光源１に対向配置され、ワークＷを介して液晶パ
ターンを撮像し、図１に示すような明暗（白黒）縞状の
画像を得るものである。また、カメラ２はその画像を画
像処理装置３に送るものである。このカメラ２は、レン
ズ部２１と、本体２２とを備え、レンズ部２１内には分
解能を上げるために絞り（図示せず）が内蔵されてい
る。このカメラ２の焦点は、ワークＷを経由して液晶パ
ターン化光源１に合わせられ、この時カメラの撮像に寄
与する光は、絞りによって主光線のみに選択される。
ーン化光源１に対向配置され、ワークＷを介して液晶パ
ターンを撮像し、図１に示すような明暗（白黒）縞状の
画像を得るものである。また、カメラ２はその画像を画
像処理装置３に送るものである。このカメラ２は、レン
ズ部２１と、本体２２とを備え、レンズ部２１内には分
解能を上げるために絞り（図示せず）が内蔵されてい
る。このカメラ２の焦点は、ワークＷを経由して液晶パ
ターン化光源１に合わせられ、この時カメラの撮像に寄
与する光は、絞りによって主光線のみに選択される。
【００１５】パターンジェネレータ４は、液晶１１に表
示するための液晶パターンを生成してそれをドライバ５
に転送するものである。ドライバ５は、パターンジェネ
レータ４にて生成された液晶パターンと同一のパターン
を液晶１１に表示させるものである。また、パターンジ
ェネレータ４及びドライバ５は、画像処理装置３からの
命令を受けて、図１０に示す如く液晶１１に表示する液
晶パターンをパターン幅一定のまま１ドットずつＸ方向
に平行移動させる。尚、パターンジェネレータ４を画像
処理装置３に内蔵しても良い。
示するための液晶パターンを生成してそれをドライバ５
に転送するものである。ドライバ５は、パターンジェネ
レータ４にて生成された液晶パターンと同一のパターン
を液晶１１に表示させるものである。また、パターンジ
ェネレータ４及びドライバ５は、画像処理装置３からの
命令を受けて、図１０に示す如く液晶１１に表示する液
晶パターンをパターン幅一定のまま１ドットずつＸ方向
に平行移動させる。尚、パターンジェネレータ４を画像
処理装置３に内蔵しても良い。
【００１６】図２〜１０を参照して、画像処理装置３の
構成及び作動について説明する。図２において、Ｎはフ
ラグである。
構成及び作動について説明する。図２において、Ｎはフ
ラグである。
【００１７】ステップ５０において、カメラ２にて撮像
した画像を画像メモリ３１に取り込み、その明るさ分布
を検出する。ここで、図３に示すように、画像メモリ３
１は、横軸（ｉ軸）において０〜５１２画素に区分さ
れ、縦軸（ｊ軸）において０〜４７９画素に区分されて
いる。画像メモリ３１内に取り込まれる画像は、白黒パ
ターンが交互に配列された縞状のパターンであり、その
延在方向はｊ方向であり、配列方向はｉ方向となる。こ
こで、理解を容易にするため、図３中のラインＡ（ｊ＝
２００画素）上の明るさ分布に注目すると、図４のよう
になる。そして、図４のＢ部を拡大すると、図５のよう
になる。図５において、明るさ状態が急変する部分が各
パターンのエッジ位置に相当する。
した画像を画像メモリ３１に取り込み、その明るさ分布
を検出する。ここで、図３に示すように、画像メモリ３
１は、横軸（ｉ軸）において０〜５１２画素に区分さ
れ、縦軸（ｊ軸）において０〜４７９画素に区分されて
いる。画像メモリ３１内に取り込まれる画像は、白黒パ
ターンが交互に配列された縞状のパターンであり、その
延在方向はｊ方向であり、配列方向はｉ方向となる。こ
こで、理解を容易にするため、図３中のラインＡ（ｊ＝
２００画素）上の明るさ分布に注目すると、図４のよう
になる。そして、図４のＢ部を拡大すると、図５のよう
になる。図５において、明るさ状態が急変する部分が各
パターンのエッジ位置に相当する。
【００１８】次に、ステップ５２において、明るさ分布
を画素（ｉ）で一次微分し、各画素における明るさの変
化率を算出する。その結果を図６に示す。次いで、ステ
ップ５４において、数１式を用いて各画素における明る
さの変化率を加重平均して各パターンのエッジ位置を画
素の分解能の１０倍の分解能で算出する。
を画素（ｉ）で一次微分し、各画素における明るさの変
化率を算出する。その結果を図６に示す。次いで、ステ
ップ５４において、数１式を用いて各画素における明る
さの変化率を加重平均して各パターンのエッジ位置を画
素の分解能の１０倍の分解能で算出する。
【００１９】
【数１】
【００２０】数１において、ｎは加重平均値，ｉは画
素，ｋi はｉ画素における一次微分値を示す。
素，ｋi はｉ画素における一次微分値を示す。
【００２１】具体的に言うと、図７に示すように、ｉ＝
５２〜５７やｉ＝６０〜６５の範囲内の一次微分値のデ
ータを結んだ曲線とｉ軸とで囲まれる領域の重心を求
め、そのｉ成分（小数点以下１桁まで計算）をエッジ位
置と決定する。従って、エッジ位置は、５５．１及び６
２．８となる。
５２〜５７やｉ＝６０〜６５の範囲内の一次微分値のデ
ータを結んだ曲線とｉ軸とで囲まれる領域の重心を求
め、そのｉ成分（小数点以下１桁まで計算）をエッジ位
置と決定する。従って、エッジ位置は、５５．１及び６
２．８となる。
【００２２】次に、ステップ５６において、エッジ位置
を含む画素ｉn とその画素の次の画素ｉn+1 に対してエ
ッジ位置の重み付けを行う。つまり、算出したエッジ位
置の小数点以下１桁目の数が５よりも小さければ、画素
ｉn に５よりも大きく１０以下の正の整数ａを，画素ｉ
n+1 に５よりも小さい正の整数ｂ（ｂ＝１０−ａ）を夫
々振り分ける。また、エッジ位置の小数点以下１桁目の
数が５であれば、画素ｉn 及び画素ｉn+1 に５を振り分
ける。更に、エッジ位置の小数点以下１桁目の数が５よ
りも大きければ、画素ｉn に５よりも小さい正の整数ｃ
を，画素ｉn+1に５よりも大きい正の整数ｄ（ｄ＝１０
−ｃ）を夫々振り分ける。ここでは、エッジ位置が５
５．１，６２．８であるので、図８に示すように、５５
番目の画素に９を，５６番目の画素に１を夫々振り分
け、６２番面の画素に２を，６３番面の画素に８を夫々
振り分けることになる。
を含む画素ｉn とその画素の次の画素ｉn+1 に対してエ
ッジ位置の重み付けを行う。つまり、算出したエッジ位
置の小数点以下１桁目の数が５よりも小さければ、画素
ｉn に５よりも大きく１０以下の正の整数ａを，画素ｉ
n+1 に５よりも小さい正の整数ｂ（ｂ＝１０−ａ）を夫
々振り分ける。また、エッジ位置の小数点以下１桁目の
数が５であれば、画素ｉn 及び画素ｉn+1 に５を振り分
ける。更に、エッジ位置の小数点以下１桁目の数が５よ
りも大きければ、画素ｉn に５よりも小さい正の整数ｃ
を，画素ｉn+1に５よりも大きい正の整数ｄ（ｄ＝１０
−ｃ）を夫々振り分ける。ここでは、エッジ位置が５
５．１，６２．８であるので、図８に示すように、５５
番目の画素に９を，５６番目の画素に１を夫々振り分
け、６２番面の画素に２を，６３番面の画素に８を夫々
振り分けることになる。
【００２３】次に、ステップ５８において、重み付け画
像の加算を行うが、今回はフラグＮが０であるので、今
回の重み付け画像がそのまま加算画像となる。
像の加算を行うが、今回はフラグＮが０であるので、今
回の重み付け画像がそのまま加算画像となる。
【００２４】次に、ステップ６０において、フラグＮが
基準値（整数）と比較され、フラグＮが基準値よりも小
さければ、ステップ６２に進み、基準値以上になれば、
ステップ６６に進む。ここで、基準値は、液晶１１に表
示される液晶パターンの各パターン幅に見合ったステッ
プ５０〜５８を行う適正回数を意味し、ここでは４に設
定されている。今回は、フラグＮが０であるので、ステ
ップ６２に進む。
基準値（整数）と比較され、フラグＮが基準値よりも小
さければ、ステップ６２に進み、基準値以上になれば、
ステップ６６に進む。ここで、基準値は、液晶１１に表
示される液晶パターンの各パターン幅に見合ったステッ
プ５０〜５８を行う適正回数を意味し、ここでは４に設
定されている。今回は、フラグＮが０であるので、ステ
ップ６２に進む。
【００２５】次に、ステップ６２において、図１０に示
す如く、液晶１１に表示する液晶パターンをそのパター
ン幅を一定にしたままＸ方向へ１ドット平行移動させ
る。具体的には、画像処理装置３がパターンジェネレー
タ４に液晶パターンを変えるように命令し、それに基づ
きパターンジェネレータ４が液晶パターンを生成し、ド
ライバ５がそのパターンを液晶１１に表示させる。
す如く、液晶１１に表示する液晶パターンをそのパター
ン幅を一定にしたままＸ方向へ１ドット平行移動させ
る。具体的には、画像処理装置３がパターンジェネレー
タ４に液晶パターンを変えるように命令し、それに基づ
きパターンジェネレータ４が液晶パターンを生成し、ド
ライバ５がそのパターンを液晶１１に表示させる。
【００２６】次に、ステップ６４において、フラグＮに
１を加算し、フラグＮを１とする。
１を加算し、フラグＮを１とする。
【００２７】その後、変化した液晶パターンに相当する
画像をカメラ２から取り込み、再びステップ５０〜５８
を行う。ステップ５０〜５６については、フラグＮ＝０
のときと同一であるので、その説明は省略する。
画像をカメラ２から取り込み、再びステップ５０〜５８
を行う。ステップ５０〜５６については、フラグＮ＝０
のときと同一であるので、その説明は省略する。
【００２８】ステップ５８において、前回（即ちフラグ
Ｎ＝０のとき）の重み付け画像に今回（即ちフラグＮ＝
１のとき）の重み付け画像を加算する。具体的に言う
と、図９に示すように、今回の重み付け画像の各画素に
振り分けられた重み付け値を前回の重み付け画像におけ
る対応する画素に振り分けられた重み付け値に加算す
る。
Ｎ＝０のとき）の重み付け画像に今回（即ちフラグＮ＝
１のとき）の重み付け画像を加算する。具体的に言う
と、図９に示すように、今回の重み付け画像の各画素に
振り分けられた重み付け値を前回の重み付け画像におけ
る対応する画素に振り分けられた重み付け値に加算す
る。
【００２９】次に、ステップ６０において、前回と同様
に、フラグＮが基準値と比較されるが、今回もフラグＮ
が１であり４よりも小さいので、再びステップ６２にて
液晶パターンをＸ方向へ１ドット平行移動させ、ステッ
プ６４にてフラグＮを２とする。
に、フラグＮが基準値と比較されるが、今回もフラグＮ
が１であり４よりも小さいので、再びステップ６２にて
液晶パターンをＸ方向へ１ドット平行移動させ、ステッ
プ６４にてフラグＮを２とする。
【００３０】その後、変化した液晶パターンに相当する
画像を再びカメラ２から取り込み、再びステップ５０〜
５８を行う。ステップ５０〜５６については、フラグＮ
＝０のときと同一である。ステップ５８において、前回
（即ちフラグＮ＝１のとき）の重み付け画像に今回（即
ちフラグＮ＝２のとき）の重み付け画像を加算する。
画像を再びカメラ２から取り込み、再びステップ５０〜
５８を行う。ステップ５０〜５６については、フラグＮ
＝０のときと同一である。ステップ５８において、前回
（即ちフラグＮ＝１のとき）の重み付け画像に今回（即
ちフラグＮ＝２のとき）の重み付け画像を加算する。
【００３１】次に、ステップ６０において、前回と同様
に、フラグＮが基準値と比較されるが、今回もフラグＮ
が２であり４よりも小さいので、再びステップ６２にて
液晶パターンをＸ方向へ１ドット平行移動させ、ステッ
プ６４にてフラグＮを３とする。
に、フラグＮが基準値と比較されるが、今回もフラグＮ
が２であり４よりも小さいので、再びステップ６２にて
液晶パターンをＸ方向へ１ドット平行移動させ、ステッ
プ６４にてフラグＮを３とする。
【００３２】その後、変化した液晶パターンに相当する
画像を再びカメラ２から取り込み、再びステップ５０〜
５８を行う。ステップ５０〜５６については、フラグＮ
＝０のときと同一である。ステップ５８において、前回
（即ちフラグＮ＝２のとき）の重み付け画像に今回（即
ちフラグＮ＝３のとき）の重み付け画像を加算する。
画像を再びカメラ２から取り込み、再びステップ５０〜
５８を行う。ステップ５０〜５６については、フラグＮ
＝０のときと同一である。ステップ５８において、前回
（即ちフラグＮ＝２のとき）の重み付け画像に今回（即
ちフラグＮ＝３のとき）の重み付け画像を加算する。
【００３３】次に、ステップ６０において、前回と同様
に、フラグＮが基準値と比較されるが、今回もフラグＮ
が３であり４よりも小さいので、再びステップ６２にて
液晶パターンをＸ方向へ１ドット平行移動させ、ステッ
プ６４にてフラグＮを４とする。
に、フラグＮが基準値と比較されるが、今回もフラグＮ
が３であり４よりも小さいので、再びステップ６２にて
液晶パターンをＸ方向へ１ドット平行移動させ、ステッ
プ６４にてフラグＮを４とする。
【００３４】その後、変化した液晶パターンに相当する
画像を再びカメラ２から取り込み、再びステップ５０〜
５８を行う。ステップ５０〜５６については、フラグＮ
＝０のときと同一である。ステップ５８において、前回
（即ちフラグＮ＝３のとき）の重み付け画像に今回（即
ちフラグＮ＝４のとき）の重み付け画像を加算する。
画像を再びカメラ２から取り込み、再びステップ５０〜
５８を行う。ステップ５０〜５６については、フラグＮ
＝０のときと同一である。ステップ５８において、前回
（即ちフラグＮ＝３のとき）の重み付け画像に今回（即
ちフラグＮ＝４のとき）の重み付け画像を加算する。
【００３５】次に、ステップ６０において、前回と同様
に、フラグＮが基準値と比較され、今回のフラグＮは４
であるので、ステップ６６に進む。このように、フラグ
が変わる毎に液晶パターンを１ドットずつ平行移動さ
せ、フラグＮが４になるまでステップ５０〜５８を繰り
返す。
に、フラグＮが基準値と比較され、今回のフラグＮは４
であるので、ステップ６６に進む。このように、フラグ
が変わる毎に液晶パターンを１ドットずつ平行移動さ
せ、フラグＮが４になるまでステップ５０〜５８を繰り
返す。
【００３６】次に、ステップ６６において、今回（フラ
グＮ＝４）までの加算された重み付け画像についてスム
ージング処理を行う（処理回数３回以上）。具体的に言
うと、図１１に示す如く、各画素の重み付け加算値ａ0
をその画素の周囲の８つの画素の重み付け加算値ａ
n （ｎ＝１〜８）の平均値とする。これにより、ノイズ
が除去される。尚、各画素の重み付け加算値はエッジ密
度に相当する。
グＮ＝４）までの加算された重み付け画像についてスム
ージング処理を行う（処理回数３回以上）。具体的に言
うと、図１１に示す如く、各画素の重み付け加算値ａ0
をその画素の周囲の８つの画素の重み付け加算値ａ
n （ｎ＝１〜８）の平均値とする。これにより、ノイズ
が除去される。尚、各画素の重み付け加算値はエッジ密
度に相当する。
【００３７】次に、ステップ６８において、重み付け加
算値ａ0 が上限値（ここでは８）以上の画素を抽出する
と同時に、ステップ７０において、重み付け加算値ａ0
が下限値（ここでは４）以下の画素を抽出する。そし
て、ステップ７２でそれらを合成し、ステップ７４でそ
の結果に基づいてうねりの有無を判定すると共にうねり
の位置を検出する。つまり、ステップ７０における合成
した画像において、重み付け加算値ａ0 が上限値以上の
画素並びに重み付け加算値ａ0 が下限値以下の画素に１
を入れ、それ以外の画素に０を入れる。そして、１であ
る画素が存在すれば、うねり有と判定し、その画素をう
ねりの位置として検出する。また、１である全ての画素
情報からうねりの面積等を算出する。
算値ａ0 が上限値（ここでは８）以上の画素を抽出する
と同時に、ステップ７０において、重み付け加算値ａ0
が下限値（ここでは４）以下の画素を抽出する。そし
て、ステップ７２でそれらを合成し、ステップ７４でそ
の結果に基づいてうねりの有無を判定すると共にうねり
の位置を検出する。つまり、ステップ７０における合成
した画像において、重み付け加算値ａ0 が上限値以上の
画素並びに重み付け加算値ａ0 が下限値以下の画素に１
を入れ、それ以外の画素に０を入れる。そして、１であ
る画素が存在すれば、うねり有と判定し、その画素をう
ねりの位置として検出する。また、１である全ての画素
情報からうねりの面積等を算出する。
【００３８】尚、重み付け加算値ａ0 が上限値以上の画
素及び重み付け加算値ａ0 が下限値以下の画素を合成せ
ずに、そのままうねり有無の判定をしても良い。
素及び重み付け加算値ａ0 が下限値以下の画素を合成せ
ずに、そのままうねり有無の判定をしても良い。
【００３９】パターンジェネレータ４が液晶１１に表示
する液晶パターンを生成し、ドライバ５が液晶１１にそ
の液晶パターンを表示させる。次いで、カメラ２により
ワークＷを介して液晶１１に表示された液晶パターンを
撮像し、その画像データを画像メモリ３１に取り込む。
ここで、液晶パターンのエッジに相当するワークＷの表
面に凸部欠陥が存在するのであれば、画像メモリ３１内
の画像データ（縞状パターン）の隣合うエッジ同志は互
いに接近して見え、液晶パターンのエッジに相当するワ
ークＷの表面に凹部欠陥が存在するのであれば、画像メ
モリ３１内の画像データの隣合うエッジ同志は互いに離
れて見える。この現象を人間の目で見て、うねりの有無
を検査すれば良いが、この場合、目視では小さなうねり
を検出するの困難であり、結果、検査精度が悪くなる。
また、人によって判定がばらつく恐れがある。従って、
本実施形態では、目視で検査するのではなく、画像処理
により自動的に前述の如くうねりの検査をしている。
する液晶パターンを生成し、ドライバ５が液晶１１にそ
の液晶パターンを表示させる。次いで、カメラ２により
ワークＷを介して液晶１１に表示された液晶パターンを
撮像し、その画像データを画像メモリ３１に取り込む。
ここで、液晶パターンのエッジに相当するワークＷの表
面に凸部欠陥が存在するのであれば、画像メモリ３１内
の画像データ（縞状パターン）の隣合うエッジ同志は互
いに接近して見え、液晶パターンのエッジに相当するワ
ークＷの表面に凹部欠陥が存在するのであれば、画像メ
モリ３１内の画像データの隣合うエッジ同志は互いに離
れて見える。この現象を人間の目で見て、うねりの有無
を検査すれば良いが、この場合、目視では小さなうねり
を検出するの困難であり、結果、検査精度が悪くなる。
また、人によって判定がばらつく恐れがある。従って、
本実施形態では、目視で検査するのではなく、画像処理
により自動的に前述の如くうねりの検査をしている。
【００４０】以上示したように、本第１の実施形態で
は、カメラ２により撮像した画像の明るさ情報に基づき
画像メモリ３１内におけるエッジ位置を画素の分解能の
１０倍の分解能まで（小数点以下１桁まで）計算し、こ
の小数点以下１桁の数字に基づき隣り合うエッジ位置を
含む画素並びに次の画素に重み付けを行い、その重み付
け値に基づきうねりの有無を判定しているので、パター
ン化光源の明るさの変動や被検査試料の位置ずれや被検
査試料毎の反射率のばらつきによる誤検出は無い。
は、カメラ２により撮像した画像の明るさ情報に基づき
画像メモリ３１内におけるエッジ位置を画素の分解能の
１０倍の分解能まで（小数点以下１桁まで）計算し、こ
の小数点以下１桁の数字に基づき隣り合うエッジ位置を
含む画素並びに次の画素に重み付けを行い、その重み付
け値に基づきうねりの有無を判定しているので、パター
ン化光源の明るさの変動や被検査試料の位置ずれや被検
査試料毎の反射率のばらつきによる誤検出は無い。
【００４１】また、液晶パターンを１ドットずつ各パタ
ーン幅に相当する分（４ドット）まで平行移動させ、そ
の度毎にカメラ２から画像を取り込み、エッジ位置を算
出し、エッジ位置近傍の隣合う画素に重み付けを行い、
その重み付け値を逐次加算しているので、ワークＷの全
表面のうねり検出が可能となる。
ーン幅に相当する分（４ドット）まで平行移動させ、そ
の度毎にカメラ２から画像を取り込み、エッジ位置を算
出し、エッジ位置近傍の隣合う画素に重み付けを行い、
その重み付け値を逐次加算しているので、ワークＷの全
表面のうねり検出が可能となる。
【００４２】尚、本第１実施形態は、一次曲面状のワー
クＷのうねり検査に適している。
クＷのうねり検査に適している。
【００４３】（第２実施形態）第２実施形態の表面うね
り検査装置は、第１実施形態のものと類似しているが、
図１２〜１３を用いて相違する点のみを説明する。即
ち、画像処理装置３のステップ７６〜ステップ８４が第
１実施形態のものと異なる。
り検査装置は、第１実施形態のものと類似しているが、
図１２〜１３を用いて相違する点のみを説明する。即
ち、画像処理装置３のステップ７６〜ステップ８４が第
１実施形態のものと異なる。
【００４４】ステップ６６で、今回（フラグＮ＝４）ま
でに加算された重み付け画像についてスムージング処理
を行った後、ステップ６８で、スムージング画像Ａにつ
いて近傍最大値処理を行う。具体的に言うと、図１３に
示す如く、スムージング後の各画素の重み付け加算値ａ
0'をその画素の周囲の８つの画素の重み付け加算値
ａn ' （ｎ＝１〜８）の最大値とする。これにより、画
像の明部を拡大化する。
でに加算された重み付け画像についてスムージング処理
を行った後、ステップ６８で、スムージング画像Ａにつ
いて近傍最大値処理を行う。具体的に言うと、図１３に
示す如く、スムージング後の各画素の重み付け加算値ａ
0'をその画素の周囲の８つの画素の重み付け加算値
ａn ' （ｎ＝１〜８）の最大値とする。これにより、画
像の明部を拡大化する。
【００４５】次に、ステップ７８で、近傍最大値処理画
像Ｂからスムージング画像Ａを差し引いた値が所定値
（ここでは２）以上の画素を抽出すると同時に、ステッ
プ８０で、スムージング画像Ａから近傍最大値処理画像
Ｂを差し引いた値が所定値（ここでは２）以上の画素を
抽出する。ステップ７８の結果に基づき、ステップ８２
において、画像Ｂから画像Ａを差し引いた値が所定値以
上の画素が存在すれば、凸部有りと判定し、その画素を
凸部欠陥の位置として検出する。また、ステップ８０の
結果に基づき、ステップ８４において、画像Ａから画像
Ｂを差し引いた値が所定値以上の画素が存在すれば、凹
部有りと判定し、その画素を凹部欠陥の位置として検出
する。
像Ｂからスムージング画像Ａを差し引いた値が所定値
（ここでは２）以上の画素を抽出すると同時に、ステッ
プ８０で、スムージング画像Ａから近傍最大値処理画像
Ｂを差し引いた値が所定値（ここでは２）以上の画素を
抽出する。ステップ７８の結果に基づき、ステップ８２
において、画像Ｂから画像Ａを差し引いた値が所定値以
上の画素が存在すれば、凸部有りと判定し、その画素を
凸部欠陥の位置として検出する。また、ステップ８０の
結果に基づき、ステップ８４において、画像Ａから画像
Ｂを差し引いた値が所定値以上の画素が存在すれば、凹
部有りと判定し、その画素を凹部欠陥の位置として検出
する。
【００４６】尚、本第２実施形態では、２次曲面状のワ
ークＷのうねり検査に適している。
ークＷのうねり検査に適している。
【００４７】
【発明の効果】本発明は、以下の如く効果を有する。
【００４８】パターン化光源の明るさの変動や被検査試
料の位置ずれや被検査試料毎の反射率のばらつきによる
誤検出を無くすことができる。
料の位置ずれや被検査試料毎の反射率のばらつきによる
誤検出を無くすことができる。
【図１】本発明の実施の形態に係る表面うねり検査装置
の全体構成図である。
の全体構成図である。
【図２】第１実施形態の画像処理装置の構成及び処理工
程を示すフローチャートである。
程を示すフローチャートである。
【図３】画像メモリ内の画像データの説明図である。
【図４】図３におけるラインＡ上の明るさ分布を示すグ
ラフである。
ラフである。
【図５】図４におけるＢ部を拡大したグラフである。
【図６】図５の各画素における明るさ分布の一次微分値
のグラフである。
のグラフである。
【図７】加重平均値を示すグラフである。
【図８】図２のエッジ位置重み付け処理を説明した図で
ある。
ある。
【図９】図２の重み付け画像加算処理を説明した図であ
る。
る。
【図１０】図２の液晶パターン１ドット平行移動処理を
説明した図である。
説明した図である。
【図１１】図２のスムージング処理を説明した図であ
る。
る。
【図１２】第２実施形態の画像処理装置の構成及び処理
工程を示すフローチャートである。
工程を示すフローチャートである。
【図１３】図１１の近傍最大値処理を説明した図であ
る。
る。
Ｗ ワーク（被検査試料） １ パターン化光源 ２ カメラ（撮像装置） ３ 画像処理装置 ４ パターンジェネレータ（パターン変化装置） ５ ドライバ（パターン変化装置） Ｓ５２ 一次微分処理工程（エッジ位置算出手段） Ｓ５４ 加重平均処理工程（エッジ位置算出手段） Ｓ５６ エッジ位置重み付け処理工程（重み付け手段） Ｓ５８ 重み付け画像加算処理工程（重み付け値加算手
段） Ｓ６２ 液晶パターン平行移動処理工程（パターン変化
装置） Ｓ８２ 凸部判定処理工程（判定手段） Ｓ８４ 凹部判定処理工程（判定手段）
段） Ｓ６２ 液晶パターン平行移動処理工程（パターン変化
装置） Ｓ８２ 凸部判定処理工程（判定手段） Ｓ８４ 凹部判定処理工程（判定手段）
Claims (2)
- 【請求項１】 所定の光源パターンを発生するパターン
化光源と、 被検査試料を間にして前記パターン化光源に対向配置さ
れ、前記被検査試料を介して前記パターン化光源を撮像
する撮像装置と、 前記撮像装置により撮像された画像の明るさ情報に基づ
き、画像内の各パターンのエッジ位置を算出するエッジ
位置算出手段と、 前記エッジ位置に基づき、前記エッジ位置を含む画素及
びそれと隣合う画素にエッジ位置の重み付けを行う重み
付け手段と、 各画素の重み付け値に基づき、被検査試料の表面上のう
ねりの有無を判定する判定手段とを備える表面うねり検
査装置。 - 【請求項２】 所定の光源パターンを発生するパターン
化光源と、 被検査試料を間にして前記パターン化光源に対向配置さ
れ、前記被検査試料を介して前記パターン化光源を撮像
する撮像装置と、 前記撮像装置により撮像された画像の明るさ情報を画素
で微分し、その微分値を加重平均して画像内の各パター
ンのエッジ位置を画素の分解能よりも高分解能で算出す
るエッジ位置算出手段と、 前記エッジ位置に基づき、前記エッジ位置を含む画素及
び次の画素にエッジ位置の重み付けを行う重み付け手段
と、 前記パターン化光源のパターンをそれの配列方向へ所定
ドットだけ平行移動させるパターン変化装置と、 前記パターン化光源のパターンを平行移動させる毎に、
前回までの各画素の重み付け値に今回の各画素の重み付
け値を加算し、平行移動のドット総和が前記パターン化
光源の各パターン幅に相当するドットに到達するまでこ
の加算処理を実行する重み付け値加算手段と、 加算された各画素の重み付け値に基づき、被検査試料の
表面上のうねりの有無を判定する判定手段とを備える表
面うねり検査装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP24466995A JP3582177B2 (ja) | 1995-09-22 | 1995-09-22 | 表面うねり検査装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP24466995A JP3582177B2 (ja) | 1995-09-22 | 1995-09-22 | 表面うねり検査装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0989537A true JPH0989537A (ja) | 1997-04-04 |
| JP3582177B2 JP3582177B2 (ja) | 2004-10-27 |
Family
ID=17122195
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP24466995A Expired - Fee Related JP3582177B2 (ja) | 1995-09-22 | 1995-09-22 | 表面うねり検査装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3582177B2 (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005148047A (ja) * | 2003-10-21 | 2005-06-09 | Daihatsu Motor Co Ltd | 被検査面の検査方法及び装置 |
| JP2010019651A (ja) * | 2008-07-10 | 2010-01-28 | True Soltec Kk | 電線端末検査装置 |
| JP2019120644A (ja) * | 2018-01-10 | 2019-07-22 | アイシン精機株式会社 | 表面検査装置、及び表面検査方法 |
-
1995
- 1995-09-22 JP JP24466995A patent/JP3582177B2/ja not_active Expired - Fee Related
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005148047A (ja) * | 2003-10-21 | 2005-06-09 | Daihatsu Motor Co Ltd | 被検査面の検査方法及び装置 |
| JP4528011B2 (ja) * | 2003-10-21 | 2010-08-18 | ダイハツ工業株式会社 | 被検査面の検査方法及び装置 |
| JP2010019651A (ja) * | 2008-07-10 | 2010-01-28 | True Soltec Kk | 電線端末検査装置 |
| JP2019120644A (ja) * | 2018-01-10 | 2019-07-22 | アイシン精機株式会社 | 表面検査装置、及び表面検査方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3582177B2 (ja) | 2004-10-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4799329B2 (ja) | ムラ検査方法、表示パネルの製造方法及びムラ検査装置 | |
| TW315574B (ja) | ||
| US20070091334A1 (en) | Method of calculating correction data for correcting display characteristic, program for calculating correction data for correcting display characteristic and apparatus for calculating correction data for correcting display characteristic | |
| TW200421857A (en) | Method and apparatus for optical inspecting of a display | |
| TW200401106A (en) | Testing liquid crystal microdisplays | |
| CN111025701B (zh) | 一种曲面液晶屏幕检测方法 | |
| KR20090101356A (ko) | 결함 검출 장치 및 결함 검출 방법 | |
| JP4769764B2 (ja) | ポイントをシステムに入力する入力方法、設定方法、校正方法 | |
| JP2007285754A (ja) | 欠陥検出方法および欠陥検出装置 | |
| JP2003168103A (ja) | 画面の線欠陥検出方法及び装置並びに画像データの補正方法 | |
| JP2008232837A (ja) | 欠陥強調・欠陥検出の方法および装置、プログラム | |
| JP3366802B2 (ja) | ムラ検査方法および装置 | |
| JP3854585B2 (ja) | 液晶パネルの表示欠陥検出方法及び表示欠陥検査装置 | |
| JP3695120B2 (ja) | 欠陥検査方法 | |
| JP2021117155A (ja) | 検査装置、検査方法、及び検査プログラム | |
| JPH0989537A (ja) | 表面うねり検査装置 | |
| JP3871963B2 (ja) | 表面検査装置及び表面検査方法 | |
| JP2009017158A (ja) | カメラ検査装置 | |
| JP2003156451A (ja) | 欠陥検出装置 | |
| KR100605226B1 (ko) | 디지털 카메라 모듈의 이물질 검출 장치 및 방법 | |
| JP2004239870A (ja) | 空間フィルタ、空間フィルタの作成方法、空間フィルタ作成プログラム、画面欠陥の検査方法及び装置 | |
| JP2009053019A (ja) | 解像度検査用チャート、解像度検査装置及び解像度検査方法 | |
| JPH08159984A (ja) | パタンムラ検査装置 | |
| JP3015325B2 (ja) | スジキズ検査方法及びその装置 | |
| JPH06281421A (ja) | 画像処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Effective date: 20040223 Free format text: JAPANESE INTERMEDIATE CODE: A971007 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040406 |
|
| A521 | Written amendment |
Effective date: 20040607 Free format text: JAPANESE INTERMEDIATE CODE: A523 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040706 |
|
| A61 | First payment of annual fees (during grant procedure) |
Effective date: 20040719 Free format text: JAPANESE INTERMEDIATE CODE: A61 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Year of fee payment: 3 Free format text: PAYMENT UNTIL: 20070806 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080806 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090806 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Year of fee payment: 6 Free format text: PAYMENT UNTIL: 20100806 |
|
| LAPS | Cancellation because of no payment of annual fees |