JPH11311510A - 微小凹凸の検査方法および検査装置 - Google Patents
微小凹凸の検査方法および検査装置Info
- Publication number
- JPH11311510A JPH11311510A JP13264398A JP13264398A JPH11311510A JP H11311510 A JPH11311510 A JP H11311510A JP 13264398 A JP13264398 A JP 13264398A JP 13264398 A JP13264398 A JP 13264398A JP H11311510 A JPH11311510 A JP H11311510A
- Authority
- JP
- Japan
- Prior art keywords
- light
- light source
- image
- test object
- auxiliary
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
- G01N21/958—Inspecting transparent materials or objects, e.g. windscreens
Landscapes
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
(57)【要約】
【課題】 微小凹凸をほこり等と区別して検査する。
【解決手段】 主光源１から被検物２に照射された光
は、被検物２の表面で正反射され撮像素子４に入力す
る。補助光源３は、被検物２における正反射光が撮像素
子４に入射しないように設置される。演算装置５は、撮
像素子４によって得られた画像における暗点を微小凹凸
と判定する。
は、被検物２の表面で正反射され撮像素子４に入力す
る。補助光源３は、被検物２における正反射光が撮像素
子４に入射しないように設置される。演算装置５は、撮
像素子４によって得られた画像における暗点を微小凹凸
と判定する。
Description
【０００１】
【発明の属する技術分野】本発明は、ガラス等の鏡面性
または透過性を有する物体の表面の微小凹凸等の欠点の
検査や評価に用いられる微小凹凸の検査方法に関する。
または透過性を有する物体の表面の微小凹凸等の欠点の
検査や評価に用いられる微小凹凸の検査方法に関する。
【０００２】
【従来の技術】ガラス等の鏡面性を有する製品表面にお
ける微小凹凸等の欠点を検査する一般的な方法として、
検査員の目視による方法があるが、目視による方法で
は、検査員の熟練が必要になるとともに、見落としや見
誤りをなくすことが困難である。また、要求される品質
が高くなると、目視検査で対応することが難しくなる。
そこで、種々の自動検査装置が提案されている。
ける微小凹凸等の欠点を検査する一般的な方法として、
検査員の目視による方法があるが、目視による方法で
は、検査員の熟練が必要になるとともに、見落としや見
誤りをなくすことが困難である。また、要求される品質
が高くなると、目視検査で対応することが難しくなる。
そこで、種々の自動検査装置が提案されている。
【０００３】例えば、特開昭６３−２９３４４８号公報
には、被検物からの透過光、透過散乱光、反射光および
反射散乱光のうちの複数の光を用いて欠点を検出する方
法が開示されている。また、特開平１−１０７１０３号
公報には、被検物からの正反射光と乱反射光とを用いて
欠点を検出する方法が開示されている。さらに、特開平
４−２３８２０７号公報や特開平５−２１５６９７号公
報には、複数のセンサを設け各センサの出力にもとづい
て欠点を検出する方法が開示されている。そして、特開
平８−１５２４１６号公報や特開平９−４９８０６号公
報には、光源または光源と受光部とを被検物に対して所
定の角度に設定して被検物からの透過光または反射光に
もとづいて欠点を検出する方法が開示されている。
には、被検物からの透過光、透過散乱光、反射光および
反射散乱光のうちの複数の光を用いて欠点を検出する方
法が開示されている。また、特開平１−１０７１０３号
公報には、被検物からの正反射光と乱反射光とを用いて
欠点を検出する方法が開示されている。さらに、特開平
４−２３８２０７号公報や特開平５−２１５６９７号公
報には、複数のセンサを設け各センサの出力にもとづい
て欠点を検出する方法が開示されている。そして、特開
平８−１５２４１６号公報や特開平９−４９８０６号公
報には、光源または光源と受光部とを被検物に対して所
定の角度に設定して被検物からの透過光または反射光に
もとづいて欠点を検出する方法が開示されている。
【０００４】
【発明が解決しようとする課題】しかし、複数の光を用
いる方法または１種類の光を用いるものの複数センサを
用いる方法では、検出対象が小さくなって必要な解像度
が高くなるにつれて、センサ間の位置合わせが難しくな
る。同様に、光源または光源と受光部とを被検物に対し
て所定の角度に設定する必要がある方法でも、光源や受
光部の位置合わせが難しくなる。従って、位置ずれによ
る誤動作や検出感度の低下を招いたり、検査装置の調整
や保守に多大の労力がかかるという課題がある。
いる方法または１種類の光を用いるものの複数センサを
用いる方法では、検出対象が小さくなって必要な解像度
が高くなるにつれて、センサ間の位置合わせが難しくな
る。同様に、光源または光源と受光部とを被検物に対し
て所定の角度に設定する必要がある方法でも、光源や受
光部の位置合わせが難しくなる。従って、位置ずれによ
る誤動作や検出感度の低下を招いたり、検査装置の調整
や保守に多大の労力がかかるという課題がある。
【０００５】そこで、本発明は、被検物の欠点を検出す
る際に複数のセンサを用いる必要がなく、また、センサ
等の位置合わせをする必要もなく、かつ、被検物におけ
る微小凹凸をほこり等の散乱性欠点と区別して検査およ
び評価することができる微小凹凸の検査方法および検査
装置を提供することを目的とする。
る際に複数のセンサを用いる必要がなく、また、センサ
等の位置合わせをする必要もなく、かつ、被検物におけ
る微小凹凸をほこり等の散乱性欠点と区別して検査およ
び評価することができる微小凹凸の検査方法および検査
装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】本発明による微小凹凸の
検査方法は、光源から照射された光の被検物表面での反
射光または被検物での透過光を受光し、受光して得られ
た画像を用いて被検物表面の微小凹凸を検査する方法で
あって、光源からの光を被検物に照射するとともに、被
検物における正反射光または透過光が受光部に入射しな
いよう設置された補助光源からの光を被検物に照射する
ことを特徴とする。そして、特に、受光して得られた画
像中の暗点を微小凹凸と判定する。また、主光源として
ストライプパターンを有する光源を使用してもよい。
検査方法は、光源から照射された光の被検物表面での反
射光または被検物での透過光を受光し、受光して得られ
た画像を用いて被検物表面の微小凹凸を検査する方法で
あって、光源からの光を被検物に照射するとともに、被
検物における正反射光または透過光が受光部に入射しな
いよう設置された補助光源からの光を被検物に照射する
ことを特徴とする。そして、特に、受光して得られた画
像中の暗点を微小凹凸と判定する。また、主光源として
ストライプパターンを有する光源を使用してもよい。
【０００７】本発明による微小凹凸の検査装置は、光源
部から照射された光が被検物表面で反射された反射光ま
たは被検物を透過した透過光を受光し、受光して得られ
た画像を用いて被検物表面の微小凹凸を検査する装置で
あって、被検物における正反射光または透過光が受光部
に入射しないよう設置された補助光源を備え、演算装置
が、光源部からの光と補助光源からの光が同時に被検物
に照射されている状態で得られた画像中の各画素の信号
レベルを判定し、暗点を微小凹凸とするように構成され
る。
部から照射された光が被検物表面で反射された反射光ま
たは被検物を透過した透過光を受光し、受光して得られ
た画像を用いて被検物表面の微小凹凸を検査する装置で
あって、被検物における正反射光または透過光が受光部
に入射しないよう設置された補助光源を備え、演算装置
が、光源部からの光と補助光源からの光が同時に被検物
に照射されている状態で得られた画像中の各画素の信号
レベルを判定し、暗点を微小凹凸とするように構成され
る。
【０００８】
【発明の実施の形態】以下、本発明の実施の形態を図面
を参照して説明する。図１は、本発明による微小凹凸の
検査方法を実行するための検査装置を示す構成図であ
る。図に示すように、面状の拡散光源である主光源１か
らガラス等の被検物２に照射された光は、被検物２の表
面で正反射され、ＣＣＤエリアカメラ等の撮像素子４に
入力する。また、補助光源３が、補助光源３による被検
物２における正反射光が撮像素子４に入射しないよう
に、すなわち被検物２に対して浅い角度で光が入射する
ような位置に設置される。この実施の形態では、補助光
源３は、被検物２に対して撮像素子４と同じ側に、ま
た、被検物２の法線に対して撮像素子４と同じ側に設置
されている。
を参照して説明する。図１は、本発明による微小凹凸の
検査方法を実行するための検査装置を示す構成図であ
る。図に示すように、面状の拡散光源である主光源１か
らガラス等の被検物２に照射された光は、被検物２の表
面で正反射され、ＣＣＤエリアカメラ等の撮像素子４に
入力する。また、補助光源３が、補助光源３による被検
物２における正反射光が撮像素子４に入射しないよう
に、すなわち被検物２に対して浅い角度で光が入射する
ような位置に設置される。この実施の形態では、補助光
源３は、被検物２に対して撮像素子４と同じ側に、ま
た、被検物２の法線に対して撮像素子４と同じ側に設置
されている。
【０００９】次に、演算装置５に取り込まれる画像につ
いて図２を参照して説明する。図２（Ａ）において、
（ａ）は主光源１からの光のみが被検物２に照射された
場合の画像の例を示し、（ｂ）は補助光源３からの光の
みが被検物２に照射された場合の画像の例を示し、
（ｃ）は双方の光が被検物２に照射された場合の画像の
例を示す模式図である。ここで、被検物２の表面に微小
凹凸６とほこり７がある場合を考える。図２（Ｂ）の
（ａ），（ｂ），（ｃ）は、それぞれ図２（Ａ）の
（ａ），（ｂ），（ｃ）に示された各画像におけるＩ−
Ｉ断面の光量の例を示す説明図である。図２（Ｂ）に
は、微小凹凸６による信号６１，６２，６３と、ほこり
７による信号７１，７２，７３が示されている。
いて図２を参照して説明する。図２（Ａ）において、
（ａ）は主光源１からの光のみが被検物２に照射された
場合の画像の例を示し、（ｂ）は補助光源３からの光の
みが被検物２に照射された場合の画像の例を示し、
（ｃ）は双方の光が被検物２に照射された場合の画像の
例を示す模式図である。ここで、被検物２の表面に微小
凹凸６とほこり７がある場合を考える。図２（Ｂ）の
（ａ），（ｂ），（ｃ）は、それぞれ図２（Ａ）の
（ａ），（ｂ），（ｃ）に示された各画像におけるＩ−
Ｉ断面の光量の例を示す説明図である。図２（Ｂ）に
は、微小凹凸６による信号６１，６２，６３と、ほこり
７による信号７１，７２，７３が示されている。
【００１０】主光源１からの光のみが被検物２に照射さ
れた場合には、被検物２の全面での正反射光が撮像素子
４に入射され明視野となる。微小凹凸６の部分では反射
角が微妙にずれる。そのために、微小凹凸６の部分で
は、反射光が曲げられて暗点となる。ほこり７は散乱要
素であるから、光が散乱される分だけ正反射光が減り、
ほこり７の部分では暗点となる。よって、図２（Ｂ）の
（ａ）に示すように、微小凹凸６およびほこり７の部分
で光量が小さくなった信号が現れる。
れた場合には、被検物２の全面での正反射光が撮像素子
４に入射され明視野となる。微小凹凸６の部分では反射
角が微妙にずれる。そのために、微小凹凸６の部分で
は、反射光が曲げられて暗点となる。ほこり７は散乱要
素であるから、光が散乱される分だけ正反射光が減り、
ほこり７の部分では暗点となる。よって、図２（Ｂ）の
（ａ）に示すように、微小凹凸６およびほこり７の部分
で光量が小さくなった信号が現れる。
【００１１】補助光源３からの光のみが被検物２に照射
された場合には、正反射光が撮像素子４に入射されず暗
視野になる。ほこり７の部分では光が散乱されて撮像素
子４に入り、ほこり７の部分は明点となる。しかし、微
小凹凸６の部分では、多少反射光が曲げられるものの、
反射光は撮像素子４に入射されず明点とはならない。よ
って、図２（Ｂ）の（ｂ）に示すように、ほこり７の部
分で光量が大きくなった信号が現れる。
された場合には、正反射光が撮像素子４に入射されず暗
視野になる。ほこり７の部分では光が散乱されて撮像素
子４に入り、ほこり７の部分は明点となる。しかし、微
小凹凸６の部分では、多少反射光が曲げられるものの、
反射光は撮像素子４に入射されず明点とはならない。よ
って、図２（Ｂ）の（ｂ）に示すように、ほこり７の部
分で光量が大きくなった信号が現れる。
【００１２】主光源１からの光と補助光源３からの光が
被検物２に同時に照射された場合には、主光源１による
正反射光が撮像素子４に入射されるので明視野となる。
そして、微小凹凸６の部分では、反射光が曲げられて暗
点となる。一方、ほこり７の部分では、主光源１からの
光の散乱による光量の減少と補助光源３からの光の散乱
による光量の増加とが同時に起こる。しかし、補助光源
３からの光の散乱による光量の増加量が主光源１からの
光の散乱による光量の減少量よりも大きくなるように、
補助光源３による被検物２の面の照度を主光源１による
被検物２の面の照度に対して強くしておけば、ほこり７
の部分では明点となる。よって、図２（Ｂ）の（ｃ）に
示すように、ほこり７の部分で光量が大きくなり、微小
凹凸６の部分で光量が小さくなった信号が現れる。
被検物２に同時に照射された場合には、主光源１による
正反射光が撮像素子４に入射されるので明視野となる。
そして、微小凹凸６の部分では、反射光が曲げられて暗
点となる。一方、ほこり７の部分では、主光源１からの
光の散乱による光量の減少と補助光源３からの光の散乱
による光量の増加とが同時に起こる。しかし、補助光源
３からの光の散乱による光量の増加量が主光源１からの
光の散乱による光量の減少量よりも大きくなるように、
補助光源３による被検物２の面の照度を主光源１による
被検物２の面の照度に対して強くしておけば、ほこり７
の部分では明点となる。よって、図２（Ｂ）の（ｃ）に
示すように、ほこり７の部分で光量が大きくなり、微小
凹凸６の部分で光量が小さくなった信号が現れる。
【００１３】以上のことから、主光源１からの光と補助
光源３からの光とを被検物２に同時に照射すれば、被検
物２における微小凹凸６とほこり７とを区別して検出で
きることがわかる。具体的には、図１に示す主光源１と
補助光源３とを点灯した状態で撮像素子４が被検物２の
反射像を撮像し、画像を演算装置５に出力する。演算装
置５は、入力した画像のうちの光量が小さい画素に対応
した部分を微小凹凸６であると判定する。また、光量が
大きい画素に対応した部分にほこり７が存在すると判定
する。
光源３からの光とを被検物２に同時に照射すれば、被検
物２における微小凹凸６とほこり７とを区別して検出で
きることがわかる。具体的には、図１に示す主光源１と
補助光源３とを点灯した状態で撮像素子４が被検物２の
反射像を撮像し、画像を演算装置５に出力する。演算装
置５は、入力した画像のうちの光量が小さい画素に対応
した部分を微小凹凸６であると判定する。また、光量が
大きい画素に対応した部分にほこり７が存在すると判定
する。
【００１４】次に、図２（Ａ）の（ａ）に示すような明
視野で暗点にならないような微弱な微小凹凸も検出でき
るように感度を上げる方法について説明する。図３
（Ａ）は、主光源１をストライプパターンとして、主光
源１からの光と補助光源３からの光とを被検物２に同時
に照射した場合の画像を示す模式図である。また、図３
（Ｂ）は、図３（Ａ）に示された各画像におけるＩ−Ｉ
断面の光量の例を示す説明図である。図３（Ｂ）に示す
ように、ほこり７の部分で光量が大きくなった信号７４
が現れ、微小凹凸６の部分で光量が小さくなった信号６
４が現れる。また、黒ストライプの部分で光量が小さく
なった信号８が現れる。
視野で暗点にならないような微弱な微小凹凸も検出でき
るように感度を上げる方法について説明する。図３
（Ａ）は、主光源１をストライプパターンとして、主光
源１からの光と補助光源３からの光とを被検物２に同時
に照射した場合の画像を示す模式図である。また、図３
（Ｂ）は、図３（Ａ）に示された各画像におけるＩ−Ｉ
断面の光量の例を示す説明図である。図３（Ｂ）に示す
ように、ほこり７の部分で光量が大きくなった信号７４
が現れ、微小凹凸６の部分で光量が小さくなった信号６
４が現れる。また、黒ストライプの部分で光量が小さく
なった信号８が現れる。
【００１５】ここで、撮像素子４の焦点は被検物２の表
面（被検面）に合っているので、黒ストライプの部分で
はエッジがぼけた小さな信号８が現れる。よって、画像
に対してハイパスフィルタ処理を施すことによって、そ
れらの信号８を除去することができる。
面（被検面）に合っているので、黒ストライプの部分で
はエッジがぼけた小さな信号８が現れる。よって、画像
に対してハイパスフィルタ処理を施すことによって、そ
れらの信号８を除去することができる。
【００１６】上述したように、微小凹凸は、反射角が微
妙にずれることによって、撮像された画像における光量
が変わり、光量変化にもとづいて検出される。ストライ
プがない場合の明視野では主光源１の外の像が撮像され
るほどに反射角度を変える凹凸の斜面が急な部分のみが
検出される。すなわち、検出の感度は比較的低い。しか
しストライプがある場合には、近傍の黒部分の反射像が
撮像される程度の小さな反射角度の変化を引き起こす緩
やかな傾斜の部分も検出される。すなわち、主光源１を
ストライプパターンにすると、検出の感度を上げること
ができる。また、ストライプパターンのピッチや白黒の
比を変えることによって、どの程度の角度の凹凸まで検
出するか調整することができる。すなわち、ストライプ
パターンのピッチや白黒の比を変えることによって、感
度を変えることができる。
妙にずれることによって、撮像された画像における光量
が変わり、光量変化にもとづいて検出される。ストライ
プがない場合の明視野では主光源１の外の像が撮像され
るほどに反射角度を変える凹凸の斜面が急な部分のみが
検出される。すなわち、検出の感度は比較的低い。しか
しストライプがある場合には、近傍の黒部分の反射像が
撮像される程度の小さな反射角度の変化を引き起こす緩
やかな傾斜の部分も検出される。すなわち、主光源１を
ストライプパターンにすると、検出の感度を上げること
ができる。また、ストライプパターンのピッチや白黒の
比を変えることによって、どの程度の角度の凹凸まで検
出するか調整することができる。すなわち、ストライプ
パターンのピッチや白黒の比を変えることによって、感
度を変えることができる。
【００１７】次に、図４のフローチャートを参照して具
体的な動作について説明する。まず、図１に示す主光源
１と補助光源３とを点灯した状態で撮像素子４が被検物
２の反射像を撮像し画像を演算装置５に出力する。演算
装置５は画像を取り込む（ステップＳ１）。そして、演
算装置５は、スムージング等のローパスフィルタ処理を
施す（ステップＳ２１）。この結果、黒ストライプの像
を含み、微小凹凸６とほこり７による信号が除去された
画像が得られる。次いで、入力した原画像とローパスフ
ィルタ処理が施された画像との差を算出する（ステップ
Ｓ２２）。この結果、黒ストライプの部分が除去され、
微小凹凸６とほこり７による信号が現れた画像が得られ
る。なお、ステップＳ２１とステップＳ２２の処理が、
ハイパスフィルタ処理（ステップＳ２）となっている。
体的な動作について説明する。まず、図１に示す主光源
１と補助光源３とを点灯した状態で撮像素子４が被検物
２の反射像を撮像し画像を演算装置５に出力する。演算
装置５は画像を取り込む（ステップＳ１）。そして、演
算装置５は、スムージング等のローパスフィルタ処理を
施す（ステップＳ２１）。この結果、黒ストライプの像
を含み、微小凹凸６とほこり７による信号が除去された
画像が得られる。次いで、入力した原画像とローパスフ
ィルタ処理が施された画像との差を算出する（ステップ
Ｓ２２）。この結果、黒ストライプの部分が除去され、
微小凹凸６とほこり７による信号が現れた画像が得られ
る。なお、ステップＳ２１とステップＳ２２の処理が、
ハイパスフィルタ処理（ステップＳ２）となっている。
【００１８】演算装置５は、ステップＳ２で得られた画
像を構成する各画素を、正のしきい値および負のしきい
値と比較する。ここで、０は明視野の光量に相当する値
である。図２（Ｂ）の（ｃ）に示されたように、微小凹
凸６の部分では光量が負の値として現れ、ほこり７は正
の値として現れる。よって、正負のしきい値を適切に設
定すれば、正のしきい値を越えた画素に相当する部分を
ほこり７、負のしきい値よりも小さい画素に相当する部
分を微小凹凸６と判定することができる。
像を構成する各画素を、正のしきい値および負のしきい
値と比較する。ここで、０は明視野の光量に相当する値
である。図２（Ｂ）の（ｃ）に示されたように、微小凹
凸６の部分では光量が負の値として現れ、ほこり７は正
の値として現れる。よって、正負のしきい値を適切に設
定すれば、正のしきい値を越えた画素に相当する部分を
ほこり７、負のしきい値よりも小さい画素に相当する部
分を微小凹凸６と判定することができる。
【００１９】以上のように、主光源１をストライプパタ
ーンとし、主光源１と補助光源３とを同時に点灯し、得
られた画像についてハイパスフィルタ処理を施すことに
よって、微小凹凸６およびほこり７を、あるしきい値以
下、以上として検出できる。そして、主光源１をストラ
イプパターンにした場合には検出感度が上がっている。
なお、微小凹凸６が黒ストライプ上に存在する場合で
も、それを問題なく検出することができる。図５〜図７
は、そのことを説明するための説明図である。
ーンとし、主光源１と補助光源３とを同時に点灯し、得
られた画像についてハイパスフィルタ処理を施すことに
よって、微小凹凸６およびほこり７を、あるしきい値以
下、以上として検出できる。そして、主光源１をストラ
イプパターンにした場合には検出感度が上がっている。
なお、微小凹凸６が黒ストライプ上に存在する場合で
も、それを問題なく検出することができる。図５〜図７
は、そのことを説明するための説明図である。
【００２０】図５は、被検面に凹凸がない場合を示して
いる。撮像素子４の焦点は被検面上にあるので、主光源
１の面はぼけた状態になっている。つまり、撮像素子４
の１画素が見る領域は光路１０のように広がり、その画
素には、黒ストライプ９より広い領域の平均的光量が入
力される。図６は、被検面に微小凹部１１がある場合を
示している。微小凹部１１は、焦点を結んだ直後に凹面
鏡を入れた状態と同じ効果を示すので、主光源１の面に
おいて焦点ずれの影響を弱める。従って、撮像素子４の
１画素が見る領域は光路１２のように狭まり、撮像され
た画像において、その画素の信号は、図５に示された場
合に比べて小さくなる。
いる。撮像素子４の焦点は被検面上にあるので、主光源
１の面はぼけた状態になっている。つまり、撮像素子４
の１画素が見る領域は光路１０のように広がり、その画
素には、黒ストライプ９より広い領域の平均的光量が入
力される。図６は、被検面に微小凹部１１がある場合を
示している。微小凹部１１は、焦点を結んだ直後に凹面
鏡を入れた状態と同じ効果を示すので、主光源１の面に
おいて焦点ずれの影響を弱める。従って、撮像素子４の
１画素が見る領域は光路１２のように狭まり、撮像され
た画像において、その画素の信号は、図５に示された場
合に比べて小さくなる。
【００２１】図７は、被検面に微小凸部１３がある場合
を示している。微小凸部１３は焦点を結ぶ前に凸面鏡を
入れた状態と同じ効果を示すので、焦点を結ぶ位置が遠
くなって、やはり主光源１の面において焦点ずれの影響
を弱める。従って、撮像素子４の１画素が見る領域は、
やはり光路１４のように狭まり、撮像された画像におい
て、その画素の信号は、図５に示された場合に比べて小
さくなる。以上のように、黒ストライプの照射位置に微
小凹凸があっても、微小凹凸がない場合に比べて画像に
おける信号レベルが小さくなるので、微小凹凸は問題な
く検出される。
を示している。微小凸部１３は焦点を結ぶ前に凸面鏡を
入れた状態と同じ効果を示すので、焦点を結ぶ位置が遠
くなって、やはり主光源１の面において焦点ずれの影響
を弱める。従って、撮像素子４の１画素が見る領域は、
やはり光路１４のように狭まり、撮像された画像におい
て、その画素の信号は、図５に示された場合に比べて小
さくなる。以上のように、黒ストライプの照射位置に微
小凹凸があっても、微小凹凸がない場合に比べて画像に
おける信号レベルが小さくなるので、微小凹凸は問題な
く検出される。
【００２２】以上、被検物２の表面の微小凹凸をほこり
等の散乱性欠点と区別して検出する場合について説明し
た。しかし、ほこり等の影響を除去して被検物２の表面
の微小凹凸欠点を検出するのに本発明を適用できるだけ
でなく、ほこりのない状況では、主光源１と補助光源３
とを同時に用いて、微小凹凸欠点を暗点、きずなどの散
乱性欠点を明点として、それらを同時に区別して検出す
るために本発明を適用することもできる。また、本発明
によれば、微小凹凸の位置と大きさとを検出できるの
で、表面に凹凸が施された被検物２の凹凸むらを、ほこ
り等の影響をうけずに評価することもできる。さらに、
被検物２の凹凸むらの評価と、きずなどの欠点の検出と
を同時に行うこともできる。
等の散乱性欠点と区別して検出する場合について説明し
た。しかし、ほこり等の影響を除去して被検物２の表面
の微小凹凸欠点を検出するのに本発明を適用できるだけ
でなく、ほこりのない状況では、主光源１と補助光源３
とを同時に用いて、微小凹凸欠点を暗点、きずなどの散
乱性欠点を明点として、それらを同時に区別して検出す
るために本発明を適用することもできる。また、本発明
によれば、微小凹凸の位置と大きさとを検出できるの
で、表面に凹凸が施された被検物２の凹凸むらを、ほこ
り等の影響をうけずに評価することもできる。さらに、
被検物２の凹凸むらの評価と、きずなどの欠点の検出と
を同時に行うこともできる。
【００２３】上記の実施の形態では、図１に示されたよ
うに、補助光源３が、被検物２に対して撮像素子４と同
じ側に、また、被検物２の法線に対して撮像素子４と同
じ側に設置されていた。しかし、図１に示された場合と
同様に照射の光軸が被検面に近い角度に設定されていれ
ば、図８に示すように、補助光源３が被検物２の法線に
対して撮像素子４と反対側に設置されていても、上記の
実施の形態の場合と同様の効果を得ることができる。さ
らに、図９に示すように、被検物２に対して撮像素子４
とは反対側であって、補助光源３による被検物２の透過
光が撮像素子４に入らないような位置に補助光源３を設
置してもよい。この場合には、補助光源３による被検物
２の透過光による散乱が微小凹凸と散乱性欠点とを識別
する作用を果たす。
うに、補助光源３が、被検物２に対して撮像素子４と同
じ側に、また、被検物２の法線に対して撮像素子４と同
じ側に設置されていた。しかし、図１に示された場合と
同様に照射の光軸が被検面に近い角度に設定されていれ
ば、図８に示すように、補助光源３が被検物２の法線に
対して撮像素子４と反対側に設置されていても、上記の
実施の形態の場合と同様の効果を得ることができる。さ
らに、図９に示すように、被検物２に対して撮像素子４
とは反対側であって、補助光源３による被検物２の透過
光が撮像素子４に入らないような位置に補助光源３を設
置してもよい。この場合には、補助光源３による被検物
２の透過光による散乱が微小凹凸と散乱性欠点とを識別
する作用を果たす。
【００２４】また、図１０および図１１に示すように、
被検物２に対して主光源１を撮像素子４と反対側に設置
し、被検物２の透過光による明視野を形成するようにし
ても、上記の実施の形態の場合と同様の効果を得ること
ができる。その場合、図１０に示すように、補助光源３
を被検物２に対して撮像素子４と同じ側に設置してもよ
いし、図１１に示すように、補助光源３を被検物２に対
して撮像素子４と反対側に設置してもよい。なお、被検
物２の透過光による明視野を形成する場合には、微小凹
凸において透過光が微妙に屈折するために、撮像された
画像において微小凹凸に部分が暗点になる。
被検物２に対して主光源１を撮像素子４と反対側に設置
し、被検物２の透過光による明視野を形成するようにし
ても、上記の実施の形態の場合と同様の効果を得ること
ができる。その場合、図１０に示すように、補助光源３
を被検物２に対して撮像素子４と同じ側に設置してもよ
いし、図１１に示すように、補助光源３を被検物２に対
して撮像素子４と反対側に設置してもよい。なお、被検
物２の透過光による明視野を形成する場合には、微小凹
凸において透過光が微妙に屈折するために、撮像された
画像において微小凹凸に部分が暗点になる。
【００２５】検査装置を、主光源１、補助光源３および
撮像素子４がひとまとまりになった構成にすることもで
きる。そして、主光源１、補助光源３および撮像素子３
と被検面との角度を一定に保ちつつ被検物２の形状に沿
って検査装置を移動させることによって、撮像素子４の
視野を越える広い範囲の検査を容易に行うことができ
る。
撮像素子４がひとまとまりになった構成にすることもで
きる。そして、主光源１、補助光源３および撮像素子３
と被検面との角度を一定に保ちつつ被検物２の形状に沿
って検査装置を移動させることによって、撮像素子４の
視野を越える広い範囲の検査を容易に行うことができ
る。
【００２６】以下、本発明の具体的適用例を説明する。
ブラウン管用ガラスの外面の微小な凹み群を検査対象と
し、図１に示された反射光学系を用い、被検面の法線と
撮像素子４の光軸とを１５°傾けた。そして、ガラス面
上で１画素が０．０３３ｍｍ×０．０３３ｍｍとなるよ
うに、また、Ｆ１６となる光学条件を設定した。主光源
１として高周波の拡散光源にストライプフィルムを重ね
たものを用い、ストライプパターンを、白と黒の幅が
２：１の比でピッチ１．９ｍｍとし、画像上で１ピッチ
が３７画素に相当するように設定した。補助光源３とし
てファイバ光源を用い、被検面に対して２５°の角度で
光が照射されるようにファイバ光源を設置した。
ブラウン管用ガラスの外面の微小な凹み群を検査対象と
し、図１に示された反射光学系を用い、被検面の法線と
撮像素子４の光軸とを１５°傾けた。そして、ガラス面
上で１画素が０．０３３ｍｍ×０．０３３ｍｍとなるよ
うに、また、Ｆ１６となる光学条件を設定した。主光源
１として高周波の拡散光源にストライプフィルムを重ね
たものを用い、ストライプパターンを、白と黒の幅が
２：１の比でピッチ１．９ｍｍとし、画像上で１ピッチ
が３７画素に相当するように設定した。補助光源３とし
てファイバ光源を用い、被検面に対して２５°の角度で
光が照射されるようにファイバ光源を設置した。
【００２７】また、得られた画像に対して３×３のスム
ージング処理を２回行ってローパスフィルタ処理を行
い、得られた原画像とローパスフィルタ処理が施された
画像との差の画像において、しきい値以下の領域を欠点
とした。
ージング処理を２回行ってローパスフィルタ処理を行
い、得られた原画像とローパスフィルタ処理が施された
画像との差の画像において、しきい値以下の領域を欠点
とした。
【００２８】そして、約１０ｍｍ角の領域に対して被検
面上の微小凹みの数を数える検査を用いたところ、目視
で詳細に確認した数に対して検出率は８６％であり、微
小凹凸以外を検出した誤検出率は総検出数に対して９％
であった。
面上の微小凹みの数を数える検査を用いたところ、目視
で詳細に確認した数に対して検出率は８６％であり、微
小凹凸以外を検出した誤検出率は総検出数に対して９％
であった。
【００２９】
【発明の効果】以上のように、本発明によれば、微小凹
凸の検査方法を、光源からの光を被検物に照射するとと
もに被検物における正反射光または透過光が受光部に入
射しないよう設置された補助光源からの光を被検物に照
射するように構成にしたので、ほこり等の散乱要因を選
択的に光らせることができ、その結果、被検物表面の微
小凹凸欠点を、ほこり等の他の欠点や誤検出要因と区別
して検査することができ、精度のよい確実な検査を行う
ことができる。
凸の検査方法を、光源からの光を被検物に照射するとと
もに被検物における正反射光または透過光が受光部に入
射しないよう設置された補助光源からの光を被検物に照
射するように構成にしたので、ほこり等の散乱要因を選
択的に光らせることができ、その結果、被検物表面の微
小凹凸欠点を、ほこり等の他の欠点や誤検出要因と区別
して検査することができ、精度のよい確実な検査を行う
ことができる。
【００３０】また、微小凹凸の検査装置を、被検物にお
ける正反射光または透過光が受光部に入射しないよう設
置された補助光源を備え、演算装置が、光源部からの光
と補助光源からの光が同時に被検物に照射されている状
態で得られた画像中の各画素の信号レベルを判定する構
成にしたので、ほこり等の散乱要因を選択的に光らせた
画像を解析することによって微小凹凸を散乱要因と区別
して検査することができるようになり、また、複数セン
サや光源および受光部の位置合わせを行う必要はなく、
検査装置の調整や保守が容易化される効果がある。
ける正反射光または透過光が受光部に入射しないよう設
置された補助光源を備え、演算装置が、光源部からの光
と補助光源からの光が同時に被検物に照射されている状
態で得られた画像中の各画素の信号レベルを判定する構
成にしたので、ほこり等の散乱要因を選択的に光らせた
画像を解析することによって微小凹凸を散乱要因と区別
して検査することができるようになり、また、複数セン
サや光源および受光部の位置合わせを行う必要はなく、
検査装置の調整や保守が容易化される効果がある。
【図面の簡単な説明】
【図１】 本発明による微小凹凸の検査装置を示す構成
図である。
図である。
【図２】 （Ａ）は撮像される画像の例を示す模式図、
（Ｂ）は、（Ａ）に示された各画像におけるＩ−Ｉ断面
の光量の例を示す説明図である。
（Ｂ）は、（Ａ）に示された各画像におけるＩ−Ｉ断面
の光量の例を示す説明図である。
【図３】 ストライプパターンの主光源からの光と補助
光源からの光とを被検物に同時に照射した場合に得られ
る画像を示す模式図である。
光源からの光とを被検物に同時に照射した場合に得られ
る画像を示す模式図である。
【図４】 演算装置の信号処理の一例を示すフローチャ
ートである。
ートである。
【図５】 被検面に凹凸がない場合の光路を示す説明図
である。
である。
【図６】 被検面に微小凹部がある場合の光路を示す説
明図である。
明図である。
【図７】 被検面に微小凸部がある場合の光路を示す説
明図である。
明図である。
【図８】 本発明による微小凹凸の検査装置の他の実施
の形態を示す構成図である。
の形態を示す構成図である。
【図９】 本発明による微小凹凸の検査装置のさらに他
の実施の形態を示す構成図である。
の実施の形態を示す構成図である。
【図１０】 本発明による微小凹凸の検査装置のさらに
他の実施の形態を示す構成図である。
他の実施の形態を示す構成図である。
【図１１】 本発明による微小凹凸の検査装置のさらに
他の実施の形態を示す構成図である。
他の実施の形態を示す構成図である。
１ 主光源 ２ 被検物 ３ 補助光源 ４ 撮像素子 ５ 演算装置
Claims (4)
- 【請求項１】 光源から照射された光の被検物表面での
反射光または被検物での透過光を受光し、受光して得ら
れた画像を用いて被検物表面の微小凹凸を検査する微小
凹凸の検査方法であって、 前記光源からの光を前記被検物に照射するとともに、前
記被検物における正反射光または透過光が受光部に入射
しないよう設置された補助光源からの光を前記被検物に
照射することを特徴とする微小凹凸の検査方法。 - 【請求項２】 受光して得られた画像中の暗点を微小凹
凸と判定する請求項１記載の微小凹凸の検査方法。 - 【請求項３】 主光源としてストライプパターンを有す
る光源を使用する請求項１または請求項２記載の微小凹
凸の検査方法。 - 【請求項４】 光源部から照射された光が被検物表面で
反射された反射光または被検物を透過した透過光を受光
し、受光して得られた画像を用いて被検物表面の微小凹
凸を検査する微小凹凸の検査装置であって、 前記被検物における正反射光または透過光が受光部に入
射しないよう設置された補助光源と、 前記光源部からの光と前記補助光源からの光が同時に前
記被検物に照射されている状態で得られた画像中の各画
素の信号レベルを判定し、暗点を微小凹凸とする演算装
置とを備えたことを特徴とする微小凹凸の検査装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP13264398A JP4158227B2 (ja) | 1998-04-27 | 1998-04-27 | 微小凹凸の検査方法および検査装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP13264398A JP4158227B2 (ja) | 1998-04-27 | 1998-04-27 | 微小凹凸の検査方法および検査装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11311510A true JPH11311510A (ja) | 1999-11-09 |
| JP4158227B2 JP4158227B2 (ja) | 2008-10-01 |
Family
ID=15086129
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP13264398A Expired - Fee Related JP4158227B2 (ja) | 1998-04-27 | 1998-04-27 | 微小凹凸の検査方法および検査装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4158227B2 (ja) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2002090952A1 (de) * | 2001-05-08 | 2002-11-14 | Wolfgang Weinhold | Verfahren und vorrichtung zur berührungsfreien untersuchung eines gegenstandes, insbesondere hinsichtlich dessen oberflächengestalt |
| JP2006266933A (ja) * | 2005-03-24 | 2006-10-05 | Nippon Sheet Glass Co Ltd | 透明板状体の欠点検査方法及び欠点検査装置 |
| JP2007271510A (ja) * | 2006-03-31 | 2007-10-18 | Tsubakimoto Chain Co | 外観検査方法及び外観検査装置 |
| JP2009537022A (ja) * | 2006-05-12 | 2009-10-22 | コーニング インコーポレイテッド | 透明基板の欠陥の特性評価のための装置及び方法 |
| EP1914539A3 (en) * | 2006-10-11 | 2010-01-20 | Nitto Denko Corporation | Test data processing apparatus and test data processing method |
| JP2011203223A (ja) * | 2010-03-26 | 2011-10-13 | Panasonic Electric Works Co Ltd | 欠陥検出装置および欠陥検出方法 |
| DE102010055220A1 (de) | 2009-12-18 | 2014-05-08 | Posco | Verfahren und System zur Erfassung von Normabweichungen in der Qualität beim Kaltwalzen |
| JP2014145656A (ja) * | 2013-01-29 | 2014-08-14 | Nikka Kk | 微粒子付着状態可視化方法、および微粒子付着状態可視化装置 |
| WO2018139237A1 (ja) * | 2017-01-25 | 2018-08-02 | 国立研究開発法人産業技術総合研究所 | 画像処理方法 |
| JP2019020416A (ja) * | 2017-07-20 | 2019-02-07 | 日立金属株式会社 | 金属薄板検査装置および金属薄板の検査方法 |
| JP2019082333A (ja) * | 2017-10-27 | 2019-05-30 | 株式会社ニコン | 検査装置、検査システム、および検査方法 |
| CN110672621A (zh) * | 2019-10-10 | 2020-01-10 | 清华大学 | 基于光照亮度调整的汽车涂装表面缺陷图像质量优化方法 |
| CN111351795A (zh) * | 2020-02-27 | 2020-06-30 | 杨孝兰 | 一种基于特殊结构光的镜面物体及透明物体检测方法 |
| CN111443040A (zh) * | 2020-05-14 | 2020-07-24 | 成都德图福思科技有限公司 | 反光透光复合材料表面激光打码蚀痕的成像系统及方法 |
| WO2022130843A1 (ja) * | 2020-12-16 | 2022-06-23 | 株式会社日立ハイテクファインシステムズ | 外観検査方法、外観検査装置、構造体に対する加工方法および装置 |
-
1998
- 1998-04-27 JP JP13264398A patent/JP4158227B2/ja not_active Expired - Fee Related
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2002090952A1 (de) * | 2001-05-08 | 2002-11-14 | Wolfgang Weinhold | Verfahren und vorrichtung zur berührungsfreien untersuchung eines gegenstandes, insbesondere hinsichtlich dessen oberflächengestalt |
| JP2006266933A (ja) * | 2005-03-24 | 2006-10-05 | Nippon Sheet Glass Co Ltd | 透明板状体の欠点検査方法及び欠点検査装置 |
| JP4575202B2 (ja) * | 2005-03-24 | 2010-11-04 | 日本板硝子株式会社 | 透明板状体の欠点検査方法及び欠点検査装置 |
| JP2007271510A (ja) * | 2006-03-31 | 2007-10-18 | Tsubakimoto Chain Co | 外観検査方法及び外観検査装置 |
| JP2009537022A (ja) * | 2006-05-12 | 2009-10-22 | コーニング インコーポレイテッド | 透明基板の欠陥の特性評価のための装置及び方法 |
| EP1914539A3 (en) * | 2006-10-11 | 2010-01-20 | Nitto Denko Corporation | Test data processing apparatus and test data processing method |
| US8149376B2 (en) | 2006-10-11 | 2012-04-03 | Nitto Denko Corporation | Test data processing apparatus and test data processing method |
| DE102010055220A1 (de) | 2009-12-18 | 2014-05-08 | Posco | Verfahren und System zur Erfassung von Normabweichungen in der Qualität beim Kaltwalzen |
| JP2011203223A (ja) * | 2010-03-26 | 2011-10-13 | Panasonic Electric Works Co Ltd | 欠陥検出装置および欠陥検出方法 |
| JP2014145656A (ja) * | 2013-01-29 | 2014-08-14 | Nikka Kk | 微粒子付着状態可視化方法、および微粒子付着状態可視化装置 |
| WO2018139237A1 (ja) * | 2017-01-25 | 2018-08-02 | 国立研究開発法人産業技術総合研究所 | 画像処理方法 |
| JPWO2018139237A1 (ja) * | 2017-01-25 | 2019-07-04 | 国立研究開発法人産業技術総合研究所 | 画像処理方法 |
| CN110214262A (zh) * | 2017-01-25 | 2019-09-06 | 国立研究开发法人产业技术综合研究所 | 图像处理方法 |
| US11076093B2 (en) | 2017-01-25 | 2021-07-27 | National Institute Of Advanced Industrial Science And Technology | Image processing method |
| JP2019020416A (ja) * | 2017-07-20 | 2019-02-07 | 日立金属株式会社 | 金属薄板検査装置および金属薄板の検査方法 |
| JP2019082333A (ja) * | 2017-10-27 | 2019-05-30 | 株式会社ニコン | 検査装置、検査システム、および検査方法 |
| CN110672621A (zh) * | 2019-10-10 | 2020-01-10 | 清华大学 | 基于光照亮度调整的汽车涂装表面缺陷图像质量优化方法 |
| CN111351795A (zh) * | 2020-02-27 | 2020-06-30 | 杨孝兰 | 一种基于特殊结构光的镜面物体及透明物体检测方法 |
| CN111443040A (zh) * | 2020-05-14 | 2020-07-24 | 成都德图福思科技有限公司 | 反光透光复合材料表面激光打码蚀痕的成像系统及方法 |
| WO2022130843A1 (ja) * | 2020-12-16 | 2022-06-23 | 株式会社日立ハイテクファインシステムズ | 外観検査方法、外観検査装置、構造体に対する加工方法および装置 |
| JP2022095139A (ja) * | 2020-12-16 | 2022-06-28 | 株式会社日立ハイテクファインシステムズ | 外観検査方法、外観検査装置、構造体に対する加工方法および装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4158227B2 (ja) | 2008-10-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10267747B2 (en) | Surface defect inspecting device and method for steel sheets | |
| US7105848B2 (en) | Dual level out-of-focus light source for amplification of defects on a surface | |
| JP4147682B2 (ja) | 被検物の欠点検査方法および検査装置 | |
| JP2795595B2 (ja) | 透明板状体の欠点検出方法 | |
| JP4511978B2 (ja) | 表面疵検査装置 | |
| JP4158227B2 (ja) | 微小凹凸の検査方法および検査装置 | |
| JP2012078144A (ja) | 透明体シート状物の表面欠陥検査装置 | |
| JPH08128959A (ja) | 光学的検査方法および光学的検査装置 | |
| JP3021266B2 (ja) | 光学式鋼板表面検査装置 | |
| JP2011085520A (ja) | 欠陥判別装置、欠陥判別方法及びシート状物 | |
| JPH06294749A (ja) | 板ガラスの欠点検査方法 | |
| JPH10148619A (ja) | 検査基体の面欠陥検査方法及び装置 | |
| JP3189588B2 (ja) | 表面欠陥検査装置 | |
| JP3591160B2 (ja) | 表面検査装置 | |
| JP2003065966A (ja) | フィルムに対する異物検査方法およびその装置 | |
| JP2006138830A (ja) | 表面欠陥検査装置 | |
| JP2011145082A (ja) | シート状物の表面欠陥検査装置 | |
| JPH11316195A (ja) | 透明板の表面欠陥検出装置 | |
| JP2008039444A (ja) | 異物検査方法及び異物検査装置 | |
| JPH09113465A (ja) | 亜鉛メッキ系鋼板用表面欠陥検出装置 | |
| JPH08178855A (ja) | 透光性物体あるいは鏡面性物体の検査方法 | |
| KR100484812B1 (ko) | 이미지 센서를 이용한 표면 검사방법 및 검사장치 | |
| JPH11248643A (ja) | 透明フィルムの異物検査装置 | |
| JPH109836A (ja) | 物体の表面性状、ガラスの表面の粗度およびガラス成形型の評価方法 | |
| JPH09105618A (ja) | 物体の平滑な面の欠陥検査方法及び装置並びに物体表面の粗さ測定方法及び装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050411 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050411 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060922 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070320 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070507 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071113 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080115 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080219 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080306 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080624 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080707 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110725 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110725 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120725 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120725 Year of fee payment: 4 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120725 Year of fee payment: 4 |
|
| R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120725 Year of fee payment: 4 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130725 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |