JP4250076B2 - 表面検査装置及び方法 - Google Patents
表面検査装置及び方法 Download PDFInfo
- Publication number
- JP4250076B2 JP4250076B2 JP2003512687A JP2003512687A JP4250076B2 JP 4250076 B2 JP4250076 B2 JP 4250076B2 JP 2003512687 A JP2003512687 A JP 2003512687A JP 2003512687 A JP2003512687 A JP 2003512687A JP 4250076 B2 JP4250076 B2 JP 4250076B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- main scanning
- scanning direction
- sub
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 79
- 238000000034 method Methods 0.000 title claims description 22
- 238000009825 accumulation Methods 0.000 claims description 6
- 230000002596 correlated effect Effects 0.000 abstract 2
- 230000007547 defect Effects 0.000 description 55
- 238000010586 diagram Methods 0.000 description 20
- 238000006243 chemical reaction Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 6
- 238000000465 moulding Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 210000005252 bulbus oculi Anatomy 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000001125 extrusion Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 229910000831 Steel Inorganic materials 0.000 description 1
- 206010044565 Tremor Diseases 0.000 description 1
- 238000005311 autocorrelation function Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/89—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
- G01N21/8901—Optical details; Scanning details
Landscapes
- Immunology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Pathology (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Textile Engineering (AREA)
- Engineering & Computer Science (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
- Analysing Materials By The Use Of Radiation (AREA)
- Image Analysis (AREA)
- Apparatuses And Processes For Manufacturing Resistors (AREA)
- Diaphragms For Electromechanical Transducers (AREA)
- Testing Or Measuring Of Semiconductors Or The Like (AREA)
- Transplanting Machines (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、イメージセンサを有するカメラを用いて成形物、その他の種々の検査対象物の傷や汚れといった欠陥などの表面検査を行う表面検査装置及び方法に関する。
【０００２】
【従来の技術】
従来では、例えば、押し出し成形物、引き抜き成形物やロール成形物などの検査対象物の表面欠陥などの検査には、光電変換素子を一次元に配列して構成されるラインイメージセンサ（ラインイメージセンサ）を用いたＣＣＤカメラなどのカメラが使用されている。カメラが検査対象物上を一次元走査し、これにより得られた画像データに演算処理を施して検査される。
【０００３】
ビデオカメラなどに使用される二次元イメージセンサでは通常、撮像画素が視野幅方向に数百画素しかないのに対して、ラインイメージセンサは視野幅方向に数千画素もの撮像画素を集積化することが可能であるため、ラインイメージセンサを用いることにより、二次元イメージセンサでは不可能な幅の広い鉄鋼、紙、フィルムなどの検査対象物の表面検査を行うことが可能である。
【０００４】
このようなカメラにおいては、イメージセンサによる明度の読み取り精度に光電変換素子によってばらつきがある。このばらつきはイメージセンサを構成する個々の光電変換素子の感度の差などの原因によるものであり、素子ばらつきと呼ばれ、通常３％程度の値をとる。上述した従来の表面検査装置では、この素子ばらつきの範囲を越えた明度変化がないと、微細な欠陥などの検出を行うことができない。目視による明暗検出精度は１／１５００〜１／２０００と言われているので、ラインイメージセンサを用いた表面検査装置は目視の１／６０の精度しかないことになり、目視検査の代替は不可能とされてきた。
【０００５】
そのため、イメージセンサの素子ばらつきを補償する方法が種々考えられている。一例として、ラインイメージセンサによって得られる画像データ列のうち主走査方向に連続する複数の画素からなるブロックの画像データを加算し、かつ隣接するブロックの加算データの相関演算を行う技術が知られている。
【０００６】
【発明が解決しようとする課題】
しかし、この方法は一つの主走査ライン上で隣接する画素にまたがっている欠陥に対しては検出が可能であるが、隣接する主走査ラインにまたがっている欠陥や、主走査ライン上で隣接する画素にまたがり、かつ隣接する主走査ラインにまたがっている欠陥に対しては検出を行うことができない。このため、検査精度の向上に限界があった。
【０００７】
本発明の目的は、検査対象物上の欠陥を隣接する主走査ラインにまたがっている欠陥や主走査ライン上で隣接する画素にまたがり、かつ隣接する主走査ラインにまたがっている欠陥を検出可能であり、表面状態の検査を精度よく行うことができる表面検査装置及び方法を提供することである。
【０００８】
【課題を解決するための手段】
本発明の一態様による表面検査装置は、
検査対象物を主走査方向に走査するラインセンサを有し、画像データを得るカメラと、
前記主走査方向と直交する副走査方向に前記カメラと検査対象物とを相対的に移動させる副走査手段と、
前記カメラから出力される画像データに対し演算処理を施して前記検査対象物の表面状態を検査する演算処理手段とを備え、
前記演算処理手段は、前記副走査方向において隣接する２つの主走査ラインの画像データを加算して画像データ列を生成する画像データ列生成手段と、該画像データ列を用いて前記検査対象物の表面状態を検査する判定手段とを具備し、
前記画像データ列生成手段は、前記副走査方向において隣接する２つの主走査ラインの画像データ中の前記主走査方向における同一位置の２画素の画像データを加算する第１画像データ列、前記副走査方向に対して第１の斜めの方向で隣接する２画素の画像データを加算する第２画像データ列、前記副走査方向に対して第２の斜めの方向で隣接する２画素の画像データを加算する第３画像データ列の少なくともいずれかを生成し、
前記判定手段は、前記第１画像データ列、第２画像データ列、第３画像データ列の少なくともいずれかのデータ列のうち前記主走査方向において連続する複数の画素からなるブロック内の画像データを加算してブロック内加算データを算出する累積手段と、前記主走査方向において隣接するブロックのブロック内加算データの相関値を算出する相関手段と、前記相関値を閾値判定する手段とを具備するものである。
本発明の一態様による表面検査方法は、
検査対象物を主走査方向に走査するラインセンサを有し、画像データを得るカメラを用いる表面検査方法において、
前記主走査方向と直交する副走査方向に前記カメラと検査対象物とを相対的に移動させるステップと、
前記カメラから出力される画像データに対し演算処理を施して前記検査対象物の表面状態を検査する演算処理ステップとを備え、
前記演算処理ステップは、前記副走査方向において隣接する２つの主走査ラインの画像データを加算して画像データ列を生成する画像データ列生成ステップと、該画像データ列を用いて前記検査対象物の表面状態を検査する判定ステップとを具備し、
前記画像データ列生成ステップは、前記副走査方向において隣接する２つの主走査ラインの画像データ中の前記主走査方向における同一位置の２画素の画像データを加算する第１画像データ列、前記副走査方向に対して第１の斜めの方向で隣接する２画素の画像データを加算する第２画像データ列、前記副走査方向に対して第２の斜めの方向で隣接する２画素の画像データを加算する第３画像データ列の少なくともいずれかを生成し、
前記判定ステップは、前記第１画像データ列、第２画像データ列、第３画像データ列の少なくともいずれかのデータ列のうち前記主走査方向において連続する複数の画素からなるブロック内の画像データを加算してブロック内加算データを算出する累積ステップと、前記主走査方向において隣接するブロックのブロック内加算データの相関値を算出するステップと、前記相関値を閾値判定するステップとを具備するものである。
【０００９】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
【００１０】
第１の実施形態
図１は、本発明の第１の実施形態に係る表面検査装置の構成を示す図である。検査対象物１０は例えば押し出し成形物、引き抜き成形物やロール成形物などであり、表面検査時には図示しない主走査装置によって矢印Ｙで示す方向（副走査方向）に移動する。なお、成形物を成形時に検査する場合は、成形機の搬送機構が副走査装置となるので、格別な副走査装置を設ける必要はない。この検査対象物１０に対向して、ディジタルカメラ１１が設置されている。
【００１１】
ディジタルカメラ１１は、結像レンズ１２、ＣＣＤラインイメージセンサのようなラインイメージセンサ１３、増幅器１４及びＡ／Ｄコンバータ１５により構成され、検査対象物１０の表面の画像が結像レンズ１２を介してラインイメージセンサ１３上に結像される。ラインイメージセンサ１３による検査対象物１０上の読み取り幅をＷとすると、結像レンズ１２が標準レンズの場合、カメラ１１から検査対象物１０までの距離（対物距離）は約１．５Ｗに設定される。
【００１２】
ラインイメージセンサ１３は、複数個（例えば、５１２０個）の光電変換素子を矢印Ｘで示す方向（主走査方向）に配列して構成されており、図示しない副走査装置によって主走査方向と直交する方向（副走査方向）Ｙに相対的に移動する検査対象物１０上を主走査方向に走査して検査対象物１０の表面状態を読み取り、画像信号を出力する。
【００１３】
副走査装置は、イメージセンサ１３とイメージセンサ１３上に結像される検査対象物１０の像とを主走査方向と直交する副走査方向に相対的に移動させる装置であり、上記のように（ａ）検査対象物１０をラインイメージセンサ１３に対して副走査方向に相対的に移動させる構成の他、（ｂ）ラインイメージセンサ１３を検査対象物１０に対して副走査方向に相対的に移動させる、（ｃ）結像レンズ１２をラインイメージセンサ１３に対して副走査方向に相対的に移動させる、（ｄ）ラインイメージセンサ１３及び結像レンズ１２を検査対象物１０に対して副走査方向に相対的に移動させる、という構成であってもよい。
【００１４】
ここで、特に（ｂ）、（ｃ）、（ｄ）の場合、ラインイメージセンサ１３や結像レンズ１２を例えば積層型の圧電アクチュエータや、静電アクチュエータのような微小駆動が可能なマイクロアクチュエータを用いて移動（振動）させればよい。
【００１５】
ラインイメージセンサ１３から出力される画像信号は、増幅器１４によって増幅された後、さらにＡ／Ｄコンバータ１５により例えば８ビットパラレルのディジタルデータに変換され、ディジタルカメラ１１から画像データとして出力される。
【００１６】
ディジタルカメラ１１から出力される画像データは、画像処理装置１６に入力される。画像処理装置１６は、入力される画像データに対し所定の画像処理を施すことによって検査対象物１０の表面状態の検査結果を出力するものであり、この例ではラインメモリ１７、加算器１８、演算処理器１９及び判定器２０によって構成される。
【００１７】
ラインメモリ１７は、ディジタルカメラ１１から入力される少なくとも１主走査ライン分の画像データを記憶するメモリであり、ラインイメージセンサ１３における光電変換素子の素子数（例えば、５１２０素子）と同じ段数のシフトレジスタまたはＦＩＦＯ（先入れ・先出し）メモリにより構成される。
【００１８】
ディジタルカメラ１１から出力される画像データは、加算器１８の第１入力端に供給されるとともに、ラインメモリ１７に供給される。ラインメモリ１７の出力は加算器１８の第２入力端に供給される。加算器１７はラインメモリ１７の入出力の画像データＡ、Ｂを加算する。
【００１９】
ここで、加算器１８の第１、第2入力Ａ、Ｂにそれぞれ入力される画像データは、ラインイメージセンサ１３の同一素子から得られる画像信号に対応している。すなわち、加算器１８の入力Ａに対して入力Ｂはラインメモリ１７により１主走査ライン分の時間遅れている。例えば、入力Ａにラインイメージセンサ１３のｉ番目（ｉ＝１，２，…）の素子に対応する画像データが入力されるとき、入力Ｂには同じｉ番目の素子に対応する１主走査ライン前の画像データがラインメモリ１７から入力される。従って、加算器１８では図２に示すように入力Ａ、Ｂにそれぞれ入力される副走査方向に隣接する２つの主走査ライン（Ｎライン目とＮ＋１ライン目、Ｎ＋１ライン目とＮ＋２ライン目、…）の画像データ２１が加算され、画像データ列２２が生成される。
【００２０】
こうしてラインメモリ１７と加算器１８により構成される画像データ列生成器によって生成された画像データ列２２は、演算処理器１９に入力される。演算処理器１９は、加算器１８からの画像データ列に主走査方向Ｘに連続する複数の画素からなるブロックの画像データを加算（積算）してブロック内加算データを生成し、それをブロック内の最初の画素の画素データとし、かつ主走査方向で互いに隣接するブロック内加算データの相関値を算出する処理を、ブロックの位置を主走査方向にシフトさせて繰り返し行う。
【００２１】
具体的には、演算処理器１９は図３に示すように、加算器１８からの画像データ列２２（図２参照）が初段に入力されるように接続されたＭ段のシフトレジスタ３１及び２Ｍ段のシフトレジスタ３２と、シフトレジスタ３１の各段の出力を加算する加算器３３と、シフトレジスタ３２の後段のＭ段の出力を加算する加算器３４と、加算器３３、３４の出力が供給される相関器３５によって構成される。ここで、１主走査ラインの画像データの画素を主走査方向に連続する複数の画素からなるブロックに分割したとき、Ｍは１ブロックを構成する画素数である。このＭの値は、任意に変更可能であることが望ましく、例えば１〜１１１というような値をとる。
【００２２】
図４は、演算処理器１９の動作を説明する図である。加算器３３では、加算器１８から出力される画像データ列２２のうち主走査方向に連続するＭ画素からなる一つのブロックの画像データが加算される。加算器３４では、画像データ列２２のうち加算器３３で画像データが加算されるブロックに対して主走査方向に隣接した次のブロックの画像データが加算される。ここで、加算器３３，３４から出力されるブロック内加算データをｂ１，ｂ２とすると、相関器３５においては、例えば両者の差ｂ１−ｂ２が相関値３６として求められる。
【００２３】
画像データ列２２の新たな画素のデータがシフトレジスタ３１，３２に入力される毎に、図４に示すように加算器３３，３４で画像データが加算されるブロックの位置が順次主走査方向にシフトされ、同様の動作が行われる。このような動作により、加算器３３，３４からブロック内加算データｃ１，ｃ２；ｄ１，ｄ２；ｅ１，ｅ２；…が順次出力され、相関器３５からはｃ１−ｃ２、ｄ１−ｄ２、ｅ１−ｅ２が相関値３６として順次求められることになる。
【００２４】
ここでは、相関器２５は隣接するブロック内加算データの差を相関値３６として求めたが、隣接するブロック内加算データの比（ｂ１／ｂ２、…）を相関値３６として求めてもよい。相関器２５から出力される相関値３６は、図１中の判定器２０に入力される。判定器２０は、例えばコンパレータによって構成され、相関器２６から出力される相関値３６を適当なしきい値と比較することによって、検査対象物１０の表面欠陥の有無を判定し、その判定結果を表面状態の検査結果として出力する。
【００２５】
すなわち、検査対象物１０上に欠陥があると、その欠陥の近傍ではラインイメージセンサ１３の同一の素子に対応する画像データの大きさが副走査に伴って、つまり検査対象物１０の相対的移動に伴って時間的に変化することにより、相関器３５で得られる相関値３６が大きくなって、判定器２０においてしきい値を越えるため、判定器２０でこの欠陥を認識することができる。判定器２０の判定結果は、例えばパーソナルコンピュータにより処理されて図示しない表示装置により表示される。
【００２６】
上記のように構成された本実施形態の表面検査装置によると、まず演算処理器１９においてブロック内加算を行うことによる累積機能と、主走査方向で隣接するブロック内加算データの相関をとることによる自己相関機能によって、ラインイメージセンサ１３の素子ばらつきの影響を除去すると共に、相関器３５で得られる相関値３６が大きくなり、欠陥の検出感度を高めることができる。
【００２７】
さらに、本実施形態によると、特にラインメモリ１７と加算器１８を用いて副走査方向に隣接する２つの主走査ラインの画像データを加算し、これにより得られた画像データ列を演算処理器１９に入力することによって、図５Ａに示すように検査対象物１０上の欠陥５１が一つの主走査ライン（図ではＮ番目のライン）内にのみ存在する場合は勿論、図５Ｂのように隣接する２つの主走査ライン（図ではＮ番目のラインとＮ＋１番目のライン）にまたがっている欠陥５２や、図５Ｃのように主走査ライン上で隣接する画素にまたがり、かつ隣接する２つの主走査ラインにまたがっている欠陥５３を含めて検出可能として、さらなる高精度の検査が可能となる。
【００２８】
以下、この原理を詳細に説明する。
【００２９】
まず、図５Ａに示すように検査対象物１０上の欠陥５１が一つの主走査ライン内にのみ存在する場合、図６Ａに示すように一つの画素内に存在する欠陥５０に対応する画像データ（カメラ１１出力）に比較して、２つの画素にまたがって存在する欠陥５１に対応する画像データの出力が小さくなる。１画素のデータが２画素に分配されるので、出力レベルは半分になる。次のラインでは欠陥が無いので、出力は０であり、副走査方向に隣接する２ラインの画像データを加算する加算器１８の出力（画像データ列２２）はＮラインの画像信号と同じである。この画像データ列２２が演算処理器１９の累積機能によって主走査方向のブロック内の画素データが累積されて、当該ブロック内の所定の、例えば最初の１画素の画素データとされる。ここで、説明の便宜上、ブロックは２画素からなるとすると、加算器３３は図６Ｂに示すように、１画素ずれた２つの画像データ列を加算する。このため、各画素データに次の画素データが加算されることになり、欠陥５１に対応する画素ｃ６´の画像データのレベルは欠陥５０に対応する画素ｃ２´の画像データと同じとなる（レベルが大きくなる）ため、欠陥５０は勿論、欠陥５１についても容易に検出することができる。
【００３０】
次に、図５Ｂに示すように隣接する２つの主走査ラインにまたがった欠陥５２が存在する場合、図７Ａに示すように一つの主走査ライン内の一つの画素内に存在する欠陥５０に対応する画像データに比較して、欠陥５２に対応する画像データの出力が小さくなる。これは、Ｎラインでも（Ｎ＋１）ラインでも同じである。しかし、副走査方向に隣接する２ラインの画像データを加算する加算器１８により、欠陥５２に対応する画像データ列２２の出力は欠陥５１に対応する画像データ列２２の出力と同じになる。 このため、２つの主走査ラインにまたがって存在する欠陥５２も、容易に検出することができる。
【００３１】
なお、図７Ｂはブロック内加算データを示すが、この例の場合は、主走査方向の２つの画素にまたがっている欠陥が存在しないので、ブロック内加算は不要である。
【００３２】
さらに、図５Ｃのように主走査ライン上で隣接する画素にまたがり、かつ隣接する２つの主走査ラインにまたがった欠陥５３が存在する場合、図８Ａに示すように一つの主走査ライン内の一つの画素内に存在する欠陥５０に対応する画像データに比較して、欠陥５３に対応する画像データの出力が小さくなる。１画素のデータが４画素に分配されるので、Ｎライン、（Ｎ＋１）ラインとも欠陥５３に対応する画像データの出力レベルは１／４になる。しかし、副走査方向に隣接する２ラインの画像データを加算する加算器１８により、欠陥５３に対応する画像データ列２２の出力レベルは１／２まで増幅される。この画像データ列２２が演算処理器１９の主走査方向での累積機能による効果によって、当該ブロック内の所定の、例えば最初の１画素の画素データとされる。ここで、説明の便宜上、ブロックは２画素からなるとすると、加算器３３は図８Ｂに示すように、１画素ずれた２つの画像データ列を加算する。このため、各画素データに次の画素データが加算されることになり、欠陥５３に対応する画素ｃ６´の画像データのレベルは欠陥５０に対応する画素ｃ２´の画像データと同じとなる（レベルが大きくなる）ため、欠陥５０は勿論、欠陥５３についても容易に検出することができる。
【００３３】
第２の実施形態
次に、図９を参照して本発明の第２の実施形態について説明する。第２実施形態に係る表面検査装置の構成は図１に示した第１実施形態のものと同一である。
【００３４】
第１実施形態では、ディジタルカメラ１１から出力される画像データ２１について、ラインメモリ１７及び加算器１８を用いて副走査方向Ｙに隣接する２つの主走査ラインの画像データを加算して画像データ列２２を生成する際、これら２つの主走査ラインの副走査方向Ｙに隣接する２つの画素（主走査方向の位置が同じ画素）の画像データを加算している。
【００３５】
しかし、副走査方向に隣接する２つの主走査ラインの画像データを加算して画像データ列を生成する方法は、これに限られるものではなく、例えば図９に示すような方法で画像データ列を生成してもよい。この方法では、副走査方向Ｙに隣接する２つの主走査ラインの画像データ２１について、副走査方向に隣接しかつ主走査方向に隣接する４つの画素の画像データを加算する処理を該４つの画素の位置を一画素単位で主走査方向にシフトして行うことにより、画像データ列２２Ａを生成する。
【００３６】
この方法によると、画像データ列の各データの大きさが大きくなるため、検査精度をさらに高めることができ、また例えば図５Ｃ及び図８で説明したような主走査ライン上で隣接する画素にまたがり、かつ隣接する主走査ラインにまたがって存在する欠陥５３を検出する上で特に有効である。
【００３７】
第３の実施形態
第２実施形態に係る表面検査装置の全体構成も図１に示した第１実施形態のものと同一である。第２実施形態と同様、第３実施形態も画像データ列の生成方法の変形に関する。
【００３８】
第３実施形態では、副走査方向に隣接する２つの主走査ラインの画像データを加算して画像データ列を生成する際、第１実施形態と同様に図１０Ａに示すように２つの主走査ラインの副走査方向に隣接する２つの画素（主走査方向の位置が同じ画素）の画像データを加算して画像データ列を生成する処理に加えて、図１０Ｂ、図１０Ｃの処理を併用する。図１０Ｂは、副走査方向に対して斜め右上がりの方向（第１の方向）で隣接する画素の画像データを加算して画像データ列を生成する処理である。図１０Ｃは、副走査方向に対して斜め左上がりの方向（第２の方向）で隣接する画素の画像データを加算して画像データ列を生成する処理である。
【００３９】
図１１は、第３実施形態における画像処理装置１６Ａの構成を示す図であり、ラインメモリ１７Ａは１主走査ライン分の画素数（この例では、５１２０画素）＋１＝５１２１段のシフトレジスタにより構成される。このシフトレジスタの入力と、５１２０段目の出力、５１２１段目の出力、５１１９段目の出力が加算器１８Ａ，１８Ｂ，１８Ｃによりそれぞれ加算される。これにより、加算器１８Ａからは図１０Ａに示す２つの主走査ラインの副走査方向に隣接する２つの画素の画像データを加算した画像データ列、加算器１８Ｂからは図１０Ｂに示す副走査方向に対して斜め右上がりの方向で隣接する画素の画像データを加算した画像データ列、加算器１８Ｃからは図１０Ｃに示すように副走査方向に対して斜め左上がりの方向で隣接する画素の画像データを加算した画像データ列が出力される。
【００４０】
これらの画像データ列は、それぞれ第１実施形態で説明したと同様の演算処理器１９Ａ，１９Ｂ，１９Ｃを経て判定器２０Ａ，２０Ｂ，２０Ｃに入力され、閾値判定される。これら判定器２０Ａ，２０Ｂ，２０Ｃの判定結果は、例えばパーソナルコンピュータにより処理されて図示しない表示装置により表示される。この場合、判定器２０Ａ，２０Ｂ，２０Ｃの判定結果を互いに区別が付くように色を変えて表示してもよい。
【００４１】
本実施形態によると、例えば検査対象物１０上に存在する線状のような非常に細い欠陥であって、ラインイメージセンサ１３上を斜めに横切るような欠陥に対しても、容易に検出が可能となる。すなわち、このような欠陥は２つの主走査ライン上で図１０Ｂまたは図１０Ｃに示すように副走査方向に対して斜めの方向で隣接する画素にまたがって現れるため、これらの画素の画像データを加算した後に演算処理器で処理することにより、容易に検出されることになる。
【００４２】
本発明は、その他種々変形して実施が可能である。例えば、上記実施形態ではラインイメージセンサを用いた場合について述べたが、光電変換素子をマトリクス状に配列した２次元イメージセンサ（エリアセンサともいう）を用いた場合にも有効である。
【００４３】
ラインイメージセンサでは、画素（光電変換素子）が隙間なく配列されるのに対して、２次元イメージセンサでは画素と画素の間に縦横に配線のための不感領域が存在する。しかし、本発明によると、副走査方向に隣接する２つの主走査ラインの画像データの加算機能と、主走査方向における累積機能により、このような不感領域による検出感度の低下を補うことができる。
【００４４】
また、実施形態ではラインメモリと加算器を用いて副走査方向に隣接する２つの主走査ラインの画像データを加算した画像データ列を演算処理器を介してブロック内加算を行った後、判定器に入力したが、演算処理器を介さずに判定器に入力しても構わない。そのような構成においても、本発明の所期の目的を達成することができる。
【００４５】
人間の眼球は、固視微動と呼ばれる微小な震動を行っている。すなわち、眼球は上下左右を見るときの運動とは別に、固視微動を行うことによって、網膜が刺激に慣れないようにすることで、精度を上げていると考えられている。固視微動の主たる運動成分は、上下方向である。
【００４６】
本発明において隣接する２つの主走査ラインの画像データを加算する処理は、このような人間の眼球の固視微動に相当している。すなわち、本発明では電子的な処理ないしは機械的な処理によって副走査方向の移動（微動）を行いつつ、隣接した２つの主走査ラインの画像データを加算した画像データ列を処理して表面検査を行うことにより、検査精度を上げているのである。
【００４７】
【発明の効果】
以上説明したように、本発明によれば検査対象物上の主走査ラインにまたがっている欠陥や、主走査ライン上で隣接する画素にまたがり、かつ隣接する主走査ラインにまたがっている欠陥を含めて検出可能として、表面状態の検査を精度よく行うことができる。
【図面の簡単な説明】
【図１】図１は本発明の第１の実施形態に係る表面検査装置の構成を示すブロック図。
【図２】図２は第１の実施形態における副走査方向に隣接する２つの主走査ラインの画像データを加算して画像データ列を生成する動作を説明する図。
【図３】図３は第１の実施形態における演算処理器の構成を示すブロック図。
【図４】図４は図３に示す演算処理器の動作を説明する図。
【図５Ａ】図５Ａは検査対象物上の種々の欠陥について説明する図。
【図５Ｂ】図５Ｂは検査対象物上の種々の欠陥について説明する図。
【図５Ｃ】図５Ｃは検査対象物上の種々の欠陥について説明する図。
【図６Ａ】図６Ａは一つの主走査ライン内にのみ存在する欠陥とそれに対応する画像データ及びブロック内加算データの関係を示す図。
【図６Ｂ】図６Ｂは一つの主走査ライン内にのみ存在する欠陥とそれに対応する画像データ及びブロック内加算データの関係を示す図。
【図７Ａ】図７Ａは隣接する２つの主走査ラインにまたがって存在する欠陥とそれに対応するブロック内加算データの関係を示す図。
【図７Ｂ】図７Ｂは隣接する２つの主走査ラインにまたがって存在する欠陥とそれに対応するブロック内加算データの関係を示す図。
【図８Ａ】図８Ａは主走査ライン上で隣接する画素にまたがり、かつ隣接する２つの主走査ラインにまたがった欠陥とそれに対応する画像データ及びブロック内加算データの関係を示す図。
【図８Ｂ】図８Ｂは主走査ライン上で隣接する画素にまたがり、かつ隣接する２つの主走査ラインにまたがった欠陥とそれに対応する画像データ及びブロック内加算データの関係を示す図。
【図９】図９は本発明の第２の実施形態における副走査方向に隣接する２つの主走査ラインの画像データを加算して画像データ列を生成する動作を説明する図。
【図１０Ａ】図１０Ａは第３実施形態における副走査方向に隣接する２つの主走査ラインの画像データを加算して画像データ列を生成する変形例を説明する図。
【図１０Ｂ】図１０Ｂは第３実施形態における副走査方向に隣接する２つの主走査ラインの画像データを加算して画像データ列を生成する変形例を説明する図。
【図１０Ｃ】図１０Ｃは第３実施形態における副走査方向に隣接する２つの主走査ラインの画像データを加算して画像データ列を生成する変形例を説明する図。
【図１１】図１１は第３実施形態における画像処理装置の構成を示すブロック図。
【符号の説明】
１０…検査対象物、１１…ディジタルカメラ、１３…ラインイメージセンサ、１６…画像処理装置、１８…加算器、１９…演算処理器、２０…判定器。
【発明の属する技術分野】
本発明は、イメージセンサを有するカメラを用いて成形物、その他の種々の検査対象物の傷や汚れといった欠陥などの表面検査を行う表面検査装置及び方法に関する。
【０００２】
【従来の技術】
従来では、例えば、押し出し成形物、引き抜き成形物やロール成形物などの検査対象物の表面欠陥などの検査には、光電変換素子を一次元に配列して構成されるラインイメージセンサ（ラインイメージセンサ）を用いたＣＣＤカメラなどのカメラが使用されている。カメラが検査対象物上を一次元走査し、これにより得られた画像データに演算処理を施して検査される。
【０００３】
ビデオカメラなどに使用される二次元イメージセンサでは通常、撮像画素が視野幅方向に数百画素しかないのに対して、ラインイメージセンサは視野幅方向に数千画素もの撮像画素を集積化することが可能であるため、ラインイメージセンサを用いることにより、二次元イメージセンサでは不可能な幅の広い鉄鋼、紙、フィルムなどの検査対象物の表面検査を行うことが可能である。
【０００４】
このようなカメラにおいては、イメージセンサによる明度の読み取り精度に光電変換素子によってばらつきがある。このばらつきはイメージセンサを構成する個々の光電変換素子の感度の差などの原因によるものであり、素子ばらつきと呼ばれ、通常３％程度の値をとる。上述した従来の表面検査装置では、この素子ばらつきの範囲を越えた明度変化がないと、微細な欠陥などの検出を行うことができない。目視による明暗検出精度は１／１５００〜１／２０００と言われているので、ラインイメージセンサを用いた表面検査装置は目視の１／６０の精度しかないことになり、目視検査の代替は不可能とされてきた。
【０００５】
そのため、イメージセンサの素子ばらつきを補償する方法が種々考えられている。一例として、ラインイメージセンサによって得られる画像データ列のうち主走査方向に連続する複数の画素からなるブロックの画像データを加算し、かつ隣接するブロックの加算データの相関演算を行う技術が知られている。
【０００６】
【発明が解決しようとする課題】
しかし、この方法は一つの主走査ライン上で隣接する画素にまたがっている欠陥に対しては検出が可能であるが、隣接する主走査ラインにまたがっている欠陥や、主走査ライン上で隣接する画素にまたがり、かつ隣接する主走査ラインにまたがっている欠陥に対しては検出を行うことができない。このため、検査精度の向上に限界があった。
【０００７】
本発明の目的は、検査対象物上の欠陥を隣接する主走査ラインにまたがっている欠陥や主走査ライン上で隣接する画素にまたがり、かつ隣接する主走査ラインにまたがっている欠陥を検出可能であり、表面状態の検査を精度よく行うことができる表面検査装置及び方法を提供することである。
【０００８】
【課題を解決するための手段】
本発明の一態様による表面検査装置は、
検査対象物を主走査方向に走査するラインセンサを有し、画像データを得るカメラと、
前記主走査方向と直交する副走査方向に前記カメラと検査対象物とを相対的に移動させる副走査手段と、
前記カメラから出力される画像データに対し演算処理を施して前記検査対象物の表面状態を検査する演算処理手段とを備え、
前記演算処理手段は、前記副走査方向において隣接する２つの主走査ラインの画像データを加算して画像データ列を生成する画像データ列生成手段と、該画像データ列を用いて前記検査対象物の表面状態を検査する判定手段とを具備し、
前記画像データ列生成手段は、前記副走査方向において隣接する２つの主走査ラインの画像データ中の前記主走査方向における同一位置の２画素の画像データを加算する第１画像データ列、前記副走査方向に対して第１の斜めの方向で隣接する２画素の画像データを加算する第２画像データ列、前記副走査方向に対して第２の斜めの方向で隣接する２画素の画像データを加算する第３画像データ列の少なくともいずれかを生成し、
前記判定手段は、前記第１画像データ列、第２画像データ列、第３画像データ列の少なくともいずれかのデータ列のうち前記主走査方向において連続する複数の画素からなるブロック内の画像データを加算してブロック内加算データを算出する累積手段と、前記主走査方向において隣接するブロックのブロック内加算データの相関値を算出する相関手段と、前記相関値を閾値判定する手段とを具備するものである。
本発明の一態様による表面検査方法は、
検査対象物を主走査方向に走査するラインセンサを有し、画像データを得るカメラを用いる表面検査方法において、
前記主走査方向と直交する副走査方向に前記カメラと検査対象物とを相対的に移動させるステップと、
前記カメラから出力される画像データに対し演算処理を施して前記検査対象物の表面状態を検査する演算処理ステップとを備え、
前記演算処理ステップは、前記副走査方向において隣接する２つの主走査ラインの画像データを加算して画像データ列を生成する画像データ列生成ステップと、該画像データ列を用いて前記検査対象物の表面状態を検査する判定ステップとを具備し、
前記画像データ列生成ステップは、前記副走査方向において隣接する２つの主走査ラインの画像データ中の前記主走査方向における同一位置の２画素の画像データを加算する第１画像データ列、前記副走査方向に対して第１の斜めの方向で隣接する２画素の画像データを加算する第２画像データ列、前記副走査方向に対して第２の斜めの方向で隣接する２画素の画像データを加算する第３画像データ列の少なくともいずれかを生成し、
前記判定ステップは、前記第１画像データ列、第２画像データ列、第３画像データ列の少なくともいずれかのデータ列のうち前記主走査方向において連続する複数の画素からなるブロック内の画像データを加算してブロック内加算データを算出する累積ステップと、前記主走査方向において隣接するブロックのブロック内加算データの相関値を算出するステップと、前記相関値を閾値判定するステップとを具備するものである。
【０００９】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
【００１０】
第１の実施形態
図１は、本発明の第１の実施形態に係る表面検査装置の構成を示す図である。検査対象物１０は例えば押し出し成形物、引き抜き成形物やロール成形物などであり、表面検査時には図示しない主走査装置によって矢印Ｙで示す方向（副走査方向）に移動する。なお、成形物を成形時に検査する場合は、成形機の搬送機構が副走査装置となるので、格別な副走査装置を設ける必要はない。この検査対象物１０に対向して、ディジタルカメラ１１が設置されている。
【００１１】
ディジタルカメラ１１は、結像レンズ１２、ＣＣＤラインイメージセンサのようなラインイメージセンサ１３、増幅器１４及びＡ／Ｄコンバータ１５により構成され、検査対象物１０の表面の画像が結像レンズ１２を介してラインイメージセンサ１３上に結像される。ラインイメージセンサ１３による検査対象物１０上の読み取り幅をＷとすると、結像レンズ１２が標準レンズの場合、カメラ１１から検査対象物１０までの距離（対物距離）は約１．５Ｗに設定される。
【００１２】
ラインイメージセンサ１３は、複数個（例えば、５１２０個）の光電変換素子を矢印Ｘで示す方向（主走査方向）に配列して構成されており、図示しない副走査装置によって主走査方向と直交する方向（副走査方向）Ｙに相対的に移動する検査対象物１０上を主走査方向に走査して検査対象物１０の表面状態を読み取り、画像信号を出力する。
【００１３】
副走査装置は、イメージセンサ１３とイメージセンサ１３上に結像される検査対象物１０の像とを主走査方向と直交する副走査方向に相対的に移動させる装置であり、上記のように（ａ）検査対象物１０をラインイメージセンサ１３に対して副走査方向に相対的に移動させる構成の他、（ｂ）ラインイメージセンサ１３を検査対象物１０に対して副走査方向に相対的に移動させる、（ｃ）結像レンズ１２をラインイメージセンサ１３に対して副走査方向に相対的に移動させる、（ｄ）ラインイメージセンサ１３及び結像レンズ１２を検査対象物１０に対して副走査方向に相対的に移動させる、という構成であってもよい。
【００１４】
ここで、特に（ｂ）、（ｃ）、（ｄ）の場合、ラインイメージセンサ１３や結像レンズ１２を例えば積層型の圧電アクチュエータや、静電アクチュエータのような微小駆動が可能なマイクロアクチュエータを用いて移動（振動）させればよい。
【００１５】
ラインイメージセンサ１３から出力される画像信号は、増幅器１４によって増幅された後、さらにＡ／Ｄコンバータ１５により例えば８ビットパラレルのディジタルデータに変換され、ディジタルカメラ１１から画像データとして出力される。
【００１６】
ディジタルカメラ１１から出力される画像データは、画像処理装置１６に入力される。画像処理装置１６は、入力される画像データに対し所定の画像処理を施すことによって検査対象物１０の表面状態の検査結果を出力するものであり、この例ではラインメモリ１７、加算器１８、演算処理器１９及び判定器２０によって構成される。
【００１７】
ラインメモリ１７は、ディジタルカメラ１１から入力される少なくとも１主走査ライン分の画像データを記憶するメモリであり、ラインイメージセンサ１３における光電変換素子の素子数（例えば、５１２０素子）と同じ段数のシフトレジスタまたはＦＩＦＯ（先入れ・先出し）メモリにより構成される。
【００１８】
ディジタルカメラ１１から出力される画像データは、加算器１８の第１入力端に供給されるとともに、ラインメモリ１７に供給される。ラインメモリ１７の出力は加算器１８の第２入力端に供給される。加算器１７はラインメモリ１７の入出力の画像データＡ、Ｂを加算する。
【００１９】
ここで、加算器１８の第１、第2入力Ａ、Ｂにそれぞれ入力される画像データは、ラインイメージセンサ１３の同一素子から得られる画像信号に対応している。すなわち、加算器１８の入力Ａに対して入力Ｂはラインメモリ１７により１主走査ライン分の時間遅れている。例えば、入力Ａにラインイメージセンサ１３のｉ番目（ｉ＝１，２，…）の素子に対応する画像データが入力されるとき、入力Ｂには同じｉ番目の素子に対応する１主走査ライン前の画像データがラインメモリ１７から入力される。従って、加算器１８では図２に示すように入力Ａ、Ｂにそれぞれ入力される副走査方向に隣接する２つの主走査ライン（Ｎライン目とＮ＋１ライン目、Ｎ＋１ライン目とＮ＋２ライン目、…）の画像データ２１が加算され、画像データ列２２が生成される。
【００２０】
こうしてラインメモリ１７と加算器１８により構成される画像データ列生成器によって生成された画像データ列２２は、演算処理器１９に入力される。演算処理器１９は、加算器１８からの画像データ列に主走査方向Ｘに連続する複数の画素からなるブロックの画像データを加算（積算）してブロック内加算データを生成し、それをブロック内の最初の画素の画素データとし、かつ主走査方向で互いに隣接するブロック内加算データの相関値を算出する処理を、ブロックの位置を主走査方向にシフトさせて繰り返し行う。
【００２１】
具体的には、演算処理器１９は図３に示すように、加算器１８からの画像データ列２２（図２参照）が初段に入力されるように接続されたＭ段のシフトレジスタ３１及び２Ｍ段のシフトレジスタ３２と、シフトレジスタ３１の各段の出力を加算する加算器３３と、シフトレジスタ３２の後段のＭ段の出力を加算する加算器３４と、加算器３３、３４の出力が供給される相関器３５によって構成される。ここで、１主走査ラインの画像データの画素を主走査方向に連続する複数の画素からなるブロックに分割したとき、Ｍは１ブロックを構成する画素数である。このＭの値は、任意に変更可能であることが望ましく、例えば１〜１１１というような値をとる。
【００２２】
図４は、演算処理器１９の動作を説明する図である。加算器３３では、加算器１８から出力される画像データ列２２のうち主走査方向に連続するＭ画素からなる一つのブロックの画像データが加算される。加算器３４では、画像データ列２２のうち加算器３３で画像データが加算されるブロックに対して主走査方向に隣接した次のブロックの画像データが加算される。ここで、加算器３３，３４から出力されるブロック内加算データをｂ１，ｂ２とすると、相関器３５においては、例えば両者の差ｂ１−ｂ２が相関値３６として求められる。
【００２３】
画像データ列２２の新たな画素のデータがシフトレジスタ３１，３２に入力される毎に、図４に示すように加算器３３，３４で画像データが加算されるブロックの位置が順次主走査方向にシフトされ、同様の動作が行われる。このような動作により、加算器３３，３４からブロック内加算データｃ１，ｃ２；ｄ１，ｄ２；ｅ１，ｅ２；…が順次出力され、相関器３５からはｃ１−ｃ２、ｄ１−ｄ２、ｅ１−ｅ２が相関値３６として順次求められることになる。
【００２４】
ここでは、相関器２５は隣接するブロック内加算データの差を相関値３６として求めたが、隣接するブロック内加算データの比（ｂ１／ｂ２、…）を相関値３６として求めてもよい。相関器２５から出力される相関値３６は、図１中の判定器２０に入力される。判定器２０は、例えばコンパレータによって構成され、相関器２６から出力される相関値３６を適当なしきい値と比較することによって、検査対象物１０の表面欠陥の有無を判定し、その判定結果を表面状態の検査結果として出力する。
【００２５】
すなわち、検査対象物１０上に欠陥があると、その欠陥の近傍ではラインイメージセンサ１３の同一の素子に対応する画像データの大きさが副走査に伴って、つまり検査対象物１０の相対的移動に伴って時間的に変化することにより、相関器３５で得られる相関値３６が大きくなって、判定器２０においてしきい値を越えるため、判定器２０でこの欠陥を認識することができる。判定器２０の判定結果は、例えばパーソナルコンピュータにより処理されて図示しない表示装置により表示される。
【００２６】
上記のように構成された本実施形態の表面検査装置によると、まず演算処理器１９においてブロック内加算を行うことによる累積機能と、主走査方向で隣接するブロック内加算データの相関をとることによる自己相関機能によって、ラインイメージセンサ１３の素子ばらつきの影響を除去すると共に、相関器３５で得られる相関値３６が大きくなり、欠陥の検出感度を高めることができる。
【００２７】
さらに、本実施形態によると、特にラインメモリ１７と加算器１８を用いて副走査方向に隣接する２つの主走査ラインの画像データを加算し、これにより得られた画像データ列を演算処理器１９に入力することによって、図５Ａに示すように検査対象物１０上の欠陥５１が一つの主走査ライン（図ではＮ番目のライン）内にのみ存在する場合は勿論、図５Ｂのように隣接する２つの主走査ライン（図ではＮ番目のラインとＮ＋１番目のライン）にまたがっている欠陥５２や、図５Ｃのように主走査ライン上で隣接する画素にまたがり、かつ隣接する２つの主走査ラインにまたがっている欠陥５３を含めて検出可能として、さらなる高精度の検査が可能となる。
【００２８】
以下、この原理を詳細に説明する。
【００２９】
まず、図５Ａに示すように検査対象物１０上の欠陥５１が一つの主走査ライン内にのみ存在する場合、図６Ａに示すように一つの画素内に存在する欠陥５０に対応する画像データ（カメラ１１出力）に比較して、２つの画素にまたがって存在する欠陥５１に対応する画像データの出力が小さくなる。１画素のデータが２画素に分配されるので、出力レベルは半分になる。次のラインでは欠陥が無いので、出力は０であり、副走査方向に隣接する２ラインの画像データを加算する加算器１８の出力（画像データ列２２）はＮラインの画像信号と同じである。この画像データ列２２が演算処理器１９の累積機能によって主走査方向のブロック内の画素データが累積されて、当該ブロック内の所定の、例えば最初の１画素の画素データとされる。ここで、説明の便宜上、ブロックは２画素からなるとすると、加算器３３は図６Ｂに示すように、１画素ずれた２つの画像データ列を加算する。このため、各画素データに次の画素データが加算されることになり、欠陥５１に対応する画素ｃ６´の画像データのレベルは欠陥５０に対応する画素ｃ２´の画像データと同じとなる（レベルが大きくなる）ため、欠陥５０は勿論、欠陥５１についても容易に検出することができる。
【００３０】
次に、図５Ｂに示すように隣接する２つの主走査ラインにまたがった欠陥５２が存在する場合、図７Ａに示すように一つの主走査ライン内の一つの画素内に存在する欠陥５０に対応する画像データに比較して、欠陥５２に対応する画像データの出力が小さくなる。これは、Ｎラインでも（Ｎ＋１）ラインでも同じである。しかし、副走査方向に隣接する２ラインの画像データを加算する加算器１８により、欠陥５２に対応する画像データ列２２の出力は欠陥５１に対応する画像データ列２２の出力と同じになる。 このため、２つの主走査ラインにまたがって存在する欠陥５２も、容易に検出することができる。
【００３１】
なお、図７Ｂはブロック内加算データを示すが、この例の場合は、主走査方向の２つの画素にまたがっている欠陥が存在しないので、ブロック内加算は不要である。
【００３２】
さらに、図５Ｃのように主走査ライン上で隣接する画素にまたがり、かつ隣接する２つの主走査ラインにまたがった欠陥５３が存在する場合、図８Ａに示すように一つの主走査ライン内の一つの画素内に存在する欠陥５０に対応する画像データに比較して、欠陥５３に対応する画像データの出力が小さくなる。１画素のデータが４画素に分配されるので、Ｎライン、（Ｎ＋１）ラインとも欠陥５３に対応する画像データの出力レベルは１／４になる。しかし、副走査方向に隣接する２ラインの画像データを加算する加算器１８により、欠陥５３に対応する画像データ列２２の出力レベルは１／２まで増幅される。この画像データ列２２が演算処理器１９の主走査方向での累積機能による効果によって、当該ブロック内の所定の、例えば最初の１画素の画素データとされる。ここで、説明の便宜上、ブロックは２画素からなるとすると、加算器３３は図８Ｂに示すように、１画素ずれた２つの画像データ列を加算する。このため、各画素データに次の画素データが加算されることになり、欠陥５３に対応する画素ｃ６´の画像データのレベルは欠陥５０に対応する画素ｃ２´の画像データと同じとなる（レベルが大きくなる）ため、欠陥５０は勿論、欠陥５３についても容易に検出することができる。
【００３３】
第２の実施形態
次に、図９を参照して本発明の第２の実施形態について説明する。第２実施形態に係る表面検査装置の構成は図１に示した第１実施形態のものと同一である。
【００３４】
第１実施形態では、ディジタルカメラ１１から出力される画像データ２１について、ラインメモリ１７及び加算器１８を用いて副走査方向Ｙに隣接する２つの主走査ラインの画像データを加算して画像データ列２２を生成する際、これら２つの主走査ラインの副走査方向Ｙに隣接する２つの画素（主走査方向の位置が同じ画素）の画像データを加算している。
【００３５】
しかし、副走査方向に隣接する２つの主走査ラインの画像データを加算して画像データ列を生成する方法は、これに限られるものではなく、例えば図９に示すような方法で画像データ列を生成してもよい。この方法では、副走査方向Ｙに隣接する２つの主走査ラインの画像データ２１について、副走査方向に隣接しかつ主走査方向に隣接する４つの画素の画像データを加算する処理を該４つの画素の位置を一画素単位で主走査方向にシフトして行うことにより、画像データ列２２Ａを生成する。
【００３６】
この方法によると、画像データ列の各データの大きさが大きくなるため、検査精度をさらに高めることができ、また例えば図５Ｃ及び図８で説明したような主走査ライン上で隣接する画素にまたがり、かつ隣接する主走査ラインにまたがって存在する欠陥５３を検出する上で特に有効である。
【００３７】
第３の実施形態
第２実施形態に係る表面検査装置の全体構成も図１に示した第１実施形態のものと同一である。第２実施形態と同様、第３実施形態も画像データ列の生成方法の変形に関する。
【００３８】
第３実施形態では、副走査方向に隣接する２つの主走査ラインの画像データを加算して画像データ列を生成する際、第１実施形態と同様に図１０Ａに示すように２つの主走査ラインの副走査方向に隣接する２つの画素（主走査方向の位置が同じ画素）の画像データを加算して画像データ列を生成する処理に加えて、図１０Ｂ、図１０Ｃの処理を併用する。図１０Ｂは、副走査方向に対して斜め右上がりの方向（第１の方向）で隣接する画素の画像データを加算して画像データ列を生成する処理である。図１０Ｃは、副走査方向に対して斜め左上がりの方向（第２の方向）で隣接する画素の画像データを加算して画像データ列を生成する処理である。
【００３９】
図１１は、第３実施形態における画像処理装置１６Ａの構成を示す図であり、ラインメモリ１７Ａは１主走査ライン分の画素数（この例では、５１２０画素）＋１＝５１２１段のシフトレジスタにより構成される。このシフトレジスタの入力と、５１２０段目の出力、５１２１段目の出力、５１１９段目の出力が加算器１８Ａ，１８Ｂ，１８Ｃによりそれぞれ加算される。これにより、加算器１８Ａからは図１０Ａに示す２つの主走査ラインの副走査方向に隣接する２つの画素の画像データを加算した画像データ列、加算器１８Ｂからは図１０Ｂに示す副走査方向に対して斜め右上がりの方向で隣接する画素の画像データを加算した画像データ列、加算器１８Ｃからは図１０Ｃに示すように副走査方向に対して斜め左上がりの方向で隣接する画素の画像データを加算した画像データ列が出力される。
【００４０】
これらの画像データ列は、それぞれ第１実施形態で説明したと同様の演算処理器１９Ａ，１９Ｂ，１９Ｃを経て判定器２０Ａ，２０Ｂ，２０Ｃに入力され、閾値判定される。これら判定器２０Ａ，２０Ｂ，２０Ｃの判定結果は、例えばパーソナルコンピュータにより処理されて図示しない表示装置により表示される。この場合、判定器２０Ａ，２０Ｂ，２０Ｃの判定結果を互いに区別が付くように色を変えて表示してもよい。
【００４１】
本実施形態によると、例えば検査対象物１０上に存在する線状のような非常に細い欠陥であって、ラインイメージセンサ１３上を斜めに横切るような欠陥に対しても、容易に検出が可能となる。すなわち、このような欠陥は２つの主走査ライン上で図１０Ｂまたは図１０Ｃに示すように副走査方向に対して斜めの方向で隣接する画素にまたがって現れるため、これらの画素の画像データを加算した後に演算処理器で処理することにより、容易に検出されることになる。
【００４２】
本発明は、その他種々変形して実施が可能である。例えば、上記実施形態ではラインイメージセンサを用いた場合について述べたが、光電変換素子をマトリクス状に配列した２次元イメージセンサ（エリアセンサともいう）を用いた場合にも有効である。
【００４３】
ラインイメージセンサでは、画素（光電変換素子）が隙間なく配列されるのに対して、２次元イメージセンサでは画素と画素の間に縦横に配線のための不感領域が存在する。しかし、本発明によると、副走査方向に隣接する２つの主走査ラインの画像データの加算機能と、主走査方向における累積機能により、このような不感領域による検出感度の低下を補うことができる。
【００４４】
また、実施形態ではラインメモリと加算器を用いて副走査方向に隣接する２つの主走査ラインの画像データを加算した画像データ列を演算処理器を介してブロック内加算を行った後、判定器に入力したが、演算処理器を介さずに判定器に入力しても構わない。そのような構成においても、本発明の所期の目的を達成することができる。
【００４５】
人間の眼球は、固視微動と呼ばれる微小な震動を行っている。すなわち、眼球は上下左右を見るときの運動とは別に、固視微動を行うことによって、網膜が刺激に慣れないようにすることで、精度を上げていると考えられている。固視微動の主たる運動成分は、上下方向である。
【００４６】
本発明において隣接する２つの主走査ラインの画像データを加算する処理は、このような人間の眼球の固視微動に相当している。すなわち、本発明では電子的な処理ないしは機械的な処理によって副走査方向の移動（微動）を行いつつ、隣接した２つの主走査ラインの画像データを加算した画像データ列を処理して表面検査を行うことにより、検査精度を上げているのである。
【００４７】
【発明の効果】
以上説明したように、本発明によれば検査対象物上の主走査ラインにまたがっている欠陥や、主走査ライン上で隣接する画素にまたがり、かつ隣接する主走査ラインにまたがっている欠陥を含めて検出可能として、表面状態の検査を精度よく行うことができる。
【図面の簡単な説明】
【図１】図１は本発明の第１の実施形態に係る表面検査装置の構成を示すブロック図。
【図２】図２は第１の実施形態における副走査方向に隣接する２つの主走査ラインの画像データを加算して画像データ列を生成する動作を説明する図。
【図３】図３は第１の実施形態における演算処理器の構成を示すブロック図。
【図４】図４は図３に示す演算処理器の動作を説明する図。
【図５Ａ】図５Ａは検査対象物上の種々の欠陥について説明する図。
【図５Ｂ】図５Ｂは検査対象物上の種々の欠陥について説明する図。
【図５Ｃ】図５Ｃは検査対象物上の種々の欠陥について説明する図。
【図６Ａ】図６Ａは一つの主走査ライン内にのみ存在する欠陥とそれに対応する画像データ及びブロック内加算データの関係を示す図。
【図６Ｂ】図６Ｂは一つの主走査ライン内にのみ存在する欠陥とそれに対応する画像データ及びブロック内加算データの関係を示す図。
【図７Ａ】図７Ａは隣接する２つの主走査ラインにまたがって存在する欠陥とそれに対応するブロック内加算データの関係を示す図。
【図７Ｂ】図７Ｂは隣接する２つの主走査ラインにまたがって存在する欠陥とそれに対応するブロック内加算データの関係を示す図。
【図８Ａ】図８Ａは主走査ライン上で隣接する画素にまたがり、かつ隣接する２つの主走査ラインにまたがった欠陥とそれに対応する画像データ及びブロック内加算データの関係を示す図。
【図８Ｂ】図８Ｂは主走査ライン上で隣接する画素にまたがり、かつ隣接する２つの主走査ラインにまたがった欠陥とそれに対応する画像データ及びブロック内加算データの関係を示す図。
【図９】図９は本発明の第２の実施形態における副走査方向に隣接する２つの主走査ラインの画像データを加算して画像データ列を生成する動作を説明する図。
【図１０Ａ】図１０Ａは第３実施形態における副走査方向に隣接する２つの主走査ラインの画像データを加算して画像データ列を生成する変形例を説明する図。
【図１０Ｂ】図１０Ｂは第３実施形態における副走査方向に隣接する２つの主走査ラインの画像データを加算して画像データ列を生成する変形例を説明する図。
【図１０Ｃ】図１０Ｃは第３実施形態における副走査方向に隣接する２つの主走査ラインの画像データを加算して画像データ列を生成する変形例を説明する図。
【図１１】図１１は第３実施形態における画像処理装置の構成を示すブロック図。
【符号の説明】
１０…検査対象物、１１…ディジタルカメラ、１３…ラインイメージセンサ、１６…画像処理装置、１８…加算器、１９…演算処理器、２０…判定器。
Claims (8)
- 検査対象物を主走査方向に走査するラインセンサを有し、画像データを得るカメラと、
前記主走査方向と直交する副走査方向に前記カメラと検査対象物とを相対的に移動させる副走査手段と、
前記カメラから出力される画像データに対し演算処理を施して前記検査対象物の表面状態を検査する演算処理手段とを備え、
前記演算処理手段は、前記副走査方向において隣接する２つの主走査ラインの画像データを加算して画像データ列を生成する画像データ列生成手段と、該画像データ列を用いて前記検査対象物の表面状態を検査する判定手段とを具備し、
前記画像データ列生成手段は、前記副走査方向において隣接する２つの主走査ラインの画像データ中の前記主走査方向における同一位置の２画素の画像データを加算する第１画像データ列、前記副走査方向に対して第１の斜めの方向で隣接する２画素の画像データを加算する第２画像データ列、前記副走査方向に対して第２の斜めの方向で隣接する２画素の画像データを加算する第３画像データ列の少なくともいずれかを生成し、
前記判定手段は、前記第１画像データ列、第２画像データ列、第３画像データ列の少なくともいずれかのデータ列のうち前記主走査方向において連続する複数の画素からなるブロック内の画像データを加算してブロック内加算データを算出する累積手段と、前記主走査方向において隣接するブロックのブロック内加算データの相関値を算出する相関手段と、前記相関値を閾値判定する手段とを具備する表面検査装置。 - 前記画像データ列生成手段は、前記カメラから出力される画像データを少なくとも１主走査ライン分記憶保持するラインメモリと、該ラインメモリの入力の画像データと１主走査ライン前の画像データを加算して前記第１画像データ列を生成する第１の加算器と、該ラインメモリの入力の画像データと（１主走査ライン＋１画素）前の画像データを加算して前記第２画像データ列を生成する第２の加算器と、該ラインメモリの入力の画像データと（１主走査ライン−１画素）前の画像データを加算して前記第３画像データ列を生成する第３の加算器とを具備する請求項１記載の表面検査装置。
- 前記判定手段は、前記ブロックを前記主走査方向に１画素づつシフトさせて前記ブロック内加算と相関演算を繰り返し行う請求項１記載の表面検査装置。
- 前記副走査手段は、前記検査対象物を前記カメラに対して前記副走査方向に移動させる請求項１記載の表面検査装置。
- 前記副走査手段は、前記カメラを前記検査対象物に対して副走査方向に移動させる請求項１記載の表面検査装置。
- 前記副走査手段は、前記カメラのレンズを前記ラインセンサに対して前記副走査方向に移動させる請求項１記載の表面検査装置。
- 前記副走査手段は、前記カメラのレンズ及びイメージセンサを前記検査対象物に対して前記副走査方向に移動させる請求項１記載の表面検査装置。
- 検査対象物を主走査方向に走査するラインセンサを有し、画像データを得るカメラを用いる表面検査方法において、
前記主走査方向と直交する副走査方向に前記カメラと検査対象物とを相対的に移動させるステップと、
前記カメラから出力される画像データに対し演算処理を施して前記検査対象物の表面状態を検査する演算処理ステップとを備え、
前記演算処理ステップは、前記副走査方向において隣接する２つの主走査ラインの画像データを加算して画像データ列を生成する画像データ列生成ステップと、該画像データ列を用いて前記検査対象物の表面状態を検査する判定ステップとを具備し、
前記画像データ列生成ステップは、前記副走査方向において隣接する２つの主走査ラインの画像データ中の前記主走査方向における同一位置の２画素の画像データを加算する第１画像データ列、前記副走査方向に対して第１の斜めの方向で隣接する２画素の画像データを加算する第２画像データ列、前記副走査方向に対して第２の斜めの方向で隣接する２画素の画像データを加算する第３画像データ列の少なくともいずれかを生成し、
前記判定ステップは、前記第１画像データ列、第２画像データ列、第３画像データ列の少なくともいずれかのデータ列のうち前記主走査方向において連続する複数の画素からなるブロック内の画像データを加算してブロック内加算データを算出する累積ステップと、前記主走査方向において隣接するブロックのブロック内加算データの相関値を算出するステップと、前記相関値を閾値判定するステップとを具備する表面検査方法。
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001207321 | 2001-07-09 | ||
| JP2001207321 | 2001-07-09 | ||
| JP2001214340 | 2001-07-13 | ||
| JP2001214340 | 2001-07-13 | ||
| PCT/JP2002/006856 WO2003006968A1 (fr) | 2001-07-09 | 2002-07-05 | Procede et dispositif d'inspection de surface |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008312587A Division JP4932819B2 (ja) | 2001-07-09 | 2008-12-08 | 表面検査装置及び方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2003006968A1 JPWO2003006968A1 (ja) | 2004-11-04 |
| JP4250076B2 true JP4250076B2 (ja) | 2009-04-08 |
Family
ID=26618333
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003512687A Expired - Lifetime JP4250076B2 (ja) | 2001-07-09 | 2002-07-05 | 表面検査装置及び方法 |
| JP2008312587A Expired - Lifetime JP4932819B2 (ja) | 2001-07-09 | 2008-12-08 | 表面検査装置及び方法 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008312587A Expired - Lifetime JP4932819B2 (ja) | 2001-07-09 | 2008-12-08 | 表面検査装置及び方法 |
Country Status (10)
| Country | Link |
|---|---|
| US (1) | US6878956B2 (ja) |
| EP (1) | EP1406083B1 (ja) |
| JP (2) | JP4250076B2 (ja) |
| KR (1) | KR100877449B1 (ja) |
| CN (1) | CN1247987C (ja) |
| AT (1) | ATE456792T1 (ja) |
| DE (1) | DE60235236D1 (ja) |
| ES (1) | ES2339338T3 (ja) |
| TW (1) | TWI233988B (ja) |
| WO (1) | WO2003006968A1 (ja) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7107158B2 (en) * | 2003-02-03 | 2006-09-12 | Qcept Technologies, Inc. | Inspection system and apparatus |
| JP4165706B2 (ja) * | 2004-01-26 | 2008-10-15 | 株式会社リコー | 原稿読み取り装置および画像形成装置 |
| JP4751704B2 (ja) * | 2005-11-17 | 2011-08-17 | 吉郎 山田 | 形態検査方法及びシステム |
| JP5481012B2 (ja) * | 2006-06-05 | 2014-04-23 | 吉郎 山田 | 表面検査装置 |
| EP1972930B1 (de) * | 2007-03-19 | 2019-11-13 | Concast Ag | Verfahren zur Erkennung von Oberflächenmerkmalen metallurgischer Erzeugnisse, insbesondere Strangguss- und Walzerzeugnisse, sowie eine Einrichtung zur Durchführung des Verfahrens |
| WO2008129421A1 (en) * | 2007-04-18 | 2008-10-30 | Micronic Laser Systems Ab | Method and apparatus for mura detection and metrology |
| JP5557482B2 (ja) * | 2009-06-23 | 2014-07-23 | 株式会社日立製作所 | 検査性評価方法 |
| EP2832087B1 (en) * | 2012-03-29 | 2018-10-10 | Anteleon Imaging S.à.r.l. | Imaging device for capturing images of moving objects |
| EP2972589B1 (en) | 2013-03-12 | 2017-05-03 | Micronic Mydata AB | Mechanically produced alignment fiducial method and alignment system |
| WO2014140047A2 (en) | 2013-03-12 | 2014-09-18 | Micronic Mydata AB | Method and device for writing photomasks with reduced mura errors |
| CN104914133B (zh) * | 2015-06-19 | 2017-12-22 | 合肥京东方光电科技有限公司 | 摩擦缺陷检测装置 |
| WO2017171651A1 (en) * | 2016-03-30 | 2017-10-05 | Agency For Science, Technology And Research | System and method for imaging a surface defect on an object |
| TWI778072B (zh) | 2017-06-22 | 2022-09-21 | 以色列商奧寶科技有限公司 | 用於在超高解析度面板中偵測缺陷之方法 |
Family Cites Families (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| BE790686A (nl) * | 1971-10-27 | 1973-04-27 | Hoogovens Ijmuiden Bv | Inrichting voor het optisch waarnemen van oppervlaktefouten aaneen voortlopende metalen band |
| US5068799A (en) * | 1985-04-24 | 1991-11-26 | Jarrett Jr Harold M | System and method for detecting flaws in continuous web materials |
| US4707734A (en) * | 1985-06-17 | 1987-11-17 | The Perkin-Elmer Corporation | Coarse flaw detector for printed circuit board inspection |
| JPH01216242A (ja) * | 1988-02-25 | 1989-08-30 | Hiyuutec:Kk | 欠陥検査方法 |
| JP2591292B2 (ja) * | 1990-09-05 | 1997-03-19 | 日本電気株式会社 | 画像処理装置とそれを用いた自動光学検査装置 |
| JP3599631B2 (ja) * | 1993-03-09 | 2004-12-08 | 株式会社ルネサステクノロジ | 欠陥検査方法及び欠陥検査装置 |
| KR100235476B1 (ko) * | 1993-10-27 | 1999-12-15 | 구와하라아키라 | 피검사체의 표면검사방법 및 장치 |
| JPH07225196A (ja) * | 1994-02-10 | 1995-08-22 | Toshiba Eng Co Ltd | 欠陥検出方法および装置 |
| JPH07229853A (ja) * | 1994-02-15 | 1995-08-29 | Toshiba Eng Co Ltd | 斑検出方法および装置 |
| JP3274255B2 (ja) * | 1993-10-27 | 2002-04-15 | 東芝エンジニアリング株式会社 | 欠陥検出方法および装置 |
| FR2726299A1 (fr) * | 1994-11-02 | 1996-05-03 | Scanera Sc | Dispositif d'inspection de textiles |
| JPH09304286A (ja) * | 1996-05-21 | 1997-11-28 | Canon Inc | 欠陥検出処理装置及び方法 |
| JPH10198798A (ja) * | 1997-01-10 | 1998-07-31 | Hitachi Ltd | 並列処理方法及びその装置 |
| JPH112611A (ja) * | 1997-06-11 | 1999-01-06 | Hitachi Ltd | シート状部材の製造方法およびシート状部材の検査方法およびシート状部材の欠陥検査装置 |
| JP4121186B2 (ja) * | 1997-06-16 | 2008-07-23 | 株式会社日立製作所 | セラミックス管の検査方法及びその装置 |
| JP2000020695A (ja) * | 1998-07-02 | 2000-01-21 | Asahi Optical Co Ltd | 画像処理方法 |
| JP4282141B2 (ja) * | 1999-04-15 | 2009-06-17 | 株式会社東芝 | 紙葉類検査装置 |
| JP2001004552A (ja) * | 1999-06-25 | 2001-01-12 | Canon Inc | 物体表面の欠陥検査方法および装置 |
| JP2001010024A (ja) * | 1999-07-01 | 2001-01-16 | Dainippon Printing Co Ltd | 検査装置 |
| JP2001143079A (ja) * | 1999-11-12 | 2001-05-25 | Matsushita Electric Ind Co Ltd | 画像処理方法と装置 |
-
2002
- 2002-07-05 WO PCT/JP2002/006856 patent/WO2003006968A1/ja active Application Filing
- 2002-07-05 EP EP02743843A patent/EP1406083B1/en not_active Expired - Lifetime
- 2002-07-05 DE DE60235236T patent/DE60235236D1/de not_active Expired - Lifetime
- 2002-07-05 AT AT02743843T patent/ATE456792T1/de active
- 2002-07-05 KR KR1020037003404A patent/KR100877449B1/ko active IP Right Grant
- 2002-07-05 ES ES02743843T patent/ES2339338T3/es not_active Expired - Lifetime
- 2002-07-05 CN CNB028023382A patent/CN1247987C/zh not_active Expired - Lifetime
- 2002-07-05 JP JP2003512687A patent/JP4250076B2/ja not_active Expired - Lifetime
- 2002-07-09 TW TW091115110A patent/TWI233988B/zh not_active IP Right Cessation
-
2003
- 2003-03-07 US US10/383,830 patent/US6878956B2/en not_active Expired - Lifetime
-
2008
- 2008-12-08 JP JP2008312587A patent/JP4932819B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| DE60235236D1 (de) | 2010-03-18 |
| US6878956B2 (en) | 2005-04-12 |
| ATE456792T1 (de) | 2010-02-15 |
| EP1406083B1 (en) | 2010-01-27 |
| ES2339338T3 (es) | 2010-05-19 |
| JP2009063592A (ja) | 2009-03-26 |
| JPWO2003006968A1 (ja) | 2004-11-04 |
| KR20030027120A (ko) | 2003-04-03 |
| CN1247987C (zh) | 2006-03-29 |
| US20030151008A1 (en) | 2003-08-14 |
| CN1464975A (zh) | 2003-12-31 |
| WO2003006968A1 (fr) | 2003-01-23 |
| EP1406083A1 (en) | 2004-04-07 |
| EP1406083A4 (en) | 2005-07-27 |
| KR100877449B1 (ko) | 2009-01-07 |
| JP4932819B2 (ja) | 2012-05-16 |
| TWI233988B (en) | 2005-06-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4932819B2 (ja) | 表面検査装置及び方法 | |
| JP2882409B1 (ja) | 外観検査装置 | |
| JP5481012B2 (ja) | 表面検査装置 | |
| KR100837459B1 (ko) | 표시 패널의 촬상 방법 및 표시 패널의 촬상 장치 | |
| JP3152203B2 (ja) | 外観検査装置 | |
| JPH09101236A (ja) | 表示欠陥検査装置および表示欠陥検査方法 | |
| JPH0739999B2 (ja) | 欠陥検出方法 | |
| JPH08313454A (ja) | 画像処理装置 | |
| JPH06229941A (ja) | 画像検査装置 | |
| JP4165932B2 (ja) | 明暗検査装置および明暗検査方法 | |
| JP3100143B2 (ja) | 像処理法および像処理装置 | |
| JPH0238956A (ja) | 表面疵検査装置 | |
| JP5417997B2 (ja) | 撮像検査方法 | |
| JP4235756B2 (ja) | 位置ずれ検出方法及び位置ずれ検出装置並びに画像処理方法及び画像処理装置とそれを用いた検査装置 | |
| JP4121605B2 (ja) | 撮像画像複合歪み検出装置 | |
| JP3841882B2 (ja) | 外観検査方法および外観検査装置 | |
| JP3739965B2 (ja) | 表面検査システム | |
| JP3035578B2 (ja) | 検査条件決定装置、検査装置及びシャッタ速度決定装置 | |
| JPH0735699A (ja) | 表面欠陥検出方法およびその装置 | |
| JP2003214821A (ja) | ビデオ式幅計測装置 | |
| JP3245066B2 (ja) | 表示パネルの欠陥検査装置 | |
| JP6690316B2 (ja) | シート状の被検査体の欠陥検査装置、欠陥検査方法及び欠陥検査システム | |
| JP3278983B2 (ja) | 画像変換装置 | |
| JP3100140B2 (ja) | 像処理法および像処理装置 | |
| JPH09284753A (ja) | 監視カメラの撮像制御方法とその装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050513 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080520 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080722 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081007 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081208 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090106 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090116 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120123 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4250076 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120123 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130123 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |