JP3934351B2 - 形状欠陥等の検査方法および装置 - Google Patents

形状欠陥等の検査方法および装置 Download PDF

Info

Publication number
JP3934351B2
JP3934351B2 JP2001039446A JP2001039446A JP3934351B2 JP 3934351 B2 JP3934351 B2 JP 3934351B2 JP 2001039446 A JP2001039446 A JP 2001039446A JP 2001039446 A JP2001039446 A JP 2001039446A JP 3934351 B2 JP3934351 B2 JP 3934351B2
Authority
JP
Japan
Prior art keywords
shape
image
defect
convex lens
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001039446A
Other languages
English (en)
Other versions
JP2002243426A5 (ja
JP2002243426A (ja
Inventor
勲 清水
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Science and Technology Agency
National Institute of Japan Science and Technology Agency
Original Assignee
Japan Science and Technology Agency
National Institute of Japan Science and Technology Agency
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Japan Science and Technology Agency, National Institute of Japan Science and Technology Agency filed Critical Japan Science and Technology Agency
Priority to JP2001039446A priority Critical patent/JP3934351B2/ja
Publication of JP2002243426A publication Critical patent/JP2002243426A/ja
Publication of JP2002243426A5 publication Critical patent/JP2002243426A5/ja
Application granted granted Critical
Publication of JP3934351B2 publication Critical patent/JP3934351B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、光学系を用いた形状欠陥等の検査方法およびその装置に関するものであり、特に、多項目のプリント基板表面の欠陥(例えば、パタ−ンの欠け、断線、短絡、銅残り(金鍍金の欠損)、金鍍金の変色、レジストのピンホ−ル、付着、剥がれ、異物付着等)、また、実装基板上での部品欠落、極性反転、品名相違、取付異状、などの欠陥を、光学的処理により迅速、かつ、自動的に検出することができる形状欠陥等の検査方法およびその装置に関するものである。
【0002】
【従来の技術】
従来の光学パタ−ン認識または光学的な画像認識の方法または装置は被識別画像が所要の目的である参照画像と比較して、正確な画像であるか否かを両者の光回折パタ−ンを実時間的に比較・照合して光相関信号光の強さから識別するものである。従来方法は光相関法としてジョイント・フ−リエ変換相関法が多く用いられる。その方法は参照画像と被識別画像を同じ画面上において、それに可干渉性レ−ザ光を照射して、フ−リエ変換レンズの後焦点面に出現する光回折パタ−ンの干渉画像を写真乾板または空間光変調器(SLMと略記する)上に撮り、現像した乾板またはSLMに可干渉性平行光を照射して、逆フ−リエ変換レンズの後焦点面上で得られる相関信号光の強さが或る閥値を越えた強度のとき、被識別画像と参照画像の一致度が高いという識別判定手段をとっている。
従って、被識別画像と参照画像がわずかに異なるプリント基板等の欠陥検査法等の場合には、相関信号光の閥値判定では微妙な欠陥あるいは被検査形状中の数少ない欠陥は識別できない。そのため、プリント基板等に含まれる欠陥検査にはジョイント・フ−リエ変換相関法は利用できない。
【0003】
ここで、上記ジョイント・フ−リエ変換相関法や通常のマッチトフィルタ法での相関信号光の強さを欠陥検査に用いる場合、欠陥の識別ができないことの理由を更に詳細に述べる。
1)欠陥検査にジョイントフ−リエ変換相関法を用いる場合の不都合
被検査物体の形状と標準(参照)物体の形状との間の非常に些細な違いはジョイント・フ−リエ変換相関法ではその形状の違いを検出できない。その理由は、ジョイント・フ−リエ変換法では、被識別信号光の中に同一形状を識別したという相関光が現れるだけで、異なる形状であっても、すなわち参照形状と比べてその極く一部だけが異なる形状であっても、相関信号光の強さは殆ど変わらず、信号光中には欠陥が或ることが明確に現れないという欠点がある。従って、プリント基板等での欠陥検査法としてはジョイント・フ−リエ変換法は不適である。
2)マッチトフィルタ法の相関光強度から欠陥検査をしようとする不都合
非常に小さな欠陥、すなわち、形状の相違点が非常に小さいとき、形状識別結果を表す相関光の強度レベルの変化が少なくて、相関信号光の強さ、すなわち、物体光としての光回折パタ−ンが再生させた参照光の強さ、にはその違いが現れにくい。
3)光学的欠陥検査の可能性
形状の些細な違いや小さな欠陥はジョイント・フ−リエ変換相関法の相関光の強度からは識別できない。また、マッチトフィルタ法での相関光の強度からも小さな欠陥は通常は識別出来難い。従って、被検査物体の光回折パタ−ンがマッチトフィルタに照射されたとき、欠陥部分だけの光回折パタ−ンをフィルタを透過させて識別するしか、その方法がないと考えられる。
すなわち、参照形状と全く同じ形の被検査物体のフ−リエ変換像がマッチトフィルタに重なると、被検査物体のフ−リエ変換光は参照光側に回折されて、物体光としてフィルタを透過する光量がすくなくなる。欠陥部分のフ−リエ変換光はそのままフィルタを透過する。従って、フィルタの後に設置された凸レンズの逆フ−リエ変換面には欠陥部分が強い強度で現れる。
【0004】
【発明が解決しようとする課題】
プリント基板や実装基板等の欠陥検査法、あるいは、格子基板の検査法などには、従来、目視によるか、またCCDカメラ等で被検査物体画像を取り込み、その画像を標準形状画像または参照画像とディジタル画像処理により比較して、欠陥を検出することが行われている。欠陥の自動検査法としては画像のディジタル処理比較法が優れている。しかし、その方法には以下の様な欠点がある。すなわち、(1)多数の画像を比較する場合には画像処理に時間がかかり高速実時間検査が困難である、(2)被検査物体を正確に位置決めして比較画像を常に一定位置に取り込む必要がある、(3)複数検査物体を同時並列に検査することが困難である、等々の欠点がある。
最先端の差分法を用いたディジタル画像識別法でも5μm以上のサイズの欠陥の6インチウエハ上の外観検査に14min程度の時間がかかるのが現状である。
【0005】
そこで、 本発明は、被検査物体の位置が上下、左右にずれていても複数欠陥項目を光速度で比較検査して欠陥を検出できとともに、複数画像を持つ複数の被検査物体を同時に欠陥検査することができる光学系を用いた形状欠陥等の検査方法および装置を提供することにより、上記従来の検査法の欠点を解決することを目的とする。本方法または装置によって検出できる欠陥としては、例えば、プリント基板表面に存在する、パタ−ンの欠け、断線、短絡、銅残り(金鍍金の欠損)、金鍍金の変色、レジストのピンホ−ル、付着、剥がれ、異物付着、等多項目の欠陥、さらに実装基板では、部品欠落、極性反転、品名相違、取付異状などがある。
【0006】
この技術の原理や手順を簡単に述べるとつぎのようになる。
1)プリント基板の欠陥検査:(1)平行レ−ザ光束中の凸レンズの前焦点面に複数形状群を入れるとその光回折パタ−ンはレンズの後焦点面で光軸中心になって現れる。(2)そこで、レンズの前焦点面と後焦点面に空間光変調器(SLM)または液晶ディスプレイ(LCD)を置き、それにCCDカメラを繋いで前焦点面には被検査物体を映し出し、後焦点面には参照物体の光回折パタ−ン群を映し出す。(3)後焦点面で光軸中心に現れた参照物体の標準形状群の光回折パタ−ン群からつくられたLCD遮光マスクあるいはホログラフィック遮光マスク等によって被検査物体の光回折フィルタを透過した被検査物体の光回折パタ−ンを逆フ−リエ変換レンズで集めれば、逆フ−リエ変換レンズの後焦点面に欠陥部分だけの画像が基板上の位置と点対象の位置に明かるい像として観測される。(4)検査結果の欠陥部を表す画像はCCDカメラで取り込まれ、パ−ソナルコンピュ−タPCのディスプレイ上にビデオレ−トで表示されると共に欠陥信号が表示される。
2)実装基板の外観検査:基本的にはプリント基板についての方法と同じである。
3)特に、実装基板の外観検査で、多重マッチトフィルタを用いて、識別結果を相関信号光で出力させるときには、すなわち、(1)外観検査項目に応じた各識別フィ−ルドごとに自己相関光を出力させて検査するときには、(2)識別の結果得られた自己相関信号光群をLCD上に映し出し、(3)そこに参照物体の自己相関信号光群を照射すると、(4)被検査相関光群のうち、フィルタ遮光出来なかった参照相関信号光が画面上に現れて、欠落等の欠陥部分が強い光点となって欠陥項目と位置が同時に直ちに画像上で表示される。(5)すなわち、参照の自己相関信号配置と被検査自己相関信号光配置の光学的自動差し引きにより、欠陥があるか正常化を知らせるシステムが構成される。
【0007】
【課題を解決するための手段】
このため、本発明が採用した技術解決手段は、
平行レ−ザ光束中に置かれた凸レンズL1と、その凸レンズの前焦点に置いた被検査物体形状写出手段と、前記凸レンズL1の後焦点面P1に置いた形状識別手段とを有する形状欠陥等の検査装置であって、前記装置は前記形状識別手段を前焦点とする凸レンズL2の後焦点面に撮影手段を備え、前記被検査物体形状写出手段の画像を読みだし、前記形状識別手段に重ね合わせ、光学的に差分または排他的論理和をとることにより被検査基板等の形状欠陥等の形状の異状を検出することを特徴とする形状欠陥等の検査装置である。
また、前記形状識別手段は、参照形状の光回折パタ−ンを基準(参照)の光回折パタ−ンとして搭載した光学フィルタであることを特徴とする形状欠陥等の検査装置である。
また、前記光学フィルタは光導電プラスチックホログラム(PPH)乾板に参照物体形状の光回折パタ−ンを投影して作成した光フィルタであることを特徴とする形状欠陥等の検出装置である。
また、前記被検査物体形状写出手段は、CCDカメラで撮影した画像を写し出すための液晶ディスプレイであり、前記形状識別手段は液晶ディスプレイであり、さらに読み出し手段はレーザ光であることを特徴とする形状欠陥等の検出装置である。
また、前記記載の形状欠陥等の検出装置を使用して形状欠陥等の検査を行う検査方法において、参照基板等の参照物体画像と被検査基板等の欠陥をも含んだ被検査物体画像とを重ね合わせ、光学的に差分または排他的論理和をとることにより被検査基板等の形状欠陥等の形状の異状を検出することを特徴とする形状欠陥等の検査方法である。
また、前記に記載の形状欠陥等の検出装置を使用して形状欠陥等の検査を行う検査方法において、参照基板等の参照物体の光回折パターンと被検査物体の光回折パターンとを光学的に差分または排他的論理和を取ることにより、形状欠陥等を検出することを特徴とする形状欠陥等の検査方法である。
また、平行レ−ザ光束中に置かれた凸レンズL1と、その凸レンズの前焦点に置いた被検査物体形状写出手段と、前記凸レンズL1の後焦点面P1に置いた形状識別手段とを有する形状欠陥等の検査装置であって、前記被検査物体形状写出手段は空間光変調器であり、さらに前記空間光変調器に画像を映し出す画像プロジェクタと、前記空間光変調器の画像を読みだす手段と、前記読みだした画像を前記凸レンズを通して前記形状識別手段に写しだし、形状識別手段でフィルタリングした像を撮影する撮影手段(カメラ)とを備えていることを特徴とする形状欠陥等の検出装置である。
また、前記被検査物体形状写出手段は、空間光変調器(SLM)であり、前記形状識別手段は液晶ディスプレイであり、さらに読み出し手段は平行レーザ光束から作りだした可干渉性光束であることを特徴とする形状欠陥等の検出装置である。
また、前記形状識別手段として多重マッチトフィルタ(PPH)を使用し、前記多重マッチトフィルタに参照物体形状画像を搭載する手段と、前記空間光変調器に画像を映し出す画像プロジェクタと、前記空間光変調器の画像を読みだす手段と、前記読みだした画像を前記凸レンズを通して前記多重マッチトフィルタでフィルタリングし、その結果を撮影する撮影手段メラと、参照画像と被識別画像の一致度を判定するための相関光検出光学系と、参照物体形状フィルタとなる多重マッチトフィルタ作成用の参照光照射光学系とを備えていることを特徴とする形状欠陥等の検出装置である。
また、前記多重マッチトフィルタは、光導電プラスチックホログラム乾板に参照物体形状の光回折パタ−ンを投影して作成したことを特徴とする形状欠陥等の検出装置である。 また、前記多重マッチトフィルタは、位相型多重マッチトフィルタを光りフィルタとし、位相共役結晶とともに用いることを特徴とする形状欠陥等の検出装置である。
また、前記記載の形状欠陥等の検出装置を用いて形状欠陥を検出する方法において、参照基板等の参照物体の光回折パタ−ン群を液晶ディスプレイまたは多重マッチトフィルタあるいは位相共役結晶に記録投射したものを光学フィルタとし、それに被検査物体形状を空間光変調器または液晶ディスプレイ等から投影して形状欠陥等を検出することを特徴とする形状欠陥等の検出方法である。
また、平行レ−ザ光束中に置かれた凸レンズL1と、その凸レンズの前焦点に置いた被検査物体形状写出手段と、前記凸レンズL1の後焦点面P1に置いた形状識別手段とを有する形状欠陥等の検査装置であって、前記被検査物体形状写出手段は空間光変調器(SLM)であり、前記形状識別手段は液晶ディスプレイ(LCD)であり、さらに、前記空間光変調器に参照物体形状画像を映し出す画像プロジェクタと、前記空間光変調器の画像を読みだす手段と、前記読みだした画像を前記凸レンズを通して前記液晶ディスプレイ(LCD)に投影する手段と、前記光学系と平行に配置され凸レンズの前焦点に置いた空間光変調器(SLM)と、前記空間光変調器に被検査物体形状画像を映し出す画像プロジェクタと、前記空間光変調器の画像を読みだす手段と、前記読みだした画像を位相共役結晶で逆位相光として反射し前記液晶ディスプレイに写し出す位相共役結晶逆位相反射手段と、液晶ディスプレイからの画像情報を逆フーリエ変化して撮影するCCDカメラとを備えていることを特徴とする形状欠陥等の検出装置である。
また、光学的差分または排他的論理和を実現するために位相共役結晶を用いることを特徴とする形状欠陥等の検出装置である。
また、前記に記載に形状欠陥等の検出装置を用いて形状欠陥等を検出する方法であって、光導電プラスチックホログラム(PPH)乾板に参照物体形状の光回折パタ−ンを投影して作成した光フィルタの後ろに、位相共役結晶を置き、物体光が位相共役光として照射光路を逆進する光学系を欠陥形状識別に用いることを特徴とする形状欠陥等の検出方法である。
【0008】
【実施の形態】
以下本発明の実施形態を説明する。
まず、本技術の原理およびそれを使用した欠陥検出方法を説明すると、図1(イ)、(ロ)は本発明の原理を説明する図であり、図2はその原理に使用するフローチャートである。
図1(イ)において、平行レ−ザ光束中に置かれた凸レンズL1の後焦点面P1に液晶ディスプレイ(LCD)を置き、前焦点面P0に被参照物体形状写出手段、例えば被参照物体画像用の空間光変調器(SLM)または液晶ディスプレイ(LCD)を置く。まず、後焦点面P1に置かれた液晶ディスプレイLCDに参照物体形状の光回折パタ−ンを映し出して、これを形状識別手段である形状識別フィルタとする。凸レンズL1の前焦点面P0に置いた空間光変調器(SLM)または液晶ディスプレイ(LCD)に被検査物体形状を投影し、読み出し手段(レーザ光)で読み出すと凸レンズL1の後焦点面で被検査物体の光回折パタ−ンが生じ、後焦点面P1の液晶ディスプレイLCD(形状識別手段)上で参照形状の光回折パタ−ンに重なり、被検査物体の光回折パタ−ンのうち参照物体の光回折パタ−ンと一致するものは遮断されて、形状識別フィルタを透過できなくなる。
【0009】
被検査物体に欠陥が有れば正常な形状の光回折パターンは遮断され、欠陥の光回折パタ−ンだけが後焦点面P1の形状識別フィルタを透過するから、図1(ロ)に示すように、それを形状識別用フィルタ設置位置を前焦点として設置された凸レンズL2の後焦点面P2で観測すれば、欠陥部分だけが輝いて見える。そこで、検査結果の欠陥部を表す画像をCCDカメラ等で取り込むことで、パ−ソナルコンピュ−タPCディスプレイ上にビデオレ−トで表示されると共に欠陥信号が表示される。なお、結像光強度を或るしきい値で切って欠陥部分の画像を鮮明化することも可能である。
【0010】
これを図2に示すフローチャートに基づいて説明すると、
ステップ1で、標準基板からの参照画像を取り込み、ステップ2でレンズL1による画像のフーリエ変換を行い、ステップ3で後焦点面P1上の液晶ディスプレイ上に写し出し参照画像の形状識別用フィルタを構成する。即ち、このステップ3で参照物体形状の光回折パタ−ンを映し出しておく。また、ステップ4で空間光変調器(SLM)または被検査物体画像用(LCD)から被検査物体の被検査画像を読み出し手段(レーザ光)で読み出し、ステップ5で凸レンズL1による画像のフーリエ変換を行い、これをステップS3の後焦点面P1の参照画像の形状識別用フィルタに重ねあわせる。ここで、欠陥の光回折パタ−ンだけは形状識別フィルタを透過するから、ステップ6で、それを識別フィルタ設置位置を前焦点として設置された凸レンズL2で逆フーリエ変換を行うと欠陥部分だけが輝いて見えることになり、それをステップ7で画像として取り込む。こうして被検査物体の存在する欠陥の位置を形状とを検出する。
なお、参照物体形状群の光回折パタ−ン(光回折画像群)を形状識別用フィルタLCD上に得るには、平行レ−ザ光束中に置かれた凸レンズの前焦点面に参照物体画像を置けばレンズの後焦点面で光回折パタ−ン群が現れるからそれを投影してLCDに映し出しても良いし、コンピュ−タで作成した光回折パタ−ン群を識別フィルタ用LCDに映し出しても良い。
【0011】
以下上記原理を用いた具体的検査方法および検査装置について説明する。
(1)識別フィルタ用LCDを被検査物体像の投影に用いる場合
被検査物体像の投影にLCDを用いる場合についての検査法あるいは検査装置の具体例を図3に示す。
図3に従って更に具体的に検査装置を説明すると次のようになる。なお、図2と共通する部材には同一符号を使用する。
図3中において、LCD1は凸レンズL1の前焦点面P0に配置され被検査物体(基板)を写し出す液晶ディスプレイ、L1は液晶ディスプレイLCD1を前焦点とし液晶ディスプレイLCD2を後焦点とする凸レンズ、LCD2は参照基板を写し出し形状識別用フィルタの機能を持つ液晶ディスプレイ、L2は液晶ディスプレイLCD2を前焦点とした凸レンズ、P2は凸レンズL2の後焦点面であり、これらは、図1(ロ)に示す構成に対応している。
液晶ディスプレイLCD1には被検査基板P3をCCDカメラ8で写しテレビまたはビデオ6で画像とした画像情報を写しだす。また参照物体(基板)P4をレンズ10でフーリエ変換した像をCCDカメラ9で撮りこみ、テレビまたはビデオ7で画像とした情報を蓄積するとともに液晶ディスプレイLCD2に写しだして形状識別用フィルタとする。また、図中1はレーザ光源、2、3は平行光を得るための凸レンズ、4は撮影手段としてのCCDカメラ、5はパソコン、10は凸レンズであり、これらは図示のような光学系を構成している。
【0012】
上記構成からなる検査装置を用いた欠陥識別を図4のフローチャートを用いて説明する。
ステップS11で標準基板(参照基板)を配置し、ステップS12で標準基板からの参照画像を凸レンズ10によるフーリエ変換を行い、ステップS13でこれをCCDカメラ9で撮影し、ステップS14でテレビまたはビデオ7で参照画像とし、ステップS15で液晶ディスプレイLCD2にフーリエ変換パターンを投影し、形状識別用フィルタを形成する。また、ステップS17で被検査基板を配置し、ステップS18でその画像をCCDカメラ8で取込み、ステップS19で液晶ディスプレイLCD1に投影する。そしてレーザ光源1から発射されたレーザ光によって液晶ディスプレイLCD1上の画像を読み出し、ステップS20で凸レンズL1でフーリエ変換し、液晶ディスプレイLCD2に投影する。この結果ステップS16で凸レンズL1の後焦点面P1で被検査物体の光回折パタ−ンと参照基板の光回折パタ−ンが重なり、形状識別用フィルタによる差分演算が行われる。その画像をステップS21で凸レンズL2により逆フーリエ変換し、ステップS22で欠陥の形状と位置を取込み、それを撮影手段であるCCDカメラ4で撮影して、ステップS23でパソコンディスプレイ5上に表示する。
ステップS16において、被検査物体に欠陥が有れば、その時の画像を液晶ディスプレイLCD2の設置位置を前焦点として設置された凸レンズL2の後焦点面P2で観測すれば、欠陥部分だけが輝いて見える。そしてこの検査結果の欠陥部を表す画像をCCDカメラ4で取り込むことで、パ−ソナルコンピュ−タ5のディスプレイ上にビデオレ−トで表示されると共に欠陥信号が表示される。
【0013】
つぎに、SLMを被検査物体像の投影に用いる場合の具体的構成を図5を参照して説明する。
被検査物体像を投影するとき、凸レンズ24の後焦点面(凸レンズL1の前焦点面P0)に置かれる被検査画像にSLMを用いる場合には、SLMの後ろには偏光ビ−ムスプリッタPBSが置かれ、SLMの前側には画像プロジェク23が置かれて、CCDカメラ31から取り込まれた被識別物体の画像がSLMの書き込み側に投影されるように配置される。可干渉性レ−ザ平行光束は偏光ビームスプリッタPBSを通り、偏光面を調整されて、SLMの読み出し側に投射される。CCDカメラ31を通してプロジェクタ23からSLMに投影された被識別画像はレ−ザ光で読みだされ、凸レンズL1でフ−リエ変換されて形状識別用フィルタとしての液晶ディスプレイLCD上に投影される。
【0014】
図5を参照して更に具体的に検査装置を説明すると次のようになる。
レ−ザ光源21から出る可干渉性レ−ザ光の光軸上にミラ−22、画像プロジェクタ23、投影凸レンズ24、空間光変調器(SLM)、偏光ビ−ムスプリッタPBS、凸レンズL1、液晶ディスプレイ(LCD)、凸レンズL2、CCDカメラ25がこの順番に並べられている。被検査物体を撮影するCCDカメラ31によって取り込まれた被検査物体の画像は画像プロジェクタ23から投影レンズ24を通して空間光変調器SLMの書き込み側に正確に投影されるようになっている。偏光ビ−ムスプリッタPBSは空間光変調器SLMにできる限り近寄せてあり、空間光変調器SLMは凸レンズL1の前焦点面P0に設置される。液晶ディスプレイLCDは、凸レンズL1の後焦点面でもあり同時に凸レンズL2の前焦点面でもあるP1面に設置されている。また、凸レンズL2の後焦点面にはCCDカメラ25が配置され、CCDカメラ25の光電面は凸レンズL2の後焦点面P2にある。なお、光学系は1本の光学レ−ル上にセットされていてもよい。
【0015】
さて、液晶ディスプレイLCD上には前述した装置と同様に参照回折パターンが標準基板をもとに写し出されている。液晶ディスプレイの結晶面はこの参照回折パターンのように配向が変わり、参照パターンの形で遮光が行われる。ミラ−22はレ−ル上の載物台上にあり、この載物台にはミラ−28が載せられており、レ−ザ光は空間光変調器SLM上の画像情報を読みだすための可干渉性光束として1/2波長板(λ/2)27を通り、凹レンズ28と凸レンズ29によって平行に拡大されてミラ−30で反射され、偏光ビ−ムスプリッタPBSを通って、空間光変調器SLMの読み出し側に照射される。CCDカメラ31から取り込まれた被検査物体の画像は画像プロジェクタ23を介してSLMの書き込み側に投影される。この投影図が、偏光ビ−ムスプリッタPBSを通って空間光変調器SLMの読み出し側に照射されるレ−ザ光によって読みだされ、凸レンズL1によってフ−リエ変換される。フーリエ変換された光回折パタ−ン群は液晶ディスプレイLCD上の参照回折パタ−ンでフィルタリングされる。この時、被検査物体に欠陥があれば、欠陥部の光回折パタ−ンのみが参照回折パターンを写し出している液晶ディスプレイLCDを透過する。その透過した光回折パタ−ンは凸レンズL2によって逆フ−リエ変換されて後焦点面P2上のCCDカメラ25によって検出されるから、結像画像をあるしきい値で切るなどして欠陥部分だけを他に比べて明るい画像として検出・表示する。なお検査結果の欠陥部を表す画像はパーソナルコンピュータPC32のディスプレイ上にビデオレ−トで表示されるようにしてもよい。なお、図5に示す装置の検査方法は、基本的には図3に示す装置と同様であり、その検査方法のフローチャートは前述した図4と同じであるので説明は省略する。
【0016】
次に、多重マッチトフィルタを欠陥識別に用いる場合についての装置構成について図6に基づいて説明する。
図6は凸レンズL1の後焦点P1面に多重マッチトフィルタPPHを液晶ディスプレイLCDの代わりに設置して、欠陥検査を行う。
多重マッチトフィルタには参照物体(基板)の基本的な形状パタ−ンが検査されるよう各形状構成パタ−ンが分離されて検査アルゴリズムとして搭載される。多重マッチトフィルタPPHに被検査物体(基板)の回折光群が当たると識別信号として各構成形状ごとの参照光群が再生されて、参照光照射光軸上で多重マッチトフィルタPPHを前焦点面として設置された凸レンズL3によって収束されて凸レンズL3の後焦点面P3上に自己相関光群が出現する。また、多重マッチトフィルタPPHによって妨げられなかった被検査物体の回折光と多重マッチトフィルタPPHによって弱められて通過した回折光群は凸レンズL2によって逆フ−リエ変換されて後焦点面P2上に像を結ぶ。後焦点面P2上でのこれらの像は参照基板の参照画像は光度が弱く、欠陥画像は光度が強く、出現する。従って、後焦点面P2上で被検査物体の欠陥画像が識別される。短絡や異物付着などは差分で容易に検出されるが、部分欠落の検出は多少検出に困難を伴う。例えば、被識別基板上の欠落した分は焦点面P3上の自己相関光群中の欠落分となるから、被検査基板の自己相関光群をP3面上でCCDカメラ54で撮影して、これをLCD上に映し出してフィルタとし、正常の参照基板の自己相関光を照射してLCD上で引き算することによって、被検査基板上の欠落分が光点として現れる。なお、凸レンズL3、焦点面P3、CCDカメラ54によって相関光検出光学系を構成しており、また、図中のハーフミラー51、1/2波長板52、ミラー53は多重マッチトフィルタを作成するときに用いる参照光を照射するための参照光照射光学系を構成する。多重マッチトフィルタPPHは参照基板が異なるごとに短時間で作成できるようにセットされている。検査に当たってはハーフミラー51、1/2波長板52、ミラー53を含んだ参照光照射光学系には、図6の場合光を入れず遮光されている。
【0017】
次に、位相型多重マッチトフィルタを光フィルタとし、位相共役結晶と共に用いる場合の装置構成について図7を参照して説明する。
この装置では、位相共役結晶を用いて被検査形状を含む光波の逆位相光を発生させ、それを参照形状光波と合わせて、光学的に排他的論理和を達成する。
図7に示される凸レンズL1の後焦点P1面に、多重マッチトフィルタとしてPPH乾板のように画像情報が透明プラスチックの厚みの変化として記録される位相型の画像記録光学フィルタを置き、多重マッチトフィルタの再生用参照光も位相共役結晶を用いて逆位相参照光にして照射し、欠陥検査を行う。
図6で述べたと同じように図7中のハ−フミラ−70を透過してミラー71で反射された参照光と、CCDカメラ78でとりこまれSLMから読みだされた参照形状の光回折パタ−ンを物体光として、PPH位相型マッチトフィルタが作られる。なお、このときの識別参照形状は基準の基板の形状そのものを用いる。すなわち、検査アルゴリズムとして、参照基板の基本的な形状パタ−ンから各形状構成パタ−ンを分離して検査アルゴリズムとして搭載する必要は無い。さて、作成された多重マッチトフィルタに、図7に示すように設置された位相共役結晶から生ずる逆位相の参照光を照射する。これによってPPHから逆位相の参照形状が再生される。この逆位相光参照形状とCCDカメラ77で取り込まれSLMから照射される被検査基板からの形状光がP2面上で排他的論理和としてとられ、P2の後ろで欠陥部分だけがCCDカメラ65で撮影される。
【0018】
なお、相関光を識別に使う場合は次のように行われる。上記多重マッチトフィルタを欠陥識別に用いる場合のところで述べたように、多重マッチトフィルタには参照基板の基本的な形状パタ−ンが検査されるよう各形状構成パタ−ンが分離されて検査アルゴリズムとして搭載される。さて、多重マッチトフィルタに被検査基板の回折光群が当たると識別信号として参照光群が再生されて、参照光照射光軸上で多重マッチトフィルタPPHを前焦点面として設置された凸レンズL3によって収束されて凸レンズL3の後焦点面P3上に自己相関光群が出現する。被識別基板上の欠落した分はP3面上の自己相関光群中の欠落分となるから、被検査基板の自己相関光群をP3面上でCCDカメラ75で撮影して、これをLCD上に映し出してフィルタとし、正常の参照基板の自己相関光を照射してLCD上で引き算することによって、被検査基板上の欠落分が光点として現れる。
図6のミラー53に代えて位相共役結晶74を用いて構成した、ハーフミラー71、1/2波長板72、凸レンズ73を含めた光学系は、多重マッチトフィルタ作成用または逆位相物体光再生用の参照光照射光学系を構成している。なお、レンズL3、焦点面P3、CCDカメラによって相関光検出光学系を構成する。参照光照射光学系で作り出された参照光と参照基板の映像をフーリエ変換した画像を物体光として、多重マッチトフィルタがホログラムとして作成される。位相共役結晶74をミラーに代えて、符号72、73、74を含んだ光学系で参照光を構成すると参照光はホログラム作成時と逆位相になる。即ち、ハーフミラー71、1/2波長板72、凸レンズ73、位相共役結晶74は参照光を逆位相にするための働きをし、逆位相光でマッチトフィルタPPHを照射するとL2の方向に逆位相の参照光が再生され、これと被検査画像とが差分されて欠陥だけが画像として残る。
【0019】
上記図6、図7の装置による欠陥識別法のフローチャートを図8に示す。図8中点線枠で囲まれた手順は図7に示す装置に用いる場合であり、二重線枠で囲まれた手順は図6に示す装置に用いるものであり、それ以外は共通の手順である。また、括弧内の符号は図7のものである。
図8において、ステップS31で標準基板(参照基板)から参照画像をとり込み、ステップS33でプロジェクタ43(63)によるSLM側への参照画像を投影する。ステップS34でSLMから可干渉性標準画像を読み出し、ステップS35で凸レンズL1によるフーリエ変換を行い、ステップS36でPPH乾板への参照画像の投影を行う(即ちこのステップSでPPH多重マッチトフィルタを作成する)。また、ステップS38で被検査基板の画像をCCDカメラ56(77)で取込み、ステップS39でプロジェクタによるSLMへ書き込みを行い、ステップS40で可干渉性被検査画像を読み出し、ステップS41で凸レンズL1によるフーリエ変換を行い、ステップS37で前述したPPH多重マッチトフィルタに被検査基板の光回折パターンを写して、PPH多重マッチトフィルタによる光差分または排他的論理和を演算し、その画像をステップS42で凸レンズL2により逆フーリエ変換し、ステップS43で欠陥の形状と位置を取込み、それをステップS44でディスプレイ上に表示する。
【0020】
ステップS37において、被検査物体に欠陥が有れば、その時の画像を多重マッチトフィルタPPHの設置位置を前焦点として設置された凸レンズL2の後焦点面P2で観測すれば、欠陥部分だけが輝いて見える。そしてこの検査結果の欠陥部を表す画像をCCDカメラ45(65)で取り込むことで、パ−ソナルコンピュ−タ55(76)のディスプレイ上にビデオレ−トで表示されると共に欠陥信号が表示される。
なお、多重マッチトフィルタを欠陥識別に用いる検査装置では、ステップS31とステップS33との間にステップS32による識別アルゴリズムを搭載することもでき、さらにステップS37で演算された画像はステップS45で光相関演算結果の参照光軸上への相関信号として出現し、これをステップS44でディスプレイ上に表示することができる。
また位相型多重マッチトフィルタを光フィルタとし、位相共役結晶と共に用いる検査装置の場合には、ステップS36でPPH乾板にレーザの逆位相参照光をあてることになる。
【0021】
次に、位相共役結晶と位相型SLMを検査に用いる場合の装置構成について図9を参照して説明する。
図9に、位相型SLMと位相共役結晶を用いて光学的に2つの画像の排他的論理和をとって、欠陥検査を行うための概略図を示す。また、図10には図9に示す欠陥識別の方法についてのフロ−チャ−トを示す。
レ−ザ光源81から出る可干渉性レ−ザ光の光軸上にミラ−82、画像プロジェクタ84、投影レンズ84、空間光変調器(SLM)、偏光ビ−ムスプリッタPBS、凸レンズL1、液晶ディスプレイLCD、凸レンズL2、CCDカメラ86がこの順番に並べられている。これと全く同じ光学系が、画像プロジェクタ92から凸レンズ93)まで対称に並んでいる。ただし、下段の光学系ではCCDカメラ86の代わりに位相共役結晶94がP2面上に設置されている。ミラ−82からミラ−87を通り、1/2波長板(λ/2)88を通って、凹レンズ89と凸レンズ90によって平行に拡大されてミラー91を通り、偏光ビームスプリッタPBSを通って、SLMの読み出し側に照射される光学系と同じ光学系が対象に設置され、可干渉性レ−ザ光はミラ−83、ミラー95を通ってSLMに照射さている。CCDカメラ101からの被検査基板の画像は画像プロジェクタ84で投影され、CCDカメラ102からの参照基板の画像は画像プロジェクタ92で投影される。位相共役結晶94で反射された参照基板画像は下側PBSで反射され、逆位相の参照基板画像光が上側PBSで反射されて、被検査基板の画像光と重なって光学的に排他的論理和がCCDカメラ86の画像として得られる。
【0022】
図10に図9に示す装置による欠陥検出方法のフローチャートを示す。
図において、ステップS51でCCDカメラ101により標準基板(参照基板)から参照画像をとり込み、ステップS52で画像プロジェクタ84によるSLM側への参照画像を投影する。ステップS53でSLMから可干渉性標準画像を読み出し、ステップS54で凸レンズL1によるフーリエ変換を行う。またステップS55で被検査基板の画像をCCDカメラ102で取込み、ステップS56で画像プロジェクタ92によるSLMへ書き込みを行い、ステップS57で可干渉性被検査画像を読み出し、ステップS58で凸レンズL1によるフーリエ変換を行い、さらにステップS59で凸レンズL2による逆フーリエ変換を行い、ステップS60で位相共役結晶による逆位相画像光を発生させ、ステップS61でそれを凸レンズL2によるフーリエ変換をおこない、さらにステップS62で凸レンズL1による逆フーリエ変換を行い、ステップS63で二つのPBSによる被検査画像の位相共役画像の搬送を行い、ステップS54で凸レンズL1によるフーリエ変換を行いステップS64で凸レンズL2による逆フーリエ変換を行い、ステップS65で2画像の排他的論理和演算を行う。その結果をステップS 86で画像として取込み、ステップS67で表示する。
【0023】
以上、本発明の実施の形態について説明してきたが、本発明は上記実施形態に限定することなく、本発明はその精神または主要な特徴から逸脱することなく、他のいかなる形でも実施できる。そのため、前述の実施形態はあらゆる点で単なる例示にすぎず限定的に解釈してはならない。
【0024】
【発明の効果】
以上、詳述してきたように本発明は、斬新な光アナログ法を用いたプリント基板等の外観検査法であり、従来のディジタル画像処理法では不可能である、異なる検査項目を並列高速に、しかも被検査物体を厳しい位置きめをせずに実時間的に欠陥検査を自動的に行うことを可能にする。また、本発明は、異なる種類の欠陥の並列検査法として、光回折パタ−ン群を光速度で並列識別して、欠陥部分だけを画像上に並列に瞬時に表示することができる。また、本発明は、異なる欠陥の複数の検査項目を識別するための光アナログ識別のアルゴリズムを短時間にインスト−ルを可能にする。また、本発明は、実装基板の外観検査においても、光アナログ計算機法で複数の検査項目を並列に行うという独創的な手法である、等の優れた効果を奏することができる。
【図面の簡単な説明】
【図1】 レンズの前焦点面上の複数の開口による光回折パターンの図であり、(イ)、(ロ)は本発明の原理を説明図であって、レンズL1の前焦点面にある複数の開口から光回折パターンはL1の後焦点面で光軸中心に重なって現れる様子を示している。
【図2】 その原理に使用するフローチャートである。
【図3】 被検査物体像の投影にLCDを用いる場合についての検査法あるいは検査装置の具体例を図3に示す。
【図4】 検査装置を用いて欠陥識別を行うフローチャートである。
【図5】 SLMを被検査物体像の投影に用いる場合の具体的構成図である。
【図6】 多重マッチトフィルタを欠陥識別に用いる場合についての装置構成図である。
【図7】 位相型多重マッチトフィルタを光フィルタとし、位相共役結晶と共に用いる場合の装置構成図である。
【図8】 図6、図7の装置により欠陥識別を行うためのフローチャートであるる。
【図9】 位相共役結晶と位相型SLMを検査に用いる場合の装置構成図である。
【図10】 図9に示す装置による欠陥検出方法のフローチャートである。
【符号の説明】
1 レーザ光源
2、3 平行光を得るための凸レンズ
4 CCDカメラ
5 パソコン
10 凸レンズ
L1 凸レンズ
P1 凸レンズL1の後焦点面
P0 凸レンズL1の前焦点面
LCD 液晶ディスプレイ
SLM 空間変調器

Claims (15)

  1. 平行レ−ザ光束中に置かれた凸レンズL1と、その凸レンズの前焦点に置いた被検査物体形状写出手段と、前記凸レンズL1の後焦点面P1に置いた形状識別手段とを有する形状欠陥等の検査装置であって、前記装置は前記形状識別手段を前焦点とする凸レンズL2の後焦点面に撮影手段を備え、前記被検査物体形状写出手段の画像を読みだし、前記形状識別手段に重ね合わせ、光学的に差分または排他的論理和をとることにより被検査基板等の形状欠陥等の形状の異状を検出することを特徴とする形状欠陥等の検査装置。
  2. 前記形状識別手段は、参照形状の光回折パタ−ンを基準(参照)の光回折パタ−ンとして搭載した光学フィルタであることを特徴とする請求項1に記載の形状欠陥等の検査装置。
  3. 前記光学フィルタは光導電プラスチックホログラム(PPH)乾板に参照物体形状の光回折パタ−ンを投影して作成した光フィルタであることを特徴とする請求項2に記載の形状欠陥等の検出装置。
  4. 前記被検査物体形状写出手段は、CCDカメラで撮影した画像を写し出すための液晶ディスプレイであり、前記形状識別手段は液晶ディスプレイであり、さらに読み出し手段はレーザ光であることを特徴とする請求項1〜請求項3のいずれかに記載の形状欠陥等の検出装置。
  5. 請求項1〜4に記載の形状欠陥等の検出装置を使用して形状欠陥等の検査を行う検査方法において、参照基板等の参照物体画像と被検査基板等の欠陥をも含んだ被検査物体画像とを重ね合わせ、光学的に差分または排他的論理和をとることにより被検査基板等の形状欠陥等の形状の異状を検出することを特徴とする形状欠陥等の検査方法。
  6. 請求項1〜4に記載の形状欠陥等の検出装置を使用して形状欠陥等の検査を行う検査方法において、参照基板等の参照物体の光回折パターンと被検査物体の光回折パターンとを光学的に差分または排他的論理和を取ることにより、形状欠陥等を検出することを特徴とする形状欠陥等の検査方法。
  7. 平行レ−ザ光束中に置かれた凸レンズL1と、その凸レンズの前焦点に置いた被検査物体形状写出手段と、前記凸レンズL1の後焦点面P1に置いた形状識別手段とを有する形状欠陥等の検査装置であって、前記被検査物体形状写出手段は空間光変調器であり、さらに前記空間光変調器に画像を映し出す画像プロジェクタと、前記空間光変調器の画像を読みだす手段と、前記読みだした画像を前記凸レンズを通して前記形状識別手段に写しだし、形状識別手段でフィルタリングした像を撮影する撮影手段(カメラ)とを備えていることを特徴とする形状欠陥等の検出装置。
  8. 前記被検査物体形状写出手段は、空間光変調器(SLM)であり、前記形状識別手段は液晶ディスプレイであり、さらに読み出し手段は平行レーザ光束から作りだした可干渉性光束であることを特徴とする請求項7に記載の形状欠陥等の検出装置。
  9. 前記形状識別手段として多重マッチトフィルタ(PPH)を使用し、前記多重マッチトフィルタに参照物体形状画像を搭載する手段と、前記空間光変調器に画像を映し出す画像プロジェクタと、前記空間光変調器の画像を読みだす手段と、前記読みだした画像を前記凸レンズを通して前記多重マッチトフィルタでフィルタリングし、その結果を撮影する撮影手段メラと、参照画像と被識別画像の一致度を判定するための相関光検出光学系と、参照物体形状フィルタとなる多重マッチトフィルタ作成用の参照光照射光学系とを備えていることを特徴とする請求項7に記載の形状欠陥等の検出装置。
  10. 前記多重マッチトフィルタは、光導電プラスチックホログラム乾板に参照物体形状の光回折パタ−ンを投影して作成したことを特徴とする請求項9に記載の形状欠陥等の検出装置。
  11. 前記多重マッチトフィルタは、位相型多重マッチトフィルタを光りフィルタとし、位相共役結晶とともに用いることを特徴とする請求項9に記載の形状欠陥等の検出装置。
  12. 前記請求項9〜11に記載の形状欠陥等の検出装置を用いて形状欠陥を検 出する方法において、参照基板等の参照物体の光回折パタ−ン群を液晶ディスプレイまたは多重マッチトフィルタあるいは位相共役結晶に記録投射したものを光学フィルタとし、それに被検査物体形状を空間光変調器または液晶ディスプレイ等から投影して形状欠陥等を検出することを特徴とする形状欠陥等の検出方法。
  13. 平行レ−ザ光束中に置かれた凸レンズL1と、その凸レンズの前焦点に置いた被検査物体形状写出手段と、前記凸レンズL1の後焦点面P1に置いた形状識別手段とを有する形状欠陥等の検査装置であって、前記被検査物体形状写出手段は空間光変調器(SLM)であり、前記形状識別手段は液晶ディスプレイ(LCD)であり、さらに、前記空間光変調器に参照物体形状画像を映し出す画像プロジェクタと、前記空間光変調器の画像を読みだす手段と、前記読みだした画像を前記凸レンズを通して前記液晶ディスプレイ(LCD)に投影する手段と、前記光学系と平行に配置され凸レンズの前焦点に置いた空間光変調器(SLM)と、前記空間光変調器に被検査物体形状画像を映し出す画像プロジェクタと、前記空間光変調器の画像を読みだす手段と、前記読みだした画像を位相共役結晶で逆位相光として反射し前記液晶ディスプレイに写し出す位相共役結晶逆位相反射手段と、液晶ディスプレイからの画像情報を逆フーリエ変化して撮影するCCDカメラとを備えていることを特徴とする形状欠陥等の検出装置。
  14. 光学的差分または排他的論理和を実現するために位相共役結晶を用いることを特徴とする請求項13に記載の形状欠陥等の検出装置。
  15. 前記請求項14に記載に形状欠陥等の検出装置を用いて形状欠陥等を検出する方法であって、光導電プラスチックホログラム(PPH)乾板に参照物体形状の光回折パタ−ンを投影して作成した光フィルタの後ろに、位相共役結晶を置き、物体光が位相共役光として照射光路を逆進する光学系を欠陥形状識別に用いることを特徴とする形状欠陥等の検出方法。
JP2001039446A 2001-02-16 2001-02-16 形状欠陥等の検査方法および装置 Expired - Fee Related JP3934351B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001039446A JP3934351B2 (ja) 2001-02-16 2001-02-16 形状欠陥等の検査方法および装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001039446A JP3934351B2 (ja) 2001-02-16 2001-02-16 形状欠陥等の検査方法および装置

Publications (3)

Publication Number Publication Date
JP2002243426A JP2002243426A (ja) 2002-08-28
JP2002243426A5 JP2002243426A5 (ja) 2005-03-17
JP3934351B2 true JP3934351B2 (ja) 2007-06-20

Family

ID=18902231

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001039446A Expired - Fee Related JP3934351B2 (ja) 2001-02-16 2001-02-16 形状欠陥等の検査方法および装置

Country Status (1)

Country Link
JP (1) JP3934351B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4091605B2 (ja) 2003-03-31 2008-05-28 富士通株式会社 フォトマスクのパターン検査方法、フォトマスクのパターン検査装置、およびフォトマスクのパターン検査プログラム
JP4061289B2 (ja) 2004-04-27 2008-03-12 独立行政法人科学技術振興機構 画像検査方法及び装置
JP5354971B2 (ja) * 2007-08-31 2013-11-27 キヤノン株式会社 イメージング方法及び装置
CN110196568B (zh) * 2018-02-26 2022-06-24 宝山钢铁股份有限公司 行车抓取板坯的方法

Also Published As

Publication number Publication date
JP2002243426A (ja) 2002-08-28

Similar Documents

Publication Publication Date Title
JPH02170279A (ja) 被検査対象パターンの欠陥検出方法及びその装置
JP3483948B2 (ja) 欠陥検出装置
WO1997004285A1 (en) Moire interferometry system and method with extended imaging depth
JPH0670798B2 (ja) 光学的パターン認識方法
JP3934351B2 (ja) 形状欠陥等の検査方法および装置
JP2009505105A (ja) 改良型ホログラフィ撮像のためのシステムおよび方法
JPH03249550A (ja) パターン欠陥検査装置
JP3768029B2 (ja) パターン欠陥修正装置
JPH10282007A (ja) 異物等の欠陥検査方法およびその装置
JPH06167458A (ja) 異物検査装置
JPH01297542A (ja) 欠陥検査装置
JP2002243426A5 (ja)
JP3802241B2 (ja) 文字列や複数形状等の識別方法および装置
JPH08186808A (ja) 画像処理方法及びその装置
JPH08286163A (ja) 画像処理装置及び撮像装置
JPS636443A (ja) マスク上の異物検査装置およびその方法
JPH06160297A (ja) 表面欠陥検出装置
JP3865023B2 (ja) 光処理方法および光処理装置
JP2006105844A (ja) ホログラムの照明方法と撮像方法及びホログラム欠陥検査装置
KR0183599B1 (ko) 헤드 드럼 조립체의 더블 헤드 자세 측정장치
JPS636442A (ja) 異物検査方法及びその装置
JPH09318556A (ja) 欠陥検査装置
JP2002156309A (ja) 光学システムの欠陥検査装置
JPH07175205A (ja) レチクル検査方法
JP2898666B2 (ja) 光学的パターン識別装置

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040420

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040420

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20051227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060620

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060724

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070313

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070315

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100330

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110330

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120330

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130330

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130330

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140330

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees