JP3977503B2 - フィルム検査方法およびそれを用いたフィルム検査装置 - Google Patents

フィルム検査方法およびそれを用いたフィルム検査装置 Download PDF

Info

Publication number
JP3977503B2
JP3977503B2 JP02496398A JP2496398A JP3977503B2 JP 3977503 B2 JP3977503 B2 JP 3977503B2 JP 02496398 A JP02496398 A JP 02496398A JP 2496398 A JP2496398 A JP 2496398A JP 3977503 B2 JP3977503 B2 JP 3977503B2
Authority
JP
Japan
Prior art keywords
film
edge
pixel
inspection
brightness
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP02496398A
Other languages
English (en)
Other versions
JPH11223608A (ja
Inventor
修 廣瀬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sumitomo Chemical Co Ltd
Original Assignee
Sumitomo Chemical Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sumitomo Chemical Co Ltd filed Critical Sumitomo Chemical Co Ltd
Priority to JP02496398A priority Critical patent/JP3977503B2/ja
Publication of JPH11223608A publication Critical patent/JPH11223608A/ja
Application granted granted Critical
Publication of JP3977503B2 publication Critical patent/JP3977503B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Testing Of Optical Devices Or Fibers (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、液晶表示素子等の偏光板等に用いられる、多層型のフィルムに存在する欠陥を検出するためのフィルム検査方法およびそれを用いたフィルム検査装置に関するものである。
【0002】
【従来の技術】
液晶表示素子における偏光板として、多層型偏光フィルムが広く用いられている。この多層型偏光フィルムは、偏光作用を生じる偏光フィルムの両面に、補強用フィルムおよび保護用フィルム等が貼られたものである。
【0003】
この多層型偏光フィルムを製造する過程において、各層間に気泡や異物が混入してしまうことがある。このような気泡や異物は、偏光板としての機能を低下させてしまう欠陥となるので、製造された多層型偏光フィルムの外観検査を行い、欠陥の有無を検査する必要がある。この検査のための従来技術としては、照明装置からの光を多層型偏光フィルムに反射させ、その反射光の強度を測定する、あるいは、反射光の明度の濃度線の歪みを測定することによって、欠陥部分と正常部分とを識別する検査装置が知られている。
【0004】
また、特開平7−110227号公報には、上記のような検査装置において、被検査物のたわみをなくすために、被検査物をローラーに吸着させて引っ張る構成が開示されている。この構成では、被検査物の平面状態を維持させることで、欠陥による凹凸を明確にするようになっている。
【0005】
また、特開平6−235624号公報には、スリット状の光源を用いて多層型偏光フィルムに斜方から光を照射し、この光が正反射する方向から、フィルム表面の画像をデフォーカスして検出し、画像を平滑化および2次微分することによって、欠陥を検出する構成が開示されている。この構成では、スリット状の光源を斜方向から照射することで、表面の微少な凹凸や凹みにより生じる魔鏡現象を利用して欠陥を検出するようになっている。また、画像をデフォーカスして検出することにより、反射光の集束や発散現象により生じる欠陥を、短い光路長の光学系を用いて高コントラストで検出するようになっている。さらに、画像を平滑化し、2次微分することによって、画像信号の欠陥による微少な変化を強調して検出するようになっている。
【0006】
また、特開平7−311160号公報には、紫外線を吸収する偏光フィルムと、表面保護フィルムを含む多層型偏光フィルムの表面に、紫外線と可視光線とを順に照射し、反射光と透過光とを得る構成が開示されている。この構成では、双方の光から得られる画像を比較することによって、偏光フィルムの欠陥のみを検出するようになっている。
【0007】
【発明が解決しようとする課題】
ところで、上記のような多層型偏光フィルムのエッジ(フィルムの端部)付近では、偏光フィルムや補強用フィルム、あるいはその外側の保護用フィルムを貼り合わせている糊が抜けてしまうことがある。この糊抜けは、各フィルム間に生じる隙間や、フィルムの剥離の原因となり、重大な欠陥である。また、これらフィルムどうしが剥がれるほど大きくない糊抜けであっても、最終製品である液晶表示素子のディスプレイにおける画素欠陥となる。これは、糊自身には光学機能はないが、糊のピンホール(糊抜け部分)と正常な部分とでは、明るさや色合いが異なるからである。さらに、実用上には問題がないほど小さい糊抜けでも、外観上の傷であることに変わりはないから、多層型偏光フィルムの製品としての価値を低める原因となる。
【0008】
しかしながら、上述したような従来の検査装置では、このエッジ付近の欠陥を検出することはできなかった。この理由を以下に示す。
【0009】
検査にかかる多層型偏光フィルム(以下、ワークと称する)は、欠陥検査の際、所定の位置に必ずしも正確に固定されるわけではない。すなわち、ワークを所定の位置に搬送する際の誤差等の外乱により、ワークを搬送するためのベルトコンベア上の所定の位置に、所定の状態で正確に固定することは困難であった。
【0010】
従って、ワークのエッジ近傍を検査した際に、欠陥を示す信号が検出されても、この信号がワーク内から発生したのか、あるいは、ワーク外の搬送装置等から発生したのか判別できなかった。このため、従来のフィルム検査装置では、エッジ近傍の検査は行わないか、あるいは、エッジ近傍の検査結果を考慮せず、ワークの内部のみの欠陥を検査するようにしていた。そして、エッジ近傍の検査は、人間が目視によって行っていた。
【0011】
このような目視による検査を確実に行うには、熟練した検査員が必要であり、さらに、この検査員の数は、ワークの生産増につれて増大させなければならない。また、目視による検査は、信頼性および生産性に限界がある。
【0012】
本発明は、上記従来の問題点を解決するためになされたもので、その目的は、ワークにおけるエッジ近傍の欠陥を確実にかつ高速で検出するための、フィルム検査方法およびそれを用いたフィルム検査装置を提供することにある。
【0013】
【課題を解決するための手段】
上記の目的を達成するために、本発明のフィルム検査方法は、フィルムの搬送方向にほぼ平行な直線状のエッジに対し、平行に延びる光をフィルムに照射し、このフィルムを撮像して得られる画像における複数の画素の明度を測定し、該光の鏡面反射光を映している画素を特定するとともに、上記フィルム内部における正常な部分を映している画素の明度と、該フィルム外の背景を映している画素の明度との差を検知することにより、該フィルムのエッジを映している画素を特定し、該鏡面反射光を映している画素と該フィルムのエッジを映している画素との間の画素を、フィルムのエッジ近傍を映している画素として特定する第1の工程と、この第1の工程において特定された画素を、上記光の延びる方向とほぼ垂直な方向に並んだ画素の明度を測定することによりフィルムの欠陥を検出する第2の工程とを含んでいることを特徴としている。
【0014】
上記の方法では、フィルムに光を照射し、その光に照らされたフィルムの画像をカメラ等で取得する。その後、その画像を画素毎に解析することで欠陥を検査するようになっている。
【0015】
そして、上記の方法によれば、第1の工程において、フィルムにおけるエッジの近傍における欠陥を検出するために、画像を取得した後、上記画像における複数の画素の明度を測定し、上記フィルム内部における正常な部分を映している画素の明度と、該フィルム外の背景を映している画素の明度との差を検知することにより、該フィルムのエッジを映している画素を特定し、該フィルムのエッジを映している画素に基づいて、このエッジ近傍を映している画素を特定する。エッジ近傍とは、フィルムのエッジから所定の位置だけ内側に入った部分までであり、所定の位置とは、ユーザが自由に設定できるものである。そして、第2の工程において、第1の工程で特定された画素に対して、明度を測定する等の解析を行う。
【0016】
このように、上記の方法では、欠陥の検出前に、検査にかかるフィルムのエッジにおける画像上の位置を特定するようになっている。従って、フィルムを搬送する際に生じる外乱等により、検査の度に画像上のフィルムの位置が変化してしまっても、エッジとその近傍とを映している画素の位置を、検査の前に正確に把握することができる。
【0017】
これにより、第2の工程における画像の解析によって得られた欠陥を示す信号が、フィルム外から得られたものか、あるいは、フィルムのエッジ近傍から得られたものかを明確にすることができる。従って、エッジ近傍の欠陥検査を自動化することが可能となり、欠陥を確実にかつ高速で検出することができるようになっている
【0018】
記の方法によれば、上記第1の工程は、フィルムの搬送方向にほぼ平行な直線状のエッジに対し、平行に延びる光の鏡面反射光を映している画素をまず特定する。さらに、フィルム外を映している画素とフィルム内を映している画素との明度の差を検出し、フィルムのエッジを映している画素を特定するようになっている。
【0019】
そして、これら鏡面反射光を映している画素とフィルムのエッジを映している画素との間の画素を、上記第2の工程によって欠陥を検査するためのフィルムの近傍を映している画素とするようになっている。
【0020】
そして、この第2の工程において、このフィルムのエッジとほぼ平行に延びる光を映している画素から、この光の延びる方向と垂直な方向に沿って画像上に並んでいる画素の明度を測定するようになっている。
【0021】
一般に、フィルムの欠陥においては入射した光が散乱するので、欠陥を映している画素の明度は高くなる。また、鏡面反射光を映している画素の明度は、比較的強いものとなる。従って、このように測定を行うと、画素の位置と明度の変化との関係は、以下のようになる。すなわち、鏡面反射光を映している画素の明度は比較的強く、この画素からエッジを映している画素に向かうに従って、明度は減少する。そして、測定される明度がある程度小さくなれば、その明度を発生する画素は既に鏡面反射光を映していない、と判断できる。
【0022】
従って、その後、ある程度大きな明度を発する画素を検出した場合には、その画素は、欠陥による散乱のために大きな明度を有していると判断される。このように、上記の方法では、鏡面反射光と欠陥からの散乱光とを明確に区別して欠陥検査を行うことが可能となっている。
【0023】
また、本発明のフィルム検査方法は、上述した方法において、上記第1の工程は、フィルムのエッジ近傍を映している画素であって、このエッジと平行に並んだ画素の組み合わせを特定する工程を含むと共に、上記第2の工程は、この特定された組み合わせの1つにおける画素の明度を測定する工程を含んでいることを特徴としている。
【0024】
上記の方法によれば、第1の工程において、特定されたフィルムのエッジを映している画素に基づいて、エッジの近傍を映している複数の画素のなかから、エッジと平行に並んだ画素の組み合わせを特定するようになっている。この組み合わせは、エッジそのものを映している画素の組み合わせに基づいて、多くの組み合わせを容易に特定することが可能である。
【0025】
そして、第2の工程において、この組み合わせの1つを取り出して、エッジに沿った方向に並んだ順に、各画素の明度を測定するようになっている。この測定は、上記した第1の工程において得られた組み合わせの1つあるいは全てについて行われる。
【0026】
このように、上記の方法では、エッジ近傍を映している画素に対して、エッジに沿った方向に明度を測定・比較を行うので、フィルム外からの明度が測定されることがない。従って、欠陥による散乱光の明度がフィルム外からの明度より小さい場合にも、欠陥を検出することができる。
【0027】
また、本発明のフィルム検査装置は、フィルムの搬送方向にほぼ平行な直線状のエッジに対し、平行に延びる光をフィルムに照射する照明手段と、このフィルムを撮像して得られる画像における複数の画素の明度を測定し、上記光の鏡面反射光を映している画素を特定するとともに、上記フィルム内部における正常な部分を映している画素の明度と、該フィルム外の背景を映している画素の明度との差を検知することにより、該フィルムのエッジを映している画素を特定し、該鏡面反射光を映している画素と該フィルムのエッジを映している画素との間の画素を、フィルムのエッジ近傍を映している画素として特定する第 1の画像処理手段と、この第1の画像処理手段によって特定された画素を、上記光の延びる方向とほぼ垂直な方向に並んだ画素の明度を測定することによりフィルムの欠陥を検出する第2の画像処理手段とを備えていることを特徴としている。
【0028】
上記の構成では、フィルムに光を照射し、その光に照らされたフィルムの画像をカメラ等で取得する。その後、その画像を画素毎に解析して、欠陥を検査するようになっている。
【0029】
そして、上記の構成によれば、フィルムにおけるエッジの近傍における欠陥を検出するために、画像を取得した後、第1の画像処理手段が、上記画像における複数の画素の明度を測定し、上記フィルム内部における正常な部分を映している画素の明度と、該フィルム外の背景を映している画素の明度との差を検知することにより、該フィルムのエッジを映している画素を特定し、該フィルムのエッジを映している画素に基づいて、このエッジ近傍を映している画素を特定する。エッジ近傍とは、フィルムのエッジから所定の位置だけ内側に入った部分までであり、所定の位置とは、ユーザが自由に設定できるものである。そして、第1の工程で特定された画素に対して、第2の画像処理手段が、明度を測定する等の解析を行う。
【0030】
このように、上記の構成では、欠陥の検出前に、第1の画像処理手段が、検査にかかるフィルムのエッジにおける画像上の位置を特定するようになっている。従って、フィルムを搬送する際に生じる外乱等により、検査の度に画像上のフィルムの位置が変化してしまっても、エッジとその近傍とを映している画素の位置を、検査の前に正確に把握することができる。
【0031】
これにより、第2の画像処理手段による画像の解析によって得られた欠陥を示す信号が、フィルム外から得られたものか、あるいは、フィルムのエッジ近傍から得られたものかを明確にすることができる。従って、エッジ近傍の欠陥検査を自動化することが可能となり、欠陥を確実にかつ高速で検出することができるようになっている
【0032】
記の構成によれば、フィルムの直線状の搬送方向にほぼ平行な直線状のエッジに対し、ほぼ平行に延びる光を照射するための照明手段を備えている。そして、第1の画像処理手段は、この光の鏡面反射光を映している画素をまず特定する。さらに、フィルム外を映している画素とフィルム内を映している画素との明度の差を検出し、フィルムのエッジを映している画素を特定するようになっている。
【0033】
そして、第1の画像処理手段は、これら鏡面反射光を映している画素とフィルムのエッジを映している画素との間の画素を、第2の画像処理手段によって欠陥を検査するためのフィルムの近傍を映している画素とする。
【0034】
また、第2の画像処理手段は、上記鏡面反射光を映している画素から、この光の延びる方向と垂直な方向に沿って、画像上に並んでいる画素の明度を測定するための第2の画像処理手段を備えている。
【0035】
一般に、フィルムの欠陥においては入射した光が散乱するので、欠陥を映している画素の明度は高くなる。また、鏡面反射光を映している画素の明度は、比較的強いものとなる。従って、このように測定を行うと、画素の位置と明度の変化との関係は、以下のようになる。すなわち、鏡面反射光を映している画素の明度は比較的強く、この画素からエッジを映している画素に向かうに従って、明度は減少する。そして、測定される明度がある程度小さくなれば、その明度を発生する画素は既に鏡面反射光を映していない、と判断できる。
【0036】
従って、第2の画像処理手段が、鏡面反射光を映していないと判断した画素から、ある程度大きな明度を検知した場合には、その明度を発生している画素は、欠陥を映していると判断する。このように、上記の構成では、鏡面反射光と欠陥からの散乱光とを明確に区別して欠陥検査を行うことが可能となっている。
【0037】
また、本発明のフィルム検査装置は、上述した記載の構成において、上記第1の画像処理手段が、フィルムのエッジ近傍を映している画素であって、このエッジと平行に並んだ画素の組み合わせを特定する組み合わせ特定手段を含むと共に、上記第2の画像処理手段が、上記組み合わせ特定手段によって特定された組み合わせの1つにおける画素の明度を測定する第3の画像処理手段を含んでいることを特徴としている。
【0038】
上記の構成によれば、第1の画像処理手段は、特定されたフィルムのエッジを映している画素に基づいて、エッジの近傍を映している複数の画素のなかから、エッジと平行に並んだ画素の組み合わせを特定するための組み合わせ特定手段を備えている。この組み合わせ特定手段は、エッジそのものを映している画素から1つの組み合わせを作成し、この組み合わせに基づいて、エッジに平行な多くの組み合わせを容易に特定する。
【0039】
そして、第2の画像処理手段は、組み合わせ特定手段が特定した組み合わせの1つを取り出して、エッジに沿った方向に並んだ順に、各画素の明度を測定する第3の画像処理手段を備えている。この第3の画像処理手段による測定は、上記組み合わせ特定手段が特定した組み合わせの1つあるいは全てについて行われる。
【0040】
このように、上記の構成では、第3の画像処理手段は、エッジ近傍を映している画素に対して、エッジに沿った方向に明度を測定・比較を行う。従って、第3の画像処理手段は、フィルム外からの明度を測定することがない。従って、欠陥による散乱光の明度がフィルム外からの明度より小さい場合にも、欠陥を検出することができる。
【0041】
【発明の実施の形態】
本発明の一実施形態について説明すれば、以下の通りである。
【0042】
図2は、本実施の形態にかかるフィルム検査装置(以下、単にフィルム検査装置とする)の構成を示すブロック図である。この図に示すように、フィルム検査装置は、エッジ検査装置1と、チップ検査装置2と、シーケンサ3と、OK/NG仕分け回収装置4と、搬送装置5とを備えている。
【0043】
この、フィルム検査装置は、後述するような多層型偏光フィルムにおける、異物・気泡の混入等による欠陥や、糊抜けによる浮き・剥がれ等の欠陥の有無を検査し、多層型偏光フィルムの製品としての適否を判定するものである。さらに、製品として適するものと適さないものとを選り分けて回収する機能も有している。
【0044】
まず、フィルム検査装置の検査対象である多層型偏光フィルムについて説明する。図3は、この多層型偏光フィルムの一構成例を示す説明図である。この図に示すように、この多層型偏光フィルムは、セパレートフィルムSP,3層構造の偏光フィルムPLおよびプロテクトフィルムPFがこの順に積層されてなる構成である。
【0045】
セパレートフィルムSPは、偏光フィルムPLを保護するために設けられているものであり、偏光フィルムPLとは糊層BLで貼り合わされている。多層型偏光フィルムを液晶表示素子等に利用する場合には、このセパレートフィルムSPを剥がし、偏光フィルムPLに残る糊層BLによって液晶表示素子のパネル等に固定するようになっている。
【0046】
また、偏光フィルムPLは、偏光子PLaの両側に、補強層PLb・PLcが張り合わされてなるものである。
【0047】
また、プロテクトフィルムPFは、偏光フィルムPLを保護するために設けられているフィルムである。このプロテクトフィルムPFは自粘性フィルムであり、偏光フィルムPLから糊層BLと共に剥がれるようになっている。通常、このプロテクトフィルムPFは、多層型偏光フィルムを用いる製品を製造するメーカー、あるいは、その製品を使用する最終ユーザによって剥がされる。
【0048】
次に、図2に示したフィルム検査装置の各構成について説明する。なお、以下では、検査にかかる多層型偏光フィルムをワークと称する。
【0049】
エッジ検査装置1は、フィルム検査装置の特徴的な構成であり、ワークのエッジにおける欠陥の有無を検査し、検査の結果をシーケンサ3に出力する装置である。このエッジ検査装置1については後述する。
【0050】
搬送装置5は、図示しない吸着パッドによってワークを固定し、図4に示すようなベルトコンベア10によって、エッジ検査装置1,チップ検査装置2およびOK/NG仕分け回収装置4にこのワークを搬送するための装置である。すなわち、ワークをエッジ検査装置1あるいはチップ検査装置2における所定の検査位置まで搬入し、検査後にOK/NG仕分け回収装置4まで搬出するものである。この搬送装置5の搬送速度(ライン速度)は、例えば120mm/sec程度である。
【0051】
チップ検査装置2は、ワークのエッジ以外の全面における欠陥を検査する装置である。図4は、このチップ検査装置2の構成の概略を説明するための説明図である。この図に示すように、チップ検査装置2は、画像解析装置11と、ワークのエッジ以外の全面を撮像するためのテレビカメラ12と、ワークに光を照射するための照明13とを備えている。
【0052】
照明13には、例えば蛍光管が用いられる。そして、この図に示すように、ベルトコンベア10の下側から、このベルトコンベア10の上側に固定されているワークに光を照射するようになっている。テレビカメラ12は、ワークをベルトコンベア10の上側から撮像し、撮像した画像を画像解析装置11に出力する。そして、画像解析装置11は、この画像を解析して欠陥の有無を検査し、その結果をシーケンサ3に出力するようになっている。画像解析装置11の欠陥検査は、後述するエッジ検査装置1の処理において説明する水平方向の検査と同様の方法で行われる。
【0053】
OK/NG仕分け回収装置4は、検査装置1・2による検査の結果に基づくシーケンサ3の指示により、ワークを選り分けるものである。すなわち、図2に示すように、OK/NG仕分け回収装置4は、OK側回収装置4aとNG側回収装置4bとを備えている。そして、検査の結果、ワークが製品として適さないものであると判断された場合には、このNG側回収装置4bがこのワークを回収するようになっている。一方、ワークが製品として適するものであると判断された場合には、OK側回収装置4aがこのワークを回収する。
【0054】
シーケンサ3は、エッジ検査装置1,チップ検査装置2,OK/NG仕分け回収装置4および搬送装置5を制御してワークの搬送・検査・回収を行わせる、フィルム検査装置の制御装置である。すなわち、シーケンサ3は、搬送装置5によって、エッジ検査装置1およびチップ検査装置2とOK/NG仕分け回収装置4とに搬送させる。そして、これら検査装置1・2に所定の検査を行わせた後、検査の結果に基づいてOK/NG仕分け回収装置4を制御し、ワークを回収させるものである。
【0055】
次に、フィルム検査装置におけるワークの検査処理について説明する。図5は、フィルム検査装置の検査処理を示すフローチャートである。なお、以下では、製品として適さないワークをNG、適するワークをOKとする。
【0056】
検査にかかるワークが搬送装置5の図示しない吸着パッドに固定されると、シーケンサ3は、搬送装置5を制御して、ワークをチップ検査装置2に搬送し(S1)、チップ検査装置2にワークのエッジ以外の欠陥を検査させる(S2)。そして、ワークがNGであった場合には、シーケンサ3は、搬送装置5を制御してOK/NG仕分け回収装置4にワークを搬送し、NG側回収装置4bを制御してワークを回収させる(S3)。
【0057】
一方、S2においてワークがOKと判断された場合には、シーケンサ3は、搬送装置5を制御してワークをエッジ検査装置1に搬送し(S4)、エッジ検査装置1を制御してワークのエッジ近傍の欠陥を検査させる(S5)。そして、ワークがNGであった場合には、エッジ検査装置1における検査の場合と同様に、シーケンサ3は、搬送装置5およびNG側回収装置4bを制御してワークを回収させる(S3)。一方、S5においてワークがOKであった場合には、シーケンサ3は、搬送装置5を制御してOK/NG仕分け回収装置4に搬送し、OK側回収装置4aを制御してワークを回収させる(S6)。S3あるいはS6の後、さらに別のワークの検査を行う場合には、シーケンサ3はS1〜S6の処理を繰り返す。
【0058】
次に、フィルム検査装置の特徴的な構成である、エッジ検査装置1について詳細に説明する。このエッジ検査装置1は、ワークのエッジ周辺の欠陥を検出する装置であるが、このエッジ周辺に発生する欠陥とは、主に、以下の2つである。すなわち、図3に示した多層型偏光フィルムにおける偏光フィルムPLとセパレートフィルムSPとの間にある糊層BLが部分的に欠落する糊抜け、および、セパレートフィルムSPおよびプロテクトフィルムPFの部分的な剥がれ(浮き、剥がれ、折れ等とも呼ばれる)である。
【0059】
図6は、エッジ検査装置1の構成を示す説明図である。この図に示すように、エッジ検査装置1は、画像処理装置(第1〜3の画像処理手段,組み合わせ特定手段)21と、モノクロのテレビモニタ22・22と、画像入出力ボード23・23と、PIO(Parallel Input Output )ボード24と、モノクロのテレビカメラ25・25と、照明装置(照明手段)26・26と、ワーク検知センサ27とを備えている。
【0060】
照明装置26・26は、搬送装置5のベルトコンベア10(図4参照)によって所定の検査位置に搬入されてきたワークに光を照射するものであり、例えば螢光管よりなる。この照明装置26は、ワークのエッジ近傍より内側の上部に配置されている。テレビカメラ25・25はモノクロのCCD(Charge Coupled Device )エリアカメラである。そして、エッジ近傍から反射光を受光、すなわち、エッジ近傍を撮像し、映像信号を出力するものである。
【0061】
ワーク検知センサ27は、テレビカメラ25の視野にワークが入っている間、画像処理装置21にON信号を出力するものである。このワーク検知センサ27は、一方向に光を発し、反射光の強度によりON信号またはOFF信号を出力する、ごく一般的な反射型の光電スイッチからなっている。そして、エッジ検査装置1では、このワーク検知センサ27はテレビカメラ25の視野となるベルトコンベア10に向けて光を発している。そして、光がベルトコンベア10に照射されている場合とワークに照射されている場合との反射光量の差異を利用して、ワーク検知センサ27の真下にワークがあるかどうかを検出する。
【0062】
画像処理装置21は、テレビカメラ25・25が出力した映像信号を、画像入出力ボード23・23を介して取得する。そして、図示しないフレームメモリに取り込んで、後述する所定の画像処理によってワークの欠陥検査を行うものである。この検査の開始・終了は、上述したワーク検知センサ27によるON・OFF信号に基づいて行われる。
【0063】
そして、画像処理装置21は、検査の結果をPIOボード24を介してシーケンサ3に出力する。また、画像処理装置21は、取得した映像信号を、モノクロのテレビモニタ22・22に表示する。
【0064】
図7(a)(b)は、検査中のワークに対するテレビカメラ25・25および照明装置26・26の設置位置関係を示す説明図である。ここで、図7(a)は、エッジ検査装置1におけるエッジ検査中、ワークを上方から望む平面図であり、図7(b)は、同じくワークの搬送方向から望む正面図である。エッジ検査装置1では、長方形のワークの搬送方向にほぼ平行な2つのエッジを同時に検査するようになっている。従って、これらの図に示すように、テレビカメラ25および照明装置26は、各2組並列に設置されている。また、図7(a)に破線で示した領域は、テレビカメラ25・25の視野である。
【0065】
エッジ検査装置1は、検査領域であるエッジの全体の近傍を、複数の領域に分け、この領域毎に検査を行うようになっている。従って、テレビカメラ25の視野には、一部のエッジの近傍が入るようになっている。このエッジ検査装置1の検査領域およびテレビカメラ25の視野について、図8(a)(b)を用いて説明する。図8(a)は、エッジ検査装置1がエッジ検査を行うワークにおける検査領域を示す説明図である。この図に示すように、エッジ検査装置1は、長方形のワークの搬送方向にほぼ平行な2つのエッジの全体を検査する。そして、テレビカメラ25の視野となる領域は、図8(b)にカメラ視野として破線で示す領域であり、その面積は例えば40mm×40mm程度である。このテレビカメラ25の視野の面積は、ワークの大きさ、検査に必要な精度、検査に費やす時間等によって、ユーザの所望の大きさとすることができる。
【0066】
また、図7(b)に示すように、照明装置26・26は、ワークの内部における上部から、すなわち、斜め上方からエッジを照らすように位置している。また、テレビカメラ25・25は、真上からエッジを望む方向に位置している。エッジ検査装置1では、テレビカメラ25・25および照明装置26・26をこの図に示すように配置することによって、反射散乱法を用いて欠陥検査を行っている。この反射散乱法とは、欠陥のない正常な部分と欠陥部分とにおける光の散乱状態の相違を検知し、欠陥を検出する方法である。
【0067】
図9(a)(b)は、エッジ検査装置1における反射散乱法を説明するための説明図である。照明装置26とテレビカメラ25とがワークのエッジに対して上記のような位置関係にある場合、図9(a)(b)に示すように、テレビカメラ25は、エッジ近傍から離れたワークの内側の点Aから、照明装置26からワークに照射された光の鏡面反射を撮像する。そして、エッジ付近に欠陥がなければ、図9(a)に示すように、テレビカメラ25には、エッジ近傍からの散乱光はほとんど入射しない。
【0068】
一方、エッジ近傍に浮き・剥がれ等の欠陥があると、図9(b)に示すように、この欠陥によって反射光が散乱され、テレビカメラ25にこの散乱光が入射する。従って、画像処理装置21は、テレビカメラ25が撮像した画像における、エッジ近傍を映している各画素の明度を測定することによって、欠陥の有無を検出することができる。
【0069】
次に、エッジ検査装置1における欠陥検査の処理について、以下に詳細に説明する。
【0070】
図1は、エッジ検査装置1のフィルム検査の流れを示すフローチャートである。なお、このフローチャートは、図5においてS5として示したステップを詳細に示すものである。
【0071】
図1に示すように、エッジ検査装置1における検査にあたっては、まず、画像処理装置21が、テレビカメラ25を制御して、ワークの画像を取得する(S11)。図10は、S11で取得されるワークの画像の例を示す説明図である。この図に示すように、テレビカメラ25は、ワークにおける照明装置26の鏡面反射光が映っている部分と、ワークのエッジ近傍と、ワークを搬送するためのベルトコンベア10とが含まれる領域を撮像するようになっている。また、この画像の取得の開始は、ワーク検知センサ27がON信号を発生した瞬間、すなわち、ワークがワーク検知センサ27およびテレビカメラ25の真下に位置した瞬間から取得される。
【0072】
その後、画像処理装置21は、テレビカメラ25が撮像した画像を水平方向に走査し、画像の明度変化から、この鏡面反射光が映っている水平方向(ワークの搬送方向と垂直な方向)の位置(範囲)を検出する(S12)。その後、画像処理装置21は、画像を垂直方向(ワークの搬送方向)に走査し、画像の明度変化から、この鏡面反射光が映っている垂直方向の範囲を検出し、この範囲を垂直方向の検査範囲として設定する(S13)。
【0073】
そして、画像処理装置21は、S13で求めた垂直方向の検査範囲内で、後述する方法でワークのエッジを特定し、水平方向の検査範囲を設定する(S14)。このS13およびS14において設定された範囲がエッジ検査装置1におけるエッジ近傍の範囲となり、欠陥検査の範囲となる。
【0074】
そして、画像処理装置21は、エッジ近傍に対して、後述する水平方向検査を行う(S15)。S15において、ワークがOKであると判断した場合には、画像処理装置21は、後述するエッジ方向検査を行う(S16)。一方、S15において、ワークがNGであると判断した場合には、画像処理装置21は、検査の結果をシーケンサ3に出力し(S17)、検査を終了する。
【0075】
S16の後、画像処理装置21は、エッジ全体の検査が終了していないと判断した場合には、テレビカメラ25の視野を移動させ(S18・S19)、S11〜S18の処理を繰り返す。一方、エッジ全体の検査が終了している場合には、画像処理装置21は、シーケンサ3に検査結果を出力し(S18・S17)、検査を終了する。なお、S18における判断は、ワーク検知センサ27がOFF信号を発生しているかどうかで判断される。
【0076】
以下に、上記したS11〜S16における処理の詳細を説明する。
【0077】
図11(a)〜(f)は、S11において取得される画像の例を示す説明図である。これらのうち、図11(a)はワークの左側のエッジ上部の近傍の画像を示し、図11(b)・(c)は同じく左のエッジ中央部および下部の近傍の画像を示している。また、同様に、図11(d)〜(f)は、ワークの右側のエッジにおける上部、中央部および下部の近傍の画像を示している。すなわち、図11(a)(d)に示した画像はワークがテレビカメラ25の視野に入った瞬間の画像であり、図11(b)(e)に示した画像はワークがテレビカメラ25の視野を通過中の画像である。また、図11(c)(f)に示した画像はワークがテレビカメラ25の視野から外れる直前の画像である。
【0078】
なお、以下に示すS12〜S16として示した処理の説明は、図10や図11(d)に示した、ワークの右上部の画像を用いて行うが、これらの処理は、図11(a)〜(c),(e)(f)に示した画像にも同様に行われる。
【0079】
まず、S12として示した照明装置26の鏡面反射光における画像上の位置の設定について説明する。画像処理装置21は、図10に示したような画像を取得すると、この画像における各画素の明度の変化から、画像における鏡面反射光の水平方向における位置を検出する。
【0080】
図12は、このS12の処理を説明するための説明図である。すなわち、画像処理装置21は、図12中に矢印で示すように、ワークの内側からエッジの方向に向けて、水平方向に各画素の明度を測定する。そして、最大明度の画素と、この画素の水平方向両側に存在する、最大明度の半分の明度をもつ画素BおよびB’を特定する。そして、画像の垂直方向に平行でこれら画素B・B’を通る2本の直線を設定し、これら2つの直線の間を、照明装置26の鏡面反射光が撮像されている位置とする。なお、この測定を、垂直方向の位置を変えて数回行い、各測定における画素Bの群および画素B’の群に最もよく一致する近似直線をそれぞれ求め、これら2つの直線の間を、照明装置26の鏡面反射光が撮像されている位置とするようにしてもよい。
【0081】
次に、S13として示した垂直方向の検査範囲の設定について説明する。図13は、このS13の処理を説明するための説明図である。この図に実線の矢印で示すように、画像処理装置21は、照明装置26の鏡面反射光の中心位置で垂直方向に画像を解析し、各画素の明度変化から、鏡面反射光が映っている垂直方向の範囲を検出する。そして、この範囲の全て、すなわち、図13中に示した画素C・C’間を垂直方向の検査範囲とする。従って、図11(b)(e)に示したようなワークの角を含んでいない画像の場合には、この検査範囲は画像の垂直方向の有効画素の長さと同一となる。
【0082】
次に、S14として示した、水平方向の検査範囲の設定について説明する。画像処理装置21は、垂直方向の検査範囲内でワークのエッジを検出し、鏡面反射光のエッジ側の端部(図12におけるB’)を映している画素からエッジの外側10画素程度までを、水平方向の検査範囲として設定する。図14(a)は、このS14の処理を説明するための説明図である。すなわち、この図に示すように、画像処理装置21は、エッジの位置を特定するために、垂直方向の検査範囲内で、水平方向に並ぶ画素の明度を測定する。この測定は、垂直方向の位置を変えて任意の回数、例えば数回〜数10回行われる(図では3回)。そして、画像処理装置21は、各点における測定結果を基にエッジの位置を特定する。
【0083】
図14(b)は、1つの点における測定の結果を示すグラフであり、横軸は図14(a)における画像の各画素の位置を、縦軸は画素の明度をそれぞれ表している。これらの図に示すように、鏡面反射光を映している画素が大きな明度をもち、ワーク外の背景を映している画素の明度(背景明度)およびワーク内部における正常な部分(欠陥のない部分)を映している画素の明度(正常明度)は小さくなっている。また、背景明度は、正常明度よりわずかに大きくなっている。画像処理装置21は、これら背景明度と正常明度との差異を検知してエッジを映している画素を特定し、エッジから等距離の位置(エッジも含む)を映している画素の組み合わせを特定する。なお、この差異を強調するために、領域強調フィルタを用いた明度変化の強調など、信号波形の微少な変化を強調するような処理を行うようにしてもよい。
【0084】
また、画像処理装置21による、エッジから等距離の位置を映している画素の組み合わせの特定は、以下のように行われる。すなわち、例えばエッジを映している画素の組み合わせの特定では、画像処理装置21は、各測定におけるエッジを映している画素を抽出し、それらを直線近似し、この直線上にのる画素を求める組み合わせとする。この際、求められた直線から大きく外れる測定点は、ノイズ等による異常点と判断して、エッジ直線の特定には用いない。
【0085】
エッジを検出した後、画像処理装置21は、照明装置26の鏡面反射光の端部を映している画素(図12におけるB’)から、エッジ外側近傍(エッジから外側に10画素程度)までを含めて、水平方向の検査範囲として設定する。
【0086】
なお、水平方向検査を上記のB’から行うのは、鏡面反射光とエッジとを明確に区別するためである。また、エッジから外側に10画素とするのは、検査範囲が確実にエッジをまたいでいるかどうかを確認できるようにするためである。従って、確実にエッジをまたぐ範囲であれば、水平方向検査の範囲は、外側に10画素までとは限らず、任意の画素数に設定できる。
【0087】
また、S14における水平方向の検査範囲の設定において、鏡面反射光のエッジ側の端部(図12における画素B’)を通る垂直方向の直線と、エッジをなす直線とが所定の距離以下となったとき、あるいは重なってしまったときには、検査不能画像として処理する。この処理は、例えば無条件でワークをNGとする、あるいは、OK側回収装置4aでもNG側回収装置4bでもない第3の回収装置に回収させる等である。
【0088】
次に、S15として示した水平方向検査について説明する。この検査においては、画像処理装置21は、図15(a)に矢印で示すように、垂直方向の同一の位置において、水平方向の検査範囲内に並んでいる画素の明度を連続して測定する(以下、1つの垂直方向の位置での水平方向への画素の明度測定を、水平スキャンと称する)。
【0089】
図15(b)は、欠陥のある位置に水平スキャンを行って得られた、画素の位置とその明度との関係を示すグラフである。この図に示すように、鏡面反射光を映している画素の明度は大きく、エッジを映している画素に近づくにつれて明度は減少する。そして、欠陥では散乱光が発生するので、この散乱光を捉えている画素(欠陥を映している画素)の明度は大きくなる。
【0090】
なお、以下では、図15(b)に示すような、画素の位置に対応した明度の遷移状態を表す曲線を明度波形と称する。また、この散乱光により増大した明度を、欠陥明度と称する。
【0091】
ここで、水平スキャンにおける画像処理装置21による欠陥の検出について説明する。画像処理装置21は、図15(b)に示すような2つの異なる閾値A・B(A>B)をあらかじめ設定している。そして、画像処理装置21は、得られる明度が閾値Bを下回る画素を検出したとき、この画素より後に測定される画素は、鏡面反射光を映していないと判断する。そして、その後に閾値Aを超える明度を検出した場合、その明度を欠陥明度と判断する。そして、欠陥明度を発する画素が所定数以上連続して検出された場合に、ワークに欠陥があると判断し、ワークをNGと判定するようになっている。
【0092】
なお、この所定数は、画像の分解能とワークをNGと判断する欠陥の大きさとに依存する。例えば、画像の分解能80μm、すなわち、1つの画素が映すワーク上の領域が、水平方向に80μmの幅である場合であって、欠陥の大きさが300μm以上の場合にNGとしたい場合であれば、欠陥明度を発する連続する画素の数が3以下ならOKと判断され、4以上でNGと判断される。
【0093】
画像処理装置21は、この水平スキャンを、S13で設定された垂直方向の検査範囲の全てについて行う。ただし、欠陥を検出したと判断した場合には、すぐに検査を終了し、図1に示したS17に移行する。
【0094】
このように、水平方向検査では、画像処理装置21は、閾値を2つ設定し、鏡面反射光を映している画素からエッジ方向に水平スキャンを行うようになっている。そして、閾値Bを下回る明度の画素を検出した後、この画素よりエッジ側(鏡面反射光よりエッジ側)に、閾値Aより大きい明度の画素があるかどうかを検出するようになっている。これにより、鏡面反射光と欠陥からの散乱光とを明確に区別することができる。また、閾値付近における明度波形のがたつきによる誤検知を防止する、シュミットトリガとしての機能も有している。
【0095】
なお、この水平方向検査は、ワークの外側から鏡面反射光の方向に向けて行なわれてもよい。この場合、閾値Aを超える明度をもつ画素は、鏡面反射光、あるいは欠陥を映していると判断される。従って、閾値Aより大きな明度の画素に近接して閾値Bを下回る明度の画素が検出された場合には、この大きな明度は欠陥によるものと判断される。
【0096】
また、閾値A・Bは、鏡面反射光のピークレベルと背景画像のベースレベルとの間の値で、ユーザが任意に設定できる。なお、エッジ検査装置1における初期設定では、ベースレベルから、ピークレベルの50%を閾値A、40%を閾値Bとしている。
【0097】
次に、S16として示したエッジ方向検査について説明する。エッジ方向検査は、水平方向検査では検出できないような弱い散乱光を発生する、エッジのごく近傍に存在する欠陥を検出するための検査である。
【0098】
図16は、この検査を説明するための説明図である。なお、この図では、図15(a)等と異なり、ワークのエッジが画像の垂直方向を向いていないが、このことは、以下に示す処理に何ら影響するものではない。
【0099】
この図に矢印Lで示すように、エッジ方向検査は、ワークのエッジから等距離の位置を映している画素の明度を、S13・S14で設定された検査範囲内で連続して測定することで行なわれる。上記したように、このエッジから等距離の位置を映している画素の組み合わせは、S14として示した水平方向の検査範囲の設定の際に特定されている。また、この図には、比較のために、水平スキャンにおける方向を矢印Hとして示している。なお、以下では、この矢印Lとして示すような、エッジに沿った方向に並んだ画素の明度測定を、エッジスキャンと称する。
【0100】
また、図17は、このエッジ方向検査における検査範囲およびこの検査によって検出される欠陥について説明するための説明図である。この図に示すように、この検査によって検出される、エッジのごく近傍における欠陥K1は、エッジに沿って細長い形をしており、ワークの内部に深く入り込むことは少ない。従って、後述するように、エッジスキャンでは欠陥K1のエッジ方向の長さLyが所定の長さ以上の欠陥を検出した場合に、ワークをNGと判断する。このような理由により、エッジ方向検査の範囲は、垂直方向にはS13で設定された範囲であり、水平方向には、エッジを映している画素から、5画素程度内側までである。すなわち、エッジ方向検査では、エッジスキャンは5回程度だけ行われる。
【0101】
また、この図に示した欠陥K2のような、エッジからいくつか内側の画素から内部にかけて存在する欠陥であっても、幅Lxが水平方向検査によって検査され、長さLyがエッジ方向検査によって検査されるため、どちらかの検査によって検出可能である。すなわち、このLxが設定値より大きい場合には、水平方向検査によって検出される。エッジのごく近傍に発生する欠陥は、欠陥K1のようにエッジ方向に細長くなっているものが多く、幅Lxが設定値より小さくても、長さLyが設定値より大きい場合がある。このような場合には、水平方向検査によって見逃してしまった欠陥でも、エッジ方向検査によって検出可能である。
【0102】
エッジスキャンによって得られる明度波形を、図18(a)に示す。この図に示すように、このエッジ方向検査における欠陥の検出は、水平方向検査と同様に、2つの異なる値をもつ閾値C・D(C>D)を用いて行われる。これら閾値C・Dは、背景明度と正常明度との間の異なる2つの値であり、上記した閾値A・Bより低い値となっている。画像処理装置21は、一度Cを超え、その後にDを下回るような明度を検出したとき、その明度を欠陥明度と判断する。そして、欠陥明度をもつ画素が所定数以上連続して検出された場合、すなわち、閾値Cを超える画素が所定数以上連続して検出され、その後、閾値Dを下回るような画素が検出された場合に、ワークに欠陥があると判断し、ワークをNGと判定するようになっている。
【0103】
このエッジ方向検査において、上記のように2つの閾値を用いる理由について、図19(a)(b)を用いて説明する。これらの図に示すように、明度波形は必ずしも滑らかではない。従って、図19(a)に示すように、1つの閾値Cだけが設定された状態では、閾値付近での微少な変化も欠陥明度として検知されてしまうことがある。これは、欠陥の寸法誤差や欠陥数のカウント誤差の原因となってしまう。一方、図19(b)に示すように、2つの閾値C・Dを設定し、明度の大きさがCを超え、その後にDを下回るような明度波形を検知したとき、このCを超えた明度を欠陥明度とすれば、上記したような誤検知を防ぐことができる。
【0104】
ここで、エッジ方向検査と水平方向検査との相違点について説明する。図14(b)に示したように、背景明度は、正常明度よりわずかに大きくなっている。このため、欠陥がごく小さな散乱光を発生するものである場合、図18(b)に示すように、図16に示した水平方向Hに沿った検査では、背景明度と正常明度とのギャップの中に欠陥明度が埋もれてしまう。従って、閾値をどのように設定しても、水平スキャンでは、このような弱い散乱光を発する欠陥を検出することができない。一方、エッジスキャンはS14にて特定されたエッジに沿って行われるので、図18(a)に示すように、背景明度が測定されることがない。従って、小さい欠陥明度を発生する欠陥でも検出することが可能となっている。
【0105】
以上のように、エッジ検査装置1の検査では、図1におけるS12において照明装置26の鏡面反射光を映している画素を特定し、S13においてエッジを映している画素を特定して、水平方向の検査範囲を設定するようになっている。すなわち、検査範囲を検査の度に測定する構成であるので、ワークの搬送精度等が悪く、画像におけるワークの位置が変化してしまっても、ワークのエッジおよびその近傍を映している画素の位置を正確に特定することができるようになっている。
【0106】
また、S15として示したエッジ検査装置1における水平方向検査では、照明装置26の鏡面反射光を映している画素から、エッジより外側の画素までの明度を測定するようになっている。これにより、鏡面反射光と欠陥からの散乱光とを明確に区別することができるようになっている。
【0107】
また、S15・S16として示した水平方向およびエッジ方向検査では、2つの異なる閾値を利用して、欠陥明度を検知するようになっている。これにより、閾値付近における明度波形のがたつきによる誤検知を防止することができるようになっている。ただし、明度波形にがたつきがなければ、閾値をひとつだけ用いるようにしてもかまわない。
【0108】
また、S16としてエッジ方向検査は、S13で特定した、エッジから等距離の位置を映している画素の明度を測定するようになっている。従って、図16に示したように、ワークのエッジが垂直方向を向いていないような場合でも、エッジから等距離の位置を映している画素の明度だけを測定して明度波形を取得し、欠陥明度および欠陥を検出することができる。そして、エッジ方向検査によって得られる明度波形には背景明度が混入することがないので、欠陥明度が背景明度より小さい場合にも、欠陥明度を検知し、欠陥を検出することができるようになっている。
【0109】
なお、S12に示した鏡面反射光の位置の設定の際、最大明度の半分の明度をもつ画素B・B’間を、照明装置26の鏡面反射光が撮像されている位置とするとしているが、この設定方法はこれに限るものではない。鏡面反射光の端部を映しているとする画素の明度は、ユーザが自由に設定できる値である。
【0110】
また、S15・S16における検査において検出される欠陥の大きさは、テレビカメラ25の1つの画素における分解能、すなわち、1つの画素が撮像している面積によって決定される。例えば、テレビカメラ25の視野が40mm×40mmであり、画素数が512×512個である場合、1画素の分解能は約80μmに相当する。そして、一般的な目安として、画素の分解能の2倍程度が検出を保証できる欠陥の最小寸法となる。
【0111】
従って、この場合の確実に検出可能な欠陥の大きさは、160μm以上となる。ただし、実質的には、160μm程度の欠陥であれば、製品として出荷可能であると判断される。すなわち、欠陥として検知しなければならないのは、160μm以上の欠陥である。なお、分解能を上げてより小さい欠陥を検出するためには、テレビカメラ25の視野を狭くするか、画素数を多くすればよい。
【0112】
また、エッジ方向検査において検出されるような小さな散乱光を発生する欠陥は、必ずしも小さい欠陥であるとは限らない。従って、エッジ検査装置1における検査では、明度の大小に関わらず、所定の画素数以上連続して閾値を超える明度が観測された場合に、欠陥と判断することが好ましい。
【0113】
また、大きな欠陥明度が測定された場合には、これを連続して出力する画素数が少なくても欠陥とみなす一方、あまり大きくない欠陥明度が測定された場合には、これを連続して出力する画素数が多くなければ欠陥とみなさないようにしてもよい。
【0114】
また、S18における判断は、ワーク検知センサ27が発生するOFF信号によるとしているが、取得した画像が図11(c)(f)のようなワークの下部の画像である場合に終了するようにしてもよい。
【0115】
また、S16におけるエッジ方向検査は、水平方向には、エッジの端部を映している画素から5画素程度内側までの範囲で行うとしているが、この範囲はこれに限ることはなく、エッジ近傍全体にわたって行うようにしてもよい。検査の範囲を広くすれば、より正確な検査を行うことが可能となる。
【0116】
また、ワークにおける鏡面反射光が映る位置とワークのエッジとは、なるべく平行であることが好ましい。そして、これらの間の距離は、これらが互いに重ならない範囲であれば、近い方が小さい欠陥を検出することが可能となる。ただし、この鏡面反射光とエッジとが重なってしまうと検査は困難となる。従って、ワークの搬送精度を考慮しながら、鏡面反射光とエッジとを、互いに重ならない範囲でなるべく近い配置とすることが好ましい。
【0117】
また、ワークが平面性が悪く、反りのある状態でベルトコンベア10に固定されている場合、照明装置26の鏡面反射光が、エッジ側に曲がって映る場合がある。このような場合でも、S14においてエッジの位置(エッジを映している画素)を特定しているので、鏡面反射光とエッジとが重なっていなければ、エッジ検査装置1は、S15・S16の検査を行うことができる。
【0118】
また、図1に示したエッジ検査装置1の処理においてS12として示した鏡面反射光の位置の設定は、必ずしも必要ではない。照明装置26とテレビカメラ25との相対的な位置精度が高い場合、ワーク上の鏡面反射光は、常に同じ画素が映すことになるからである。
【0119】
また、図1に示したエッジ検査装置1の処理において、S14として示した水平方向の検査範囲の設定の処理は、必ずしも必要ではない。これは、S15に示した水平方向検査において、エッジの位置を確認可能であるからである。すなわち、水平スキャンを行いながら、このスキャンの結果に基づいて背景明度と正常明度との境界を設定し、エッジから等距離の位置を映している画素の組み合わせを特定するようにしてもよい。
【0120】
また、S15における水平方向検査を、S14で求めたエッジの位置を確認しながら行うようにしてもよい。すなわち、S14において求められたエッジの位置が実際のエッジの位置と数画素程度ずれていたとしても、検査範囲内にエッジが存在すれば、S15における検査は可能である。しかしながら、S16におけるエッジ方向検査を行うには、S14で求められたエッジの位置と実際のエッジの位置とが正しく一致していることが必要である。そこで、S15の水平方向検査においてエッジ位置のずれを検出した場合、直ちにそのずれを修正するようにすれば、S14におけるエッジ位置決定が不充分であっても、S16のエッジ方向検査を行うことが可能である。このように、S14およびS15においてエッジの位置を確認可能であるので、S16におけるエッジ方向検査の範囲は、エッジのごく近傍の最小限の範囲とすることができる。
【0121】
また、図9(a)(b)を用いて示した反射光散乱法の説明では、照明装置26からの光が照射される面がセパレートフィルムSPとなっているが、エッジ検査装置1では、照明装置26からの光をプロテクトフィルムPFに照射して検査を行うことも可能である。また、光が照射される面の裏面にある欠陥も、表側の面における欠陥よりやや強度の小さな散乱光を発生するので、この裏面における欠陥も検出することができる。
【0122】
また、この説明において、照明装置26は、ワークの内部における上部から、すなわち、斜め上方からエッジを照らすように、また、テレビカメラ25は、真上からエッジを望む方向に位置しているとしているが、エッジ検査装置1における照明装置26およびテレビカメラ25の配置はこれに限るものではない。ワークのエッジにほぼ平行にのびる光がフィルムに照射され、この光の鏡面反射光がワークのエッジの内側に映るようにカメラが設置されていれば、どのような配置でもかまわない。
【0123】
また、エッジ検査装置1が主に検出する、エッジ周辺の欠陥を、偏光フィルムPLとセパレートフィルムSPとの間にある糊層BLが部分的に欠落する糊抜け、および、セパレートフィルムSPおよびプロテクトフィルムPFの部分的な剥がれ(浮き、剥がれ、折れ等とも呼ばれる)であるとしているが(全て図3参照)、エッジ検査装置1が検出可能な欠陥はこれに限るものではない。エッジ検査装置1は、偏光フィルムPLを構成する偏光子PLaと補強用フィルムPLb・PLcとの間の糊抜け・剥離等による欠陥や、各層間に混入する気泡や異物による欠陥もエッジ周辺に発生しているものであれば検出可能である。
【0124】
また、上記実施の形態では、エッジ検査装置1は、長方形のワークの搬送方向にほぼ平行な2つのエッジを同時に検査するとしているが、エッジ検査装置1の照明装置26を増やすことで、ワークの4つのエッジ全てを検査することも可能である。
【0125】
図20は、エッジ検査装置1が、3つのテレビカメラ(図にはこれらの視野のみを示す)と4つの照明装置26a〜26dとを用いて、ワークの4つのエッジを検査する構成を示す説明図である。この図において、ワークの進行方向に垂直に延びる照明装置26c・26dは、それぞれワークの進行方向における前・後のエッジを検査するための照明装置である。
【0126】
この構成では、照明装置26a・26bおよび2つのテレビカメラ(図7(a)における照明装置26・26およびテレビカメラ25・25に相当する)を用いた検査が終了した後、ワークが移動して別のテレビカメラの視野(図20における右側の破線内)に入った瞬間に、画像処理装置21は、このテレビカメラによりワークを撮像し、照明装置26cの鏡面反射光を含んだ画像を用いてワークの進行方向前側のエッジを検査する。その後、画像処理装置21は、ワークがこのテレビカメラの視野から外れる直前に、このテレビカメラによりワークを撮像し、照明装置26dの鏡面反射光を含んだ画像を用いてワークの進行方向後側のエッジを検査する。
【0127】
この構成のように、テレビカメラによる撮像を2回行って、1台のテレビカメラを用いて複数のエッジ(図20の例では進行方向における前後のエッジ)を検査することも可能である。すなわち、テレビカメラの台数は、検査するエッジの数と同数でなくてもよい。例えば、テレビカメラの視野を拡大し、ワークの全面を撮像可能なようにすれば、1台のテレビカメラで4つのエッジを検査することができる。この場合、画像処理装置21は、取得した画像を分離して、各エッジ毎に検査を行う。
【0128】
また、4つのエッジの検査を行う構成は、図20に示した構成とは限らず、テレビカメラの総数はいくつでもかまわない。例えば、図21(a)は、エッジ検査装置1が、1つのテレビカメラと4つの照明装置26a〜26dとを用いてワークの4つのエッジを検査する構成を示しており、図21(b)は、エッジ検査装置1が、4つのテレビカメラと4つの照明装置26a〜26dとを用いてワークの4つのエッジを検査する構成を示している。これらのように、照明装置を各エッジに沿って4辺に配置し、4つのエッジを同時に検査することも可能である。
【0129】
なお、図20および図21(a)(b)のように、図6に示した構成とテレビカメラの数が異なる場合には、図6に示した画像入出力ボード23の数は2つではなく、テレビカメラの数に対応した数となる。
【0130】
また、これらの図に示したような構成によって多数のエッジを検査する際には、画像処理装置21は、入力される画像毎(画像を分離している場合には、各部分毎)に同じ処理を繰り返せばよく、図1に示した処理と大きく異なる処理は必要ない。前後のエッジを検査する場合、垂直・水平方向スキャンの向きが90度異なるが、変数x,y(画像上で直交するパラメータ)を入れ替えて処理すれば、図6の構成と同様の画像処理プログラムを使用できる。また、図20および図21(b)のような構成の場合は、テレビカメラを90度傾けて設置すれば、上記のような入れ替えは不要である。
【0131】
また、画像処理装置21,シーケンサ3あるいは画像解析装置11における全ての、あるいは一部の処理を行うためのプログラムを、CD−ROM(Read Only Memory)やFD(Floppy Disk )等の記録媒体に記録し、このプログラムを読み込み可能なコンピュータを、これら画像処理装置21,シーケンサ3および画像解析装置11に代えて用いるようにしてもよい。
【0132】
【発明の効果】
以上のように、本発明のフィルム検査方法は、フィルムの搬送方向にほぼ平行な直線状のエッジに対し、平行に延びる光をフィルムに照射し、このフィルムを撮像して得られる画像における複数の画素の明度を測定し、該光の鏡面反射光を映している画素を特定するとともに、上記フィルム内部における正常な部分を映している画素の明度と、該フィルム外の背景を映している画素の明度との差を検知することにより、該フィルムのエッジを映している画素を特定し、該鏡面反射光を映している画素と該フィルムのエッジを映している画素との間の画素を、フィルムのエッジ近傍を映している画素として特定する第1の工程と、この第1の工程において特定された画素を、上記光の延びる方向とほぼ垂直な方向に並んだ画素の明度を測定することによりフィルムの欠陥を検出する第2の工程とを含んでいる方法である。
【0133】
上記の方法では、フィルムに光を照射し、その光に照らされたフィルムの画像をカメラ等で取得する。その後、その画像を画素毎に解析して、欠陥を検査するようになっている。
【0134】
上記の方法では、欠陥の検出前に、上記画像における複数の画素の明度を測定し、上記フィルム内部における正常な部分を映している画素の明度と、該フィルム外の背景を映している画素の明度との差を検知することにより、該フィルムのエッジを映している画素を特定し、該フィルムのエッジを映している画素に基づいて、検査にかかるフィルムのエッジにおける画像上の位置を特定するようになっている。従って、フィルムを搬送する際に生じる外乱等により、検査の度に画像上のフィルムの位置が変化してしまっても、エッジとその近傍とを映している画素の位置を、検査の前に正確に把握することができる。これにより、第2の工程における画像の解析によって得られた欠陥を示す信号が、フィルム外から得られたものか、あるいは、フィルムのエッジ近傍から得られたものかを明確にすることができる。従って、エッジ近傍の欠陥検査を自動化することが可能となり、欠陥を確実にかつ高速で検出することができるという効果を奏する
【0135】
記の方法によれば、フィルムの搬送方向にほぼ平行な直線状のエッジに対し、平行に延びる光の鏡面反射光を映している画素と、フィルムのエッジを映している画素とを特定し、これらの間の画素フィルムの近傍を映している画素とするようになっている。そして、この第2の工程において、このフィルムのエッジとほぼ平行に延びる光を映している画素から、この光の延びる方向と垂直な方向に沿って画像上に並んでいる画素の明度を測定するようになっている。これにより、上述した効果に加えて、鏡面反射光を映している画素と欠陥による散乱光を映している画素とを明確に区別して欠陥検査を行うことができるという効果を奏する。
【0136】
また、本発明のフィルム検査方法は、上述した方法において、上記第1の工程は、フィルムのエッジ近傍を映している画素であって、このエッジと平行に並んだ画素の組み合わせを特定する工程を含むと共に、上記第2の工程は、この特定された組み合わせの1つにおける画素の明度を測定する工程を含んでいる方法である。
【0137】
上記の方法によれば、エッジ近傍を映している画素に対して、エッジに沿った方向に明度を測定・比較を行うので、フィルム外からの明度が測定されることがない。これにより、上述した効果に加えて、欠陥による散乱光の明度がフィルム外からの明度より小さい場合にも、欠陥を検出することができるという効果を奏する。
【0138】
また、本発明のフィルム検査装置は、フィルムの搬送方向にほぼ平行な直線状のエッジに対し、平行に延びる光をフィルムに照射する照明手段と、このフィルムを撮像して得られる画像における複数の画素の明度を測定し、上記光の鏡面反射光を映している画素を特 定するとともに、上記フィルム内部における正常な部分を映している画素の明度と、該フィルム外の背景を映している画素の明度との差を検知することにより、該フィルムのエッジを映している画素を特定し、該鏡面反射光を映している画素と該フィルムのエッジを映している画素との間の画素を、フィルムのエッジ近傍を映している画素として特定する第1の画像処理手段と、この第1の画像処理手段によって特定された画素を、上記光の延びる方向とほぼ垂直な方向に並んだ画素の明度を測定することによりフィルムの欠陥を検出する第2の画像処理手段とを備えている構成である。
【0139】
上記の構成によれば、欠陥の検出前に、第1の画像処理手段が、上記画像における複数の画素の明度を測定し、上記フィルム内部における正常な部分を映している画素の明度と、該フィルム外の背景を映している画素の明度との差を検知することにより、該フィルムのエッジを映している画素を特定し、該フィルムのエッジを映している画素に基づいて、検査にかかるフィルムのエッジにおける画像上の位置を特定するようになっている。従って、フィルムを搬送する際に生じる外乱等により、検査の度に画像上のフィルムの位置が変化してしまっても、エッジとその近傍とを映している画素の位置を、検査の前に正確に把握することができる。
【0140】
従って、第2の画像処理手段による画像の解析によって得られた欠陥を示す信号が、フィルム外から得られたものか、あるいは、フィルムのエッジ近傍から得られたものかを明確にすることができる。これにより、エッジ近傍の欠陥検査を自動化することが可能となり、欠陥を確実にかつ高速で検出することができるという効果を奏する
【0141】
記の構成によれば、第1の画像処理手段が、フィルムの搬送方向にほぼ平行な直線状のエッジに対し、ほぼ平行に延びる光の鏡面反射光を映している画素と、フィルムのエッジを映している画素とを特定し、これらの間の画素フィルムの近傍を映している画素とするようになっている。そして、第2の画像処理手段が、このフィルムのエッジとほぼ平行に延びる光を映している画素から、この光の延びる方向と垂直な方向に沿って画像上に並んでいる画素の明度を測定するようになっている。これにより、上述した効果に加えて、鏡面反射光を映している画素と欠陥による散乱光を映している画素とを明確に区別して欠陥検査を行うことができるという効果を奏する。
【0142】
また、本発明のフィルム検査装置は、上述した構成において、上記第1の画像処理手段が、フィルムのエッジ近傍を映している画素であって、このエッジと平行に並んだ画素の組み合わせを特定する組み合わせ特定手段を含むと共に、上記第2の画像処理手段が、上記組み合わせ特定手段によって特定された組み合わせの1つにおける画素の明度を測定する第3の画像処理手段を含んでいる構成である。
【0143】
上記の構成によれば、第3の画像処理手段は、エッジ近傍を映している画素に対して、エッジに沿った方向に明度を測定・比較を行う。従って、第3の画像処理手段は、フィルム外からの明度を測定することがない。これにより、上述した効果に加えて、欠陥による散乱光の明度がフィルム外からの明度より小さい場合にも、欠陥を検出することができるという効果を奏する。
【図面の簡単な説明】
【図1】 本発明の一実施形態にかかるフィルム検査装置におけるエッジ検査装置の動作の流れを示すフローチャートである。
【図2】 本発明の一実施形態にかかるフィルム検査装置の構成を示すブロック図である。
【図3】 図2に示したフィルム検査装置の検査対象物である多層型偏光フィルムの構成を示す説明図である。
【図4】 図2に示したフィルム検査装置におけるチップ検査装置の構成を示す説明図である。
【図5】 図2に示したフィルム検査装置の動作の流れを示すフローチャートである。
【図6】 図2に示したフィルム検査装置におけるエッジ検査装置の構成を示す説明図である。
【図7】 図7(a)は、図6に示したエッジ検査装置のテレビカメラと照明装置との配置関係を示す平面図であり、図7(b)は、同じく正面図である。
【図8】 図8(a)は、図6に示したエッジ検査装置における検査領域を示す説明図であり、図8(b)は、このエッジ検査装置におけるテレビカメラの視野を示す説明図である。
【図9】 図9(a)(b)は、図6に示したエッジ検査装置における検査手法である反射散乱法を説明するための説明図であって、図9(a)は多層型偏光フィルムに欠陥がない場合、図9(b)はこのフィルムに欠陥がある場合における、光の反射状態を示す説明図である。
【図10】 図6に示したエッジ検査装置において得られる多層型偏光フィルムの画像の例を示す説明図である。
【図11】 図11(a)〜(f)は、図6に示したエッジ検査装置によって取得される画像の例を示す説明図であって、図11(a)はワークの左側のエッジ上部近傍の画像を示す説明図であり、図11(b)は同じく左側のエッジ中央部近傍の画像を示す説明図であり、図11(c)は同じく左側のエッジ下部近傍の画像を示す説明図であり、図11(d)はワークの右側のエッジ上部近傍の画像を示す説明図であり、図11(e)同じく右側のエッジ中央部近傍の画像を示す説明図であり、図11(f)は同じく右側のエッジ下部近傍の画像を示す説明図である。
【図12】 図6に示したエッジ検査装置における、照明装置の鏡面反射光を映している画素の検出を説明するための説明図である。
【図13】 図6に示したエッジ検査装置における、垂直方向の検査範囲の設定を説明するための説明図である。
【図14】 図6に示したエッジ検査装置における、水平方向の検査範囲の設定を説明するための説明図である。
【図15】 図15は、図6に示したエッジ検査装置における水平方向検査を説明するための説明図である。
【図16】 図6に示したエッジ検査装置における、エッジ方向検査を説明するための説明図である。
【図17】 図6に示したエッジ検査装置における、エッジ方向検査の範囲を示す説明図である。
【図18】 図18(a)は、エッジのごく近傍における小さい欠陥明度を発生する欠陥をエッジ方向検査によって検査した場合に得られる明度波形を示すグラフであり、図18(b)は、この欠陥を水平方向検査によって検査した場合に得られる明度波形を示すグラフである。
【図19】 図19(a)は、明度波形にがたつきがある場合に、閾値を1つだけ設定して欠陥検査を行う場合を示す説明図であり、図19(b)は、同じく閾値を2つ設定して欠陥検査を行う場合を示す説明図である。
【図20】 図6に示したエッジ検査装置が3つのテレビカメラと4つの照明装置とを用いて、ワークの4つのエッジを検査する構成を示す説明図である。
【図21】 図21(a)は、図6に示したエッジ検査装置の構成において、テレビカメラの数を4つ、照明装置の数を4つとして、ワークの4つのエッジを検査する構成を示す説明図であり、図21(b)は、同じくテレビカメラの数を1つ、照明装置の数を4つとして、ワークの4つのエッジを検査する構成を示す説明図である。
【符号の説明】
1 エッジ検査装置
2 チップ検査装置
3 シーケンサ
21 画像処理装置(第1〜3の画像処理手段,組み合わせ特定手段)
25 テレビカメラ
26 照明装置(照明手段)

Claims (4)

  1. フィルムの搬送方向にほぼ平行な直線状のエッジに対し、平行に延びる光をフィルムに照射し、このフィルムを撮像して得られる画像における複数の画素の明度を測定し、該光の鏡面反射光を映している画素を特定するとともに、上記フィルム内部における正常な部分を映している画素の明度と、該フィルム外の背景を映している画素の明度との差を検知することにより、該フィルムのエッジを映している画素を特定し、該鏡面反射光を映している画素と該フィルムのエッジを映している画素との間の画素を、フィルムのエッジ近傍を映している画素として特定する第1の工程と、
    この第1の工程において特定された画素を、上記光の延びる方向とほぼ垂直な方向に並んだ画素の明度を測定することによりフィルムの欠陥を検出する第2の工程とを含んでいることを特徴とするフィルム検査方法。
  2. 上記第1の工程は、
    フィルムのエッジ近傍を映している画素であって、このエッジと平行に並んだ画素の組み合わせを特定する工程を含むと共に、
    上記第2の工程は、
    この特定された組み合わせの1つにおける画素の明度を測定する工程を含んでいることを特徴とする請求項1に記載のフィルム検査方法。
  3. フィルムの搬送方向にほぼ平行な直線状のエッジに対し、平行に延びる光をフィルムに照射する照明手段と、
    このフィルムを撮像して得られる画像における複数の画素の明度を測定し、上記光の鏡面反射光を映している画素を特定するとともに、上記フィルム内部における正常な部分を映している画素の明度と、該フィルム外の背景を映している画素の明度との差を検知することにより、該フィルムのエッジを映している画素を特定し、該鏡面反射光を映している画素と該フィルムのエッジを映している画素との間の画素を、フィルムのエッジ近傍を映している画素として特定する第1の画像処理手段と、
    この第1の画像処理手段によって特定された画素を、上記光の延びる方向とほぼ垂直な方向に並んだ画素の明度を測定することによりフィルムの欠陥を検出する第2の画像処理手段とを備えていることを特徴とするフィルム検査装置。
  4. 上記第1の画像処理手段は、フィルムのエッジ近傍を映している画素であって、このエッジと平行に並んだ画素の組み合わせを特定する組み合わせ特定手段を含むと共に、
    上記第2の画像処理手段は、上記組み合わせ特定手段によって特定された組み合わせの1つにおける画素の明度を測定する第3の画像処理手段を備えていることを特徴とする請求項3に記載のフィルム検査装置。
JP02496398A 1998-02-05 1998-02-05 フィルム検査方法およびそれを用いたフィルム検査装置 Expired - Fee Related JP3977503B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP02496398A JP3977503B2 (ja) 1998-02-05 1998-02-05 フィルム検査方法およびそれを用いたフィルム検査装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP02496398A JP3977503B2 (ja) 1998-02-05 1998-02-05 フィルム検査方法およびそれを用いたフィルム検査装置

Publications (2)

Publication Number Publication Date
JPH11223608A JPH11223608A (ja) 1999-08-17
JP3977503B2 true JP3977503B2 (ja) 2007-09-19

Family

ID=12152639

Family Applications (1)

Application Number Title Priority Date Filing Date
JP02496398A Expired - Fee Related JP3977503B2 (ja) 1998-02-05 1998-02-05 フィルム検査方法およびそれを用いたフィルム検査装置

Country Status (1)

Country Link
JP (1) JP3977503B2 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003344302A (ja) * 2002-05-31 2003-12-03 Sumitomo Chem Co Ltd 偏光フィルムの検査法および検査装置
JP2003344301A (ja) * 2002-05-31 2003-12-03 Sumitomo Chem Co Ltd 偏光フィルムの検査方法および検査装置
KR100789659B1 (ko) 2005-03-31 2007-12-31 에버테크노 주식회사 편광필름 검사장치 및 방법
JP5637014B2 (ja) * 2011-03-03 2014-12-10 セントラル硝子株式会社 ガラス繊維物品の表面欠陥検出装置
CN204301688U (zh) * 2014-12-16 2015-04-29 日东电工株式会社 贴合位置检查装置
CN109100365B (zh) * 2018-08-02 2020-12-25 Tcl华星光电技术有限公司 一种基板叠材的检测装置及检测方法
JP2021028640A (ja) * 2020-11-25 2021-02-25 ライオンエンジニアリング株式会社 外観検査方法および表面検査装置
JP2022090281A (ja) * 2020-12-07 2022-06-17 日東電工株式会社 光学フィルムの縁部検出方法
JP2022090247A (ja) * 2020-12-07 2022-06-17 日東電工株式会社 光学フィルムの縁部検出方法

Also Published As

Publication number Publication date
JPH11223608A (ja) 1999-08-17

Similar Documents

Publication Publication Date Title
JP5190405B2 (ja) ガラス表面の異物検査装置及びその方法
JP5583102B2 (ja) ガラス基板の表面不良検査装置および検査方法
KR101177299B1 (ko) 평판 유리 표면 이물질 검사 장치
EP1943502B1 (en) Apparatus and methods for inspecting a composite structure for defects
WO2016088623A1 (ja) 基板検査装置
JP5274622B2 (ja) 欠陥検査装置及び方法
JP5031691B2 (ja) 表面疵検査装置
US7561259B2 (en) Lamination status inspecting apparatus, lamination status inspecting method, and recording medium storing lamination status detecting program
JP4147682B2 (ja) 被検物の欠点検査方法および検査装置
JP3938227B2 (ja) 異物検査方法および装置
JP2009293999A (ja) 木材欠陥検出装置
JP3977503B2 (ja) フィルム検査方法およびそれを用いたフィルム検査装置
JP4158227B2 (ja) 微小凹凸の検査方法および検査装置
JPH10148619A (ja) 検査基体の面欠陥検査方法及び装置
WO2023164809A1 (zh) 曲面基板气泡检测方法及检测系统
CN110945347B (zh) 光学显示面板的损伤检查方法
JPH11248643A (ja) 透明フィルムの異物検査装置
JP2003121372A (ja) 鋼板疵検査装置
JPH10111252A (ja) ガラス板の欠点検出装置
JPH08145901A (ja) 透明金属薄膜基板の異物検査装置
US20240355083A1 (en) Inspection system for edge and bevel inspection of semiconductor structures
JP2008309577A (ja) 容器の良否判定方法及び検査装置
JPH10325958A (ja) 液晶表示パネル製造方法
JP2001074666A (ja) 異物検査装置
JPS61283857A (ja) 表面欠陥検出方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20041118

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060725

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060801

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060927

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20060927

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070327

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070522

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070612

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070621

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100629

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100629

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110629

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110629

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120629

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120629

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130629

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees