JP3914500B2 - 欠陥検査装置 - Google Patents

欠陥検査装置 Download PDF

Info

Publication number
JP3914500B2
JP3914500B2 JP2003033232A JP2003033232A JP3914500B2 JP 3914500 B2 JP3914500 B2 JP 3914500B2 JP 2003033232 A JP2003033232 A JP 2003033232A JP 2003033232 A JP2003033232 A JP 2003033232A JP 3914500 B2 JP3914500 B2 JP 3914500B2
Authority
JP
Japan
Prior art keywords
detection
defect
linear
inspected
optical system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003033232A
Other languages
English (en)
Other versions
JP2004264054A (ja
Inventor
和士 吉村
峰生 野本
大輔 勝田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2003033232A priority Critical patent/JP3914500B2/ja
Priority to PCT/JP2004/000956 priority patent/WO2004072628A1/ja
Publication of JP2004264054A publication Critical patent/JP2004264054A/ja
Application granted granted Critical
Publication of JP3914500B2 publication Critical patent/JP3914500B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/95Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/954Inspecting the inner surface of hollow bodies, e.g. bores

Description

【0001】
【発明の属する技術分野】
本発明は、エンジンのシリンダや自動車走行系部品などのように、鋳造などにより成形され、その後必要に応じて切削加工された円筒物体の内面などの表面の鋳巣、傷、汚れなどの欠陥を検査する欠陥検査装置に関する。
【0002】
【従来の技術】
筒体の内面の損傷などを検査する従来技術としては、特開平3−226659号公報(特許文献1)、特開平8−128960号公報(特許文献2)および特開2002−22671号公報(特許文献3)が知られている。
【0003】
特許文献1には、検査対象の円筒の内部に配置されるミラーと、前記円筒の内面を前記ミラーで反射させて撮像する一次元CCDカメラと、この一次元CCDカメラと前記ミラーとを一体として前記円筒の中心軸のまわりに回転させる回転駆動部とを備えた円筒内面検査装置が記載されている。
【0004】
特許文献2には、円錐面の鏡体とCCDカメラとを有し、筒体の内部を長手方向へ相対移動して筒体の内面全周を撮像する撮像手段と、該撮像手段から転送される円形領域画像信号を展開処理する画像入力部と、該画像入力部で展開処理された画像信号を画像処理する画像処理部とを備えた筒体検査機が記載されている。
【0005】
特許文献3には、多段に形成した円錐形ミラーと、該多段の円錐形ミラーで反射して得られる光像を撮像する撮像カメラとを備えた円筒内壁面検査装置が記載されている。
【0006】
【特許文献1】
特開平3−226659号公報
【特許文献2】
特開平8−128960号公報
【特許文献3】
特開2002−22671号公報
【0007】
【発明が解決しようとする課題】
しかしながら、上記従来技術においては、分解能を決める画素サイズを画面内で一様にして小さくし、且つ撮像時間を短時間する点について十分考慮されていなかった。
【0008】
本発明の目的は、エンジンシリンダなどの被検査円筒物体の内面における外観欠陥を被検査円筒物体の大きさなどの条件が変わっても、検出感度等の検出条件を一定にして、高速で、鋳巣、傷、汚れ等の欠陥を検査できるようにした欠陥検査装置及びその方法を提供することにある。
【0009】
また、本発明の他の目的は、円筒物体や円柱状物体の内面又は外面上に発生した傷や汚れ等の欠陥を、検出感度等の検出条件を一定にして、高速で検査できるようにした欠陥検査装置及びその方法を提供することにある。
【0010】
【課題を解決するための手段】
上記目的を達成するために、本発明は、被検査円筒物体を載置するワークホルダを設け、該ワークホルダによって載置された被検査円筒物体の内面における軸心方向を向いた線状の検出領域に照明する照明光学系と、前記線状の検出領域からの反射光像を前記線状の検出領域の法線方向に対して所望の検出角度傾斜した検出方向から検出するように前記線状の検出領域からの反射光像を前記検出方向において反射させて前記軸心方向に向ける反射光学要素と該反射光学要素で前記検出方向において反射されて軸心方向に向けた前記線状の検出領域からの反射光像を線状に結像させる結像光学要素と該結像光学要素で結像された線状の反射光像を受光して線状の画像信号を出力するリニアイメージセンサとからなる検出光学系とを支持する支持部材を取付けた回転ステージを設け、該回転ステージを前記被検査円筒物体の内面における軸心を中心にして回転させることによって前記検出光学系を前記被検査円筒物体の内面に沿って円周方向に回転走行させて前記リニアイメージセンサから前記線状の画像信号を円周方向に連ねた前記被検査円筒物体の内面2次元画像信号を検出するように構成し、さらに、前記検出光学系のリニアイメージセンサから検出された2次元画像信号を基に前記被検査円筒物体の内面に存在する欠陥情報を取得する画像処理部を備え、さらに、前記線状の検出領域の法線方向に対する前記検出角度を変えることができるように前記検出光学系を支持する前記支持部材を前記回転ステージに対して前記被検査円筒物体の軸心方向であるZ方向に直角なXY方向に微動できる機構を備えたことを特徴とする欠陥検査装置である。
【0011】
また、本発明は、前記欠陥検査装置において、さらに、前記回転ステージの回転中心と前記被検査円筒体の内面の軸心とのずれを検出するずれ検出手段と、該ずれ検出手段で検出されたずれに応じて前記回転ステージの回転中心と前記被検査円筒体の内面の軸心とのずれを補正する補正機構とを備えたことを特徴とする。また、本発明は、前記欠陥検査装置において、前記ずれ検出手段は、前記リニアイメージセンサから検出された2次元画像信号を基に被検査円筒物体の内面における円周方向への画像信号の明るさのむら量を算出することにより前記ずれを検出するように構成したことを特徴とする。また、本発明は、前記欠陥検査装置において、前記照明光学系を前記線状の検出領域に該線状の検出領域の法線に対して傾斜した方向から照明するように構成したことを特徴とする。また、本発明は、前記欠陥検査装置において、前記照明光学系による前記線状の検出領域に対する照明角度を調整できるように前記照明光学系を前記支持部材に対して移動調整可能に形成したことを特徴とする。また、本発明は、前記画像処理部において、前記リニアイメージセンサから検出された2次元画像信号を2次元デジタル画像信号に変換するA/D変換器と、該A/D変換器から得られる2次元デジタル画像信号に対してシェーディング補正を行い、さらに背景ノイズを除去する前処理部とを有することを特徴とする。また、本発明は、前記画像処理部において、前記前処理部から得られる2次元デジタル画像信号に基いて欠陥候補を抽出し、該抽出された欠陥候補の欠陥特徴量を算出し、該算出された特徴量に基いて判定して前記欠陥情報を取得する欠陥抽出処理部を有することを特徴とする。また、本発明は、さらに、前記画像処理部から取得され欠陥情報を基に被検査円筒物体の欠陥マップを表示する表示装置を設けたことを特徴とする。
【0012】
【発明の実施の形態】
以下、本発明に係わる円筒内面などの物体表面の外観検査方法およびその装置の実施の形態について図面を用いて説明する。
【0013】
まず、本発明に係る外観検査装置の第1の実施例について説明する。図1は第1の実施例を示す構成図であり、被検査物1としては図2に示すようなエンジンシリンダの内面とする。図2では、シリンダが4個あるエンジンブロックの外観例を示したが、被検査対象1としては、1ブロックあたりのシリンダ数は問わない。
【0014】
被検査シリンダ(被検査円筒物体)1は、図示されないワークホルダ上に位置決めピン(図示せず)などにより所定の精度で載置されている。画像検出は、例えば、1024画素からなるCCDリニアイメージセンサ5によって行うが、リニアイメージセンサ5およびシリンダ内壁の像をリニアイメージセンサ5のセンサ面上に結像させるための結像レンズ(結像光学要素)4が、一般にシリンダ内に収納できないため、本構成例では、被検査シリンダ1内にミラー(反射光学系)2を設け、そのミラー2でシリンダ内壁からリニアイメージセンサ5までの光路を90度曲げる構成としている。また、光源を含む照明光学系3はシリンダ内壁を照明するものである。
【0015】
照明光学系3並びにミラー(反射光学要素)2、結像レンズ(結像光学要素)4及びCCDリニアイメージセンサ5からなる検出光学系10は、支持部材12により一体的に支持され、シリンダ円の中心を回転中心とするθステージ(回転ステージ)7により回転される。θステージ7と支持部材12の間のXY微動ステージ6は、後述するようにθステージ7と支持部材12との位置関係を調整するものである。これら照明光学系3並びに検出光学系10は、先に述べた被検査シリンダ1を載置したワークホルダ(図示せず)との間において、図示されない構造物で位置決めされており、この位置決めを調整するものとして、XYZステージ8がある。特にZステージは、被検査シリンダ1の長さ方向(図1の紙面上下方向)に移動するもので、検出光学系10を被検査シリンダ内に出し入れしたり、図3に示すような検出系の視野幅がシリンダ長に比べて短い場合に、順次Z方向に移動させて被検査シリンダ1の内壁全面を検出したり、必要な場所に位置決めするためのものである。詳細は後述するが、以上述べた照明光学系3並びに検出光学系10をθステージ7で一周回転させることにより、リニアイメージセンサ5によりシリンダ内壁の1周分の画像を検出することができる。なお、リニアイメージセンサ5の並び方向についてのシリンダ1の内壁における画素サイズは50〜80μm程度である。これに合わせて結像レンズ4の結像倍率が設定される。また、シリンダ内壁の1周分の画素数を後述するように2次元フーリエ変換を用いることにより2の冪乗(例えば496)にする必要がある。そのため、θステージ7の回転速度が決定される。
【0016】
このようにリニアイメージセンサ5から検出されるシリンダ内壁の1周分の検出画像信号31は、A/D変換器21でデジタル画像信号32に変換され、前処理部22でシェージング補正や明るさ補正および背景ノイズ除去処理が行われて2次元デジタル画像33としてメモリ23に格納される。欠陥抽出処理部24は、メモリ23から読み出された2次元画像データ34を基に例えば2値化処理して鋳巣、傷、汚れなどの欠陥候補を抽出し、該抽出された鋳巣、傷、汚れなどの欠陥候補についての欠陥の特徴量を算出し、該算出された欠陥の特徴量を基に判定して欠陥情報(欠陥の発生座標、欠陥の特徴量、欠陥の個数(被検査シリンダ1毎の内壁欠陥の分布も含む)および欠陥の画像信号等)35を得て主制御部25に入力して記憶装置43等に記憶して出力することが可能となる。このように、A/D変換器21、前処理部22、メモリ23及び欠陥抽出処理部24によって画像処理部が構成される。
【0017】
主制御部25は、表示装置41、入力手段42および記憶装置43を有し、制御信号38に基いてリニアイメージセンサ5、A/D変換器21、前処理部22、メモリ23および欠陥抽出処理部24などを制御し、θステージ制御信号36に基いてθステージ(回転ステージ)7を制御することにより支持部材12に取付けられた照明光学系3並びに検出光学系10のシリンダ内周方向の位置を制御し、検出系位置決め制御信号37に基いてXYZステージ8を制御することにより被検査シリンダ1に対するθステージ7のXYZ方向の位置を制御するものである。特に、主制御部25は、被検査シリンダ1の内壁一周に亘って一様な感度にするために、XYステージ8を制御してθステージ7の回転中心を被検査シリンダ1の内壁中心(内径中心)に一致させる必要がある。さらに、主制御部25は、XY微動ステージ6を制御することにより、被検査シリンダ1の内壁中心(内径中心)から検出点51までの距離L(即ち検出角度θr)を変える調整をすることが可能となる。
【0018】
また、主制御部25は、照明制御信号39に基いて照明電源26等を制御して照明光源を含む照明光学系3から出射される照明光の明るさ(強度)を制御することが可能となる。なお、照明光学系3から出射される照明光としてスリット状照明光束であってもよい。
【0019】
以下、各部の詳細、動作を説明した後、全体の流れについて説明する。
【0020】
図3は、先に説明した本実施例の内、θステージ7上にXY微動ステージ6を介して支持された支持部材12上に取付けられた検出光学系10及び照明光学系3を示したものである。本実施例では、画像検出センサにCCDリニアイメージセンサを用いているため、検出光学系10をθステージ7で回転させない場合は、図3(b)に示す線状の領域51が検出領域であり、θステージ7で検出光学系10を回転させながら、それに同期させてリニアイメージセンサ5から検出される画像信号31をA/D変換器21でデジタル化して、メモリ22へ格納することにより、図3(b)に示すような被検査シリンダ1の内壁一周の画像を検出することができる。ここで、図4には、リニアイメージセンサ5による検出点51とそこを照明する照明光学系3の位置関係の一実施例を示す。図4は本実施例の検出光学系10のミラー2および被検査シリンダ1を上から見たものである。本実施例では、リニアイメージセンサによる検出位置51、すなわち、図3(b)で示した線状の領域51をシリンダの中心線52から距離Lだけ離した位置とする。また、照明光学系3は、面状、または、ライン状に発光するもので、リニアイメージセンサの検出位置51を照らすように配置する。概ね、図4に示すような配置が望ましい。
【0021】
ここで、リニアイメージセンサ5の線状の検出領域51をシリンダの中心線52から距離Lだけ離した位置とする理由について説明する。なお、結像レンズ(結像光学要素)4の光軸は、図4に示す59上に存在する。即ち、結像レンズ4は、ミラー2で反射して得られる図3(b)に示す線状の領域51の光像をリニアイメージセンサ5上に結像させるように構成される。そのため、特に結像レンズ4は、シリンドリカルレンズのように一軸方向には集束させる特性を持っている。ところで、本検査装置で検出する欠陥は、鋳造時に発生する巣など穴状のものや、傷などの様に表面が凹んだり、めくれあがったりしたものである。すなわち、表面の凹凸を検出することになる。表面の凹凸を検出する場合、斜方照明/斜方検出によれば、正常部は明るく検出され、凹凸状の欠陥部は暗く検出され、その結果凹凸状の欠陥部を感度よく検出することが可能となる。すなわち、図5に示すように、被検査シリンダ1の内壁に例えば鋳巣のように穴57が開いた状態の物を検出する場合、被検査シリンダ1の内壁表面にその法線54から、斜めに傾いた方向(θi)から照明し(斜方照明し)、同様に斜めに傾いた方向(θr)から検出する(斜方検出する)ことにより、鋳巣欠陥部57は、リニアイメージセンサ5によって影(暗部)検出範囲58のように暗く検出される。これは、照明による影の部分と検出する際影の部分が生じることによるものである。ここで、照明光学系3及びリニアイメージセンサ5のそれぞれの法線54からの角度θi及びθrを変えることにより、欠陥の検出感度を変えることができ、例えば、法線からの角度θi及びθrを大きくすることにより、穴の深さが浅い、穴の径が大きいものまで検出することができ、逆に角度θi及びθrを小さくすることにより、穴の深さが深い、穴の径が小さなものしか検出しないようにすることができる。
【0022】
本実施例のように被検査物が、円筒の内壁の場合、図4に示すように、リニアイメージセンサ5の検出領域である線状の領域51をシリンダの中心線52から距離Lだけ離した位置とすることにより、線状の検出領域51を斜めから検出することになり、その角度は、距離Lとシリンダ内壁の直径Rとの関係より求めることができる。すなわち、検出側の法線からの角度θrは、次に示す(1)式から求めることができる。
【0023】
θr=sin-1(2L/R) (1)
ここで、Rはシリンダ内壁の直径、Lはリニアイメージセンサ5の線状の検出領域51のシリンダの中心線52から距離である。これより、主制御部25は、ある一つの被検査シリンダ内径で欠陥の検出条件(特に検出角度θr)を求めて、検証しておけば、被検査シリンダ1の内径が変わっても、同一の検出条件(特に同一の検出角度θr)を求めることができる。その結果、主制御部25は、XY微動ステージ6を制御してθステージ7の回転中心からの上記距離Lを被検査シリンダ1の内径Rに適するように制御することが可能となる。
【0024】
ここで、最適な距離Lの一実施例について図6に示す。図6は、距離Lを変えてリニアイメージセンサ5で画像を検出し、後述する背景ノイズの除去処理を行った場合の、背景明るさばらつき、即ち背景ノイズの残留分と、いくつかの欠陥部のコントラストについて求めた実験結果である。図6に示したように、背景の明るさばらつきは、検出光学系10の検出角度θrで15度程度(距離L/直径Rの比が12%程度)で低くなる。一方、欠陥部のコントラストは、欠陥の形状により、検出光学系10の検出角度θrが小さい方がコントラストが大きかったり、また逆の傾向を示すものがあるが、これらの交点はほぼ検出光学系10の検出角度θrで15度程度である。以上の結果より、検出光学系10の検出角度θrは15度程度、即ち距離L/直径Rの比が12%程度が望ましい。また、照明などの光学部品などは、広がり角などに誤差をもつことから、検出光学系10の検出角度θrは15度±5度程度(距離L/直径Rの比は8%から17%)で調整できるように構成する。即ち、入力手段42等を用いて被検査シリンダ1の内径Rを入力すれば、主制御部25は、ミラー(反射光学要素)2、結像レンズ(結像光学要素)4及びリニアイメージセンサ5からなる検出光学系10の検出角度θrが15度±5度程度になるように、XY微動ステージ6を駆動制御してθステージ7の回転中心からの上記距離Lを制御することになる。なお、この際、照明光学系3も支持部材12上に取付けられているので、XY微動ステージ6を移動させた際、検出光学系10と一緒に照明光学系3も移動することになるので、照明光学系3と支持部材12との間にXY微動ステージを設ければ、照明光学系3による照射角度θiを検出光学系10による検出角度θrと独立して調整することが可能となる。
【0025】
以上のように配置した検出検出系10をθステージ7を回転駆動して回転させると、リニアイメージセンサ5で検出されてA/D変換器21からは図7(a)に示すような2次元画像61が得られる。被検査シリンダ1の内径中心とθステージ7の回転中心(検出光学系10の回転中心)がずれていないと、図7(b)に示すように、得られる画像の明るさ62bはほぼ一様になるが、ずれている(偏芯している)と、62aで示すように内壁円周方向への明るさむら(明暗)を生じる。ここで、図7(b)に示した投影波形は、各Y座標の画素の明るさの累積値を求めた、一次元データであり、画像のY方向(内壁円周方向)の大局的な明るさの変化が分かるものである。シリンダの内径中心と検出光学系10の回転中心とが合っていないと、先の(1)式において、(R/2)が検出光学系10の回転によって変化することから、検出光学系の検出角度θrが変わるためである。照明は図8に示すような指向性を持っており、θrが変わると照明の指向特性のどの角度の成分が支配的になるか変わるためである。また、θrが変わると先に述べたように欠陥検出感度も変わるため、θrはシリンダ内壁全周にわたって一定が望ましい。すなわち、画像全体に明るさが一定であれば、投影波形は、62bに示すように一定になる。もし、62aのように画像の円周方向に一定以上の明るさの明暗があれば、その明暗の画像での座標から、シリンダ円のどの位置に相当するか分かるため、これによって、θステージ7をどの方向に補正すればよいか分かる。また、その補正量は予め、ずれ量と明るさのむら量を求めておくことにより、設定することができる。
【0026】
そこで、まず、ワークホルダ(図示せず)上に位置決めされた被検査シリンダ1の内径中心に対してθステージ7の回転中心を合わせることが必要となる。そのため、被検査シリンダ1をワークホルダ上に載置する際、位置決めピン等で機械的に位置決めすることで、被検査シリンダ1の内径中心をθステージ7の回転中心に合わせることが可能である。しかし、これでは不充分の場合、例えば支持部材12上にシリンダの内壁との間の距離を測定する距離センサ(図示せず)を取り付け、主制御部25は、θステージ7を回転させて上記距離センサから検出される距離から、被検査シリンダ1の内径中心に対するθステージ7の回転中心の偏芯量を求め、この偏芯量をXYステージ8にフィードバックすることにより、検出光学系10の回転中心を被検査シリンダ1の内径中心に合わせることが可能となる。さらに、主制御部25は、実際の検査を開始するまえに、θステージ7を回転させてA/D変換器21から得られる1周分の2次元画像61或いは前処理部22で前処理されてメモリ23に格納された1周分の2次元画像61を基に、図7(b)に示すように、各Y座標におけるリニアイメージセンサに亘る画素の明るさの累積値を算出し、この算出された累積値が許容範囲にあるか否かの確認をすることが可能となる。もし、許容範囲にない場合には、算出される累積値が許容範囲内に入るように、XYステージ8を制御する。
【0027】
以上により、検査開始前の準備ができたことになる。
【0028】
次に、実際の検査に入ることになる。照明光学系3から被検査シリンダ1の内壁に斜方照明を施すことにより、リニアイメージセンサ5は、図3(b)で示した線状の領域51の光像を検出角度θr(=15度±5度程度)で検出してミラー2で反射させて結像レンズ4で特にイメージセンサの長手方向と直角方向に集光させて一次元画像31として検出する。そして、θステージ7を回転させることによって、リニアイメージセンサ5からは図7(a)に示す2次元画像信号61が検出され、A/D変換器21によって2次元デジタル画像信号32が得られることになる。63bは、領域63aにおける2次元デジタル画像信号を拡大したものである。65a、65bは異なる大きさの欠陥を示すたものである。64は、エンジンなどのシリンダ内壁を潤滑などの目的でホーニング加工されたホーニング加工痕を示す。
【0029】
以上のようにして得られた2次元デジタル画像から欠陥を抽出する処理について図9を用いて説明する。図7(a)に検出した2次元デジタル画像61の例を示す。ここでは、欠陥である鋳巣が暗く検出されているものとして説明する。もちろん、凸欠陥のように周囲に比べて明るく検出される欠陥であっても、以降の説明より容易に適合できるのは言うまでもない。
【0030】
図9には、欠陥抽出処理等の流れの一実施例を示す。まず、A/D変換部21からは図7(a)に示す2次元デジタル画像信号61(32)が検出される(ステップS901)。次に、必要に応じて前処理部22においてシェーディング補正を行う(S902)。シェーディング補正は照明光学系3、検出光学系10の持つ明るさむらなどにより発生する画像の明るさのむらである。これを、予め求めた基準データ、または、検出した画像信号61(32)から補正する。例えば、検出した画像信号61(32)から補正する場合、先に説明した図7(b)に示す投影波形をX方向、Y方向に求め、その投影波形より、それぞれの方向ごとに各画素を正規化することによって、大局的な明るさむらを補正して無くすることができる。
【0031】
図7(a)には検出画像63aを拡大したもの63bを示すが、規則的な斜め線が検出されている。これはホーニング加工痕64であり、欠陥ではない。一般にエンジンなどのシリンダ内壁は、潤滑などの目的からホーニング加工により、図7(a)に示したようなクロスハッチの網目状の無数の傷64を形成することがあるが、それにより、表面に線状の凹凸が生じることになり、欠陥部と同じように明暗を生じ、図7(a)に示すような斜め線64として検出される。このため、この検出画像63bから、欠陥部65a、65bを抽出するため、暗い部分、すなわち、あるしきい値以下の明るさの画素を抽出(いわゆる、2値化)しようとすると、この斜め線64も抽出されてしまうことがある。そこで、前処理部22において、この斜め線、いわゆる背景ノイズの除去処理を行う(ステップS903)。この背景ノイズには、斜め線64が周期的であるという特徴がある。一般に画像中の周期的なパターンを除去する方法として、例えば、「田村秀行監修、コンピュータ画像処理入門、143頁から146頁、総研出版発行」に示されるような、フーリエ変換を利用したものがある。本方法では、図9に示すように、まず検出画像61(32)を二次元フーリエ変換して周波数面での画像を生成し(ステップS9031)、この周波数面上で先の斜め線の成分に相当する場所のデータをマスクし(ステップS9032)、この周波数面の画像を二次元逆フーリエ変換によって再び通常の平面の画像に戻すものである(ステップS9033)。こうすることによって、背景ノイズを除去した画像を得ることができる。
【0032】
ここで、マスク画像の作り方としては、例えば、二次元フーリエ変換像(実部と虚部データ)から振幅の絶対値像を生成し、その振幅の絶対値像を適当なしきい値で2値化したものを基準にすることもできる。また、クロスハッチの網目の角度などは決まっているため、その角度から、フーリエ変換像でのマスク形状を求めることもできる。例えば、図10に示すように原画像を表示して、画面上で傷の直線の2点をそれぞれのクロス線について指定(120aと120bの組と121aと121bの組)したり、点線122でしめすように、角度の許容できる範囲を指定する。また、ホーニング加工機などの設定から得られる検出画像上でのクロス線の角度に換算しても良い。このとき、角度の許容範囲は、加工機などの誤差と、被検査物の実際の使用時に許容される角度などを勘案して決めても良い。
【0033】
これらの座標データより二次元フーリエ変換像でのマスクを計算により生成することができる。このように、得られた二次元フーリエ変換像からマスク形状を求めるのではなく、検出画像または加工条件などからマスク形状を決めることにより、その加工時に誤差やミスなど加工時にその条件角度から逸脱した部分を除いてマスクをおこなうことができる。その結果、図11(a)に示す原画像に対して所望条件から逸脱した加工傷は図11(b)に示すように除去されずに、後の欠陥検出処理により検出することができ、加工傷の品質も評価することができる結果となる。図11(b)は、主制御部25が背景ノイズを除去した欠陥の画像を表示装置41の画面に表示した場合を示す。
【0034】
以上説明したように、前処理部22からは、シェーディング補正され、背景ノイズが除去された2次元画像33がメモリ23に格納されることになる。次に、欠陥抽出処理部24は、メモリ23から得られる背景ノイズ等が除去された画像信号を適当なしきい値で2値化することによって、欠陥部の候補を抽出することができる(ステップS904)。欠陥抽出処理部24は、さらに、この2値化画像に対して、各候補点の座標、面積、大きさ(最大直径など)などの特徴量を選別して抽出し、この選別して抽出された欠陥の特徴量である例えば大きさにおいて予め定められた大きさ基準より大きなものを欠陥として判定する(ステップS905)。また、欠陥抽出処理部24は、欠陥の候補点からの欠陥の選択に関しては、例えば、欠陥候補部の面積とそこの周囲の明るさと欠陥部の最も暗い(又は明るい)明るさとの比を用いることもできる。そして、欠陥抽出処理部24は、判定された欠陥についての欠陥情報(欠陥の発生座標、欠陥の特徴量、欠陥の個数、被検査シリンダ毎の欠陥マップおよび欠陥の画像信号等)35を出力して主制御部25に入力して記憶装置43等に記憶する。主制御部25は、上記欠陥情報35および評価結果(合否判定結果)を表示装置41に表示することができる(ステップS906)。なお、欠陥情報35を表示する際、検出角度θrも同時に表示することができる。
【0035】
ところで、図1に示すメモリ23および欠陥抽出処理部24の具体的な実現方法としては、リニアイメージセンサ5からの画像信号を入力する画像入力基板を具備した高速の計算機、たとえば、パソコンなどを用いることができる。もちろん、全体、または一部を適当な専用または、汎用のハードウェアの処理系で構築することは、本発明を逸脱するものではない。
【0036】
以下、全体の動作について、図2に示すように4個の被検査シリンダ1を有するエンジンブロックを検査する場合について説明する。まず、被検査エンジンブロック11をワークホルダに載置する。このとき、被検査エンジンブロックは、図示されないワークホルダ上の位置決めピンなどにより所定の精度で載置されるか、または、図示されない画像センサなどによりその位置を測定して、正規の位置からのずれ量を適宜、XYZステージ8のXY軸へフィードバックする。次にXYZステージ8のZ軸を移動し、検出光学系10及び照明光学系3を取付けた支持部材12の一部を被検査エンジンブロックの被検査シリンダ1へ挿入し、θステージ7を1回転させることにより、シリンダ内壁の1周分の画像をリニアイメージセンサ5で検出してA/D変換器21でデジタル画像信号に変換し、前処理をしてメモリ23に格納する。このとき、θステージ7は、回転の加減速が必要なため、実際には1回転以上回転することもある。メモリ23に格納された画像は、欠陥抽出処理部24により、先に詳細を述べた処理を行い欠陥情報35を抽出する。シリンダの長さが、1回の画像検出幅よりも長い場合は、XYZステージ8のZ軸を移動し、未検出部について、画像検出、欠陥抽出処理を繰り返す。この場合、各画像検出部は若干オーバラップさせると、画像検出の境界部に存在した欠陥を見逃すことはない。以上のようにして、シリンダ1個分の検査が完了すると、XYZステージ8のZ軸を移動し、検出光学系10をシリンダ内から抜き取り、XYZステージ8のXYステージまたは図示されないワークホルダの移動手段により、隣のシリンダ部が検査できる位置に検出光学系10及び照明光学系3、または、被検査エンジンブロックを移動する。これを繰り返すことにより、4個のシリンダ内の内壁の検査を行うことができる。
【0037】
主制御部25は、以上により検出された、これらの欠陥情報35を基に1エンジンブロックの検査結果として図12に示すように表示装置41の画面上にマップ形式で出力表示することが可能となる。この検査結果は、4気筒の例ですので、4つのボア分をマップ形式で表示している。この欠陥マップは、単独で発生しているもの(単独巣)、ある程度近い距離で発生しているもの(密集巣)、加工傷等を弁別して表示する。その結果、欠陥位置の偏りの傾向を把握することができる。図12では、1ブロック分を表示しているが、複数のエンジンブロックの検査結果を重ね合わせて表示しても良い。その場合、ロットばらつきや時間、日毎の欠陥発生の傾向をつかみ易くすることができる。図12の右側の四角は、欠陥部の拡大画像(原画像又は処理画像(欠陥画像))を表示するエリアで、例えば左側の欠陥マップにおいて欠陥部を指定すると表示される。検出した欠陥部の拡大画像上に、欠陥として抽出された部位を丸印72で囲ったり、その傍らに最大直径(例えば0.24mm)、面積(例えば0.03mm2)などを表示すること可能である。欠陥は、必ずしも円形とはならないので、最大直径および面積を表示するようにした。このような表示を行うことにより、検査条件(例えば検出角度θrや照明光の強度等)の設定がしやすくなったり、欠陥の発生する部位の確認が分かりやすく、直感的に判断することができる。
【0038】
また、主制御部25は、検出された欠陥情報35および評価結果(合否判定結果)を基に1日とか1週間分を集計した検査結果の集計表を、例えば、図13に示すように表示装置41の画面上において出力することができる。即ち、検査日、検査時間、ブロックNo.、ボアNo.、欠陥数、巣や加工キズ等の欠陥の種別、欠陥の大きさ(最大径)(mm)、欠陥の面積(mm2)及び欠陥の座標(X,Y)、並びに評価結果(ボア毎の合否およびブロック毎の総合合否)が表示装置41の画面上に表示される。これにより、検査結果の詳細を知ることができる。
【0039】
このようにして主制御部25で得られた欠陥情報および評価結果(合否判定結果)は、上位の管理システムへ、オンラインまたは、オフラインで転送し、後工程への物流管理や、前工程のプロセスのフィードバックに用いることができる。
【0040】
次に、本発明に係る外観検査装置の第2の実施例について説明する。本第2の実施例は、図14に示すように、柱状の被検査物体101の外側表面を検査する実施例である。しかしながら、円筒状の被検査物体の内周表面を検査するものに適用することも可能である。本第2の実施例では被検査物101として楕円柱とし、検査部位はその側面とするが、後述するようにもっと複雑な形状でもかまわない。画像検出は第1の実施例と同じくリニアイメージセンサ5で行うものとし、被検査物101の外面の軸心方向を向いた線状の検査部位(領域)の表面を結像レンズ4によって、リニアイメージセンサ5上に結像させるものとする。被検査物101の線状の検査部位における画素サイズは、結像レンズ(結像光学要素)4の倍率によって決まることになる。このように、本第2の実施例の場合、検出光学系110が被検査物101の外側に配置される関係で、検出光学系110としては、結像レンズ4とリニアイメージセンサ5とによって構成される。被検査物が円筒物体で内面を検出する場合には、検出光学系110としては第1の実施例と同様にミラーを設けてもよい。照明光学系3も第1の実施例と同じくリニアイメージセンサ5での画像検出部位を照明するように配置される。これら、リニアイメージセンサ5、結像レンズ4、照明光学系3は、第1の実施例と同じく支持部材107に取り付けられる。この支持部材107は、XYθステージ108によって被検査物101に対して、X、Y、θ方向に自由に移動できるように構成される。また、被検査物101は、θステージ109によって、その重心付近を中心として回転できるようになっている。しかしながら、リニアイメージセンサ5で被検査物101の周方向にも等ピッチ(等画素サイズ)で撮像する必要があるために、回転手段(θステージ)109によって、被検査物101を外面の軸心方向を向いた線状の検出部位の周速度がほぼ一定のなるように回転させる必要がある。
【0041】
さらに、本第2の実施例において、上記第一の実施例と相違する点は、検査部位が円筒などの内面(内壁)であるか、外面(外壁)であるかではなく、検査部位の面の傾きが検出光学系110に対して、逐次変化する点にある。
【0042】
まず、本第2の実施例での画像検出について説明する。まず、被検査物101が例えば楕円柱であるため、θステージ(回転手段)109の回転中心から被検査物の検出部位までの半径の変化に応じてθステージ109の回転速度を変えて制御することによって被検査物101の線状の検出部位(領域)の周速度が一定になるように被検査物101を回転させる。さらに、被検査物101が例えば楕円柱であるため、検出部位での検出光学系110との検出角度θrと距離が変わってしまう。そこで、主制御部25は、XYθステージ108により検出光学系110を移動させることにより、常に被検査物101の検出部位での検出光学系110との検出角度θrと距離が一定になるように制御する。以下、その制御方法について説明する。まず、被検査物101が回転することにより、線状の検出部位と検出光学系110との距離が変わる。そこで、例えば距離センサにより、検出部位と検出光学系110との距離を測定し、その結果を用いてXYθステージ108を制御することにより、常に被検査物101の線状の検出部位と検出光学系110との距離が一定になるように制御する。距離センサには、例えば、レーザなどの距離センサを用いたものなどを使用することができる。また、被検査物101の検出部位での検出光学系110との検出角度θrについては、第1の実施例で説明した、検出光学系110の検出角度θrと照明の指向性の関係を利用することができる。すなわち、被検査物101が回転して検出部位が変わると、該検査部位での法線と検出光学系110による検出角度θrが変わり、照明光学系3からの照明光の指向特性のどの角度の成分が支配的になるか変わるため、検出される光量が変化する。そこで、この光量が一定になるようにXYθステージ108のθステージを移動させて検出光学系110を矢印111方向に傾きを変える(揺動運動する)。また、必要に応じてXY方向に移動させても良い。以上のように、被検査物101の回転速度の変化に合わせて、被検査物101の線状の検出部位での法線に対して検出角度θrが一定になるように線状の検出部位を中心にして揺動運動させて制御することにより、検出光学系110は常に被検査物の検出部位での位置関係を一定に保つことができ、検出条件を一定にすることができる。このようにして得られたリニアイメージセンサ5からの信号31を第1の実施例で述べた方法を一例として、処理することにより、欠陥部の検出を行うことができる。また、本第2の実施例では、被検査物101の検出部位と検出光学系110との距離を距離センサを用いて行うとしたが、予め被検査物101の形状が分かっている場合などは、その形状データを用いても良いし、距離センサのデータと併用しても良い。形状データを用いることにより、距離センサが不要となり、コストが安くなったり、距離センサの誤差の影響なく、欠陥検査を行うことができる効果がある。また、予め、被検査物101の線状の検出部位と検出光学系110との距離が分かることにより、XYθステージ108の制御を速く行うことができ、画像の検出速度を速くすることができる効果がある。また、距離センサと形状データを併用することにより、前記効果のほか、距離の測定精度を上げることができる効果がある。
【0043】
【発明の効果】
本発明によれば、円筒物体などの内壁などの曲面上に発生した凹凸、傷などの欠陥を安定に自動的に検出することができる効果を奏する。
【0044】
また、本発明によれば、円筒物体などの内壁などの曲面上に発生した凹凸、傷などの欠陥を安定に自動的に検出する外観検査において、検出した欠陥の座標(位置)、大きさ、面積など数値化した情報が得られるため、後工程への物流管理や、前工程のプロセスのフィードバックに用いることができ、品質の良い製品を製造することができる。
【図面の簡単な説明】
【図1】本発明に係る被検査円筒物体の内面に発生した欠陥を検査する外観検査装置の第1の実施例を示す構成図である。
【図2】被検査円筒物体の外観説明図である。
【図3】図1に示す外観検査装置の第1の実施例における被検査円筒物体と、θステージ(回転ステージ)にXY微動機構を介して支持される支持部材上に取付けられる照明光学系及び検出光学系との関係を説明するための図である。
【図4】被検査円筒物体の内面における検出光学系であるミラー及びリニアイメージセンサによる画像検出位置の関係を説明するための図である。
【図5】凹欠陥を例に欠陥部の顕在化原理を説明するための図である。
【図6】検出角度θr及び距離L/直径Rの比と欠陥部のコントラスト及び背景ばらつき(正規化値)との関係を示す図である。
【図7】リニアイメージセンサで被検査円筒物体の内面から検出される2次元画像と芯ずれによるリニアイメージセンサで検出される明るさの変動とを説明するための図である。
【図8】照明光学系による照明の指向特性を説明するための図である。
【図9】図1に示す画像処理部での欠陥抽出処理を含めた画像処理のフローを示す図である。
【図10】背景ノイズとしてのクロスハッチの網目状ノイズを除去するためのマスク画像生成のためのデータ指定の一実施例を説明する図である。
【図11】検出された原画像と検査結果として表示する欠陥画像とを示した図である。
【図12】1エンジンブロックにおける欠陥検査結果の表示の一実施例(4つのボアの欠陥マップ)を説明する図である。
【図13】欠陥検査結果の集計表示の一実施例を示す図である。
【図14】本発明に係る被検査楕円柱物体の外面に発生した欠陥を検査する外観検査装置の第2の実施例を示す構成図である。
【符号の説明】
1…被検査シリンダ(被検査円筒物体)、2…ミラー(反射光学要素)、3…照明光学系、4…結像レンズ(結像光学要素)、5…リニアイメージセンサ、6…XY微動ステージ、7…θステージ(回転ステージ)、8…XYZステージ、10…検出光学系、12…支持部材、21…A/D変換器、22…前処理部、23…メモリ、24…欠陥抽出処理部、25…主制御部、26…照明電源、41…表示装置、42…入力手段、43…記憶装置、51…ラインセンサによる線状の検出領域(検出点)、101…被検査物、108…XYθステージ、109…θステージ(回転手段)。

Claims (9)

  1. 被検査円筒物体を載置するワークホルダを設け、
    該ワークホルダによって載置された被検査円筒物体の内面における軸心方向を向いた線状の検出領域に照明する照明光学系と、前記線状の検出領域からの反射光像を前記線状の検出領域の法線方向に対して所望の検出角度傾斜した検出方向から検出するように前記線状の検出領域からの反射光像を前記検出方向において反射させて前記軸心方向に向ける反射光学要素と該反射光学要素で前記検出方向において反射されて軸心方向に向けた前記線状の検出領域からの反射光像を線状に結像させる結像光学要素と該結像光学要素で結像された線状の反射光像を受光して線状の画像信号を出力するリニアイメージセンサとからなる検出光学系とを支持する支持部材を取付けた回転ステージを設け、該回転ステージを前記被検査円筒物体の内面における軸心を中心にして回転させることによって前記検出光学系を前記被検査円筒物体の内面に沿って円周方向に回転走行させて前記リニアイメージセンサから前記線状の画像信号を円周方向に連ねた前記被検査円筒物体の内面の2次元画像信号を検出するように構成し、
    さらに、前記検出光学系のリニアイメージセンサから検出された2次元画像信号を基に前記被検査円筒物体の内面に存在する欠陥情報を取得する画像処理部を備え、
    さらに、前記線状の検出領域の法線方向に対する前記検出角度を変えることができるように前記検出光学系を支持する前記支持部材を前記回転ステージに対して前記被検査円筒物体の軸心方向であるZ方向に直角なXY方向に微動できる機構を備えたことを特徴とする欠陥検査装置。
  2. さらに、前記回転ステージの回転中心と前記被検査円筒体の内面の軸心とのずれを検出するずれ検出手段と、該ずれ検出手段で検出されたずれに応じて前記回転ステージの回転中心と前記被検査円筒体の内面の軸心とのずれを補正する補正機構とを備えたことを特徴とする請求項1記載の欠陥検査装置。
  3. 前記ずれ検出手段は、前記リニアイメージセンサから検出された2次元画像信号を基に被検査円筒物体の内面における円周方向への画像信号の明るさのむら量を算出することにより前記ずれを検出するように構成したことを特徴とする請求項2記載の欠陥検査装置。
  4. 前記照明光学系を、前記線状の検出領域に該線状の検出領域の法線に対して傾斜した方向から照明するように構成したことを特徴とする請求項1記載の欠陥検査装置。
  5. 前記照明光学系による前記線状の検出領域に対する照明角度を調整できるように前記照明光学系を前記支持部材に対して移動調整可能に形成したことを特徴とする請求項1記載の欠陥検査装置。
  6. 前記画像処理部において、前記リニアイメージセンサから検出された2次元画像信号を2次元デジタル画像信号に変換するA/D変換器と、該A/D変換器から得られる2次元デジタル画像信号に対してシェーディング補正を行い、さらに背景ノイズを除去する前処理部とを有することを特徴とする請求項1記載の欠陥検査装置。
  7. 前記前処理部において、前記背景ノイズとしてのクロスハッチの網目状ノイズをマスク処理で除去するように構成したことを特徴とする請求項6記載の欠陥検査装置。
  8. 前記画像処理部において、前記前処理部から得られる2次元デジタル画像信号に基づいて欠陥候補を抽出し、該抽出された欠陥候補の欠陥特徴量を算出し、該算出された特徴量に基づいて判定して前記欠陥情報を取得する欠陥抽出処理部を有することを特徴とする請求項6記載の欠陥検査装置。
  9. さらに、前記画像処理部から取得された欠陥情報を基に被検査円筒物体の欠陥マップを表示する表示装置を設けたことを特徴とする請求項1記載の欠陥検査装置。
JP2003033232A 2003-02-12 2003-02-12 欠陥検査装置 Expired - Fee Related JP3914500B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2003033232A JP3914500B2 (ja) 2003-02-12 2003-02-12 欠陥検査装置
PCT/JP2004/000956 WO2004072628A1 (ja) 2003-02-12 2004-01-30 欠陥検査装置及びその方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003033232A JP3914500B2 (ja) 2003-02-12 2003-02-12 欠陥検査装置

Publications (2)

Publication Number Publication Date
JP2004264054A JP2004264054A (ja) 2004-09-24
JP3914500B2 true JP3914500B2 (ja) 2007-05-16

Family

ID=32866217

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003033232A Expired - Fee Related JP3914500B2 (ja) 2003-02-12 2003-02-12 欠陥検査装置

Country Status (2)

Country Link
JP (1) JP3914500B2 (ja)
WO (1) WO2004072628A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006266959A (ja) * 2005-03-25 2006-10-05 Jfe Steel Kk 物体表面の測色装置および測色方法
JP2010107220A (ja) * 2008-10-28 2010-05-13 Rozefu Technol:Kk 非円筒体の外周面検査方法及びその装置
JP5280317B2 (ja) * 2009-08-24 2013-09-04 本田技研工業株式会社 表面検査装置
JP5315417B2 (ja) * 2009-11-18 2013-10-16 本田技研工業株式会社 表面検査装置及び表面検査方法
JP5658917B2 (ja) * 2010-06-16 2015-01-28 ユキ技研株式会社 撮像装置
CN106525866A (zh) * 2016-12-29 2017-03-22 重庆市江津区恩聪机械厂 缸盖缺陷检测系统及其检测流程
JP7148387B2 (ja) * 2017-12-28 2022-10-05 大和ハウス工業株式会社 外装材の損傷検出方法
CN111202263A (zh) * 2020-02-12 2020-05-29 河南中烟工业有限责任公司 一种双倍长烟支外观检测装置及方法
CN112858306A (zh) * 2021-01-11 2021-05-28 合肥富煌君达高科信息技术有限公司 一种内径螺旋扫描缺陷检测装置
CN113218970A (zh) * 2021-03-17 2021-08-06 上海师范大学 一种基于x射线的bga封装质量自动检测方法
CN113588677B (zh) * 2021-07-21 2024-03-01 安吉八塔机器人有限公司 一种网袋实时缺陷检测设备
JP7256858B1 (ja) 2021-11-30 2023-04-12 株式会社クボタ 管内面検査装置および管内面検査方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0641163Y2 (ja) * 1989-06-29 1994-10-26 光洋精工株式会社 表面検査装置
JPH04134057U (ja) * 1991-05-31 1992-12-14 京セラ株式会社 金属パイプの欠陥検査装置
JPH0882753A (ja) * 1994-09-12 1996-03-26 Kiriyuu Kikai Kk 内面画像撮込装置
JPH08128960A (ja) * 1994-11-01 1996-05-21 Nabco Ltd 筒体検査機
JPH10176994A (ja) * 1996-12-18 1998-06-30 Sumitomo Metal Ind Ltd 円筒体の内面検査装置
JPH11166898A (ja) * 1997-12-03 1999-06-22 Showa Corp ロッド傷検査装置およびロッド傷検査方法
JP4130103B2 (ja) * 2002-08-02 2008-08-06 菱栄エンジニアリング株式会社 筒体内面撮影装置

Also Published As

Publication number Publication date
JP2004264054A (ja) 2004-09-24
WO2004072628A1 (ja) 2004-08-26

Similar Documents

Publication Publication Date Title
JP5638517B2 (ja) 光学検査プローブ
EP2508871A1 (en) Inspection apparatus, measurement method for three-dimensional shape, and production method for structure
JP3914500B2 (ja) 欠陥検査装置
JP3914530B2 (ja) 欠陥検査装置
JP2017190985A (ja) 管状体内表面検査装置、管状体内表面検査方法、ドリフトゲージ及びドリフト検査方法
JP5923054B2 (ja) 形状検査装置
JP2007212283A (ja) 外観検査装置及び外観検査方法
JP2009531686A (ja) 特に干渉測定法を用いてタイヤを調べる装置とその方法
JP2004279367A (ja) 表面欠陥検査装置及び制御プログラム記録媒体
JP2007178384A (ja) 検査装置および検査方法
JP5251617B2 (ja) ねじ形状測定装置およびねじ形状測定方法
JP4859127B2 (ja) 円筒体自動検査方法
JP3099462B2 (ja) 円筒面検査方法及びその装置
JP2008051664A (ja) 羽根車の羽根形状検査方法及び検査装置
US11781861B2 (en) Surface measurement method, component manufacturing method, component inspection method, and component measurement device
JP5367292B2 (ja) 表面検査装置および表面検査方法
JPH0886631A (ja) 物体の姿勢測定装置、姿勢測定方法、姿勢制御装置および物体表面の検査装置
JP2002148029A (ja) 円筒状被検物の表面凹凸検査装置及び方法
JP2021139630A (ja) 表面検査装置及び表面検査方法
KR100889005B1 (ko) 영상측정 시스템 및 이를 이용한 물품 검사 방법
JP2016080517A (ja) 表面検査装置
JP4216062B2 (ja) 欠陥検査方法
US20230082607A1 (en) Three dimensional strobo-stereoscopic imaging systems and associated methods
JP2002214155A (ja) 被検査物の欠陥検査装置
JPH10185514A (ja) コイル位置検出装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050609

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060801

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061002

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20061002

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20061024

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061208

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070109

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070202

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100209

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110209

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110209

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120209

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120209

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130209

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees