JPWO2004036197A1 - ガラス壜の検査装置 - Google Patents

ガラス壜の検査装置 Download PDF

Info

Publication number
JPWO2004036197A1
JPWO2004036197A1 JP2004544712A JP2004544712A JPWO2004036197A1 JP WO2004036197 A1 JPWO2004036197 A1 JP WO2004036197A1 JP 2004544712 A JP2004544712 A JP 2004544712A JP 2004544712 A JP2004544712 A JP 2004544712A JP WO2004036197 A1 JPWO2004036197 A1 JP WO2004036197A1
Authority
JP
Japan
Prior art keywords
glass bottle
image
inspection
ccd camera
template
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004544712A
Other languages
English (en)
Other versions
JP4269005B2 (ja
Inventor
薫 片山
薫 片山
徹 石倉
徹 石倉
児玉 安三郎
安三郎 児玉
博之 福地
博之 福地
昭 藤原
昭 藤原
Original Assignee
株式会社キリンテクノシステム
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社キリンテクノシステム filed Critical 株式会社キリンテクノシステム
Publication of JPWO2004036197A1 publication Critical patent/JPWO2004036197A1/ja
Application granted granted Critical
Publication of JP4269005B2 publication Critical patent/JP4269005B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/90Investigating the presence of flaws or contamination in a container or its contents
    • G01N21/9054Inspection of sealing surface and container finish

Landscapes

  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本発明は、ガラス壜の壜口部等の特定位置にある欠陥を撮像により検出することができるガラス壜の検査装置に関する。本発明のガラス壜の検査装置は、ガラス壜(2)を照明しガラス壜を回転させつつガラス壜からの光を撮影して画像処理によりガラス壜の欠陥を検出する検査装置において、ガラス壜に対して所定の位置に配置された照明(7)と、ガラス壜の周囲に配置されガラス壜の特定部位を撮影する複数のCCDカメラ(11〜20)と、ガラス壜の基準位置に対する回転角度を検出する角度検出手段(10)と、CCDカメラにより得られた画像を処理する画像処理装置(8)とを備え、前記画像処理装置は、前記角度検出手段により検出された回転角度情報を各CCDカメラにより撮影された画像に対応させて記録しておく。

Description

本発明は、ガラス壜の検査装置に係り、特にガラス壜の壜口部等の特定位置にある欠陥を撮像により検出することができるガラス壜の検査装置に関するものである。
ガラス壜の製造に際して、壜口部の肉厚内にひび割れのような亀裂(クラック)が入ることがあり、この亀裂はビリと称されている。壜口部にビリが発生する箇所はある程度限られていて、代表的には壜口の天面付近に発生する口ビリ、壜口のねじ山部に発生するねじビリ、壜口の首部に発生する首ビリがある。またビリには亀裂の方向によって、縦方向(略垂直方向)に延びる縦ビリ、横方向(略水平方向)に延びる横ビリ、斜め方向に延びる斜めビリがある。
上述したビリはガラス壜の破損の原因になるため壜口部を撮像することによりビリの有無を検出し、ビリがあるガラス壜を不良壜として排除するようにしている。
従来から、ガラス壜の壜口部を撮像してビリの有無を自動的に検査するガラス壜のビリ検査装置が知られている。このビリ検査装置は、ガラス壜の壜口部の周囲を囲むように配設された複数対の投光器と受光器とから構成されており、複数対の投光器と受光器とは、検査対象のガラス壜の壜口部に対してそれぞれ最適な位置に調整され配置関係にある。そして、各対をなす投光器と受光器とによりガラス壜からの反射光を受光し得られた信号を処理し、壜口部のビリを検出するようにしている。この場合、投光器からの投光は壜口部に入射し、ビリがある場合にはビリの亀裂面で反射して明るく光るため、この反射光を投光器と対をなす受光器で受光して所定値以上の明るさを有する部分があるか否かで壜口部のビリを検出している。
上述した従来のビリ検査装置は、ガラス壜の壜口部のビリを検査するために、複数の検査ステーションを備えており、検査用のスターホイールはガラス壜を保持して円周上を搬送して複数の検査ステーションでガラス壜をインデックス(回転割出し)するようになっている。そして、複数の検査ステーションでは、ガラス壜を自転させつつ、それぞれ口ビリ、ねじビリ、首ビリ等の欠陥毎に専用に検査するようになっている。
上述した従来のビリ検査装置は、複数の検査ステーションを備え、各検査ステーション毎に複数対の投光器と受光器とを配置するという構成を採用しているため、検査対象であるガラス壜の品種が変更される型替え時には、各検査ステーション毎に複数対の投光器と受光器の配置関係を再調整しなければならないという問題点がある。すなわち、各検査ステーションにおける複数対の投光器と受光器の角度および高さを再調整するとともに受光器の感度等も再調整しなければならないという問題点がある。
また、壜口部にねじ山部を有したガラス壜においては、ねじ山部は複雑な曲面を有しているためにこのねじ山部においてビリと同様の反射光がある場合が多いので、このねじ山部がある領域から反射光があってもビリとは判定しないように処理している。そのため、ねじ山部及びねじ山部の上下の領域にビリがあっても検出されない。さらに、壜の合わせ目部分も縦方向に連続している曲面になっているためにこの部分においても、ビリと同様の反射光がある場合が多いため、この部分についても、ねじ山部と同様の処理を行っているため、この壜の合わせ目部分及びその周囲の領域にビリがあっても検出されない。すなわち、ガラス壜の特定部分では、CCDカメラで撮影した画像は、正常なガラス壜であっても、欠陥があるガラス壜と同様な画像になってしまい、良壜と不良壜とを識別できないという問題点がある。また壜の成形時に生ずるねじ山部等における成形不良については、従来、検出が困難であった。
本発明は、上述の事情に鑑みなされたもので、検査対象であるガラス壜の品種が変更される型替え時において投光器と受光器の配置の配置を再調整する必要がなく、ねじ山部の上下の領域にある欠陥や壜の合わせ目部分の周囲にある欠陥等のガラス壜の特定位置にある欠陥を検出することができるとともに壜(特にねじ山部)における成形不良を検出することができるガラス壜の検査装置を提供することを目的とする。
上述した目的を達成するために、本発明の1態様は、ガラス壜を照明しガラス壜を回転させつつガラス壜からの光を撮影して画像処理によりガラス壜の欠陥を検出する検査装置において、ガラス壜に対して所定の位置に配置された照明と、ガラス壜の周囲に配置されガラス壜の特定部位を撮影する複数のCCDカメラと、ガラス壜の基準位置に対する回転角度を検出する角度検出手段と、CCDカメラにより得られた画像を処理する画像処理装置とを備え、前記画像処理装置は、前記角度検出手段により検出された回転角度情報を各CCDカメラにより撮影された画像に対応させて記録しておくことを特徴とするものである。
本発明によれば、ガラス壜に対して所定の位置に設置された照明からの光は、回転しているガラス壜に入射し、ガラス壜の特定部位(たとえば壜口部)を透過した透過光又はガラス壜の特定部位(たとえば壜口部)から反射した反射光を複数のCCDカメラにより撮影する。一方、回転しているガラス壜の基準位置に対する回転角度は角度検出手段により検出する。そして、前記角度検出手段により検出された回転角度情報を各CCDカメラにより撮影された画像と対応させて所定の場所、たとえば当該画像中に記録しておく。したがって、本発明によれば、各CCDカメラにより撮影した画像は、ガラス壜の基準位置に対して何度の撮影角度のものかを知ることができる。
本発明の好ましい一態様は、前記回転角度情報は各CCDカメラにより撮影された画像中に書き込まれていることを特徴としている。
本発明の好ましい一態様は、前記画像処理装置は、前記回転角度情報を有した画像と予め作成され前記角度に対応した基準画像とを比較してガラス壜の特定部位にある欠陥を検出することを特徴としている。
本発明によれば、予め角度毎に基準画像を作成しておき、検査対象のガラス壜を撮影して得られた角度情報を有した実際の画像と前記基準画像とを比較することにより、ガラス壜の特定部位にある欠陥を検出することができる。したがって、欠陥がないガラス壜(良品壜)の画像に基づいて角度毎に基準画像を作成しておけば、得られた実際の角度毎の画像がこの基準画像と異なった領域があるか否かを判定することで、ガラス壜の特定部位の欠陥を検出することができる。
本発明の好ましい一態様は、前記基準画像は、予めガラス壜を撮影した画像のうち欠陥がないガラス壜の画像に基づいて作成されることを特徴としている。
本発明の好ましい一態様は、金型情報を各CCDカメラにより撮影された画像に対応させて記録しておくことを特徴としている。
本発明の好ましい一態様は、製造番号、製造ライン、製造日時等の製造に関連した情報を各CCDカメラにより撮影された画像に対応させて記録しておくことを特徴としている。
本発明の好ましい一態様は、検査結果を各CCDカメラにより撮影された画像に対応させて記録しておくことを特徴としている。
図1は、本発明の第1の実施形態における検査装置を示す縦断面図である。
図2は、図1に示す検査装置の半球体の平面図である。
図3は、本発明の第1の実施形態における照明からの光の挙動を示す模式図である。
図4は、本発明の第1の実施形態における検査装置の画像処理装置とCCDカメラとの関係を示す模式図である。
図5は、角度情報と金型番号とが書き込まれた画像の一例を示す模式図である。
図6は、サンプルとなるガラス壜の画像を示す模式図である。
図7は、画素の明るさの分布を示す度数分布である。
図8は、良品のガラス壜の画像を示す模式図である。
図9は、ある特定の行における画素の明るさの分布を示すグラフ図である。
図10は、検査すべきガラス壜の画像における各画素の明るさ分布とテンプレートとの関係を示す図である。
図11Aは明テンプレートを示す模式図であり、図11Bは暗テンプレートを示す模式図である。
図12Aは図11Aに示す明テンプレートの各数値に基づいて画像化した明テンプレート画像を示し、図12Bは図11Bに示す暗テンプレートの各数値に基づいて画像化した暗テンプレート画像を示す。
図13は、本発明の第2の実施形態における検査装置の主要部を示す平面図である。
図14は、図13のA−A線断面図である。
図15は、図13のB−B線断面図である。
図16は、本発明の第2の実施形態における照明からの光の挙動を示す模式図である。
図17は、本発明の第2の実施形態における検査装置の画像処理装置とCCDカメラとの関係を示す模式図である。
以下、本発明に係るガラス壜の検査装置の実施態様を図1乃至図17を参照して説明する。本発明のガラス壜の検査装置は、検査すべきガラス壜の特定部位として壜口部の場合を説明し、検査すべき欠陥が壜口部におけるビリ又はねじ山部等における成形不良である場合を説明する。
検査対象となるガラス壜は、検査用のスターホイール(図示せず)に保持され、スターホイールの円周上の搬送経路に沿って搬送される。このスターホイールの円周上の搬送経路の途中の1つのステーション(第1検査ステーション)に、本発明に係るガラス壜の検査装置が配置されている。この第1検査ステーションにおいて、スターホイールにより搬送されるガラス壜がインデックス(回転割出し)され、本発明に係るガラス壜の検査装置によって壜口部におけるビリ又はねじ山部等における成形不良が検出される。
図1は、本発明の第1の実施形態におけるガラス壜の検査装置を示す縦断面図である。図1に示すように、検査装置は、回転自在な回転台1に載置されたガラス壜2の壜口部3を覆うように配置された半球体4と、半球体4を支持する支柱5とを備えている。この半球体4の中心Oは、回転台1に載置されたガラス壜2の壜口部3と略一致するようになっている。半球体4は、上下動可能な摺動部材6を介して支柱5に取り付けられており、支柱5に対して上下動自在に構成されている。
図2は、図1に示す半球体4の平面図である。図1および図2に示すように、半球体4の頂部、すなわち回転台1上のガラス壜2の壜口部3の天面の上方には、回転台1上のガラス壜2の壜口内に光を照射する照明7が設置されている。また、半球体4には、ガラス壜2の壜口部3を取り囲むように複数のCCDカメラ10〜20が配置されている。これらのCCDカメラ10〜20の光軸は、半球体4の中心O(ガラス壜2の壜口部3)から放射状に伸びる線上にある。
本実施形態においては、合計で11台のCCDカメラが配置されており、これらのうち1台のカメラ10は、回転台1に載置されたガラス壜2の壜口部3のねじ山を撮影してガラス壜2の所定の基準位置に対する回転角度を検出する角度検出専用カメラとなっている。図1に示すように、角度検出専用カメラ10は、その光軸の仰角が0°となるように配置されており、ガラス壜2の壜口部3のねじ山を水平方向から撮影するようになっている。
角度検出専用カメラ10以外のカメラ11〜20は、壜口部3を様々な角度から撮影して壜口部3のビリを検査する検査用CCDカメラとなっている。本実施形態においては、各カメラの光軸の水平面への投射と角度検出専用カメラ10の光軸とのなす角が、25°(第1検査用CCDカメラ11、第2検査用CCDカメラ12)、59.5°(第3検査用CCDカメラ13)、140°(第4検査用CCDカメラ14、第5検査用CCDカメラ15)、185°(第6検査用CCDカメラ16)、220°(第7検査用CCDカメラ17)、260°(第8検査用CCDカメラ18)、296.5°(第9検査用CCDカメラ19)、326°(第10検査用CCDカメラ20)となるような位置に検査用CCDカメラ11〜20がそれぞれ配置されている。
また、第1検査用CCDカメラ11の光軸の仰角は30°、第2検査用CCDカメラ12は0°、第4検査用CCDカメラ14は55°、第5検査用CCDカメラ15は15°、第6検査用CCDカメラ16は45°、第7検査用CCDカメラ17は20°、第8検査用CCDカメラ18は35°、第10検査用CCDカメラ20は25°となっている。第3検査用CCDカメラ13および第9検査用CCDカメラ19は、半球体4の面上を上下に移動できるように構成されており、その光軸の仰角を自由に設定できるようになっている。
本実施形態において使用される各CCDカメラ10〜20の画素数は64×64であり、0.4ミリ秒毎に1枚の画像を撮影することができるようになっている。例えば、1分間に300本のガラス壜を検査する場合、1本のガラス壜に対する処理時間は200ミリ秒となるが、この処理時間のうち100ミリ秒の間だけガラス壜の撮影をする場合には、1本のガラス壜に対して最大で250枚(=100/0.4)の画像を撮影することができる。ここで、検査装置によりガラス壜2の壜口部3の検査を行なっている間は、回転台1は回転しており、ガラス壜2を回転させた状態で各CCDカメラ10〜20により同時にガラス壜2を撮影する。このように、ガラス壜2を回転させながら、ガラス壜2の撮影を繰り返し行なうことで、ガラス壜2の壜口部3を全周に亘って撮影することができる。
ここで、ガラス壜2の上方に設置された照明7からの光はガラス壜2の壜口内に入射し、図3に示すように、一部の光Lは壜口部3の内周面から壜口部3に入射する。壜口部3の内部にビリCがあった場合、この光Lは壜口部3の内部のビリCの亀裂面で反射し、この反射光Lは壜口部3の内部を透過して上述した検査用CCDカメラ11〜20により撮影される。ビリCの亀裂面で反射した光Lは、他の部分を透過した光よりも明るく、そのため、CCDカメラで撮影した画像中では、ビリCに相当する部分は他の部分より明るい領域となる。検査装置に設けられた画像処理装置は、上述したCCDカメラ10〜20により得られた画像からこの明るい領域を検出し、これをビリであると判定する。一方、壜口部3の内部にビリCがない場合には、前記一部の光Lは壜口部3の内周面から壜口部3に入射してそのまま壜口部3を透過する。この場合、ねじ山部等において成形不良があると、この成形不良部分からの光は、対応するCCDカメラには入射しない方向に散乱することになり、正常に成形されたねじ山部の画像と比べてうす暗くぼんやりとした画像となるため、この成形不良の欠陥を検出できる。
図4は、この画像処理装置と各CCDカメラ10〜20との関係を示す模式図である。図4に示すように、画像処理装置7は、それぞれのCCDカメラ10〜20に対応して演算ボード30〜40を備えており、これらの演算ボード30〜40は対応するCCDカメラ10〜20にそれぞれ接続されている。
角度検出専用カメラ10が接続された角度検出用演算ボード30には、予めガラス壜2のねじ山の螺旋の高さ位置と所定の基準位置に対するガラス壜2の回転角度との関係が記憶されている。角度検出用演算ボード30は、角度検出専用カメラ10により得られた画像からねじ山の螺旋の高さ位置を検出し、このねじ山の螺旋の高さ位置から前記関係に基づいて基準位置に対する撮影時のガラス壜2の回転角度を検出する。検出されたガラス壜2の回転角度の信号は、各検査用CCDカメラ11〜20に接続された演算ボード31〜40に送られるようになっている。このように、角度検出専用カメラ10および角度検出用演算ボード30は、基準位置に対する撮影時のガラス壜の回転角度を検出する角度検出手段を構成している。
上述したように、各検査用CCDカメラ11〜20に接続された演算ボード31〜40には、前記角度検出用演算ボード30から送られたガラス壜2の回転角度が送られ、各検査用CCDカメラ11〜20により撮影された各画像には、この回転角度が回転角度情報として書き込まれる。
次に、前述のように構成されたガラス壜の検査装置の作用を図1乃至図4を参照して説明する。
上述したように、照明7からの拡散光は、回転台1に載置されたガラス壜2の壜口部3の上方から壜口内に入射する。壜口内に入射した拡散光は、放射状に拡散して壜口部3を透過する。そして、壜口部3を放射状に透過した透過光は、壜口部3の周囲に配置された全てのCCDカメラ(11個のCCDカメラ)10〜20により同時に撮影される。このとき、1個のCCDカメラは、上述したように、角度検出専用カメラになっており、この角度検出専用カメラ10は壜口部3のねじ山を撮影することにより、基準位置に対する撮影時のガラス壜の回転角度を検出することができる。ねじ山の螺旋は1回転すると1ピッチ分だけ高さ位置が変化するため、予めねじ山の螺旋の高さ位置と基準位置に対する回転角度との関係を角度検出専用カメラ10の演算ボード30に記憶させておけば、角度検出専用カメラ10は撮影時の基準位置に対する角度を検出することができる。この基準位置としては、例えば、ねじ山の始まりである始端を基準位置(0°)とすればよい。
前記角度検出専用カメラ10を基準とすれば、この角度検出専用カメラ10に対する各検査用CCDカメラ11〜20の相対位置は予め定まっているため、角度検出専用カメラ10の演算ボード30により検出された回転角度は、基準位置を相対的にずらして考えることで、各検査用CCDカメラ11〜20が壜口部3を撮影したときの回転角度としても用いることができる。このため、本実施形態では、各検査用CCDカメラ11〜20により撮影された各画像には、角度検出専用カメラ10の角度検出用演算ボード30から送られた回転角度が書き込まれている。
回転台1によってガラス壜2を回転させながら、壜口部3を透過した透過光を所定時間毎に撮影し多数の画像を得る。そして、全ての画像には上述した撮影時の角度情報が書き込まれている。
一方、ガラス壜成形機は多数の金型を備えており、これら金型を用いて多数の壜を同時成形することが行なわれている。成形されたガラス壜の性状(肉厚や微妙な形状等)は金型に大いに依存していることが知られている。また、ガラス壜の壜口部のビリの発生も金型に依存する。そのため、本発明の検査装置で得た画像中には、ガラス壜がどの金型で成形されたかがわかる金型番号の情報も書き込まれている。金型番号はガラス壜の壜底に形成された凸状の符号を読み取る金型番号読取り装置により検出できるものであり、金型番号読取り装置からの信号は各検査用CCDカメラ11〜20の演算ボード31〜40に入力され、各画像中に金型番号が書き込まれるようになっている。また、各画像中に製造番号等の製造に関連した情報が書き込まれるようになっている。図5は、上述のようにして得られた回転角度情報と金型番号とが書き込まれた画像の一例を示す模式図である。なお、検査結果、例えばガラス壜の良否を各画像中に書き込んでもよい。
次に、角度情報と金型番号等が書き込まれた各画像と、ガラス壜の検査前に予め作成してあったテンプレートと称される基準画像とを比較し、ガラス壜の壜口部にビリがあるか否かを検査する。この場合、基準画像(テンプレート)は角度毎および金型番号毎に用意されており、各検査用CCDカメラで得られた画像中に書き込まれた角度情報および金型番号と対応した基準画像が選定されて、この選定された基準画像と検査対象のガラス壜の画像とが比較される。
次に、基準画像(テンプレート)の作成方法について説明する。
基準画像(以下、適宜テンプレートという)を作成する工程は、大きく分けて3つの工程から構成される。すなわち、テンプレートの作成に使用される複数のガラス壜を各CCDカメラにて撮影する撮影工程、撮影工程によって撮影された画像群の中から不良品のガラス壜の画像を排除して良品のガラス壜の画像を選別する画像選別工程、そして、画像選別工程により選別された画像に基づいてテンプレートを作成する画像作成工程である。以下、各工程について順に説明する。
(1)撮影工程
本実施形態において実施される撮影工程の基礎データは次の通りである。
▲1▼サンプルに使用されるガラス壜の本数 100本
▲2▼金型番号M1〜M8
▲3▼角度A1〜A8(A1:0〜45°、A2:45〜90°、・・・、A8:315〜360°)
▲4▼ガラス壜1本当りの撮影枚数 100枚
サンプルとなる100本のガラス壜は検査用のスターホイールにより検査ステーションに搬送され、検査ステーションに備えられている第1乃至第10検査用CCDカメラ11〜20にて撮影される。撮影された画像は、各検査用CCDカメラ11〜20の演算ユニット30〜40に接続されたコンピュータ42(図4参照)に送られ、これらの画像に基づいて以下に述べる工程がコンピュータ42により行われる。
以下、第1検査用CCDカメラ11、金型番号M1、角度A1に対応したテンプレートを作成する例について説明する。
上述のように、1本のガラス壜に対して100枚の画像が撮影されるので、100本のガラス壜に対して合計10,000枚の画像が第1検査用CCDカメラ11により撮影される。100本のガラス壜のうち、金型番号M1により成形されたガラス壜が3本である場合、この金型番号M1によって成形されたガラス壜の画像数は3本×100枚=300枚である。したがって、まず、金型番号M1により成形されたガラス壜の画像300枚が10,000枚の中から抽出される。さらに、この300枚の画像の中から、角度A1において撮影された画像が抽出される。本実施形態では、角度A1において35枚の画像が撮影されるようになっている。したがって、金型番号M1、角度A1に対応したテンプレートの作成には35枚の画像が選定される。
(2)画像選別工程
基準画像となるテンプレートを作成する際に、サンプルとして使用される複数のガラス壜の中に不良品が含まれていると、ビリに基づく光を含んだ形のテンプレートが作成されることになる。このように、本来、光るべきでない部位からの明るい光を含んだ画像に基づいてテンプレートが作成されてしまうと、その部位にビリが存在するガラス壜を不良品と判断することができなくなってしまう。このような理由から、テンプレートを作成する前工程として、テンプレートに使用される複数の画像から不良品のガラス壜の画像を排除する作業が行われる。
画像選別工程では、撮影工程により選定された複数の画像に基づいて、画像を構成する画素毎の明るさの分布を示す度数分布が作成される。図6は、サンプルとなるガラス壜の画像を示す模式図である。図7は、画素の明るさの分布を示す度数分布である。図6において符号50は明部を示す。図7において、度数分布の縦軸は画素の個数を表し、横軸は明るさ(0〜255)を表す。
図6に示すように、各CCDカメラ11〜20の画像は縦64個×横64個の画素群から構成されている。この画素数は適宜調整することができる。この例の場合、1枚の画像は64×64の画素に分解することができる。そして、分解された画素群の中から1行1列目の画素が画像ごとにグラフ上にプロットされる。このようにして1行1列目の画素が35枚の画像についてグラフ上に順次プロットされると、図7に示すような、1行1列目の画素の明るさの分布を表す度数分布を得ることができる。この度数分布は1行1列目から64行64列目まで作成される。
次に、得られた度数分布毎に明るさのばらつき度合いを示す標準偏差σが計算される。この標準偏差σは一般的な統計的手法により求められる。そして、例えば、±2σの範囲内に画素の明るさが分布する場合は良品のガラス壜の画像と判断されるように検出基準を設定する。サンプルとなるガラス壜が総て良品である場合には、総ての画素の明るさはほぼ平均値X付近に分布することになる。したがって、図7に示すように、総ての画素は±2σの範囲内に存在することになる。この場合、画像は排除されず、35枚の総ての画像がテンプレート作成に使用される。
一方、あるガラス壜にビリが存在する場合、このビリの存在を示す画像の部位60は極端に明るくなる(図6参照)。そうすると、度数分布には、図7に示すように、この部位60に対応する明るさの画素の個数61が+2σの右側の領域にプロットされることになる。そして、このような画素を有する画像にはビリが撮影されていると判断される。また同様に、極端に暗い部位がある場合は、この部位に対応する明るさの画素の個数は−2σの左側の領域にプロットされることになる。そして、このような画素を有する画像には成形不良のねじ山部等が撮影されていると判断される。そして、これらの画像はテンプレートの作成に使用される画像から排除される。なお、本実施形態では統計学的手法を用いて画像選別工程を行っているが、これに限らず、排除すべき画像を特定できるものであれば他の手法を用いてもよい。例えば、撮影工程により得られた複数の画像を金型別、角度別にディスプレイ上に表示し、オペレータがディスプレイ上の画像を目視することにより不良品のガラス壜の画像を選別してもよい。
(3)画像作成工程
画像作成工程では、上述した画像選別工程により選別された複数の画像に基づいて、テンプレートとなる基準画像が作成される。この画像作成工程について図8乃至図10を参照して説明する。図8は良品のガラス壜の画像を示す模式図である。図9は、ある特定の行における画素の明るさの分布を示すグラフ図である。図10は検査すべきガラス壜の画像の各画素の明るさ分布とテンプレートとの関係を示す図である。
本実施形態におけるテンプレートは、画像の画素行ごとに作成される。まず、ある画素行を特定する。例えば、図8において、第3行を特定したとする。次に、この特定した画素行を列方向(図8の横方向、1、2、3・・・64の方向)に走査して、各画素が有する明るさをグラフに表す。具体的には、画素の明るさ度合いを縦軸とし、画素の列番号を横軸として、特定した画素行上の各画素をグラフ上にプロットしていく。図8に示すように、第3行の画素は暗部70の領域に位置するため、この第3行の各画素をグラフ上にプロットしたときに描かれる線は、ほぼ明るさ0付近に位置する直線となる。
一方、例えば、第10行の画素を特定した場合、この行の各画素をプロットしたときに描かれる線は図9に示すT1のようになる。即ち、第10行では、ねじ山部からの光によって形成された明部50が走査されるので、この明部50に対応する画素は高い明るさ度合いを示すことになる。
さらに、総ての画像について、同一行の各画素が同一グラフ上にプロットされる。つまり、本実施形態では、35枚の画像がテンプレートの作成に使用されるので、図9に示すように、35本の線群(図9では4本の線T1〜T4のみを示す)からなる明るさの分布図が作成される。このようにして、1行から64行までの総ての行について明るさの分布図が作成される。
そして、これらの線群によって画定された最大領域がテンプレートとすべき領域となる。即ち、図10に示すように、列ごとの最大値(最大の明るさ)を示す点を結んで得られる線を明テンプレートラインTmaxとし、列ごとの最小値(最小の明るさ)を示す点を結んで得られる線を暗テンプレートラインTminとする。そして、明テンプレートラインTmaxと暗テンプレートラインTminとによって囲まれた領域が求めるべき基準画像(テンプレート)となる。つまり、明テンプレートラインTmaxと暗テンプレートラインTminとの間には、最大の明るさと最小の明るさの間の範囲が列方向に連続して形成される。このようにして、金型番号M1、角度A1において、64個のテンプレートが作成される。
このようなテンプレートの作成作業は、金型番号M1〜M20、角度A1〜A8について行われるので、64×20×8=10,240個のテンプレートが第1検査用CCDカメラ11に対して与えられる。つまり、それぞれの検査用CCDカメラ11〜20は、金型、角度、画素行ごとのテンプレートを有することになる。上述したように、ガラス壜の性状やビリの発生具合などは金型に大きく依存するため、各金型に対応したテンプレートを作成することによってビリ又はねじ山部等における成形不良の検出精度を高めることができる。
次に、上述の方法で得られた基準画像(テンプレート)と検査対象のガラス壜から得られた画像とを比較して壜口部におけるビリ又はねじ山部等における成形不良があるか否かを判定する方法について説明する。
まず、画像に付与された角度情報や金型番号などの各種情報に基づいて、検査対象となる画像と同一の条件(金型、角度など)の下で作成されたテンプレートが比較対象として選定される。次に、検査すべきガラス壜の画像が画素行ごとにテンプレートと比較される。具体的には、ある特定の画素行における列方向の明るさ分布を示す線がテンプレートと比較される。そして、図10に示すように、検査すべきガラス壜の明るさ度合いを示す線S1がテンプレートの良品領域(明テンプレートラインTmaxと暗テンプレートラインTminとによって囲まれた領域)内に総て存在すれば、このガラス壜は良品と判定される。
一方、符号S2に示すように、線の一部がテンプレートの良品領域からはみ出す場合、このガラス壜は不良品と判断される。そして、総ての画素行をテンプレートと比較したときに少なくとも1つの行において不良品と判定された場合には、このガラス壜には、壜口部においてビリ又はねじ山部等において成形不良が存在すると判定される。
このような検査は各角度A1〜A8において行われるので、例えば、角度A1においてビリ又は成形不良が存在しないと判断された場合であっても、角度A2においてビリ又は成形不良が存在すると判断されることもある。本実施形態では、複数の角度(A1〜A8)においてビリ又は成形不良の検出が行われるため、従来の検査装置に比べてビリ又は成形不良の検査精度を高めることができる。
上述のように作成された64個のテンプレートは、さらに、2次元的(平面的)な2枚の明テンプレート及び暗テンプレートに集約することができる。図11Aは明テンプレートを示す模式図であり、図11Bは暗テンプレートを示す模式図である。以下、図10及び図11Aを参照して明テンプレートの作成工程を説明する。
図10に示すように、ある特定の行の明テンプレートラインTmaxが有する明るさ度合いは、列ごとに0〜255の範囲内で数値化することができる。そして、これらの明るさ度合いを示す各数値を、図11Aに示す64行×64列の区画からなる表の対応する行にプロットする。例えば、n行の明テンプレートラインTmaxのm列が有する明るさ度合いを示す数値は、表のn行m列に位置する区画にプロットされる。ここで、図11Aでは、0〜255の明るさ度合いを16進法で表している。
1行から64行までの明テンプレートラインTmaxの明るさ度合いが総て表にプロットされると、最終的に、図11Aに示すような1枚の明テンプレートが作成される。図11Bに示す暗テンプレートも、明テンプレートと同様の工程により暗テンプレートラインTminに基づいて作成される。このようにして得られた明テンプレート及び暗テンプレートによって、基準画像を構成する各画素の最大の明るさと最小の明るさの範囲が決定される。すなわち、図11A及び図11Bに示す例では、n行m列に位置する画素についての最小の明るさと最大の明るさの範囲は02から08までの範囲となる。なお、図12Aは図11Aに示す明テンプレートの各数値に基づいて画像化した明テンプレート画像を示し、図12Bは図11Bに示す暗テンプレートの各数値に基づいて画像化した暗テンプレート画像を示す。
上述した説明においては、二次元的(平面的)な2枚の明テンプレート及び暗テンプレートを作成するに際して、行毎に各画素が有する明るさを数値化する例を説明したが、行毎にではなく各画素毎に各画素の明るさの度合いを数値化することによっても二次元的な2枚の明テンプレート及び暗テンプレートを作成することができる。
次に、上記工程により得られた2枚の明テンプレート及び暗テンプレートを用いて検査対象となるガラス壜に壜口部におけるビリ又はねじ山部等における成形不良があるか否かを判定する方法について説明する。まず、検査対象となるガラス壜の画像の特定の行が列方向(横方向)に走査され、その行が持つ各画素の明るさが数値化される。次に、その行の1列から64列までの各画素の明るさが、明テンプレート及び暗テンプレートによって決定された最大の明るさと最小の明るさの範囲(以下、良品範囲という)内に存在するか否か判断される。この工程は1行から64行までの総ての行について行われる。
そして、検査対象となる画像を構成する総ての画素の明るさが良品範囲内に存在すれば、ガラス壜には壜口部におけるビリまたはねじ山部等における成形不良が存在しないと判定される。一方、明るさが良品範囲から許容値以上外れた画素が規定数以上存在すれば、その画像は不良品のガラス壜の画像と判断され、そのガラス壜には壜口部におけるビリまたはねじ山部等における成形不良が存在すると判定される。なお、不良品の判断基準となる良品範囲からの許容値および画素の個数の規定値は、達成すべき検査精度に応じて設定することができる。例えば、ある画像中の隣接する所定個数の画素が良品範囲外の明るさを有する場合には、その画像を不良品のガラス壜の画像と判断するようにしてもよい。
図1乃至図12A,12Bに示す実施形態においては、ガラス壜の壜口内部を照明し、壜口部を透過した透過光からビリ又は成形不良を検出するように構成している。この構成によれば、横方向に延びる横ビリや斜めに延びる斜めビリは完全に検出できる。また垂直方向に延びる縦ビリについても大部分のものは検出できるが、縦ビリの亀裂面が壜の軸心から半径方向に延びる方向と完全に一致している場合には、壜口部を透過する透過光は亀裂面に平行に進行していくために縦ビリを検出できない可能性がある。そのため、第2の実施形態においては、スターホイールの円周上の搬送経路の途中に第2検査ステーションを設け、この第2検査ステーションに反射光で縦ビリを検出するガラス壜の検査装置を配置している。なお、第2の実施形態においても、図1乃至図12A,12Bに示す透過光を用いた検査装置を第1検査ステーションに設置していることは勿論である。
次に、縦ビリを検出するガラス壜の検査装置を図13乃至図16を参照して説明する。
図13は縦ビリを検出する検査装置の主要部を示す平面図、図14は図13のA−A線断面図、図15は図13のB−B線断面図である。図13乃至図15に示すように、この検査装置は、ガラス壜2の壜口部3を覆うように配置された半球体104を備えている。この半球体104の中心Oは、ガラス壜2の壜口部3と略一致するようになっている。半球体104の側部、すなわちガラス壜2の壜口部3の側方には、ガラス壜2の壜口部3に光を照射する第1の照明107aが設置されている。また、半球体104には、ガラス壜2の壜口部3を取り囲むように複数のCCDカメラ110〜119が配置されている。これらのCCDカメラ110〜119の光軸は、半球体104の中心O(ガラス壜2の壜口部3)から放射状に伸びる線上にある。
本実施形態においては、合計で10台のCCDカメラが配置されており、これらのうち1台のカメラ110は、ガラス壜2の壜口部3のねじ山を撮影してガラス壜2の回転角度を検出する角度検出専用カメラとなっている。図15に示すように、角度検出専用カメラ110は、その光軸の仰角が0°となるように配置されており、ガラス壜2の壜口部3のねじ山を水平方向から撮影するようになっている。半球体104の角度検出専用カメラ110に対向する側面には第2の照明107bが配置されており、この第2の照明107bによりガラス壜2の壜口部3のねじ山を照明するようになっている。この第2の照明107bから発される光は赤外光となっており、第1の照明107aから発される光と干渉しないようになっている。また、角度検出専用カメラ110は、第2の照明107bから発された赤外光のみを受光するようになっている。
角度検出専用カメラ110以外のカメラ111〜119は、壜口部3を様々な角度から撮影して壜口部3のビリを検査する検査用CCDカメラとなっている。本実施形態においては、各カメラの光軸の水平面への投射と角度検出専用カメラ110の光軸とのなす角が、90°(第1検査用CCDカメラ111)、130°(第2検査用CCDカメラ112)、150°(第3検査用CCDカメラ113)、180°(第4検査用CCDカメラ114)、220°(第5検査用CCDカメラ115、第6検査用CCDカメラ116)、260°(第7検査用CCDカメラ117)、305°(第8検査用CCDカメラ118)、317°(第9検査用CCDカメラ119)となるような位置に検査用CCDカメラ111〜119がそれぞれ配置されている。
また、第1検査用CCDカメラ111の光軸の仰角は40°、第2検査用CCDカメラ112は35°、第3検査用CCDカメラ113は0°、第4検査用CCDカメラ114は50°、第5検査用CCDカメラ115は40°、第6検査用CCDカメラ116は10°、第7検査用CCDカメラ117は35°、第8検査用CCDカメラ118は35°、第9検査用CCDカメラ119は0°となっている。
ここで、図16に示すように、第1の照明107aからの光Lは、ガラス壜2の壜口部3の外周面から壜口部3に入射する。壜口部3の内部にビリ(縦ビリ)Cがあった場合、この光Lは壜口部3の内部のビリCの亀裂面で反射し、この反射光Lは壜口部3の内部を透過して上述した検査用CCDカメラ111〜119により撮影される。ビリCの亀裂面で反射した光Lは、他の部分を透過した光よりも明るく、そのため、CCDカメラ111〜119で撮影した画像中では、ビリCに相当する部分は他の部分より明るい領域となる。検査装置に設けられた画像処理装置は、上述したCCDカメラ111〜119により得られた画像からこの明るい領域を検出し、これをビリであると判定する。一方、壜口部3の内部にビリCがない場合には、第1の照明107aからの光Lは壜口部3の外周面から壜口部3に入射してそのまま壜口部3を透過するか、または壜口部3の外周面で反射する。この場合、ねじ山部等において成形不良があると、この成形不良部分からの光は、対応するCCDカメラには入射しない方向に散乱することになり、正常に成形されたねじ山部の画像と比べてうす暗くぼんやりとした画像となるため、この成形不良の欠陥を検出できる。前記画像処理装置の構成は、上述の第1の実施形態における検査装置の画像処理装置と同様であるので、ここでは説明を省略する。
次に、前述のように構成されたガラス壜の検査装置の作用を図13乃至図16を参照して説明する。
第2の照明107bからの赤外光は、回転台1に載置されたガラス壜2の壜口部3の側方から壜口部3に入射し、壜口部3を透過する。壜口部3を透過した赤外光は、第2の照明107bに対向して設けられた角度検出専用カメラ110により撮影される。上述の第1の実施形態と同様に、この角度検出専用カメラ110が壜口部3のねじ山を撮影することにより、撮影時の基準位置に対する撮影時のガラス壜の回転角度を検出することができる。
一方、第1の照明107aからの拡散光は、回転台1に載置されたガラス壜2の壜口部3に入射する。検査用CCDカメラ111〜119は、ガラス壜2の壜口部3から反射した光を撮影する。この場合、壜口部3の内部にビリがあると、壜口部3の外周面から壜口内部に入射した光はビリの亀裂面で反射した後に、この反射光は壜口部3を透過してCCDカメラ111〜119により撮影される。
前記角度検出専用カメラ110を基準とすれば、この角度検出専用カメラ110に対する各検査用CCDカメラ111〜119の相対位置は予め定まっているため、角度検出専用カメラ110により検出された回転角度は、基準位置を相対的にずらして考えることで、各検査用CCDカメラ111〜119が壜口部3を撮影したときの回転角度としても用いることができる。このため、本実施形態では、各検査用CCDカメラ11〜119により撮影された各画像には、角度検出専用カメラ110により検出された回転角度が書き込まれている。そして、第1の実施形態と同様に、基準画像(テンプレート)と検査対象のガラス壜から得られた画像とを比較して壜口部にビリがあるか否かを判定する。
ここで、図17に示すように、第1検査ステーションにおける検査装置の画像処理装置8の演算ボード30〜40と、第2検査ステーションにおける検査装置の画像処理装置108の演算ボード130〜139とを、例えばイーサネット141でホストコンピュータ142に接続して上述した基準画像を作成してもよい。すなわち、各検査装置のCCDカメラ10〜20,110〜119により撮影された画像をホストコンピュータ142に送り、これらの画像に基づいてホストコンピュータ142により基準画像を作成することもできる。
これまで本発明の一実施形態について説明したが、本発明は上述の実施形態に限定されず、その技術的思想の範囲内において種々異なる形態にて実施されてよいことは言うまでもない。
以上説明したように、本発明によれば、ガラス壜を照明しガラス壜を回転させつつガラス壜からの光を撮影する際に、角度検出手段により検出された回転角度情報を各CCDカメラにより撮影された画像に対応させて所定の場所に記入しておくことができる。したがって、本発明によれば、各CCDカメラにより撮影した画像は、ガラス壜の基準位置に対して何度の撮影角度のものかを知ることができる。
また本発明によれば、予め角度毎に基準画像を作成しておき、検査対象のガラス壜を撮影して得られた角度情報を有した実際の画像と前記基準画像とを比較することにより、ガラス壜の特定部位にある欠陥を検出することができる。したがって、欠陥がないガラス壜(良品壜)の画像に基づいて角度毎に基準画像を作成しておけば、得られた実際の角度毎の画像がこの基準画像と異なった領域があるか否かを判定することで、ガラス壜の特定部位の欠陥を検出することができる。これにより、検査対象であるガラス壜の品種が変更される型替え時に、投光部である照明と受光部であるCCDカメラとの配置関係を再調整する必要がなく、型替え時の調整時間を飛躍的に短縮することができる。また、ねじ山を有したガラス壜におけるねじ山部にあるビリ等の欠陥や壜の合わせ目部分にあるビリ等の欠陥などのように、ガラス壜の特定部位にある欠陥を検出することができる。
産業上の利用の可能性
本発明は、ガラス壜の壜口部等の特定位置にある欠陥を撮像により検出することができるガラス壜の検査装置に好適に利用可能である。
本発明は、ガラス壜の検査装置に係り、特にガラス壜の壜口部等の特定位置にある欠陥を撮像により検出することができるガラス壜の検査装置に関するものである。
ガラス壜の製造に際して、壜口部の肉厚内にひび割れのような亀裂(クラック)が入ることがあり、この亀裂はビリと称されている。壜口部にビリが発生する箇所はある程度限られていて、代表的には壜口の天面付近に発生する口ビリ、壜口のねじ山部に発生するねじビリ、壜口の首部に発生する首ビリがある。またビリには亀裂の方向によって、縦方向(略垂直方向)に延びる縦ビリ、横方向(略水平方向)に延びる横ビリ、斜め方向に延びる斜めビリがある。
上述したビリはガラス壜の破損の原因になるため壜口部を撮像することによりビリの有無を検出し、ビリがあるガラス壜を不良壜として排除するようにしている。
従来から、ガラス壜の壜口部を撮像してビリの有無を自動的に検査するガラス壜のビリ検査装置が知られている。このビリ検査装置は、ガラス壜の壜口部の周囲を囲むように配設された複数対の投光器と受光器とから構成されており、複数対の投光器と受光器とは、検査対象のガラス壜の壜口部に対してそれぞれ最適な位置に調整され配置関係にある。そして、各対をなす投光器と受光器とによりガラス壜からの反射光を受光し得られた信号を処理し、壜口部のビリを検出するようにしている。この場合、投光器からの投光は壜口部に入射し、ビリがある場合にはビリの亀裂面で反射して明るく光るため、この反射光を投光器と対をなす受光器で受光して所定値以上の明るさを有する部分があるか否かで壜口部のビリを検出している。
上述した従来のビリ検査装置は、ガラス壜の壜口部のビリを検査するために、複数の検査ステーションを備えており、検査用のスターホイールはガラス壜を保持して円周上を搬送して複数の検査ステーションでガラス壜をインデックス(回転割出し)するようになっている。そして、複数の検査ステーションでは、ガラス壜を自転させつつ、それぞれ口ビリ、ねじビリ、首ビリ等の欠陥毎に専用に検査するようになっている。
上述した従来のビリ検査装置は、複数の検査ステーションを備え、各検査ステーション毎に複数対の投光器と受光器とを配置するという構成を採用しているため、検査対象であるガラス壜の品種が変更される型替え時には、各検査ステーション毎に複数対の投光器と受光器の配置関係を再調整しなければならないという問題点がある。すなわち、各検査ステーションにおける複数対の投光器と受光器の角度および高さを再調整するとともに受光器の感度等も再調整しなければならないという問題点がある。
また、壜口部にねじ山部を有したガラス壜においては、ねじ山部は複雑な曲面を有しているためにこのねじ山部においてビリと同様の反射光がある場合が多いので、このねじ山部がある領域から反射光があってもビリとは判定しないように処理している。そのため、ねじ山部及びねじ山部の上下の領域にビリがあっても検出されない。さらに、壜の合わせ目部分も縦方向に連続している曲面になっているためにこの部分においても、ビリと同様の反射光がある場合が多いため、この部分についても、ねじ山部と同様の処理を行っているため、この壜の合わせ目部分及びその周囲の領域にビリがあっても検出されない。すなわち、ガラス壜の特定部分では、CCDカメラで撮影した画像は、正常なガラス壜であっても、欠陥があるガラス壜と同様な画像になってしまい、良壜と不良壜とを識別できないという問題点がある。また壜の成形時に生ずるねじ山部等における成形不良については、従来、検出が困難であった。
本発明は、上述の事情に鑑みなされたもので、検査対象であるガラス壜の品種が変更される型替え時において投光器と受光器の配置の配置を再調整する必要がなく、ねじ山部の上下の領域にある欠陥や壜の合わせ目部分の周囲にある欠陥等のガラス壜の特定位置にある欠陥を検出することができるとともに壜(特にねじ山部)における成形不良を検出することができるガラス壜の検査装置を提供することを目的とする。
上述した目的を達成するために、本発明の1態様は、ガラス壜を照明しガラス壜を回転させつつガラス壜からの光を撮影して画像処理によりガラス壜の欠陥を検出する検査装置において、ガラス壜に対して所定の位置に配置された照明と、ガラス壜の周囲に配置されガラス壜の特定部位を撮影する複数のCCDカメラと、ガラス壜の基準位置に対する回転角度を検出する角度検出手段と、CCDカメラにより得られた画像を処理する画像処理装置とを備え、前記画像処理装置は、前記角度検出手段により検出された回転角度情報を各CCDカメラにより撮影された画像に対応させて記録しておくことを特徴とするものである。
本発明によれば、ガラス壜に対して所定の位置に設置された照明からの光は、回転しているガラス壜に入射し、ガラス壜の特定部位(たとえば壜口部)を透過した透過光又はガラス壜の特定部位(たとえば壜口部)から反射した反射光を複数のCCDカメラにより撮影する。一方、回転しているガラス壜の基準位置に対する回転角度は角度検出手段により検出する。そして、前記角度検出手段により検出された回転角度情報を各CCDカメラにより撮影された画像と対応させて所定の場所、たとえば当該画像中に記録しておく。したがって、本発明によれば、各CCDカメラにより撮影した画像は、ガラス壜の基準位置に対して何度の撮影角度のものかを知ることができる。
本発明の好ましい一態様は、前記回転角度情報は各CCDカメラにより撮影された画像中に書き込まれていることを特徴としている。
本発明の好ましい一態様は、前記画像処理装置は、前記回転角度情報を有した画像と予め作成され前記角度に対応した基準画像とを比較してガラス壜の特定部位にある欠陥を検出することを特徴としている。
本発明によれば、予め角度毎に基準画像を作成しておき、検査対象のガラス壜を撮影して得られた角度情報を有した実際の画像と前記基準画像とを比較することにより、ガラス壜の特定部位にある欠陥を検出することができる。したがって、欠陥がないガラス壜(良品壜)の画像に基づいて角度毎に基準画像を作成しておけば、得られた実際の角度毎の画像がこの基準画像と異なった領域があるか否かを判定することで、ガラス壜の特定部位の欠陥を検出することができる。
本発明の好ましい一態様は、前記基準画像は、予めガラス壜を撮影した画像のうち欠陥がないガラス壜の画像に基づいて作成されることを特徴としている。
本発明の好ましい一態様は、金型情報を各CCDカメラにより撮影された画像に対応させて記録しておくことを特徴としている。
本発明の好ましい一態様は、製造番号、製造ライン、製造日時等の製造に関連した情報を各CCDカメラにより撮影された画像に対応させて記録しておくことを特徴としている。
本発明の好ましい一態様は、検査結果を各CCDカメラにより撮影された画像に対応させて記録しておくことを特徴としている。
以下、本発明に係るガラス壜の検査装置の実施態様を図1乃至図17を参照して説明する。本発明のガラス壜の検査装置は、検査すべきガラス壜の特定部位として壜口部の場合を説明し、検査すべき欠陥が壜口部におけるビリ又はねじ山部等における成形不良である場合を説明する。
検査対象となるガラス壜は、検査用のスターホイール(図示せず)に保持され、スターホイールの円周上の搬送経路に沿って搬送される。このスターホイールの円周上の搬送経路の途中の1つのステーション(第1検査ステーション)に、本発明に係るガラス壜の検査装置が配置されている。この第1検査ステーションにおいて、スターホイールにより搬送されるガラス壜がインデックス(回転割出し)され、本発明に係るガラス壜の検査装置によって壜口部におけるビリ又はねじ山部等における成形不良が検出される。
図1は、本発明の第1の実施形態におけるガラス壜の検査装置を示す縦断面図である。図1に示すように、検査装置は、回転自在な回転台1に載置されたガラス壜2の壜口部3を覆うように配置された半球体4と、半球体4を支持する支柱5とを備えている。この半球体4の中心Oは、回転台1に載置されたガラス壜2の壜口部3と略一致するようになっている。半球体4は、上下動可能な摺動部材6を介して支柱5に取り付けられており、支柱5に対して上下動自在に構成されている。
図2は、図1に示す半球体4の平面図である。図1および図2に示すように、半球体4の頂部、すなわち回転台1上のガラス壜2の壜口部3の天面の上方には、回転台1上のガラス壜2の壜口内に光を照射する照明7が設置されている。また、半球体4には、ガラス壜2の壜口部3を取り囲むように複数のCCDカメラ10〜20が配置されている。これらのCCDカメラ10〜20の光軸は、半球体4の中心O(ガラス壜2の壜口部3)から放射状に伸びる線上にある。
本実施形態においては、合計で11台のCCDカメラが配置されており、これらのうち1台のカメラ10は、回転台1に載置されたガラス壜2の壜口部3のねじ山を撮影してガラス壜2の所定の基準位置に対する回転角度を検出する角度検出専用カメラとなっている。図1に示すように、角度検出専用カメラ10は、その光軸の仰角が0°となるように配置されており、ガラス壜2の壜口部3のねじ山を水平方向から撮影するようになっている。
角度検出専用カメラ10以外のカメラ11〜20は、壜口部3を様々な角度から撮影して壜口部3のビリを検査する検査用CCDカメラとなっている。本実施形態においては、各カメラの光軸の水平面への投射と角度検出専用カメラ10の光軸とのなす角が、25°(第1検査用CCDカメラ11、第2検査用CCDカメラ12)、59.5°(第3検査用CCDカメラ13)、140°(第4検査用CCDカメラ14、第5検査用CCDカメラ15)、185°(第6検査用CCDカメラ16)、220°(第7検査用CCDカメラ17)、260°(第8検査用CCDカメラ18)、296.5°(第9検査用CCDカメラ19)、326°(第10検査用CCDカメラ20)となるような位置に検査用CCDカメラ11〜20がそれぞれ配置されている。
また、第1検査用CCDカメラ11の光軸の仰角は30°、第2検査用CCDカメラ12は0°、第4検査用CCDカメラ14は55°、第5検査用CCDカメラ15は15°、第6検査用CCDカメラ16は45°、第7検査用CCDカメラ17は20°、第8検査用CCDカメラ18は35°、第10検査用CCDカメラ20は25°となっている。第3検査用CCDカメラ13および第9検査用CCDカメラ19は、半球体4の面上を上下に移動できるように構成されており、その光軸の仰角を自由に設定できるようになっている。
本実施形態において使用される各CCDカメラ10〜20の画素数は64×64であり、0.4ミリ秒毎に1枚の画像を撮影することができるようになっている。例えば、1分間に300本のガラス壜を検査する場合、1本のガラス壜に対する処理時間は200ミリ秒となるが、この処理時間のうち100ミリ秒の間だけガラス壜の撮影をする場合には、1本のガラス壜に対して最大で250枚(=100/0.4)の画像を撮影することができる。ここで、検査装置によりガラス壜2の壜口部3の検査を行なっている間は、回転台1は回転しており、ガラス壜2を回転させた状態で各CCDカメラ10〜20により同時にガラス壜2を撮影する。このように、ガラス壜2を回転させながら、ガラス壜2の撮影を繰り返し行なうことで、ガラス壜2の壜口部3を全周に亘って撮影することができる。
ここで、ガラス壜2の上方に設置された照明7からの光はガラス壜2の壜口内に入射し、図3に示すように、一部の光Lは壜口部3の内周面から壜口部3に入射する。壜口部3の内部にビリCがあった場合、この光Lは壜口部3の内部のビリCの亀裂面で反射し、この反射光Lは壜口部3の内部を透過して上述した検査用CCDカメラ11〜20により撮影される。ビリCの亀裂面で反射した光Lは、他の部分を透過した光よりも明るく、そのため、CCDカメラで撮影した画像中では、ビリCに相当する部分は他の部分より明るい領域となる。検査装置に設けられた画像処理装置は、上述したCCDカメラ10〜20により得られた画像からこの明るい領域を検出し、これをビリであると判定する。一方、壜口部3の内部にビリCがない場合には、前記一部の光Lは壜口部3の内周面から壜口部3に入射してそのまま壜口部3を透過する。この場合、ねじ山部等において成形不良があると、この成形不良部分からの光は、対応するCCDカメラには入射しない方向に散乱することになり、正常に成形されたねじ山部の画像と比べてうす暗くぼんやりとした画像となるため、この成形不良の欠陥を検出できる。
図4は、この画像処理装置と各CCDカメラ10〜20との関係を示す模式図である。図4に示すように、画像処理装置は、それぞれのCCDカメラ10〜20に対応して演算ボード30〜40を備えており、これらの演算ボード30〜40は対応するCCDカメラ10〜20にそれぞれ接続されている。
角度検出専用カメラ10が接続された角度検出用演算ボード30には、予めガラス壜2のねじ山の螺旋の高さ位置と所定の基準位置に対するガラス壜2の回転角度との関係が記憶されている。角度検出用演算ボード30は、角度検出専用カメラ10により得られた画像からねじ山の螺旋の高さ位置を検出し、このねじ山の螺旋の高さ位置から前記関係に基づいて基準位置に対する撮影時のガラス壜2の回転角度を検出する。検出されたガラス壜2の回転角度の信号は、各検査用CCDカメラ11〜20に接続された演算ボード31〜40に送られるようになっている。このように、角度検出専用カメラ10および角度検出用演算ボード30は、基準位置に対する撮影時のガラス壜の回転角度を検出する角度検出手段を構成している。
上述したように、各検査用CCDカメラ11〜20に接続された演算ボード31〜40には、前記角度検出用演算ボード30から送られたガラス壜2の回転角度が送られ、各検査用CCDカメラ11〜20により撮影された各画像には、この回転角度が回転角度情報として書き込まれる。
次に、前述のように構成されたガラス壜の検査装置の作用を図1乃至図4を参照して説明する。
上述したように、照明7からの拡散光は、回転台1に載置されたガラス壜2の壜口部3の上方から壜口内に入射する。壜口内に入射した拡散光は、放射状に拡散して壜口部3を透過する。そして、壜口部3を放射状に透過した透過光は、壜口部3の周囲に配置された全てのCCDカメラ(11個のCCDカメラ)10〜20により同時に撮影される。このとき、1個のCCDカメラは、上述したように、角度検出専用カメラになっており、この角度検出専用カメラ10は壜口部3のねじ山を撮影することにより、基準位置に対する撮影時のガラス壜の回転角度を検出することができる。ねじ山の螺旋は1回転すると1ピッチ分だけ高さ位置が変化するため、予めねじ山の螺旋の高さ位置と基準位置に対する回転角度との関係を角度検出専用カメラ10の演算ボード30に記憶させておけば、角度検出専用カメラ10は撮影時の基準位置に対する角度を検出することができる。この基準位置としては、例えば、ねじ山の始まりである始端を基準位置(0°)とすればよい。
前記角度検出専用カメラ10を基準とすれば、この角度検出専用カメラ10に対する各検査用CCDカメラ11〜20の相対位置は予め定まっているため、角度検出専用カメラ10の演算ボード30により検出された回転角度は、基準位置を相対的にずらして考えることで、各検査用CCDカメラ11〜20が壜口部3を撮影したときの回転角度としても用いることができる。このため、本実施形態では、各検査用CCDカメラ11〜20により撮影された各画像には、角度検出専用カメラ10の角度検出用演算ボード30から送られた回転角度が書き込まれている。
回転台1によってガラス壜2を回転させながら、壜口部3を透過した透過光を所定時間毎に撮影し多数の画像を得る。そして、全ての画像には上述した撮影時の角度情報が書き込まれている。
一方、ガラス壜成形機は多数の金型を備えており、これら金型を用いて多数の壜を同時成形することが行なわれている。成形されたガラス壜の性状(肉厚や微妙な形状等)は金型に大いに依存していることが知られている。また、ガラス壜の壜口部のビリの発生も金型に依存する。そのため、本発明の検査装置で得た画像中には、ガラス壜がどの金型で成形されたかがわかる金型番号の情報も書き込まれている。金型番号はガラス壜の壜底に形成された凸状の符号を読み取る金型番号読取り装置により検出できるものであり、金型番号読取り装置からの信号は各検査用CCDカメラ11〜20の演算ボード31〜40に入力され、各画像中に金型番号が書き込まれるようになっている。また、各画像中に製造番号等の製造に関連した情報が書き込まれるようになっている。図5は、上述のようにして得られた回転角度情報と金型番号とが書き込まれた画像の一例を示す模式図である。なお、検査結果、例えばガラス壜の良否を各画像中に書き込んでもよい。
次に、角度情報と金型番号等が書き込まれた各画像と、ガラス壜の検査前に予め作成してあったテンプレートと称される基準画像とを比較し、ガラス壜の壜口部にビリがあるか否かを検査する。この場合、基準画像(テンプレート)は角度毎および金型番号毎に用意されており、各検査用CCDカメラで得られた画像中に書き込まれた角度情報および金型番号と対応した基準画像が選定されて、この選定された基準画像と検査対象のガラス壜の画像とが比較される。
次に、基準画像(テンプレート)の作成方法について説明する。
基準画像(以下、適宜テンプレートという)を作成する工程は、大きく分けて3つの工程から構成される。すなわち、テンプレートの作成に使用される複数のガラス壜を各CCDカメラにて撮影する撮影工程、撮影工程によって撮影された画像群の中から不良品のガラス壜の画像を排除して良品のガラス壜の画像を選別する画像選別工程、そして、画像選別工程により選別された画像に基づいてテンプレートを作成する画像作成工程である。以下、各工程について順に説明する。
(1)撮影工程
本実施形態において実施される撮影工程の基礎データは次の通りである。
1)サンプルに使用されるガラス壜の本数 100本
2)金型番号M1〜M8
3)角度A1〜A8(A1:0〜45°、A2:45〜90°、・・・、A8:315〜360°)
4)ガラス壜1本当りの撮影枚数 100枚
サンプルとなる100本のガラス壜は検査用のスターホイールにより検査ステーションに搬送され、検査ステーションに備えられている第1乃至第10検査用CCDカメラ11〜20にて撮影される。撮影された画像は、各検査用CCDカメラ11〜20の演算ユニット30〜40に接続されたコンピュータ42(図4参照)に送られ、これらの画像に基づいて以下に述べる工程がコンピュータ42により行われる。
以下、第1検査用CCDカメラ11、金型番号M1、角度A1に対応したテンプレートを作成する例について説明する。
上述のように、1本のガラス壜に対して100枚の画像が撮影されるので、100本のガラス壜に対して合計10,000枚の画像が第1検査用CCDカメラ11により撮影される。100本のガラス壜のうち、金型番号M1により成形されたガラス壜が3本である場合、この金型番号M1によって成形されたガラス壜の画像数は3本×100枚=300枚である。したがって、まず、金型番号M1により成形されたガラス壜の画像300枚が10,000枚の中から抽出される。さらに、この300枚の画像の中から、角度A1において撮影された画像が抽出される。本実施形態では、角度A1において35枚の画像が撮影されるようになっている。したがって、金型番号M1、角度A1に対応したテンプレートの作成には35枚の画像が選定される。
(2)画像選別工程
基準画像となるテンプレートを作成する際に、サンプルとして使用される複数のガラス壜の中に不良品が含まれていると、ビリに基づく光を含んだ形のテンプレートが作成されることになる。このように、本来、光るべきでない部位からの明るい光を含んだ画像に基づいてテンプレートが作成されてしまうと、その部位にビリが存在するガラス壜を不良品と判断することができなくなってしまう。このような理由から、テンプレートを作成する前工程として、テンプレートに使用される複数の画像から不良品のガラス壜の画像を排除する作業が行われる。
画像選別工程では、撮影工程により選定された複数の画像に基づいて、画像を構成する画素毎の明るさの分布を示す度数分布が作成される。図6は、サンプルとなるガラス壜の画像を示す模式図である。図7は、画素の明るさの分布を示す度数分布である。図6において符号50は明部を示す。図7において、度数分布の縦軸は画素の個数を表し、横軸は明るさ(0〜255)を表す。
図6に示すように、各CCDカメラ11〜20の画像は縦64個×横64個の画素群から構成されている。この画素数は適宜調整することができる。この例の場合、1枚の画像は64×64の画素に分解することができる。そして、分解された画素群の中から1行1列目の画素が画像ごとにグラフ上にプロットされる。このようにして1行1列目の画素が35枚の画像についてグラフ上に順次プロットされると、図7に示すような、1行1列目の画素の明るさの分布を表す度数分布を得ることができる。この度数分布は1行1列目から64行64列目まで作成される。
次に、得られた度数分布毎に明るさのばらつき度合いを示す標準偏差σが計算される。この標準偏差σは一般的な統計的手法により求められる。そして、例えば、±2σの範囲内に画素の明るさが分布する場合は良品のガラス壜の画像と判断されるように検出基準を設定する。サンプルとなるガラス壜が総て良品である場合には、総ての画素の明るさはほぼ平均値X付近に分布することになる。したがって、図7に示すように、総ての画素は±2σの範囲内に存在することになる。この場合、画像は排除されず、35枚の総ての画像がテンプレート作成に使用される。
一方、あるガラス壜にビリが存在する場合、このビリの存在を示す画像の部位60は極端に明るくなる(図6参照)。そうすると、度数分布には、図7に示すように、この部位60に対応する明るさの画素の個数61が+2σの右側の領域にプロットされることになる。そして、このような画素を有する画像にはビリが撮影されていると判断される。また同様に、極端に暗い部位がある場合は、この部位に対応する明るさの画素の個数は−2σの左側の領域にプロットされることになる。そして、このような画素を有する画像には成形不良のねじ山部等が撮影されていると判断される。そして、これらの画像はテンプレートの作成に使用される画像から排除される。なお、本実施形態では統計学的手法を用いて画像選別工程を行っているが、これに限らず、排除すべき画像を特定できるものであれば他の手法を用いてもよい。例えば、撮影工程により得られた複数の画像を金型別、角度別にディスプレイ上に表示し、オペレータがディスプレイ上の画像を目視することにより不良品のガラス壜の画像を選別してもよい。
(3)画像作成工程
画像作成工程では、上述した画像選別工程により選別された複数の画像に基づいて、テンプレートとなる基準画像が作成される。この画像作成工程について図8乃至図10を参照して説明する。図8は良品のガラス壜の画像を示す模式図である。図9は、ある特定の行における画素の明るさの分布を示すグラフ図である。図10は検査すべきガラス壜の画像の各画素の明るさ分布とテンプレートとの関係を示す図である。
本実施形態におけるテンプレートは、画像の画素行ごとに作成される。まず、ある画素行を特定する。例えば、図8において、第3行を特定したとする。次に、この特定した画素行を列方向(図8の横方向、1、2、3・・・64の方向)に走査して、各画素が有する明るさをグラフに表す。具体的には、画素の明るさ度合いを縦軸とし、画素の列番号を横軸として、特定した画素行上の各画素をグラフ上にプロットしていく。図8に示すように、第3行の画素は暗部70の領域に位置するため、この第3行の各画素をグラフ上にプロットしたときに描かれる線は、ほぼ明るさ0付近に位置する直線となる。
一方、例えば、第10行の画素を特定した場合、この行の各画素をプロットしたときに描かれる線は図9に示すT1のようになる。即ち、第10行では、ねじ山部からの光によって形成された明部50が走査されるので、この明部50に対応する画素は高い明るさ度合いを示すことになる。
さらに、総ての画像について、同一行の各画素が同一グラフ上にプロットされる。つまり、本実施形態では、35枚の画像がテンプレートの作成に使用されるので、図9に示すように、35本の線群(図9では4本の線T1〜T4のみを示す)からなる明るさの分布図が作成される。このようにして、1行から64行までの総ての行について明るさの分布図が作成される。
そして、これらの線群によって画定された最大領域がテンプレートとすべき領域となる。即ち、図10に示すように、列ごとの最大値(最大の明るさ)を示す点を結んで得られる線を明テンプレートラインTmaxとし、列ごとの最小値(最小の明るさ)を示す点を結んで得られる線を暗テンプレートラインTminとする。そして、明テンプレートラインTmaxと暗テンプレートラインTminとによって囲まれた領域が求めるべき基準画像(テンプレート)となる。つまり、明テンプレートラインTmaxと暗テンプレートラインTminとの間には、最大の明るさと最小の明るさの間の範囲が列方向に連続して形成される。このようにして、金型番号M1、角度A1において、64個のテンプレートが作成される。
このようなテンプレートの作成作業は、金型番号M1〜M20、角度A1〜A8について行われるので、64×20×8=10,240個のテンプレートが第1検査用CCDカメラ11に対して与えられる。つまり、それぞれの検査用CCDカメラ11〜20は、金型、角度、画素行ごとのテンプレートを有することになる。上述したように、ガラス壜の性状やビリの発生具合などは金型に大きく依存するため、各金型に対応したテンプレートを作成することによってビリ又はねじ山部等における成形不良の検出精度を高めることができる。
次に、上述の方法で得られた基準画像(テンプレート)と検査対象のガラス壜から得られた画像とを比較して壜口部におけるビリ又はねじ山部等における成形不良があるか否かを判定する方法について説明する。
まず、画像に付与された角度情報や金型番号などの各種情報に基づいて、検査対象となる画像と同一の条件(金型、角度など)の下で作成されたテンプレートが比較対象として選定される。次に、検査すべきガラス壜の画像が画素行ごとにテンプレートと比較される。具体的には、ある特定の画素行における列方向の明るさ分布を示す線がテンプレートと比較される。そして、図10に示すように、検査すべきガラス壜の明るさ度合いを示す線S1がテンプレートの良品領域(明テンプレートラインTmaxと暗テンプレートラインTminとによって囲まれた領域)内に総て存在すれば、このガラス壜は良品と判定される。
一方、符号S2に示すように、線の一部がテンプレートの良品領域からはみ出す場合、このガラス壜は不良品と判断される。そして、総ての画素行をテンプレートと比較したときに少なくとも1つの行において不良品と判定された場合には、このガラス壜には、壜口部においてビリ又はねじ山部等において成形不良が存在すると判定される。
このような検査は各角度A1〜A8において行われるので、例えば、角度A1においてビリ又は成形不良が存在しないと判断された場合であっても、角度A2においてビリ又は成形不良が存在すると判断されることもある。本実施形態では、複数の角度(A1〜A8)においてビリ又は成形不良の検出が行われるため、従来の検査装置に比べてビリ又は成形不良の検査精度を高めることができる。
上述のように作成された64個のテンプレートは、さらに、2次元的(平面的)な2枚の明テンプレート及び暗テンプレートに集約することができる。図11Aは明テンプレートを示す模式図であり、図11Bは暗テンプレートを示す模式図である。以下、図10及び図11Aを参照して明テンプレートの作成工程を説明する。
図10に示すように、ある特定の行の明テンプレートラインTmaxが有する明るさ度合いは、列ごとに0〜255の範囲内で数値化することができる。そして、これらの明るさ度合いを示す各数値を、図11Aに示す64行×64列の区画からなる表の対応する行にプロットする。例えば、n行の明テンプレートラインTmaxのm列が有する明るさ度合いを示す数値は、表のn行m列に位置する区画にプロットされる。ここで、図11Aでは、0〜255の明るさ度合いを16進法で表している。
1行から64行までの明テンプレートラインTmaxの明るさ度合いが総て表にプロットされると、最終的に、図11Aに示すような1枚の明テンプレートが作成される。図11Bに示す暗テンプレートも、明テンプレートと同様の工程により暗テンプレートラインTminに基づいて作成される。このようにして得られた明テンプレート及び暗テンプレートによって、基準画像を構成する各画素の最大の明るさと最小の明るさの範囲が決定される。すなわち、図11A及び図11Bに示す例では、n行m列に位置する画素についての最小の明るさと最大の明るさの範囲は02から08までの範囲となる。なお、図12Aは図11Aに示す明テンプレートの各数値に基づいて画像化した明テンプレート画像を示し、図12Bは図11Bに示す暗テンプレートの各数値に基づいて画像化した暗テンプレート画像を示す。
上述した説明においては、二次元的(平面的)な2枚の明テンプレート及び暗テンプレートを作成するに際して、行毎に各画素が有する明るさを数値化する例を説明したが、行毎にではなく各画素毎に各画素の明るさの度合いを数値化することによっても二次元的な2枚の明テンプレート及び暗テンプレートを作成することができる。
次に、上記工程により得られた2枚の明テンプレート及び暗テンプレートを用いて検査対象となるガラス壜に壜口部におけるビリ又はねじ山部等における成形不良があるか否かを判定する方法について説明する。まず、検査対象となるガラス壜の画像の特定の行が列方向(横方向)に走査され、その行が持つ各画素の明るさが数値化される。次に、その行の1列から64列までの各画素の明るさが、明テンプレート及び暗テンプレートによって決定された最大の明るさと最小の明るさの範囲(以下、良品範囲という)内に存在するか否か判断される。この工程は1行から64行までの総ての行について行われる。
そして、検査対象となる画像を構成する総ての画素の明るさが良品範囲内に存在すれば、ガラス壜には壜口部におけるビリまたはねじ山部等における成形不良が存在しないと判定される。一方、明るさが良品範囲から許容値以上外れた画素が規定数以上存在すれば、その画像は不良品のガラス壜の画像と判断され、そのガラス壜には壜口部におけるビリまたはねじ山部等における成形不良が存在すると判定される。なお、不良品の判断基準となる良品範囲からの許容値および画素の個数の規定値は、達成すべき検査精度に応じて設定することができる。例えば、ある画像中の隣接する所定個数の画素が良品範囲外の明るさを有する場合には、その画像を不良品のガラス壜の画像と判断するようにしてもよい。
図1乃至図12A,12Bに示す実施形態においては、ガラス壜の壜口内部を照明し、壜口部を透過した透過光からビリ又は成形不良を検出するように構成している。この構成によれば、横方向に延びる横ビリや斜めに延びる斜めビリは完全に検出できる。また垂直方向に延びる縦ビリについても大部分のものは検出できるが、縦ビリの亀裂面が壜の軸心から半径方向に延びる方向と完全に一致している場合には、壜口部を透過する透過光は亀裂面に平行に進行していくために縦ビリを検出できない可能性がある。そのため、第2の実施形態においては、スターホイールの円周上の搬送経路の途中に第2検査ステーションを設け、この第2検査ステーションに反射光で縦ビリを検出するガラス壜の検査装置を配置している。なお、第2の実施形態においても、図1乃至図12A,12Bに示す透過光を用いた検査装置を第1検査ステーションに設置していることは勿論である。
次に、縦ビリを検出するガラス壜の検査装置を図13乃至図16を参照して説明する。
図13は縦ビリを検出する検査装置の主要部を示す平面図、図14は図13のA−A線断面図、図15は図13のB−B線断面図である。図13乃至図15に示すように、この検査装置は、ガラス壜2の壜口部3を覆うように配置された半球体104を備えている。この半球体104の中心Oは、ガラス壜2の壜口部3と略一致するようになっている。半球体104の側部、すなわちガラス壜2の壜口部3の側方には、ガラス壜2の壜口部3に光を照射する第1の照明107aが設置されている。また、半球体104には、ガラス壜2の壜口部3を取り囲むように複数のCCDカメラ110〜119が配置されている。これらのCCDカメラ110〜119の光軸は、半球体104の中心O(ガラス壜2の壜口部3)から放射状に伸びる線上にある。
本実施形態においては、合計で10台のCCDカメラが配置されており、これらのうち1台のカメラ110は、ガラス壜2の壜口部3のねじ山を撮影してガラス壜2の回転角度を検出する角度検出専用カメラとなっている。図15に示すように、角度検出専用カメラ110は、その光軸の仰角が0°となるように配置されており、ガラス壜2の壜口部3のねじ山を水平方向から撮影するようになっている。半球体104の角度検出専用カメラ110に対向する側面には第2の照明107bが配置されており、この第2の照明107bによりガラス壜2の壜口部3のねじ山を照明するようになっている。この第2の照明107bから発される光は赤外光となっており、第1の照明107aから発される光と干渉しないようになっている。また、角度検出専用カメラ110は、第2の照明107bから発された赤外光のみを受光するようになっている。
角度検出専用カメラ110以外のカメラ111〜119は、壜口部3を様々な角度から撮影して壜口部3のビリを検査する検査用CCDカメラとなっている。本実施形態においては、各カメラの光軸の水平面への投射と角度検出専用カメラ110の光軸とのなす角が、90°(第1検査用CCDカメラ111)、130°(第2検査用CCDカメラ112)、150°(第3検査用CCDカメラ113)、180°(第4検査用CCDカメラ114)、220°(第5検査用CCDカメラ115、第6検査用CCDカメラ116)、260°(第7検査用CCDカメラ117)、305°(第8検査用CCDカメラ118)、317°(第9検査用CCDカメラ119)となるような位置に検査用CCDカメラ111〜119がそれぞれ配置されている。
また、第1検査用CCDカメラ111の光軸の仰角は40°、第2検査用CCDカメラ112は35°、第3検査用CCDカメラ113は0°、第4検査用CCDカメラ114は50°、第5検査用CCDカメラ115は40°、第6検査用CCDカメラ116は10°、第7検査用CCDカメラ117は35°、第8検査用CCDカメラ118は35°、第9検査用CCDカメラ119は0°となっている。
ここで、図16に示すように、第1の照明107aからの光Lは、ガラス壜2の壜口部3の外周面から壜口部3に入射する。壜口部3の内部にビリ(縦ビリ)Cがあった場合、この光Lは壜口部3の内部のビリCの亀裂面で反射し、この反射光Lは壜口部3の内部を透過して上述した検査用CCDカメラ111〜119により撮影される。ビリCの亀裂面で反射した光Lは、他の部分を透過した光よりも明るく、そのため、CCDカメラ111〜119で撮影した画像中では、ビリCに相当する部分は他の部分より明るい領域となる。検査装置に設けられた画像処理装置は、上述したCCDカメラ111〜119により得られた画像からこの明るい領域を検出し、これをビリであると判定する。一方、壜口部3の内部にビリCがない場合には、第1の照明107aからの光Lは壜口部3の外周面から壜口部3に入射してそのまま壜口部3を透過するか、または壜口部3の外周面で反射する。この場合、ねじ山部等において成形不良があると、この成形不良部分からの光は、対応するCCDカメラには入射しない方向に散乱することになり、正常に成形されたねじ山部の画像と比べてうす暗くぼんやりとした画像となるため、この成形不良の欠陥を検出できる。前記画像処理装置の構成は、上述の第1の実施形態における検査装置の画像処理装置と同様であるので、ここでは説明を省略する。
次に、前述のように構成されたガラス壜の検査装置の作用を図13乃至図16を参照して説明する。
第2の照明107bからの赤外光は、回転台1に載置されたガラス壜2の壜口部3の側方から壜口部3に入射し、壜口部3を透過する。壜口部3を透過した赤外光は、第2の照明107bに対向して設けられた角度検出専用カメラ110により撮影される。上述の第1の実施形態と同様に、この角度検出専用カメラ110が壜口部3のねじ山を撮影することにより、撮影時の基準位置に対する撮影時のガラス壜の回転角度を検出することができる。
一方、第1の照明107aからの拡散光は、回転台1に載置されたガラス壜2の壜口部3に入射する。検査用CCDカメラ111〜119は、ガラス壜2の壜口部3から反射した光を撮影する。この場合、壜口部3の内部にビリがあると、壜口部3の外周面から壜口内部に入射した光はビリの亀裂面で反射した後に、この反射光は壜口部3を透過してCCDカメラ111〜119により撮影される。
前記角度検出専用カメラ110を基準とすれば、この角度検出専用カメラ110に対する各検査用CCDカメラ111〜119の相対位置は予め定まっているため、角度検出専用カメラ110により検出された回転角度は、基準位置を相対的にずらして考えることで、各検査用CCDカメラ111〜119が壜口部3を撮影したときの回転角度としても用いることができる。このため、本実施形態では、各検査用CCDカメラ11〜119により撮影された各画像には、角度検出専用カメラ110により検出された回転角度が書き込まれている。そして、第1の実施形態と同様に、基準画像(テンプレート)と検査対象のガラス壜から得られた画像とを比較して壜口部にビリがあるか否かを判定する。
ここで、図17に示すように、第1検査ステーションにおける検査装置の画像処理装置8の演算ボード30〜40と、第2検査ステーションにおける検査装置の画像処理装置108の演算ボード130〜139とを、例えばイーサネット(登録商標)141でホストコンピュータ142に接続して上述した基準画像を作成してもよい。すなわち、各検査装置のCCDカメラ10〜20,110〜119により撮影された画像をホストコンピュータ142に送り、これらの画像に基づいてホストコンピュータ142により基準画像を作成することもできる。
これまで本発明の一実施形態について説明したが、本発明は上述の実施形態に限定されず、その技術的思想の範囲内において種々異なる形態にて実施されてよいことは言うまでもない。
以上説明したように、本発明によれば、ガラス壜を照明しガラス壜を回転させつつガラス壜からの光を撮影する際に、角度検出手段により検出された回転角度情報を各CCDカメラにより撮影された画像に対応させて所定の場所に記入しておくことができる。したがって、本発明によれば、各CCDカメラにより撮影した画像は、ガラス壜の基準位置に対して何度の撮影角度のものかを知ることができる。
また本発明によれば、予め角度毎に基準画像を作成しておき、検査対象のガラス壜を撮影して得られた角度情報を有した実際の画像と前記基準画像とを比較することにより、ガラス壜の特定部位にある欠陥を検出することができる。したがって、欠陥がないガラス壜(良品壜)の画像に基づいて角度毎に基準画像を作成しておけば、得られた実際の角度毎の画像がこの基準画像と異なった領域があるか否かを判定することで、ガラス壜の特定部位の欠陥を検出することができる。これにより、検査対象であるガラス壜の品種が変更される型替え時に、投光部である照明と受光部であるCCDカメラとの配置関係を再調整する必要がなく、型替え時の調整時間を飛躍的に短縮することができる。また、ねじ山を有したガラス壜におけるねじ山部にあるビリ等の欠陥や壜の合わせ目部分にあるビリ等の欠陥などのように、ガラス壜の特定部位にある欠陥を検出することができる。
本発明は、ガラス壜の壜口部等の特定位置にある欠陥を撮像により検出することができるガラス壜の検査装置に好適に利用可能である。
本発明の第1の実施形態における検査装置を示す縦断面図である。 図1に示す検査装置の半球体の平面図である。 本発明の第1の実施形態における照明からの光の挙動を示す模式図である。 本発明の第1の実施形態における検査装置の画像処理装置とCCDカメラとの関係を示す模式図である。 角度情報と金型番号とが書き込まれた画像の一例を示す模式図である。 サンプルとなるガラス壜の画像を示す模式図である。 画素の明るさの分布を示す度数分布である。 良品のガラス壜の画像を示す模式図である。 ある特定の行における画素の明るさの分布を示すグラフ図である。 検査すべきガラス壜の画像における各画素の明るさ分布とテンプレートとの関係を示す図である。 図11Aは明テンプレートを示す模式図であり、図11Bは暗テンプレートを示す模式図である。 図12Aは図11Aに示す明テンプレートの各数値に基づいて画像化した明テンプレート画像を示し、図12Bは図11Bに示す暗テンプレートの各数値に基づいて画像化した暗テンプレート画像を示す。 図13は、本発明の第2の実施形態における検査装置の主要部を示す平面図である。 図13のA−A線断面図である。 図13のB−B線断面図である。 本発明の第2の実施形態における照明からの光の挙動を示す模式図である。 本発明の第2の実施形態における検査装置の画像処理装置とCCDカメラとの関係を示す模式図である。

Claims (7)

  1. ガラス壜を照明しガラス壜を回転させつつガラス壜からの光を撮影して画像処理によりガラス壜の欠陥を検出する検査装置において、
    ガラス壜に対して所定の位置に配置された照明と、
    ガラス壜の周囲に配置されガラス壜の特定部位を撮影する複数のCCDカメラと、
    ガラス壜の基準位置に対する回転角度を検出する角度検出手段と、
    CCDカメラにより得られた画像を処理する画像処理装置とを備え、
    前記画像処理装置は、前記角度検出手段により検出された回転角度情報を各CCDカメラにより撮影された画像に対応させて記録しておくことを特徴とするガラス壜の検査装置。
  2. 前記回転角度情報は各CCDカメラにより撮影された画像中に書き込まれていることを特徴とする請求項1記載のガラス壜の検査装置。
  3. 前記画像処理装置は、前記回転角度情報を有した画像と予め作成され前記角度に対応した基準画像とを比較してガラス壜の特定部位にある欠陥を検出することを特徴とする請求項1又は2記載のガラス壜の検査装置。
  4. 前記基準画像は、予めガラス壜を撮影した画像のうち欠陥がないガラス壜の画像に基づいて作成されることを特徴とする請求項3記載のガラス壜の検査装置。
  5. 金型情報を各CCDカメラにより撮影された画像に対応させて記録しておくことを特徴とする請求項1乃至4のいずれか1項に記載のガラス壜の検査装置。
  6. 製造番号、製造ライン、製造日時等の製造に関連した情報を各CCDカメラにより撮影された画像に対応させて記録しておくことを特徴とする請求項1乃至5のいずれか1項に記載のガラス壜の検査装置。
  7. 検査結果を各CCDカメラにより撮影された画像に対応させて記録しておくことを特徴とする請求項1乃至6のいずれか1項に記載のガラス壜の検査装置。
JP2004544712A 2002-10-18 2002-10-18 ガラス壜の検査装置 Expired - Fee Related JP4269005B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2002/010838 WO2004036197A1 (ja) 2002-10-18 2002-10-18 ガラス壜の検査装置

Publications (2)

Publication Number Publication Date
JPWO2004036197A1 true JPWO2004036197A1 (ja) 2006-02-16
JP4269005B2 JP4269005B2 (ja) 2009-05-27

Family

ID=32104838

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004544712A Expired - Fee Related JP4269005B2 (ja) 2002-10-18 2002-10-18 ガラス壜の検査装置

Country Status (6)

Country Link
US (1) US7329855B2 (ja)
EP (1) EP1560017B1 (ja)
JP (1) JP4269005B2 (ja)
AU (1) AU2002344111A1 (ja)
DE (1) DE60233271D1 (ja)
WO (1) WO2004036197A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013210203A (ja) * 2012-03-30 2013-10-10 Nihon Yamamura Glass Co Ltd ガラス壜のびり検査装置およびそれを用いたびり検査方法
JP2016008930A (ja) * 2014-06-26 2016-01-18 澁谷工業株式会社 容器の口部検査装置と口部検査方法

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4478786B2 (ja) * 2002-10-18 2010-06-09 キリンテクノシステム株式会社 ガラス壜の検査方法
JP2007010620A (ja) * 2005-07-04 2007-01-18 Fanuc Ltd ねじ部検査装置及びねじ部検査方法
US7626158B2 (en) * 2006-10-23 2009-12-01 Emhart Glass S.A. Machine for inspecting glass containers
DE102009039254A1 (de) * 2009-08-28 2013-05-08 Krones Aktiengesellschaft Vorrichtung und Verfahren zum Inspizieren etikettierter Gefäße
EP2381246A1 (en) * 2010-04-26 2011-10-26 Becton Dickinson France Device, kit and method for inspection of an article
JP2013525804A (ja) * 2010-05-04 2013-06-20 サノフィ−アベンティス・ドイチュラント・ゲゼルシャフト・ミット・ベシュレンクテル・ハフツング ガラス体中の欠陥の検出用デバイス及び方法
US8896828B2 (en) 2011-03-29 2014-11-25 Owens-Brockway Glass Container Inc. Optical inspection of containers
JP5786424B2 (ja) 2011-04-11 2015-09-30 セイコーエプソン株式会社 波長可変干渉フィルター、光モジュール、及び電子機器
US8570504B2 (en) * 2011-05-17 2013-10-29 Gii Acquisition, Llc Method and system for optically inspecting parts
US9697596B2 (en) * 2011-05-17 2017-07-04 Gii Acquisition, Llc Method and system for optically inspecting parts
US10088431B2 (en) 2011-05-17 2018-10-02 Gii Acquisition, Llc Method and system for optically inspecting headed manufactured parts
US9047657B2 (en) * 2011-05-17 2015-06-02 Gii Acquisition, Lcc Method and system for optically inspecting outer peripheral surfaces of parts
US9575013B2 (en) * 2011-05-17 2017-02-21 Gii Acquisition, Llc Non-contact method and system for inspecting a manufactured part at an inspection station having a measurement axis
US10094785B2 (en) 2011-05-17 2018-10-09 Gii Acquisition, Llc Method and system for optically inspecting headed manufactured parts
US9372160B2 (en) 2011-05-17 2016-06-21 Gii Acquisition, Llc Method and system for optically inspecting the ends of a manufactured part at a single inspection station having a measurement axis
JP5698608B2 (ja) * 2011-06-06 2015-04-08 倉敷紡績株式会社 ボトル缶のねじ部検査装置
DE102011106136A1 (de) * 2011-06-10 2012-12-13 Khs Gmbh Leerflascheninspektion
US9147241B2 (en) * 2011-06-15 2015-09-29 Kirin Techno-System Company, Limited Glass bottle inspection method and apparatus
KR101327273B1 (ko) * 2012-04-27 2013-11-08 주식회사 서울금속 너트 비전 검사 장치 및 방법
KR101327277B1 (ko) * 2012-06-28 2013-11-08 주식회사 서울금속 조명을 이용한 팬 너트 내주면 비전 검사 장치 및 그의 검사 방법
NL2009980C2 (en) * 2012-12-13 2014-06-16 Ct Voor Tech Informatica B V A method of producing glass products from glass product material and an assembly for performing said method.
US8941825B2 (en) 2013-03-15 2015-01-27 Owens-Brockway Glass Container Inc. Container inspection
US10207297B2 (en) 2013-05-24 2019-02-19 GII Inspection, LLC Method and system for inspecting a manufactured part at an inspection station
CN103604810A (zh) * 2013-11-22 2014-02-26 桂林湘山酒业有限公司 不透明小口瓶内部检测装置
US10300510B2 (en) 2014-08-01 2019-05-28 General Inspection Llc High speed method and system for inspecting a stream of parts
US9740919B1 (en) * 2015-05-20 2017-08-22 Amazon Technologies, Inc. Detecting objects in multiple images using integral images
US9740918B1 (en) * 2015-05-20 2017-08-22 Amazon Technologies, Inc. Detecting objects in multiple images using integral images
US10012598B2 (en) 2015-07-17 2018-07-03 Emhart S.A. Multi-wavelength laser check detection tool
EP3408640B1 (en) * 2016-01-28 2021-01-06 Siemens Healthcare Diagnostics Inc. Methods and apparatus adapted to identify a specimen container from multiple lateral views
CN110431405B (zh) * 2017-02-06 2022-06-14 东洋玻璃株式会社 玻璃瓶的检查装置
US20180232875A1 (en) * 2017-02-13 2018-08-16 Pervacio Inc Cosmetic defect evaluation
JP6983604B2 (ja) * 2017-09-28 2021-12-17 東洋ガラス株式会社 容器口部検査装置及び容器口部検査方法
US20200282654A1 (en) * 2019-03-06 2020-09-10 Owens-Brockway Glass Container Inc. Repairing an Outer Surface of a Glass Product
IT201900006925A1 (it) * 2019-05-16 2020-11-16 Sica Spa Sistema di controllo della qualità di lavorazione di tubi in materiale termoplastico
AU2020378062A1 (en) * 2019-11-07 2022-04-07 Amgen Inc. Targeted application of deep learning to automated visual inspection equipment
EP3968012A1 (en) * 2020-09-11 2022-03-16 Schott Ag Apparatus for the inspection of a circular elongated element
CN113538417A (zh) * 2021-08-24 2021-10-22 安徽顺鼎阿泰克科技有限公司 基于多角度和目标检测的透明容器缺陷检测方法及装置
US12056866B2 (en) 2021-10-28 2024-08-06 Mectron Engineering Company, Inc. Method of optical quality inspection of workpieces
CN116703900B (zh) * 2023-08-03 2023-10-20 山东明佳科技有限公司 乳玻瓶瓶口裂纹的图像检测方法、系统、设备和存储介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61278740A (ja) * 1985-06-04 1986-12-09 Yamamura Glass Kk 瓶検査装置
JPS63277960A (ja) * 1987-05-11 1988-11-15 Shokuhin Sangyo Onrain Sensor Gijutsu Kenkyu Kumiai ねじ口部の欠陥検査方法
JPH05322778A (ja) * 1992-05-19 1993-12-07 Ohbayashi Corp 建造物のリモートセンシング方法
JPH06118062A (ja) * 1992-10-05 1994-04-28 Toshiba Corp 非破壊検査用欠陥記録・再生方法
US5405015A (en) * 1993-08-11 1995-04-11 Videojet Systems International, Inc. System and method for seeking and presenting an area for reading with a vision system
JPH10157798A (ja) * 1996-11-29 1998-06-16 Kirin Techno Syst:Kk 壜の首部検査装置
JPH11230917A (ja) * 1998-02-12 1999-08-27 Nikon Corp 欠陥検査装置
JP2000028547A (ja) * 1998-07-09 2000-01-28 Nkk Corp 鋼板の表面欠陥検査装置
JP2000180382A (ja) * 1998-12-11 2000-06-30 Mitsubishi Nuclear Fuel Co Ltd 外観検査装置
US6104482A (en) * 1999-12-02 2000-08-15 Owens-Brockway Glass Container Inc. Container finish check detection
US6134343A (en) * 1996-09-24 2000-10-17 Cognex Corporation System or method for detecting defect within a semi-opaque enclosure
US6275287B1 (en) * 1998-04-25 2001-08-14 Nihon Yamamura Glass Co., Ltd. Check detector for glass bottle neck and finish portion

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4244650A (en) * 1978-04-20 1981-01-13 Honeywell Inc. Automatic optical inspection and sorting
JPS6212845A (ja) * 1985-07-10 1987-01-21 Kirin Brewery Co Ltd 壜のねじ口部欠陥検出装置
US4872757A (en) * 1988-04-20 1989-10-10 Ball Corporation Optical convex surface profiling and gauging apparatus and method therefor
JP2759231B2 (ja) 1991-03-22 1998-05-28 山村硝子株式会社 ガラス壜口部の欠陥検査装置
JPH09119902A (ja) 1995-09-13 1997-05-06 Nippon Glass Kk 瓶口部・ネジ部ビリ検査装置
JP2891947B2 (ja) 1996-09-05 1999-05-17 株式会社プレシジョン 瓶口部・ネジ部ビリ検査装置
JPH10160430A (ja) 1996-11-29 1998-06-19 Precision:Kk コンベアライン上における容器の外観検査装置
US5969810A (en) * 1998-05-14 1999-10-19 Owens-Brockway Glass Container Inc. Optical inspection of transparent containers using two cameras and a single light source
JP2000214104A (ja) 1999-01-26 2000-08-04 Precision:Kk ガラス壜口部の欠陥検査装置

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61278740A (ja) * 1985-06-04 1986-12-09 Yamamura Glass Kk 瓶検査装置
JPS63277960A (ja) * 1987-05-11 1988-11-15 Shokuhin Sangyo Onrain Sensor Gijutsu Kenkyu Kumiai ねじ口部の欠陥検査方法
JPH05322778A (ja) * 1992-05-19 1993-12-07 Ohbayashi Corp 建造物のリモートセンシング方法
JPH06118062A (ja) * 1992-10-05 1994-04-28 Toshiba Corp 非破壊検査用欠陥記録・再生方法
US5405015A (en) * 1993-08-11 1995-04-11 Videojet Systems International, Inc. System and method for seeking and presenting an area for reading with a vision system
US6134343A (en) * 1996-09-24 2000-10-17 Cognex Corporation System or method for detecting defect within a semi-opaque enclosure
JPH10157798A (ja) * 1996-11-29 1998-06-16 Kirin Techno Syst:Kk 壜の首部検査装置
JPH11230917A (ja) * 1998-02-12 1999-08-27 Nikon Corp 欠陥検査装置
US6275287B1 (en) * 1998-04-25 2001-08-14 Nihon Yamamura Glass Co., Ltd. Check detector for glass bottle neck and finish portion
JP2000028547A (ja) * 1998-07-09 2000-01-28 Nkk Corp 鋼板の表面欠陥検査装置
JP2000180382A (ja) * 1998-12-11 2000-06-30 Mitsubishi Nuclear Fuel Co Ltd 外観検査装置
US6104482A (en) * 1999-12-02 2000-08-15 Owens-Brockway Glass Container Inc. Container finish check detection
JP2001221748A (ja) * 1999-12-02 2001-08-17 Owens Brockway Glass Container Inc 容器のネックのひび割れの検出

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013210203A (ja) * 2012-03-30 2013-10-10 Nihon Yamamura Glass Co Ltd ガラス壜のびり検査装置およびそれを用いたびり検査方法
JP2016008930A (ja) * 2014-06-26 2016-01-18 澁谷工業株式会社 容器の口部検査装置と口部検査方法

Also Published As

Publication number Publication date
WO2004036197A1 (ja) 2004-04-29
EP1560017A1 (en) 2005-08-03
US7329855B2 (en) 2008-02-12
EP1560017A4 (en) 2007-12-19
JP4269005B2 (ja) 2009-05-27
EP1560017B1 (en) 2009-08-05
US20060000968A1 (en) 2006-01-05
AU2002344111A1 (en) 2004-05-04
DE60233271D1 (de) 2009-09-17

Similar Documents

Publication Publication Date Title
JP4269005B2 (ja) ガラス壜の検査装置
JP4478786B2 (ja) ガラス壜の検査方法
JPH04166751A (ja) びんの欠陥検査方法
JP2000180382A (ja) 外観検査装置
JP2007212283A (ja) 外観検査装置及び外観検査方法
JPH05249279A (ja) 核燃料ペレットの周面検査装置
KR20060056942A (ko) 수직 에지부 공정
JP2010014670A (ja) 外観検査装置、外観検査方法、画像処理方法及びこれを利用した外観検査装置
KR100691433B1 (ko) 전자부품검사방법
JP2006284465A (ja) テーパーベアリングの鍛造リング素形品の形状不良及び疵の検査方法及びその検査装置
JPH06258226A (ja) 錠剤の外観検査方法
JPH06118026A (ja) 容器内面検査方法
JP4220304B2 (ja) 原子力燃料ペレットの検査方法および装置
JPH04121647A (ja) 金属缶端部の外観検査方法及び装置
JPH10242227A (ja) ウエハのマクロ検査方法および自動ウエハマクロ検査装置
JPH05203584A (ja) ワーク表面特徴量検出装置
WO2004036199A1 (ja) ガラス壜の口部検査装置
JPH06160289A (ja) 円形容器内面検査装置
JPH043820B2 (ja)
JP4009085B2 (ja) パターン検査装置およびパターン検査方法
JP3055322B2 (ja) 円形容器内面検査装置
JP3682249B2 (ja) ガラスびんのねじ部検査装置
JPH0470555A (ja) 球体表面検査装置
JP3391163B2 (ja) 円形容器内面検査装置
JPS58744A (ja) 瓶類の検査方法

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080325

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080523

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080729

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080807

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080924

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081009

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120306

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120306

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150306

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees