JP4444048B2 - 熱可塑性接着剤検査装置及び検査方法 - Google Patents
熱可塑性接着剤検査装置及び検査方法 Download PDFInfo
- Publication number
- JP4444048B2 JP4444048B2 JP2004265869A JP2004265869A JP4444048B2 JP 4444048 B2 JP4444048 B2 JP 4444048B2 JP 2004265869 A JP2004265869 A JP 2004265869A JP 2004265869 A JP2004265869 A JP 2004265869A JP 4444048 B2 JP4444048 B2 JP 4444048B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- thermoplastic adhesive
- luminance
- inspection
- average value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000007689 inspection Methods 0.000 title claims description 87
- 239000000853 adhesive Substances 0.000 title claims description 59
- 230000001070 adhesive effect Effects 0.000 title claims description 59
- 229920001169 thermoplastic Polymers 0.000 title claims description 58
- 239000004416 thermosoftening plastic Substances 0.000 title claims description 58
- 238000000034 method Methods 0.000 title claims description 52
- 238000012545 processing Methods 0.000 claims description 48
- 230000005484 gravity Effects 0.000 claims description 29
- 238000003384 imaging method Methods 0.000 claims description 26
- 238000012423 maintenance Methods 0.000 claims description 17
- 230000001678 irradiating effect Effects 0.000 claims description 4
- 239000012943 hotmelt Substances 0.000 description 57
- 238000005259 measurement Methods 0.000 description 36
- 230000007547 defect Effects 0.000 description 12
- 238000006073 displacement reaction Methods 0.000 description 8
- 238000000605 extraction Methods 0.000 description 8
- 238000001514 detection method Methods 0.000 description 7
- 238000005286 illumination Methods 0.000 description 7
- 239000000155 melt Substances 0.000 description 5
- 238000004140 cleaning Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000003705 background correction Methods 0.000 description 3
- 239000002699 waste material Substances 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 239000000428 dust Substances 0.000 description 2
- 230000003628 erosive effect Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000011248 coating agent Substances 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000000465 moulding Methods 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Closing Of Containers (AREA)
Description
本発明は、熱可塑性接着剤の検査装置及び検査方法に関する。
従来、この種の発明として、特許文献１に記載された「パターン欠陥検査方法およびその装置」に係る発明がある。図３６は特許文献１に記載されたパターン欠陥検査装置８０の斜視図である。パターン欠陥検査装置８０は、ＵＶ光、レーザ光若しくはＵＶレーザ光を出射する光源８１と、この光源８１から出射したＵＶ光、レーザ光若しくはＵＶレーザ光の光量を調整する光量調整手段８２と、この光量調整手段８２から出射したＵＶ光、レーザ光若しくはＵＶレーザ光の照明範囲を形成する照明範囲形成手段８３と、この照明範囲形成手段８３から出射したＵＶ光、レーザ光若しくはＵＶレーザ光を可干渉性低減して試料上に照射する照射手段８４と、この照射手段８４によりレーザを照射された試料８８を撮像して画像信号を検出する画像検出手段８５及び８６と、この画像検出手段８５及び８６で検出した試料８８の画像信号に関する情報に基づいて試料８８に形成されたパターンの欠陥を検出する欠陥検出手段８７とを備えている。パターン欠陥検査装置８０は、光源８１からＵＶ光又はＵＶレーザ光をパターンが形成された試料８８上に照射し、このＵＶ光又はＵＶレーザ光が照射された試料８８を画像検出手段８５及び８６により撮像する。そして、欠陥検出手段８７により、撮像して得た試料８８の画像信号を、予め記憶した参照画像と比較することによりパターンの欠陥を検出することができる。
特開２００３−１７７１０２号公報
しかしながら、従来のパターン欠陥検査装置８０においては、レーザ照明手段８２又は画像検出手段８５及び８６に備えられたレンズにゴミや汚れ等が付着した場合又は光源８１が劣化した場合においても、それを検出する手段が無かった。したがって、たとえ、画像検出手段８５及び８６により検出した画像が画像検出手段８５及び８６に備えられたレンズのゴミや汚れ又は光源８１の劣化の影響を受け、適切な処理結果を得られない場合においても、そのことに気が付かない場合が生じてしまう。よって、かかる事態を防止するために、真の汚れ具合及び真の光量不足とは関係なく、定期的にレンズの清掃作業及び照明器具の交換を行う必要があり、作業に無駄が生じるという問題があった。
本発明は上記した従来技術の問題点を解決するためになされたものであり、その目的は、光源装置及び撮像装置のレンズの清掃並びに、光源装置の交換における無駄を防止することができる熱可塑性接着剤検査装置及び検査方法を提供することにある。
本発明は上記した従来技術の問題点を解決するためになされたものであり、その目的は、光源装置及び撮像装置のレンズの清掃並びに、光源装置の交換における無駄を防止することができる熱可塑性接着剤検査装置及び検査方法を提供することにある。
本発明のうち請求項１に係る熱可塑性接着剤検査装置は、対象物に塗布された熱可塑性接着剤に光を照射する光源装置と、前記熱可塑性接着剤からの反射光を撮像する撮像装置と、前記撮像装置から入力された画像を処理する画像処理手段と、前記画像処理手段が処理した画像に基づいて、前記光源装置及び前記撮像装置のうち少なくとも一方についてのメンテナンスの要否を判定する判定手段と、前記判定手段により前記メンテナンスが必要と判定された場合、前記メンテナンスが必要であることを警告する警告手段と、を備え、前記画像処理手段は、前記撮像装置から入力された画像に基づいて、前記熱可塑性接着剤を表す領域である熱可塑性接着剤部及び該熱可塑性接着剤部の背景を表す領域である背景部を含む領域を検査領域画像として設定し、前記検査領域画像に基づいて、前記熱可塑性接着剤部の重心を算出し、前記検査領域画像について、前記熱可塑性接着剤部の重心を通り前記検査領域画像の両端部に延びる直線における輝度の断面プロファイルを算出し、前記判定手段は、前記断面プロファイルに基づいて、前記熱可塑性接着剤部の輝度の平均値及び前記背景部の輝度の平均値を算出し、前記熱可塑性接着剤部の輝度の平均値と前記背景部の輝度の平均値との比率を算出し、該比率と予め設定された値とを比較することによって前記メンテナンスが必要か否かを判定することを特徴とする。
また、本発明のうち請求項２に係る熱可塑性接着剤検査方法は、対象物に塗布された熱可塑性接着剤に光を照射する光源装置と、前記熱可塑性接着剤からの反射光を撮像する撮像装置と、を備えた熱可塑性接着剤検査装置を用いて前記熱可塑性接着剤を検査する方法であって、前記撮像装置が撮像した画像に基づいて、前記熱可塑性接着剤を表す領域である熱可塑性接着剤部及び該熱可塑性接着剤部の背景を表す領域である背景部を含む領域を検査領域画像として設定し、前記検査領域画像に基づいて、前記熱可塑性接着剤部の重心を算出し、前記検査領域画像について、前記熱可塑性接着剤部の重心を通り前記検査領域画像の両端部に延びる直線における輝度の断面プロファイルを算出し、前記断面プロファイルに基づいて、前記熱可塑性接着剤部の輝度の平均値及び前記背景部の輝度の平均値を算出し、前記熱可塑性接着剤部の輝度の平均値と前記背景部の輝度の平均値との比率を算出し、該比率が予め設定された範囲内にあるか否かを判定し、該比率と予め設定された値とを比較することによって前記光源装置及び前記撮像装置のうち少なくとも一方についてのメンテナンスが必要であるか否かを判定し、該メンテナンスが必要であると判定した場合、該メンテナンスが必要であることを警告することを特徴とする。
本発明によれば、撮像装置が撮像した画像に基づいて、熱可塑性接着剤を表す領域である熱可塑性接着剤部及び該熱可塑性接着剤部の背景を表す領域である背景部を含む領域を検査領域画像として設定し、検査領域画像に基づいて、熱可塑性接着剤部の重心を算出し、検査領域画像について、熱可塑性接着剤部の重心を通り検査領域画像の両端部に延びる直線における輝度の断面プロファイルを算出し、断面プロファイルに基づいて、熱可塑性接着剤部の輝度の平均値及び背景部の輝度の平均値を算出し、熱可塑性接着剤部の輝度の平均値と背景部の輝度の平均値との比率を算出し、比率が予め設定された範囲内にあるか否かを判定し、比率と予め設定された値とを比較することによって前記光源装置及び前記撮像装置のうち少なくとも一方についてのメンテナンスが必要であるか否かを判定し、該メンテナンスが必要であると判定した場合、該メンテナンスが必要であることを警告する。これにより、光源装置及び撮像装置のレンズの清掃は、真の汚れ具合から裏付けられた数値の表示に基づいて行うことが出来、また、光源装置の交換も、時間管理ではなく真の光量不足に基づいて行うことが出来るので、光源装置及び撮像装置のレンズの清掃並びに、光源装置の交換における無駄を防止することができる。
以下、本発明の実施形態を図面を参照して説明する。
図１は本発明の実施形態に係る熱可塑性接着剤検査装置の概略構成図である。
図１において、熱可塑性接着剤検査装置１は、箱体成形装置２において、２つのトップ用照明装置（光源装置）３ａと、４つのサイド用照明装置（光源装置）３ｂと、２つのトップ用カメラ（撮像装置）４ａと、４つのサイド用カメラ（撮像装置）４ｂと、画像処理装置５ａ及び５ｂと、判定装置６ａ、６ｂ、７ａ及び７ｂと、警告装置８と、制御装置９とを備えている。
図１は本発明の実施形態に係る熱可塑性接着剤検査装置の概略構成図である。
図１において、熱可塑性接着剤検査装置１は、箱体成形装置２において、２つのトップ用照明装置（光源装置）３ａと、４つのサイド用照明装置（光源装置）３ｂと、２つのトップ用カメラ（撮像装置）４ａと、４つのサイド用カメラ（撮像装置）４ｂと、画像処理装置５ａ及び５ｂと、判定装置６ａ、６ｂ、７ａ及び７ｂと、警告装置８と、制御装置９とを備えている。
図１に示すように、２つのトップ用照明装置３ａは、箱体成形装置２の箱搬送方向（図１における左右方向）に対して直交する方向に一定の間隔で取付けられ、箱体１６のトップフラップ２９に塗布されたホットメルト（熱可塑性接着剤）４０に対して光を照射するようになっている。また、４つのサイド用照明装置３ｂは、箱体成形装置２の箱搬送方向に対して水平方向左右側方に一定の間隔で取付けられ、箱体１６の内サイドフラップ２５、２６、３０及び３１に塗布されたホットメルト４１に対して光を照射するようになっている。
２つのトップ用カメラ４ａは、箱体成形装置２の箱搬送方向に対して直交する方向にトップ用照明装置３ａと並べて取付けられ、ホットメルト４０からの反射光を受光するようになっている。
また、４つのサイド用カメラ４ｂは、箱体成形装置２の箱搬送方向に対して水平方向左右側方にサイド用照明装置３ｂと並べて取付けられ、ホットメルト４１からの反射光を受光するようになっている。
また、４つのサイド用カメラ４ｂは、箱体成形装置２の箱搬送方向に対して水平方向左右側方にサイド用照明装置３ｂと並べて取付けられ、ホットメルト４１からの反射光を受光するようになっている。
そして、トップ用カメラ４ａは画像処理装置５ａに、サイド用カメラ４ｂは画像処理装置５ｂにそれぞれ接続され、撮像画像が伝送されるようになっている。
図２は箱展開シート２０の正面図である。図３は箱体１６が箱形成装置２上において形成される途中の状態を示す斜視図である。図４は箱体１６とトップ用カメラ４ａ、サイド用カメラ４ｂ、トップ用照明装置３ａ及びサイド用照明装置３ｂとの対応関係を示す斜視図である。
図２は箱展開シート２０の正面図である。図３は箱体１６が箱形成装置２上において形成される途中の状態を示す斜視図である。図４は箱体１６とトップ用カメラ４ａ、サイド用カメラ４ｂ、トップ用照明装置３ａ及びサイド用照明装置３ｂとの対応関係を示す斜視図である。
図２において箱展開シート２０は、底面パネル２２と、底面パネル２２の幅方向（図２における左右方向）の側部に折り曲げ線３５を介して連設された側面パネル２３と、側面パネル２３の幅方向の側部に折り曲げ線３４を介して連設された天面パネル２１と、底面パネル２２の幅方向の側部に折り曲げ線３６を介して連設された側面パネル２４と、側面パネル２４の幅方向の側部に折り曲げ線３７を介して連設されたトップフラップ２９と、底面パネル２２の長手方向（図２における上下方向）の両端部に折り曲げ線３８を介して連設された外サイドフラップ２８及び３３と、天面パネル２１の長手方向の両端部に折り曲げ線３８を介して連設された外サイドフラップ２７及３２と、側面パネル２３の長手方向の両端部に折り曲げ線３９を介して連設された内サイドフラップ２５及び３０と、側面パネル２４の長手方向の両端部に折り曲げ線３９を介して連設された内サイドフラップ２６及び３１とから形成される。
箱展開シート２０は、図３に示すように、箱体形成装置２にトップフラップ２９を搬送方向上流側として設置される。そして、箱体形成装置２は、箱展開シート２０を、各折り曲げ線３４、３５、３６、３７を介して天面パネル２１、底面パネル２２、側面パネル２３、側板パネル２４及びトップフラップ２９を折り曲げた後、メルトガン（図示しない）によりトップフラップ２９の外面にホットメルト４０を長手方向に並べて複数箇所（本実施例においては６箇所）塗布し、該塗布部分に天面パネル２１の端部を接着して略四角筒状に成形する。次いで、内サイドフラップ２５、２６、３０及び３１を折り曲げ線３９を介して折り曲げ、メルトガン（図示しない）により各内サイドフラップにホットメルト４１を幅方向に並べて複数箇所（本実施例においては各２箇所）塗布した後、外サイドフラップ２７、２８、３２及び３３を折り曲げて内サイドフラップ２５、２６、３０及び３１と接着し、これにより箱体１６が形成される。
上記流れの中、トップフラップ２９にホットメルト４０を塗布後、天面パネル２１の端部を接着前及び、各内サイドフラップにホットメルト４１を塗布後、各外サイドフラップと接着前において、図４に示すように、トップ用照明装置３ａはメルト４０に対して、サイド用照明装置３ｂはホットメルト４１に対して光を照射する。そして、メルト４０に対して照射された光の反射光をトップ用カメラ４ａが撮像し、メルト４１に対して照射された光の反射光をサイド用カメラ４ｂが撮像する。
図５は画像処理装置５ａにおける撮像画像の処理を表したフローチャート図である。図６は画像処理装置５ｂにおける撮像画像の処理を表したフローチャート図である。図７はトップフラップに塗布されたホットメルトの検査領域画像の正面図である。図８は背景画像の正面図である。図９はシェーディング補正画像の正面図である。図１０は２値化画像の正面図である。図１１はクロージング処理画像の正面図である。図１２はオープニング処理画像の正面図である。図１３は縦長さ測定画像の正面図である。図１４は横長さ測定画像の正面図である。図１５は縦位置ずれ測定画像の正面図である。図１６は横位置ずれ測定画像の正面図である。図１７は重心位置計測画像の正面図である。図１８は断面プロファイル作成画像の正面図である。図１９は断面プロファイルのグラフ図である。
図５を参照して、画像処理装置５ａでの処理を説明すると、先ず、ステップＳ１０１において、各トップ用カメラ４ａにより撮像された撮像画像は、画像処理装置５ａへと入力される。
そして、画像処理装置５ａに入力された撮像画像は、ステップＳ１０２において、図７に示す検査領域画像４５が決定される。検査領域画像４５は、ホットメルト部４６と背景部４７とホットメルトの糸引き部４８とから構成されている。
そして、画像処理装置５ａに入力された撮像画像は、ステップＳ１０２において、図７に示す検査領域画像４５が決定される。検査領域画像４５は、ホットメルト部４６と背景部４７とホットメルトの糸引き部４８とから構成されている。
次いで、ステップＳ１０３において、図８に示すように、検査領域画像４５から背景部４７が抽出され、背景画像４９が作成される。
そして、ステップＳ１０４において、図９に示すように、検査領域画像４５から背景画像４９の差分を取ることによって、背景部４７の輝度ムラの影響を無くす、シェーディング処理が行われ、シェーディング補正画像５０が作成される。
そして、ステップＳ１０４において、図９に示すように、検査領域画像４５から背景画像４９の差分を取ることによって、背景部４７の輝度ムラの影響を無くす、シェーディング処理が行われ、シェーディング補正画像５０が作成される。
ステップＳ１０５において、図１０に示すように、各検査領域毎に予め設定された２値化閾値を使用し、ホットメルトの特徴量（面積、長さ等）を計測しやすくするために白と黒に２値化し、２値化画像５１を作成する。この２値化処理に際して、２値化処理後の２値化画像５１において、図１０に示すように、ホットメルト部４６の中に穴（ノイズ）５２が生じる場合がある。
Ｓ１０６において、図１１に示すように、２値化の際にホットメルト部４６の中にできた穴（ノイズ）５２を埋めるクロージング処理が行われ、クロージング処理画像５３が作成される。
ステップＳ１０７において、図１２に示すように、ホットメルトの糸引き部４８を除去するオープニング処理が行われ、オープニング処理画像５４が作成される。
Ｓ１０６において、図１１に示すように、２値化の際にホットメルト部４６の中にできた穴（ノイズ）５２を埋めるクロージング処理が行われ、クロージング処理画像５３が作成される。
ステップＳ１０７において、図１２に示すように、ホットメルトの糸引き部４８を除去するオープニング処理が行われ、オープニング処理画像５４が作成される。
そして、その後、ステップＳ１０８において、面積、縦長さ、横長さ、縦位置ずれ及び横位置ずれの計測処理が行われる。面積の計測処理においては、図１２に示すように、オープニング処理画像５４の白い部分の画素数をカウントし、面積とする。縦長さの計測処理においては、図１３に示すように、オープニング処理画像５４のホットメルト部４６の長手方向（図１３における上下方向）の縦長さａを測定し、画素数をミリメートルへと分解能変換する。横長さの計測処理においては、図１４に示すように、オープニング処理画像５４のホットメルト部４６の幅方向（図１４における左右方向）の横長さｂを測定し、画素数をミリメートルへと分解能変換する。縦位置ずれの計測処理においては、図１５に示すように、オープニング処理画像５４のホットメルト部４６の重心位置５５を求め、その重心位置５５の長手方向成分ｅとオープニング処理画像５４の長手方向の中心位置ｃとの縦ずれを測定し、画素数をミリメートルへと分解能変換する。横位置ずれの計測処理においては、図１６に示すように、オープニング処理画像５４のホットメルト部４６の重心位置５５幅方向成分ｆとオープニング処理画像５４の幅方向の中心位置ｄとの横ずれを測定し、画素数をミリメートルへと分解能変換する。
そして、ステップＳ１０９において、図１７に示すように、ステップＳ１０７において作成されたオープニング処理画像５４に基づいて、オープニング処理画像５４におけるホットメルト部４６の重心位置５５を計測する。
また、ステップＳ１１０において、図１８に示すように、ステップＳ１０９において計測された重心位置５５を検査領域画像４５に適用し、検査領域画像４５において重心位置５５を通過し、検査領域画像４５の幅方向両端に延びる重心線ｍにおける断面プロファイル１０を計側する。この場合において、断面プロファイル１０は、図１９に示すように、ホットメルト部４６の輝度１１と背景部４７の輝度１２とから構成されている。
また、ステップＳ１１０において、図１８に示すように、ステップＳ１０９において計測された重心位置５５を検査領域画像４５に適用し、検査領域画像４５において重心位置５５を通過し、検査領域画像４５の幅方向両端に延びる重心線ｍにおける断面プロファイル１０を計側する。この場合において、断面プロファイル１０は、図１９に示すように、ホットメルト部４６の輝度１１と背景部４７の輝度１２とから構成されている。
次いで、ステップＳ１１１において、断面プロファイル１０上で、ホットメルト部４６の輝度１１及び背景部４７の輝度１２に対応した部分を特定し、輝度１１及び輝度１２の輝度平均値を計算する。
そして、ステップＳ１１２において、ホットメルト部４６の輝度１１の平均値を背景部４７の輝度１２の平均値で除することにより、ホットメルト部４６と背景部４７との輝度の比率の計算が行われる。
そして、ステップＳ１１２において、ホットメルト部４６の輝度１１の平均値を背景部４７の輝度１２の平均値で除することにより、ホットメルト部４６と背景部４７との輝度の比率の計算が行われる。
図２０は各内サイドフラップに塗布されたホットメルトの検査領域画像の正面図である。図２１は黒印刷除去画像の正面図である。図２２はオープニング処理画像の正面図である。図２３は輪郭抽出画像の正面図である。図２４は輪郭の２値化画像の正面図である。図２５は輪郭の接続画像の正面図である。図２６は輪郭の穴埋め画像の正面図である。図２７は収縮画像の正面図である。図２８はホットメルト抽出後の検査領域枠設定画像の正面図である。図２９は縦長さ測定画像の正面図である。図３０は横長さ測定画像の正面図である。図３１は縦位置ずれ測定画像の正面図である。図３２は横位置ずれ測定画像の正面図である。図３３は重心位置計測画像の正面図である。図３４は断面プロファイル作成画像の正面図である。図３５は断面プロファイルのグラフ図である。
次に、図６を参照して、画像処理装置５ｂでの処理について説明すると、先ず、ステップＳ２０１において、各サイド用カメラ４ｂにより撮像された撮像画像は、画像処理装置５ｂへと入力される。
そして、ステップＳ２０２において、撮像画像の縮小が行われ、撮像画像の横幅が二分の一倍に縮小される。
そして、ステップＳ２０２において、撮像画像の縮小が行われ、撮像画像の横幅が二分の一倍に縮小される。
次いで、ステップＳ２０３において、図２０に示すように、縮小された撮像画像について、検査領域画像５６が決定される。検査領域画像５６は、各フラップが長方形に映らないため、各フラップの写り方に合わせた４角形領域で設定する。検査領域画像５６は、ホットメルト部５７と背景部５８とホットメルトの糸引き部５９とから構成されている。
ステップＳ２０４において、図２１に示すように、背景部５８における黒い印刷等を除去するクロージング処理が行われ、黒印刷除去画像６０が作成される。
ステップＳ２０４において、図２１に示すように、背景部５８における黒い印刷等を除去するクロージング処理が行われ、黒印刷除去画像６０が作成される。
ステップＳ２０５において、図２２に示すように、ホットメルトの糸引き部５９を除去するオープニング処理が行われ、オープニング処理画像６１が作成される。
ステップＳ２０６において、図２３に示すように、ホットメルト部５７の輪郭部６３を抽出するソーベルフィルタ処理が行われ、輪郭抽出画像６２が作成される。
ステップＳ２０７において、図２４に示すように、各検査領域毎に予め設定された２値化閾値を使用し、輪郭部６３をはっきりさせるために輪郭部６３を白、背景部５８を黒に分け、輪郭の２値化画像６４が作成される。この２値化処理に際して、２値化処理後の輪郭の２値化画像６４において、図２４に示すように、輪郭部６３に途切れ部分６５が生じる場合があり、また、輪郭部６３の内側は穴部６６となっている。
ステップＳ２０６において、図２３に示すように、ホットメルト部５７の輪郭部６３を抽出するソーベルフィルタ処理が行われ、輪郭抽出画像６２が作成される。
ステップＳ２０７において、図２４に示すように、各検査領域毎に予め設定された２値化閾値を使用し、輪郭部６３をはっきりさせるために輪郭部６３を白、背景部５８を黒に分け、輪郭の２値化画像６４が作成される。この２値化処理に際して、２値化処理後の輪郭の２値化画像６４において、図２４に示すように、輪郭部６３に途切れ部分６５が生じる場合があり、また、輪郭部６３の内側は穴部６６となっている。
ステップＳ２０８において、図２５に示すように、輪郭部６３の途切れ部分６５を接続するクロージング処理が行われ、輪郭の接続画像６７が作成される。
ステップＳ２０９において、図２６に示すように、輪郭部６３の内側の穴部６６を埋め、ホットメルト部６９とするクロージング処理が行われ、輪郭の穴埋め画像６８が作成される。
ステップＳ２０９において、図２６に示すように、輪郭部６３の内側の穴部６６を埋め、ホットメルト部６９とするクロージング処理が行われ、輪郭の穴埋め画像６８が作成される。
ステップＳ２１０において、図２７に示すように、ホットメルト部６９は、輪郭抽出時に実際のメルトより大きめに抽出されているため、元のサイズに収縮し、ホットメルト部７１とするエロージョン処理が行われ、収縮画像７０が作成される。
ステップＳ２１１において、図２８に示すように、収縮画像７０について検査領域枠７３が設定され、検査領域枠設定画像７２が作成される。
ステップＳ２１１において、図２８に示すように、収縮画像７０について検査領域枠７３が設定され、検査領域枠設定画像７２が作成される。
そして、その後、ステップＳ２１２において、面積、縦長さ、横長さ、縦位置ずれ及び横位置ずれの計測処理が行われる。面積の計測処理においては、図２８に示すように、検査領域枠設定画像７２の白い部分の画素数をカウントし、面積とする。縦長さの計測処理においては、図２９に示すように、検査領域枠設定画像７２のホットメルト部７１の幅方向（図２９における上下方向）の縦長さｇを測定し、画素数をミリメートルへと分解能変換する。横長さの計測処理においては、図３０に示すように、検査領域枠設定画像７２のホットメルト部７１の長手方向（図３０における左右方向）の横長さｈを測定し、画素数をミリメートルへと分解能変換する。縦位置ずれの計測処理においては、図３１に示すように、検査領域枠設定画像７２のホットメルト部７１の重心位置７４を求め、その重心位置７４の幅方向成分ｋと検査領域枠７３の幅方向の中心位置ｉとの縦ずれを測定し、画素数をミリメートルへと分解能変換する。横位置ずれの計測処理においては、図３２に示すように、検査領域枠設定画像７２におけるホットメルト部７１の重心位置７４の長手方向成分ｌと検査領域枠７３の長手方向の中心位置ｊとの横ずれを測定し、画素数をミリメートルへと分解能変換する。
そして、ステップＳ２１３において、図３３に示すように、ステップＳ２１１において作成された検査領域枠設定画像７２に基づいて、検査領域枠設定画像７２におけるホットメルト部７１の重心位置７４を計測する。
また、ステップＳ２１４において、図３４に示すように、ステップＳ２１３において計測された重心位置７４を検査領域画像５６に適用し、検査領域画像５６において重心位置７４を通過し、検査領域画像５６の長手方向両端に延びる重心線ｎにおける断面プロファイル１３を計側する。この場合において、断面プロファイル１３は、図３５に示すように、ホットメルト部５７の輝度１４と背景部５８の輝度１５とから構成されている。
また、ステップＳ２１４において、図３４に示すように、ステップＳ２１３において計測された重心位置７４を検査領域画像５６に適用し、検査領域画像５６において重心位置７４を通過し、検査領域画像５６の長手方向両端に延びる重心線ｎにおける断面プロファイル１３を計側する。この場合において、断面プロファイル１３は、図３５に示すように、ホットメルト部５７の輝度１４と背景部５８の輝度１５とから構成されている。
次いで、ステップＳ２１５において、断面プロファイル１３上で、ホットメルト部７１の輝度１４及び背景部５８の輝度１５に対応した部分を特定し、輝度１４及び輝度１５の輝度平均値を計算する。
そして、ステップＳ２１６において、ホットメルト部７１の輝度１４の平均値を背景部５８の輝度１５の平均値で除することにより、ホットメルト部７１と背景部５８との輝度の比率の計算が行われる。
そして、ステップＳ２１６において、ホットメルト部７１の輝度１４の平均値を背景部５８の輝度１５の平均値で除することにより、ホットメルト部７１と背景部５８との輝度の比率の計算が行われる。
画像処理装置５ａ及び画像処理装置５ｂにより測定された面積、縦長さ、横長さ、縦位置ずれ及び横位置ずれの各検査項目の値は、画像処理装置５ａにより測定された値は判定装置６ａに、画像処理装置５ｂにより測定された値は判定装置６ｂにそれぞれ伝送される。そして、判定装置６ａ及び６ｂにおいて、予め設定された検査パラメータの範囲（予め設定された値）と比較され、各検査項目毎にＯＫ又はＮＧと判定される。判定装置６ａ及び６ｂは、全検査領域及び全検査項目でＯＫの時のみＯＫ信号を制御装置９に対して出力し、どれか１つでもＮＧがある場合にはＮＧ信号を制御装置９に対して出力する。
判定装置６ａ及び６ｂよりＯＫ又はＮＧ信号を受信した制御装置９は、ＮＧ信号を受信した場合には、箱体成形装置２に対して、ＮＧ信号に係る箱体１６を除去するよう信号を出力する。
一方、画像処理装置５ａ及５ｂにより計算された対象部と背景部の輝度の比率は、管理画面（図示しない）上に常時表示されるようになっている。画像処理装置５ａ及び５ｂにより計算された輝度の比率は、画像処理装置５ａにより計算された比率は判定装置７ａに、画像処理装置５ｂにより計算された比率は判定装置７ｂにそれぞれ伝送される。そして、判定装置７ａ及び７ｂにおいて、予め設定された基準（本実施例においては、１．５以上とする）に基づいて判定され、輝度の比率が設定値以下の場合においては、判定装置７ａ及び７ｂは、警告装置８に対して警告信号を発信するようになっている。
一方、画像処理装置５ａ及５ｂにより計算された対象部と背景部の輝度の比率は、管理画面（図示しない）上に常時表示されるようになっている。画像処理装置５ａ及び５ｂにより計算された輝度の比率は、画像処理装置５ａにより計算された比率は判定装置７ａに、画像処理装置５ｂにより計算された比率は判定装置７ｂにそれぞれ伝送される。そして、判定装置７ａ及び７ｂにおいて、予め設定された基準（本実施例においては、１．５以上とする）に基づいて判定され、輝度の比率が設定値以下の場合においては、判定装置７ａ及び７ｂは、警告装置８に対して警告信号を発信するようになっている。
判定装置７ａ及び７ｂより警告信号を受信した警告装置８は、清掃又は光源装置の交換を警告するようになっている。
これにより、光源装置及び撮像装置のレンズの清掃は、真の汚れ具合から裏付けられた数値の表示に基づいて行うことが出来る。また、光源装置の交換も、時間管理ではなく真の光量不足に基づいて行うことが出来る。したがって、光源装置及び撮像装置のレンズの清掃並びに、光源装置の交換における無駄を防止することができる。
これにより、光源装置及び撮像装置のレンズの清掃は、真の汚れ具合から裏付けられた数値の表示に基づいて行うことが出来る。また、光源装置の交換も、時間管理ではなく真の光量不足に基づいて行うことが出来る。したがって、光源装置及び撮像装置のレンズの清掃並びに、光源装置の交換における無駄を防止することができる。
１ 熱可塑性接着剤検査装置
２ 箱体成形装置
３ａ トップ用照明装置
３ｂ サイド用照明装置
４ａ トップ用カメラ
４ｂ サイド用カメラ
５ａ 画像処理装置
５ｂ 画像処理装置
６ａ 判定装置
６ｂ 判定装置
７ａ 判定装置
７ｂ 判定装置
８ 警告装置
９ 制御装置
１０ 断面プロファイル
１１ ホットメルト部の輝度
１２ 背景部の輝度
１３ 断面プロファイル
１４ ホットメルト部の輝度
１５ 背景部の輝度
１６ 箱体
２０ 箱展開シート
２１ 天面パネル
２２ 底面パネル
２３ 側面パネル
２４ 側面パネル
２５ 内サイドフラップ
２６ 内サイドフラップ
２７ 外サイドフラップ
２８ 外サイドフラップ
２９ トップフラップ
３０ 内サイドフラップ
３１ 内サイドフラップ
３２ 外サイドフラップ
３３ 外サイドフラップ
３４ 折り曲げ線
３５ 折り曲げ線
３６ 折り曲げ線
３７ 折り曲げ線
３８ 折り曲げ線
３９ 折り曲げ線
４０ ホットメルト
４１ ホットメルト
４５ 検査領域画像
４６ ホットメルト部
４７ 背景部
４８ ホットメルトの糸引き部
４９ 背景画像
５０ シェーディング補正画像
５１ ２値化画像
５２ 穴（ノイズ）
５３ クロージング処理画像
５４ オープニング処理画像
５５ 重心位置
５６ 検査領域画像
５７ ホットメルト部
５８ 背景部
５９ ホットメルトの糸引き部
６０ 黒印刷除去画像
６１ オープニング処理画像
６２ 輪郭抽出画像
６３ 輪郭部
６４ 輪郭の２値化画像
６５ 途切れ部分
６６ 穴部
６７ 輪郭の接続画像
６８ 輪郭の穴埋め画像
６９ ホットメルト部
７０ 収縮画像
７１ ホットメルト部
７２ 検査領域枠設定画像
７３ 検査領域枠
７４ 重心位置
ａ 縦長さ
ｂ 横長さ
ｃ 長手方向の中心位置
ｄ 幅方向の中心位置
ｅ 長手方向成分
ｆ 幅方向成分
ｇ 縦長さ
ｈ 横長さ
ｉ 幅方向の中心位置
ｊ 長手方向の中心位置
ｋ 幅方向成分
ｌ 長手方向成分
ｍ 重心線
ｎ 重心線
Ｓ１０１ 撮像画像入力
Ｓ１０２ 検査領域画像の決定
Ｓ１０３ 背景画像の作成
Ｓ１０４ シェーディング処理
Ｓ１０５ ２値化処理
Ｓ１０６ クロージング処理
Ｓ１０７ オープニング処理
Ｓ１０８ 計測処理
Ｓ１０９ 重心位置計測
Ｓ１１０ プロファイル作成
Ｓ１１１ 輝度平均値の計算
Ｓ１１２ 輝度比率の計算
Ｓ２０１ 撮像画像入力
Ｓ２０２ 撮像画像の縮小
Ｓ２０３ 検査領域画像の決定
Ｓ２０４ クロージング処理
Ｓ２０５ オープニング処理
Ｓ２０６ ソーベルフィルタ処理
Ｓ２０７ ２値化処理
Ｓ２０８ クロージング処理
Ｓ２０９ クロージング処理
Ｓ２１０ エロージョン処理
Ｓ２１１ 検査領域枠の設定
Ｓ２１２ 計測処理
Ｓ２１３ 重心位置計測
Ｓ２１４ プロファイル作成
Ｓ２１５ 輝度平均値の計算
Ｓ２１６ 輝度比率の計算
８０ パターン欠陥検査装置
８１ 光源
８２ 光量調整手段
８３ 証明範囲形成手段
８４ 照射手段
８５ 画像検出手段
８６ 画像検出手段
８７ 欠陥検出手段
８８ 試料
２ 箱体成形装置
３ａ トップ用照明装置
３ｂ サイド用照明装置
４ａ トップ用カメラ
４ｂ サイド用カメラ
５ａ 画像処理装置
５ｂ 画像処理装置
６ａ 判定装置
６ｂ 判定装置
７ａ 判定装置
７ｂ 判定装置
８ 警告装置
９ 制御装置
１０ 断面プロファイル
１１ ホットメルト部の輝度
１２ 背景部の輝度
１３ 断面プロファイル
１４ ホットメルト部の輝度
１５ 背景部の輝度
１６ 箱体
２０ 箱展開シート
２１ 天面パネル
２２ 底面パネル
２３ 側面パネル
２４ 側面パネル
２５ 内サイドフラップ
２６ 内サイドフラップ
２７ 外サイドフラップ
２８ 外サイドフラップ
２９ トップフラップ
３０ 内サイドフラップ
３１ 内サイドフラップ
３２ 外サイドフラップ
３３ 外サイドフラップ
３４ 折り曲げ線
３５ 折り曲げ線
３６ 折り曲げ線
３７ 折り曲げ線
３８ 折り曲げ線
３９ 折り曲げ線
４０ ホットメルト
４１ ホットメルト
４５ 検査領域画像
４６ ホットメルト部
４７ 背景部
４８ ホットメルトの糸引き部
４９ 背景画像
５０ シェーディング補正画像
５１ ２値化画像
５２ 穴（ノイズ）
５３ クロージング処理画像
５４ オープニング処理画像
５５ 重心位置
５６ 検査領域画像
５７ ホットメルト部
５８ 背景部
５９ ホットメルトの糸引き部
６０ 黒印刷除去画像
６１ オープニング処理画像
６２ 輪郭抽出画像
６３ 輪郭部
６４ 輪郭の２値化画像
６５ 途切れ部分
６６ 穴部
６７ 輪郭の接続画像
６８ 輪郭の穴埋め画像
６９ ホットメルト部
７０ 収縮画像
７１ ホットメルト部
７２ 検査領域枠設定画像
７３ 検査領域枠
７４ 重心位置
ａ 縦長さ
ｂ 横長さ
ｃ 長手方向の中心位置
ｄ 幅方向の中心位置
ｅ 長手方向成分
ｆ 幅方向成分
ｇ 縦長さ
ｈ 横長さ
ｉ 幅方向の中心位置
ｊ 長手方向の中心位置
ｋ 幅方向成分
ｌ 長手方向成分
ｍ 重心線
ｎ 重心線
Ｓ１０１ 撮像画像入力
Ｓ１０２ 検査領域画像の決定
Ｓ１０３ 背景画像の作成
Ｓ１０４ シェーディング処理
Ｓ１０５ ２値化処理
Ｓ１０６ クロージング処理
Ｓ１０７ オープニング処理
Ｓ１０８ 計測処理
Ｓ１０９ 重心位置計測
Ｓ１１０ プロファイル作成
Ｓ１１１ 輝度平均値の計算
Ｓ１１２ 輝度比率の計算
Ｓ２０１ 撮像画像入力
Ｓ２０２ 撮像画像の縮小
Ｓ２０３ 検査領域画像の決定
Ｓ２０４ クロージング処理
Ｓ２０５ オープニング処理
Ｓ２０６ ソーベルフィルタ処理
Ｓ２０７ ２値化処理
Ｓ２０８ クロージング処理
Ｓ２０９ クロージング処理
Ｓ２１０ エロージョン処理
Ｓ２１１ 検査領域枠の設定
Ｓ２１２ 計測処理
Ｓ２１３ 重心位置計測
Ｓ２１４ プロファイル作成
Ｓ２１５ 輝度平均値の計算
Ｓ２１６ 輝度比率の計算
８０ パターン欠陥検査装置
８１ 光源
８２ 光量調整手段
８３ 証明範囲形成手段
８４ 照射手段
８５ 画像検出手段
８６ 画像検出手段
８７ 欠陥検出手段
８８ 試料
Claims (2)
- 対象物に塗布された熱可塑性接着剤に光を照射する光源装置と、
前記熱可塑性接着剤からの反射光を撮像する撮像装置と、
前記撮像装置から入力された画像を処理する画像処理手段と、
前記画像処理手段が処理した画像に基づいて、前記光源装置及び前記撮像装置のうち少なくとも一方についてのメンテナンスの要否を判定する判定手段と、
前記判定手段により前記メンテナンスが必要と判定された場合、前記メンテナンスが必要であることを警告する警告手段と、を備え、
前記画像処理手段は、
前記撮像装置から入力された画像に基づいて、前記熱可塑性接着剤を表す領域である熱可塑性接着剤部及び該熱可塑性接着剤部の背景を表す領域である背景部を含む領域を検査領域画像として設定し、
前記検査領域画像に基づいて、前記熱可塑性接着剤部の重心を算出し、
前記検査領域画像について、前記熱可塑性接着剤部の重心を通り前記検査領域画像の両端部に延びる直線における輝度の断面プロファイルを算出し、
前記判定手段は、
前記断面プロファイルに基づいて、前記熱可塑性接着剤部の輝度の平均値及び前記背景部の輝度の平均値を算出し、
前記熱可塑性接着剤部の輝度の平均値と前記背景部の輝度の平均値との比率を算出し、
該比率と予め設定された値とを比較することによって前記メンテナンスが必要か否かを判定することを特徴とする、熱可塑性接着剤検査装置。 - 対象物に塗布された熱可塑性接着剤に光を照射する光源装置と、前記熱可塑性接着剤からの反射光を撮像する撮像装置と、を備えた熱可塑性接着剤検査装置を用いて前記熱可塑性接着剤を検査する方法であって、
前記撮像装置が撮像した画像に基づいて、前記熱可塑性接着剤を表す領域である熱可塑性接着剤部及び該熱可塑性接着剤部の背景を表す領域である背景部を含む領域を検査領域画像として設定し、
前記検査領域画像に基づいて、前記熱可塑性接着剤部の重心を算出し、
前記検査領域画像について、前記熱可塑性接着剤部の重心を通り前記検査領域画像の両端部に延びる直線における輝度の断面プロファイルを算出し、
前記断面プロファイルに基づいて、前記熱可塑性接着剤部の輝度の平均値及び前記背景部の輝度の平均値を算出し、
前記熱可塑性接着剤部の輝度の平均値と前記背景部の輝度の平均値との比率を算出し、
該比率が予め設定された範囲内にあるか否かを判定し、
該比率と予め設定された値とを比較することによって前記光源装置及び前記撮像装置のうち少なくとも一方についてのメンテナンスが必要であるか否かを判定し、該メンテナンスが必要であると判定した場合、該メンテナンスが必要であることを警告することを特徴とする、熱可塑性接着剤検査方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004265869A JP4444048B2 (ja) | 2004-09-13 | 2004-09-13 | 熱可塑性接着剤検査装置及び検査方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004265869A JP4444048B2 (ja) | 2004-09-13 | 2004-09-13 | 熱可塑性接着剤検査装置及び検査方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2006078452A JP2006078452A (ja) | 2006-03-23 |
| JP4444048B2 true JP4444048B2 (ja) | 2010-03-31 |
Family
ID=36158028
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004265869A Expired - Lifetime JP4444048B2 (ja) | 2004-09-13 | 2004-09-13 | 熱可塑性接着剤検査装置及び検査方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4444048B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019135193A1 (en) * | 2018-01-05 | 2019-07-11 | 3M Innovative Properties Company | Information processing method, information processing program, and information processing system |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6207294B2 (ja) * | 2013-08-09 | 2017-10-04 | アズビルトレーディング株式会社 | 検査方法、検査システムおよび画像処理装置 |
| US10771665B1 (en) * | 2019-02-27 | 2020-09-08 | Ford Global Technologies, Llc | Determination of illuminator obstruction by known optical properties |
| JP6865913B1 (ja) * | 2020-01-22 | 2021-04-28 | 三菱電機株式会社 | 予知保守装置、予知保守方法、及び、学習装置 |
| JP7333767B2 (ja) * | 2020-03-30 | 2023-08-25 | サントリーホールディングス株式会社 | ホットメルト接着剤によって接着されるケースのための検査装置及び検査方法 |
| JP7522376B1 (ja) | 2023-09-11 | 2024-07-25 | ダイトロン株式会社 | 画像検査方法 |
-
2004
- 2004-09-13 JP JP2004265869A patent/JP4444048B2/ja not_active Expired - Lifetime
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019135193A1 (en) * | 2018-01-05 | 2019-07-11 | 3M Innovative Properties Company | Information processing method, information processing program, and information processing system |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2006078452A (ja) | 2006-03-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102270741B1 (ko) | 검사 방법, 검사·통지 방법, 당해 검사 방법을 포함하는 제조 방법, 검사 장치 및 제조 장치 | |
| CN102224412A (zh) | 成形片材的缺陷检查装置 | |
| JPH1134187A (ja) | 製函用シート材の接合部判定方法及び製函用シート材の接合部判定装置 | |
| JP2008292430A (ja) | 外観検査方法および外観検査装置 | |
| JP6775332B2 (ja) | 検査装置および生産管理方法 | |
| JP4444048B2 (ja) | 熱可塑性接着剤検査装置及び検査方法 | |
| JP2009216628A (ja) | 欠陥検出装置および欠陥検出方法 | |
| CN101727664B (zh) | 图像处理方法、涂装检查方法和涂装检查系统 | |
| JP4500635B2 (ja) | 熱可塑性接着剤検査装置及び検査方法 | |
| WO2023047866A1 (ja) | シート状物の凹凸測定装置、シート状物の凹凸測定方法 | |
| EP0816825A2 (en) | Method and apparatus for inspecting streak | |
| TWI448606B (zh) | 表面檢測裝置與方法 | |
| US6335982B1 (en) | Method and apparatus for inspecting streak | |
| JP6289919B2 (ja) | ホットメルト検査装置及び方法 | |
| JP4563183B2 (ja) | スジ状ムラ欠陥の検査方法および装置 | |
| JP3761313B2 (ja) | 錠剤の外観検査方法と錠剤の外観検査装置とブリスタシート包装機 | |
| JP3661466B2 (ja) | 塗装ムラ検査装置および方法 | |
| JP2007198762A (ja) | 欠陥検出方法および欠陥検出装置 | |
| JP6251056B2 (ja) | ホットメルト検査装置及び方法 | |
| JP2000329699A (ja) | 欠陥検査方法及びその装置 | |
| JP2000028543A (ja) | パターン検査方法および装置 | |
| JP2000292311A (ja) | 周期性パターンのムラ検査方法及び装置 | |
| JP2005106764A (ja) | 塗装ムラ検査装置および塗装ムラ検査方法 | |
| JP4614624B2 (ja) | パターン欠陥検査装置 | |
| JP4520916B2 (ja) | 画像形成装置用ブレード製品の欠陥検出方法及び欠陥検出装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060501 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20081003 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081014 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081127 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090428 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090616 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091222 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100113 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4444048 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130122 Year of fee payment: 3 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130122 Year of fee payment: 3 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130122 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140122 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |