JP4823782B2 - 部品位置決め方法及び装置 - Google Patents

部品位置決め方法及び装置 Download PDF

Info

Publication number
JP4823782B2
JP4823782B2 JP2006174476A JP2006174476A JP4823782B2 JP 4823782 B2 JP4823782 B2 JP 4823782B2 JP 2006174476 A JP2006174476 A JP 2006174476A JP 2006174476 A JP2006174476 A JP 2006174476A JP 4823782 B2 JP4823782 B2 JP 4823782B2
Authority
JP
Japan
Prior art keywords
rectangle
pattern
electrode
electrodes
electronic component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006174476A
Other languages
English (en)
Other versions
JP2008004843A (ja
Inventor
山田  和範
仁彦 横瀬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Juki Corp
Original Assignee
Juki Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Juki Corp filed Critical Juki Corp
Priority to JP2006174476A priority Critical patent/JP4823782B2/ja
Publication of JP2008004843A publication Critical patent/JP2008004843A/ja
Application granted granted Critical
Publication of JP4823782B2 publication Critical patent/JP4823782B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Supply And Installment Of Electrical Components (AREA)

Description

本発明は、部品位置決め方法及び装置、特に電極数が多い上に、電極配列がランダムな電子部品を基板に実装する際に適用して好適な部品位置決め方法及び装置に関する。
一般に、表面実装装置においては、部品供給装置により供給される電子部品を吸着ノズルにより保持した後、所定位置の回路基板に実装することが行なわれている。このような実装を行なう際、吸着ノズルは必ずしも正しい姿勢で電子部品を吸着するとは限らないため、通常CCDカメラ等の部品認識装置を用いて吸着保持されている電子部品を撮像し、その画像に基づいて部品認識が行なわれている。
その部品認識の結果、正しい姿勢で吸着されていない場合には、位置補正、傾き補正等を行なって正しい姿勢となるように電子部品の位置決めを行なっている。
ところで、パッケージ底面にボール形状の電極がアレイ状に配列された、いわゆるボールグリッドアレイ(BGA)型の電子部品を位置決めする場合、その部品の底面を撮像して得られる画像データを処理し、その画像処理により求まる電極配置を基に、吸着部品のノズル中心からの位置ずれや傾きを算出し、吸着部品の位置決めを行なっている。
そのために、例えば特許文献1には、吸着した部品を撮像し、その画像から抽出された電極配列のパターン(以下、単に電極パターンともいう)と、予め作成してある基準となる電極配列に関する照合パターンとを重ね合わせる照合を行ない、照合結果に基づいて抽出された電極座標を決定する位置決め技術が開示され、又、特許文献2には電極の配列がランダムであっても適用できる位置決め技術が開示されている。
従来の表面実装装置では、このような部品認識に際しては、位置決めの正確さを期するために、部品に配設されている全ての電極を対象にした電極パターンを照合パターンと重ね合せる照合処理を行なっている。このように全電極を対象として照合処理を行なっても、電極数が少ないうちは特に問題はなかった。
特開2000−232299号公報 特開2001−284900号公報
しかしながら、電極数が次第に増加し、遂には1万個を超える電子部品も出現するようになったことから、位置決めのための照合処理に要する時間の増大が問題になってきた。
本発明は、前記従来の問題点を解決するべくなされたもので、電極数が非常に多く、しかもその配列がランダムな場合でも、位置決め精度を低下させることなく、画像認識による電極パターンの照合処理を短時間で行なうことができる部品位置決め方法及び装置を提供することを課題とする。
本発明は、部品位置決め方法において、電子部品が備えている電極の配列を記述した電極座標系で、全電極を含むように外接する第1矩形を設定するステップと、設定された第1矩形について電極密度が最大のコーナを選択するステップと、前記第1矩形の部分領域であって、選択された前記コーナの頂点を起点にし、該起点と対向する頂点位置の座標が縦方向、横方向でそれぞれ異なり、かつ面積が同一の複数矩形の中で、電極密度が最小の第2矩形を決定するステップと、決定された第2矩形に含まれる電極の配列を照合パターンに設定するステップと、設定された照合パターンを保存するステップと、該当する電子部品を撮像した画像座標系で、前記照合パターンに対応する電極パターンを抽出するステップと、保存されている照合パターンを読出し、抽出された電極パターンを照合して該電子部品を位置決めするステップと、を含むことにより、前記課題を解決したものである。
本発明は、決定された第2矩形が複数存在する場合、各矩形中心からの電極の分布が最も離散している矩形を選択するステップを含むことにより、前記課題を解決したものである。
本発明は、又、部品位置決め装置において、電子部品が備えている電極の配列を記述した電極座標系で、全電極を含むように外接する第1矩形を設定する手段と、設定された第1矩形について電極密度が最大のコーナを選択する手段と、前記第1矩形の部分領域であって、選択された前記コーナの頂点を起点にし、該起点と対向する頂点位置の座標が縦方向、横方向でそれぞれ異なり、かつ面積が同一の複数矩形の中で、電極密度が最小の第2矩形を決定する手段と、決定された第2矩形に含まれる電極の配列を照合パターンに設定する手段と、設定された照合パターンを保存する手段と、該当する電子部品を撮像した画像座標系で、前記照合パターンに対応する電極パターンを抽出する手段と、保存されている照合パターンを読出し、抽出された電極パターンを照合して該電子部品を位置決めする手段と、を備えたことにより、同様に前記課題を解決したものである。
本発明者は、照合する電極の数が多い方が位置決め精度が上がるが、電極数が極めて多い時には、事実上電極数と精度とは比例関係に無くなり、電極数と精度の関係は飽和曲線を描くようになることを知見した。
本発明は、必ずしも電極数が多ければ精度が良くなるわけではないという上記知見に基づき、ランダムに配列された電極に対しても、部分的に照合に使用する電極配列を切り出し、照合電極数を削減することにより高速化を図りつつも、精度低下が起こらない照合パターンを選択できるようにした。
即ち、本発明によれば、電極座標系において全電極を内側に外接するように設定した第1矩形から、電極密度が最大のコーナを選択すると共に、該コーナの頂点を起点とする同一面積で最も電極密度の低い第2矩形を決定し、該矩形の電極配列から照合パターンを作成するようにしたことにより、実装時に電子部品を撮像して得られる電極配列から前記参照パターンに対応する電極パターンを抽出する場合には、電極密度が最も高いコーナから画像処理を開始できるため、電極を迅速に抽出することができる。しかも、電極が最も離散した配列の電極パターンを取得できるため、電極パターンを移動・回転させて前記照合パターンに一致させる照合処理による位置決めを高速且つ高精度で行なうことができる。
以下、図面を参照して、本発明の実施の形態について詳細に説明する。
図1は、本発明に係る一実施形態の部品位置決め装置の概要を示すブロック図である。
本実施形態の部品位置決め装置は、吸着ノズル1と、該吸着ノズル1に吸着保持された電子部品2を、照明装置3による照明下で撮像する標準カメラ4及び高解像度カメラ5と、画像を表示させるモニタ6と、これらカメラ4、5により撮像した画像データ等を処理する画像処理装置10と、表面実装装置(図示せず)の全体を制御するためのマシン制御装置20とを備えている。
画像処理装置10には、前記カメラ4又は5により撮像され、A/Dコンバータ11を介して入力される画像データを保存すると共に、保存されている画像データを適宜前記モニタ6に表示する画像メモリ12と、該画像メモリ12に保存されている画像データ等を、作業用メモリ13に読出し、その画像データ等を基に画像処理等の各種制御演算を行なう制御部(CPU)14と、画像メモリ12から読み出した画像データに対して、後述する部品に関する各種演算を実行する演算部15と、演算結果等の部品に関するデータを保存する部品データ格納メモリ16とが内蔵されている。
上記演算部15は、制御部14により実行されるプログラムにより実現され、又、該制御部14はインタフェース17を介して前記マシン制御装置20に接続されている。
又、前記部品データ格納メモリ16には、電子部品2に関する、電極(リード、ボール等)の形状、直径等の属性情報や配置情報が部品データとして保存されている。
本実施形態の部品位置決め装置では、前記画像処理装置10に含まれる制御部14及び演算部15により、電子部品が備えている電極の配列を記述した電極座標系で、全電極を含むように外接する第1矩形を設定する手段と、設定された第1矩形について電極密度が最大のコーナを選択する手段と、選択されたコーナの頂点を起点として設定される同一面積の矩形の中で、電極密度が最小の第2矩形を決定する手段と、決定された第2矩形に含まれる電極の配列を照合パターンに設定する手段とが構築されており、設定された照合パターンは前記部品データ格納メモリ16に保存されるようになっている。
又、前記制御部14及び演算部15により、該当する電子部品を基板に実装する際に該部品を撮像した画像座標系で、前記照合パターンに対応する電極パターンを抽出する手段と、前記部品データ格納メモリ16に保存されている電極座標系の照合パターンを読出し、これと抽出された電極パターンを照合して、該電子部品を位置決めする手段も構築されている。
次に、本実施形態の作用を説明する。
本実施形態では、処理全体の概要を図2のフローチャートに示すように、生産前の準備としての照合パターン作成処理(ステップ1〜ステップ3)と、生産開始後の部品位置決め処理(ステップ4〜ステップ7)とが行なわれる。
まず、生産前に行なう照合パターン作成処理の動作について説明する。
マシン制御装置20は、予め部品データをインタフェース17を介して画像処理装置10へ送信する。画像処理装置10は、部品データを受信し(ステップ1)、それを部品格納メモリ16に格納しておく。
次いで、画像処理装置10は、部品データ格納メモリ16に部品データとして保存されている全電極の配置(配列)情報、即ちデータ上の電極パターンを参照し、各パターンに合った最適な照合パターンを抽出(作成)する(ステップ2)。なお、この処理については、後に詳細に説明する。
画像処理装置10は、このように新規に作成した照合パターンを部品データ格納メモリ16に、対応する部品データの一部として追記する(ステップ3)。部品データが複数ある場合は、各部品毎に同様に照合パターンを抽出し、部品IDに対応付けて格納する。そして、該当する部品を実装する際の画像認識による位置決めに備える。
次に、前記ステップ2の照合パターンの抽出について、図3のフローチャートに従って詳述する。
まず、評価基準値を設定する(ステップ11)。
ここでは、第1評価基準値として、本実施形態による照合パターンの抽出を適用する最低照合電極数を設定する。本実施形態は、従来の全数照合では画像認識に時間がかかる電極数が多い電子部品を対象とするためである。具体的な設定電極数は、計算機の処理能力等を勘案して適宜設定することになるが、例えば32とすることができる。この場合は、電極数が32以下の電子部品は、全数照合を行なうことになる。
又、第2評価基準値として、最低分布面積を設定する。これは、配列全体の中で最遠方の電極を画像処理により予測位置決めするために必要な照合パターンの分布領域の最小面積であり、計算機の処理能力にも依存するが、例えば全電極パターン領域の1/8とすることができる。
次いで、検査ウィンドウを設定する(ステップ12)。これは、前記部品データ格納メモリに格納されている対象部品の部品データに全電極の配列情報として含まれる電極パターンを囲むように外接する第1矩形を設定することに当たる。
図4には、部品データから取り込まれたランダムに配列された電極パターンの一例と、これら電極に外接する第1矩形Tを示す。なお、この図で数字は各電極に設定されているID番号で、それぞれ対応する(x,y)座標の電極座標系でその位置が規定されている。
このように全電極を内包するように外接する第1矩形が設定されると、該矩形に存在する4つのコーナの中で電極密度が最大のコーナを選択する(ステップ13)。これは、矩形中心に対する電極重心のずれ方向により判定できる。この例では左上のコーナが選択される。
以上のように1つのコーナが選択されたならば、そのコーナの頂点Aを起点とし、前記ステップ11で評価基準値として設定されている面積(例えば、1/8)と同一の面積からなる矩形を発生させ、その中で電極密度が最小の第2矩形を決定する(ステップ14)。但し、この第2矩形は、照合による位置決めに使用するため、2以上の電極を含む必要がある。
図5には、面積は第1矩形Tの1/8より大きい、1つの第2矩形の候補T´を示す。この図に示される起点A(x0,y0)の対向頂点の座標(x1,y1)を、面積が同一となるように縦方向、横方向の矩形に変化させ、その中に含まれる電極が最も少ないものを第2矩形と決定する。なお、電極数のカウントに際しては、矩形の線上に位置する電極はカウントしない。
以上のようにして第2矩形が決定されたなら、その第2矩形が1つであるか否かを判定し(ステップ15)、1つであればその矩形に含まれる電極配列を照合パターン候補とする。
このステップ15で、第2矩形が2つ以上ある場合は、電極が矩形中心から最も離れて分散しているものを選択し(ステップ16)、同様に照合パターン候補とする。具体的には、図6にイメージを示すように、第2矩形内に分布している電極に、中心から離れている程小さい係数の重み付けを行ない、その合計が最小のものを選択し、照合パターン候補に決定する。図7には、電極の配列が異なるが、重み付けをしたイメージを示す。但し、矩形中心から各電極重心(中心)までの距離を積算し、積算値か最小の矩形を選択するようにしても良い。
ステップ15又はステップ16により照合パターン候補に選択(決定)された第2矩形を、実際に照合パターン作成に使用するか否かを判定し(ステップ17)、使用すると判定した場合には、その矩形に含まれる電極配列から照合パターンを作成(抽出)し、前記ステップ3により部品データ格納メモリ16に部品データの一部として格納し、作業を終了する。
一方、ステップ17で異なる大きさの照合パターンに変更する場合は、図8にイメージを示すように(x1,y1)を変更し、第2矩形を決定するための面積を変更(更新)し(ステップ18)、前記ステップ13に戻り照合精度が十分な適切な照合パターンがみつかるまで同様の処理を繰り返す。
以上詳述した照合パターンが必要な部品が他にあれば、それぞれ作成され、各照合パターンが部品データ格納メモリ16に格納される。その後、生産が開始されると、該当する電子部品を実装する際に、その照合パターンを読出して部品の位置決めを行なう。
次に、生産時の動作について前記図2のフローチャートに従って、更に説明する。
前記マシン制御部20は、次に実装する電子部品のサイズによって、前記2台のカメラ4、5から撮像するカメラを選択し、吸着ノズル1に吸着した電子部品2を、選択したカメラの撮像位置にセットする。その際、このマシン制御装置20は、選択したカメラで撮像できるように照明装置3を移動し、点灯させると共に画像処理装置10にインタフェース17を介して、選択したカメラチャネル情報を伝送し、処理の実行を指示する。
この指示を受けた画像処理装置10は、指定された方のカメラ4又は5を制御し、電子部品2の画像を撮像すると共に、その画像データをA/Dコンバータ11でデジタル化し、画像メモリ12に画像座標系の多値画像データとして記憶させる。
この画像処理装置10は、前記ステップ2で予め抽出しておいた電極座標系の照合パターンを、部品データ格納メモリ16から読出し、ソフトウェアにより実現されている位置決めモジュールを構成する前記演算部15へ受け渡す(ステップ4)。なお、電極座標系は位置決め基準として予め定義した座標系であり、画像座標系は使用するカメラにより決る座標系である。
この演算部15は、画像メモリ12に画像座標系で保存されている画像データを処理し、画像内から前記照合パターンに対応する電極パターンを抽出すると共に、前記部品データ格納メモリ16から入力されている該部品の照合パターンとの照合を行ない、吸着保持されている電子部品2の位置決めを行なう(ステップ5)。ここでは、一部の電極を照合することになるため、粗い位置決めを行なうことになる。
更に、この粗い位置決め結果を基に、前記部品データ格納メモリ16に部品データとして格納されている残りの全ての電極の抽出を行ない(ステップ6)、部品の中心・傾きを算出する精密位置決めを行なう(ステップ7)。
この全電極による精密位置決めの結果は、インタフェース17を介して、マシン制御装置20に送信される。
送信を受けたマシン制御装置20は、その情報に従って電子部品の姿勢を補正し、吸着ノズル1を搭載位置に移動し、電子部品2を基板上の目標位置に搭載する。
以上詳述した本実施形態によれば、粗い位置決めを行なう段階の照合処理で、最も電極密度の高いコーナを選択することにより、ラスタースキャンによる電極抽出を迅速に行なうことができるようにすると共に、該コーナの頂点を起点とする最も電極密度の低い第2矩形を決定し、照合パターンを作成するようにしたので、最遠方の予測電極の検出に失敗しない最低限の精度を補償できるレベルまで照合電極数を削減することができると共に、高速化と高精度化を同時に実現することができる。又、上記照合パターンの抽出を生産前に予め行なっておくことにより、更に生産時のタクトアップを図ることもできる。
本発明に係る一実施形態の部品位置決め装置の概要を示すブロック図 本実施形態による処理動作全体の流れの概要を示すフローチャート 本実施形態による照合パターン作成処理の流れを示すフローチャート 全電極配列と、これに設定される第1矩形を示す説明図 第1矩形内に第2矩形を決定する手順の一例を示す説明図 電極密度が同一の矩形に対して設定する重み付けのイメージを示す説明図 重み付けの計算結果の一例を示す説明図 第2矩形を更新するイメージを示す説明図
符号の説明
1…吸着ノズル
2…電子部品
3…照明装置
4…標準カメラ
5…高解像度カメラ
6…モニタ
10…画像処理装置
11…A/Dコンバータ
12…画像メモリ
13…作業用メモリ
14…制御部
15…演算部
16…部品データ格納メモリ
17…インタフェース
20…マシン制御装置

Claims (3)

  1. 電子部品が備えている電極の配列を記述した電極座標系で、全電極を含むように外接する第1矩形を設定するステップと、
    設定された第1矩形について電極密度が最大のコーナを選択するステップと、
    前記第1矩形の部分領域であって、選択された前記コーナの頂点を起点にし、該起点と対向する頂点位置の座標が縦方向、横方向でそれぞれ異なり、かつ面積が同一の複数矩形の中で、電極密度が最小の第2矩形を決定するステップと、
    決定された第2矩形に含まれる電極の配列を照合パターンに設定するステップと、
    設定された照合パターンを保存するステップと、
    該当する電子部品を撮像した画像座標系で、前記照合パターンに対応する電極パターンを抽出するステップと、
    保存されている照合パターンを読出し、抽出された電極パターンを照合して該電子部品を位置決めするステップと、を含むことを特徴とする部品位置決め方法。
  2. 決定された第2矩形が複数存在する場合、各矩形中心からの電極の分布が最も離散している矩形を選択するステップを含むことを特徴とする請求項1に記載の部品位置決め方法。
  3. 電子部品が備えている電極の配列を記述した電極座標系で、全電極を含むように外接する第1矩形を設定する手段と、
    設定された第1矩形について電極密度が最大のコーナを選択する手段と、
    前記第1矩形の部分領域であって、選択された前記コーナの頂点を起点にし、該起点と対向する頂点位置の座標が縦方向、横方向でそれぞれ異なり、かつ面積が同一の複数矩形の中で、電極密度が最小の第2矩形を決定する手段と、
    決定された第2矩形に含まれる電極の配列を照合パターンに設定する手段と、
    設定された照合パターンを保存する手段と、
    該当する電子部品を撮像した画像座標系で、前記照合パターンに対応する電極パターンを抽出する手段と、
    保存されている照合パターンを読出し、抽出された電極パターンを照合して該電子部品を位置決めする手段と、を備えたことを特徴とする部品位置決め装置。
JP2006174476A 2006-06-23 2006-06-23 部品位置決め方法及び装置 Expired - Fee Related JP4823782B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006174476A JP4823782B2 (ja) 2006-06-23 2006-06-23 部品位置決め方法及び装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006174476A JP4823782B2 (ja) 2006-06-23 2006-06-23 部品位置決め方法及び装置

Publications (2)

Publication Number Publication Date
JP2008004843A JP2008004843A (ja) 2008-01-10
JP4823782B2 true JP4823782B2 (ja) 2011-11-24

Family

ID=39008969

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006174476A Expired - Fee Related JP4823782B2 (ja) 2006-06-23 2006-06-23 部品位置決め方法及び装置

Country Status (1)

Country Link
JP (1) JP4823782B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4915940B2 (ja) * 2007-05-11 2012-04-11 富士機械製造株式会社 画像処理用データ作成方法及び画像処理用データ作成装置
JP4778076B2 (ja) * 2009-01-08 2011-09-21 ヤマハ発動機株式会社 部品認識装置および部品移載装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06259531A (ja) * 1993-03-02 1994-09-16 Matsushita Electric Ind Co Ltd ドットパターンの傾き補正方法
JP3269170B2 (ja) * 1993-04-02 2002-03-25 松下電器産業株式会社 電子部品の位置検出方法
JPH08147468A (ja) * 1994-11-17 1996-06-07 Juki Corp 画像処理によるbgaの位置認識方法
JPH1089920A (ja) * 1996-09-10 1998-04-10 Hitachi Ltd 位置検出方法およびそれを用いるマウント方法ならびに半導体集積回路装置の検査方法

Also Published As

Publication number Publication date
JP2008004843A (ja) 2008-01-10

Similar Documents

Publication Publication Date Title
CN110163912B (zh) 二维码位姿标定方法、装置及系统
JP4885867B2 (ja) 位置情報検出装置、位置情報検出方法及び位置情報検出プログラム
JP2003030653A (ja) 画像処理方法、同装置、およびボンディング装置
JP2006252400A (ja) 画像処理装置及び画像処理における登録データ生成方法
WO2016016933A1 (ja) 部品データ取扱装置および部品データ取扱方法並びに部品実装システム
JP2012230041A (ja) 位置検出方法、位置検出装置、ロボットシステム
JP4823782B2 (ja) 部品位置決め方法及び装置
CN115393320A (zh) 面阵图像处理方法、装置、设备及存储介质
JP2005123352A (ja) 部品データ生成装置及び電子部品実装装置
JP2008294065A (ja) 電子部品の実装方法及び装置
JP4707598B2 (ja) 対象物の重心検出方法
JP4915940B2 (ja) 画像処理用データ作成方法及び画像処理用データ作成装置
JP4804402B2 (ja) 部品実装順序決定方法
JP2010091525A (ja) 電子部品のパターンマッチング方法
JP2005165692A (ja) 画像処理装置、画像処理方法
JP4860452B2 (ja) テンプレートマッチングを用いたマーク位置決め方法及び装置
CN111563883B (zh) 屏幕视觉定位方法、定位设备及存储介质
JP3632461B2 (ja) 画像認識方法
JP4614487B2 (ja) 部品位置検出方法、部品位置検出装置、部品データ格納方法及びその装置
JP3763229B2 (ja) 画像認識による位置検出方法
JP4681984B2 (ja) 部品の位置決め方法及び装置
JP5438574B2 (ja) 画像探索方法
WO2022224645A1 (ja) データ作成システム、及び、実装システム
JP4660205B2 (ja) 部品認識方法及び装置
TWI817815B (zh) 加工裝置的加工作業方法及加工系統

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090604

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110526

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110531

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110726

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110823

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110907

R150 Certificate of patent or registration of utility model

Ref document number: 4823782

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140916

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees