JP4966893B2 - 一致度計算装置及び方法、プログラム - Google Patents
一致度計算装置及び方法、プログラム Download PDFInfo
- Publication number
- JP4966893B2 JP4966893B2 JP2008064565A JP2008064565A JP4966893B2 JP 4966893 B2 JP4966893 B2 JP 4966893B2 JP 2008064565 A JP2008064565 A JP 2008064565A JP 2008064565 A JP2008064565 A JP 2008064565A JP 4966893 B2 JP4966893 B2 JP 4966893B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- pixel
- input image
- template
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/754—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries involving a deformation of the sample pattern or of the reference pattern; Elastic matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
- G06T2207/10061—Microscopic image from scanning electron microscope
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30148—Semiconductor; IC; Wafer
Description
(1.1)構成:図1(A)、(B)は、本発明の実施例1に関わる全体システム、及び全体システムに含まれる検査システムの構成を示す図である。以下、全体システム及び検査システムの構成について説明する。
ステップ502では、2値マップ601から第1距離マップ701を作成する。第1距離マップ701は、2値マップ601の0と1の境界から各画素までの距離(以下、「境界距離」という)を表したマップである。例えば、対象物領域120内の画素、即ち2値マップ601で値が1を取る画素の場合、そこから値0の画素に移動するまでの最短距離を、その画素の境界距離とする。また、非対象物領域121内の画素、即ち2値マップ601で値が0を取る画素の場合、そこから値1の画素に移動するまでの最短距離を、その画素の境界距離とする。
ここで、xは負エッジ強調入力画像の画素値、yは谷強調入力画像115の画素値、aは下平均、bは上平均である。
なお、ステップ504〜505は、ステップ501〜503に先だって、又は並列に実行してもよい。
なお、実施例1では、第2距離マップ801を参照してミニマム置換処理を行っているが、ステップ503を省略して(すなわち、第2距離マップ801を作らずに)、第1距離マップ701を参照してミニマム置換処理を実行しても構わない。
素に対して、第2距離マップ801を参照して境界距離を割り当て、前記割り当てられた
境界距離が1以上の各画素(すなわち、対象物対応領域122内の各画素)について、当
該画素の画素値を、当該画素を中心とした一定範囲にある周囲画素のうち、前記割り当て
た境界距離が1以上の周囲画素(すなわち、対象物対応領域122内の周囲画素)の最大
画素値で置き換える処理である。谷強調入力画像115の対象物非対応領域123の各画
素については、画素値は維持される。
なお、実施例1では、第2距離マップ801を参照してマックス置換処理を行っている
が、例えば2値マップ601や第1距離マップ701を参照して対象物対応領域122の
内外を判断するように、上記ステップを構成してもよい。
なお、実施例1では、境界距離が最大3となる画素(第2距離マップ801において「−3」を取る画素)までシミ出し画素の探索を行う構成としているが、探索を行う画素の境界距離の最大値は設計に応じて設定することができる。また、実施例1では、ステップ508において第2距離マップ801を参照しているが、例えば第1距離マップ701を参照して境界距離を割り当てるように構成してもよい。
実施例2における構成は、図1及び図2で示され、実施例1と同様である。また全体の処理手順も、図3で示され、実施例1と同様である。ただし、ステップ102の詳細の処理の内容が異なる。
本発明は、上記各実施例に限定されることなく種々に変形して適用することが可能である。
例えば、上記実施例では、入力画像よりサイズの大きなテンプレートベース画像を持つ場合を示したが、逆に、テンプレート画像よりもサイズの大きい入力ベース画像を持つ場合でも、本発明を適用することができる。
この場合、ステップ304において、計算機206は、設計画像に対してマッチング用の前処理として平滑化処理を適用して、テンプレート画像113を作成する。
11 一致度計算手段
12 判断手段
21 距離マップ作成手段
22 谷強調処理手段
23 対象物対応領域処理手段
24 対象物非対応領域処理手段
111 テンプレートベース画像
112 入力画像
113 テンプレート画像
114 変形入力画像
115 谷強調入力画像
116 整形入力画像
120 対象物領域
121 非対象物領域
122 対象物対応領域
123 対象物非対応領域
124 シミ出し領域
201 ステージ
202 半導体基板
203 電子銃
204 2次電子検出部
205 画像化部
206 計算装置206
207 表示装置
210 ネットワーク
211 設計システム
212 製造システム
213 検査システム;
601 2値マップ
701 第1距離マップ
801 第2距離マップ
Claims (20)
- 入力画像と、対象物のテンプレート画像とを対比し、入力画像とテンプレート画像との一致度を計算する一致度計算装置であって、
入力画像を、テンプレート画像の対象物領域(以下、「テンプレート対象物領域」という)と整合するように変形する変形手段と、
変形後の入力画像とテンプレート画像との一致度を計算する一致度計算手段とを備え、
前記変形手段は、
入力画像の、テンプレート対象物領域に対応する領域(以下、「対象物対応領域」という)において、テンプレート対象物領域の形状に合わせて非背景領域を整形する対象物対応領域処理手段と、
入力画像の、テンプレート対象物領域に対応しない領域(以下、「対象物非対応領域」という)において、前記対象物対応領域に接する非背景領域(以下、「シミ出し領域」という)を、前記一致度に影響を与えないように設定する対象物非対応領域処理手段と、を備えることを特徴とする一致度計算装置。 - 前記変形手段は、前記対象物対応領域処理手段及び前記対象物非対応領域処理手段の前処理手段として、入力画像に対し、画素値の変化における谷を強調する谷強調処理手段を備えることを特徴とする請求項1記載の一致度計算装置。
- 前記変形手段は、前記対象物対応領域処理手段の前処理手段として、テンプレート画像の画素に対応づけて、テンプレート対象物領域の境界からの距離を保持する距離マップを作成する距離マップ作成手段を備え、
前記対象物対応領域処理手段は、前記整形を行うために、
入力画像の対象物対応領域の各画素に対し、前記距離マップを参照して前記距離を割り当て、該画素の画素値を、該画素を中心とした一定範囲にある画素のうち前記割り当てた距離が該画素と等しい画素の最小画素値で置き換える第1手段と、
前記第1手段によって処理された入力画像の、対象物対応領域の各画素に対し、該画素の画素値を、該画素を中心とした一定範囲にある画素のうち対象物対応領域内の画素の最大画素値で置き換える第2手段と、を備えることを特徴とする請求項1又は2記載の一致度計算装置。 - 前記第1手段は、入力画像の対象物対応領域の各画素に対し、前記距離マップを参照して前記距離を割り当て、前記割り当てた距離が閾値X以上である画素の画素値を、該画素を中心とした一定範囲にある画素のうち前記割り当てた距離が該画素と等しい画素の最小画素値で置き換え、
前記第2手段は、入力画像の対象物対応領域の各画素のうち、前記割り当てた距離が閾値X以下である画素の画素値を、該画素を中心とした一定範囲にある画素のうち前記割り当てた距離が閾値X以上である画素の最大画素値で置き換えることを特徴とする請求項3記載の一致度計算装置。 - 前記一致度は、変形後の入力画像とテンプレート画像との正規化相関値であり、
前記対象物非対応領域処理手段は、入力画像のシミ出し領域以外の領域について画素値の平均値を求め、シミ出し領域の各画素の画素値を前記求めた平均値で置き換えることを特徴とする請求項1乃至4のいずれか1項に記載の一致度計算装置。 - 入力画像よりもサイズの大きいテンプレートベース画像の中から入力画像と最も一致する部位を選択するテンプレートマッチング処理を行い、テンプレートベース画像の選択された部位の部分画像をテンプレート画像として抽出する手段を備えることを特徴とする請求項1乃至5のいずれか1項に記載の一致度計算装置。
- テンプレート画像よりもサイズの大きい入力ベース画像の中からテンプレート画像と最も一致する部位を選択するテンプレートマッチング処理を行い、入力ベース画像の選択された部位の部分画像を入力画像として抽出する手段を備えることを特徴とする請求項1乃至5のいずれか1項に記載の一致度計算装置。
- テンプレート画像が、対象物を製造するための設計データから作成した設計画像を用いて作成されたものであることを特徴とする請求項1乃至7のいずれか1項に記載の一致度計算装置。
- 入力画像又は/及びテンプレート画像が、前処理として平滑化処理が施された画像であることを特徴とする請求項1乃至8のいずれか1項に記載の一致度計算装置。
- 請求項1乃至9のいずれか1項に記載の一致度計算装置と、
前記一致度計算装置で求めた一致度が、所定の閾値以上の場合は、入力画像が対象物の画像に該当すると判断し、所定の閾値より小さい場合は、入力画像が対象物の画像に該当しないと判断する判断手段と、
入力画像が対象物の画像に該当すると判断された場合に、該入力画像を検査する検査装置とを備えることを特徴とする検査システム。 - コンピュータに、
入力画像を、テンプレート画像の対象物領域(以下、「テンプレート対象物領域」という)と一致するように変形する変形工程であって、
入力画像の、テンプレート対象物領域に対応する領域(以下、「対象物対応領域」という)において、テンプレート対象物領域の形状に合わせて非背景領域を整形する対象物対応領域処理工程と、
入力画像の、テンプレート対象物領域に対応しない領域(以下、「対象物非対応領域」という)において、前記対象物対応領域に接する非背景領域(以下、「シミ出し領域」という)を、前記一致度に影響を与えないように設定する対象物非対応領域処理工程と、を含む変形工程と、
変形後の入力画像とテンプレート画像との一致度を計算する一致度計算工程と、
を実行させるためのプログラム。 - 前記変形工程は、前記対象物対応領域処理工程及び前記対象物非対応領域処理工程の前処理として、入力画像に対し、画素値の変化における谷を強調する谷強調処理工程を備えることを特徴とする請求項11記載のプログラム。
- 前記変形工程は、前記対象物対応領域処理工程の前処理として、テンプレート画像の画素に対応づけて、テンプレート対象物領域の境界からの距離を保持する距離マップを作成する距離マップ作成工程を備え、
前記対象物対応領域処理工程は、前記整形を行うために、
入力画像の対象物対応領域の各画素に対し、前記距離マップを参照して前記距離を割り当て、該画素の画素値を、該画素を中心とした一定範囲にある画素のうち前記割り当てた距離が該画素と等しい画素の最小画素値で置き換える第1工程と、
前記第1工程によって処理された入力画像の、対象物対応領域の各画素に対し、該画素の画素値を、該画素を中心とした一定範囲にある画素のうち対象物対応領域内の画素の最大画素値で置き換える第2工程と、を備えることを特徴とする請求項11又は12記載のプログラム。 - 前記第1工程は、入力画像の対象物対応領域の各画素に対し、前記距離マップを参照して前記距離を割り当て、前記割り当てた距離が閾値X以上である画素の画素値を、該画素を中心とした一定範囲にある画素のうち前記割り当てた距離が該画素と等しい画素の最小画素値で置き換え、
前記第2工程は、入力画像の対象物対応領域の各画素のうち、前記割り当てた距離が閾値X以下である画素の画素値を、該画素を中心とした一定範囲にある画素のうち前記割り当てた距離が閾値X以上である画素の最大画素値で置き換えることを特徴とする請求項13記載のプログラム。 - 前記一致度は、変形後の入力画像とテンプレート画像との正規化相関値であり、
前記対象物非対応領域処理工程は、入力画像のシミ出し領域以外の領域について画素値の平均値を求め、シミ出し領域の各画素の画素値を前記求めた平均値で置き換えることを特徴とする請求項11乃至14のいずれか1項に記載のプログラム。 - コンピュータに、入力画像よりもサイズの大きいテンプレートベース画像の中から入力画像と最も一致する部位を選択するテンプレートマッチング処理を行い、テンプレートベース画像の選択された部位の部分画像をテンプレート画像として抽出する工程を実行させることを特徴とする請求項11乃至15のいずれか1項に記載のプログラム。
- コンピュータに、テンプレート画像よりもサイズの大きい入力ベース画像の中からテンプレート画像と最も一致する部位を選択するテンプレートマッチング処理を行い、入力ベース画像の選択された部位の部分画像を入力画像として抽出する工程を実行させることを特徴とする請求項11乃至15のいずれか1項に記載のプログラム。
- コンピュータに、対象物を製造するための設計データから作成した設計画像を用いてテンプレート画像を作成する工程を実行させることを特徴とする請求項11乃至17のいずれか1項に記載のプログラム。
- コンピュータに、入力画像又は/及びテンプレート画像に、前処理として平滑化処理を施す工程を実行させることを特徴とする請求項11乃至18のいずれか1項に記載のプログラム。
- 入力画像と、対象物のテンプレート画像とを対比し、入力画像とテンプレート画像との一致度を計算する一致度計算方法であって、
入力画像を、テンプレート画像の対象物領域(以下、「テンプレート対象物領域」という)と一致するように変形する変形工程と、
変形後の入力画像とテンプレート画像との一致度を計算する一致度計算工程とを備え、
前記変形工程は、
入力画像の、テンプレート対象物領域に対応する領域(以下、「対象物対応領域」という)において、対象物領域の形状に合わせて非背景領域を整形する対象物対応領域処理工程と、
入力画像の、テンプレート対象物領域に対応しない領域(以下、「対象物非対応領域」という)において、前記対象物対応領域に接する非背景領域(以下、「シミ出し領域」という)を、前記一致度に影響を与えないように設定する対象物非対応領域処理工程と、を備えることを特徴とする一致度計算方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008064565A JP4966893B2 (ja) | 2008-03-13 | 2008-03-13 | 一致度計算装置及び方法、プログラム |
US12/401,848 US8285056B2 (en) | 2008-03-13 | 2009-03-11 | Method and apparatus for computing degree of matching |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008064565A JP4966893B2 (ja) | 2008-03-13 | 2008-03-13 | 一致度計算装置及び方法、プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009223414A JP2009223414A (ja) | 2009-10-01 |
JP4966893B2 true JP4966893B2 (ja) | 2012-07-04 |
Family
ID=41063098
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008064565A Active JP4966893B2 (ja) | 2008-03-13 | 2008-03-13 | 一致度計算装置及び方法、プログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US8285056B2 (ja) |
JP (1) | JP4966893B2 (ja) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5401605B2 (ja) * | 2010-05-07 | 2014-01-29 | 株式会社日立ハイテクノロジーズ | テンプレートマッチング処理装置およびテンプレートマッチング処理プログラム |
US20120050522A1 (en) * | 2010-08-24 | 2012-03-01 | Research In Motion Limited | Method of and apparatus for verifying assembly components of a mobile device |
US8427483B1 (en) | 2010-08-30 | 2013-04-23 | Disney Enterprises. Inc. | Drawing figures in computer-based drawing applications |
US8487932B1 (en) * | 2010-08-30 | 2013-07-16 | Disney Enterprises, Inc. | Drawing figures in computer-based drawing applications |
JP5727322B2 (ja) | 2011-07-27 | 2015-06-03 | 株式会社日立ハイテクノロジーズ | 半導体検査システム |
US10083353B2 (en) | 2016-10-28 | 2018-09-25 | Intuit Inc. | Identifying document forms using digital fingerprints |
US20180300872A1 (en) * | 2017-04-12 | 2018-10-18 | Ngr Inc. | Method And Apparatus For Integrated Circuit Pattern Inspection With Automatically Set Inspection Areas |
JP7002949B2 (ja) * | 2018-01-22 | 2022-01-20 | 株式会社日立ハイテク | 画像評価方法及び画像評価装置 |
JP7233251B2 (ja) * | 2019-02-28 | 2023-03-06 | キヤノン株式会社 | 情報処理装置、情報処理装置の制御方法及びプログラム |
JP7363384B2 (ja) * | 2019-11-05 | 2023-10-18 | 富士通株式会社 | 解析装置、解析プログラム及び解析方法 |
JP7409913B2 (ja) | 2020-03-10 | 2024-01-09 | 株式会社ニューフレアテクノロジー | 画像内のホールパターンの探索方法、パターン検査方法、及びパターン検査装置 |
JP7447661B2 (ja) | 2020-04-23 | 2024-03-12 | Tdk株式会社 | 板状対象物の配列検出装置およびロードポート |
US20220130031A1 (en) * | 2020-10-26 | 2022-04-28 | University Of Florida Research Foundation, Incorporated | Knowledge-based object localization in images for hardware assurance |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
NL8105256A (nl) * | 1981-11-20 | 1983-06-16 | Philips Nv | Inrichting voor het dynamisch instellen van een discriminatiedrempel zwart/wit bij het bewerken van beelden met grijsheidswaarden. |
JPH0664614B2 (ja) | 1987-02-27 | 1994-08-22 | 株式会社安川電機 | 階層化構造的テンプレ−ト・マツチング方法 |
JP3223385B2 (ja) * | 1992-06-22 | 2001-10-29 | オムロン株式会社 | 濃淡画像のパターンマッチング装置 |
JPH08181053A (ja) | 1994-12-26 | 1996-07-12 | Nikon Corp | 位置検出方法 |
US5933540A (en) * | 1995-05-11 | 1999-08-03 | General Electric Company | Filter system and method for efficiently suppressing noise and improving edge definition in a digitized image |
JP3166905B2 (ja) * | 1997-07-02 | 2001-05-14 | インターナショナル・ビジネス・マシーンズ・コーポレ−ション | パターンマッチングによる画像処理方法およびシステム |
US6907144B1 (en) * | 1999-10-06 | 2005-06-14 | Eastman Kodak Company | Noise reduction method, apparatus, and program for digital image processing |
JP2001266144A (ja) * | 2000-03-17 | 2001-09-28 | Glory Ltd | 画像照合装置、画像照合方法、およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体 |
JP4443784B2 (ja) * | 2000-12-07 | 2010-03-31 | 株式会社エヌ・ティ・ティ・ドコモ | 画像符号化・復号方法、画像符号化装置及び画像復号装置 |
JP4034523B2 (ja) * | 2001-03-28 | 2008-01-16 | 株式会社東芝 | 画像照合装置および画像照合方法 |
JP3447716B2 (ja) | 2001-04-20 | 2003-09-16 | 三菱電機株式会社 | 画像処理装置 |
JP2004151771A (ja) * | 2002-10-28 | 2004-05-27 | Earth Beat Inc | 画像中の物体認識方法 |
JP4323991B2 (ja) * | 2004-03-19 | 2009-09-02 | 大日本スクリーン製造株式会社 | 分光反射率測定装置、膜厚測定装置および分光反射率測定方法 |
JP4595705B2 (ja) * | 2005-06-22 | 2010-12-08 | オムロン株式会社 | 基板検査装置並びにそのパラメータ設定方法およびパラメータ設定装置 |
JP4262269B2 (ja) | 2006-07-24 | 2009-05-13 | 株式会社日立製作所 | パターンマッチング方法及び装置 |
US7636478B2 (en) * | 2006-07-31 | 2009-12-22 | Mitutoyo Corporation | Fast multiple template matching using a shared correlation map |
US8385658B2 (en) * | 2007-07-27 | 2013-02-26 | Sportvision, Inc. | Detecting an object in an image using multiple templates |
-
2008
- 2008-03-13 JP JP2008064565A patent/JP4966893B2/ja active Active
-
2009
- 2009-03-11 US US12/401,848 patent/US8285056B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US8285056B2 (en) | 2012-10-09 |
JP2009223414A (ja) | 2009-10-01 |
US20090232405A1 (en) | 2009-09-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4966893B2 (ja) | 一致度計算装置及び方法、プログラム | |
Huang et al. | A PCB dataset for defects detection and classification | |
EP3176751B1 (en) | Information processing device, information processing method, computer-readable recording medium, and inspection system | |
CN110163219B (zh) | 基于图像边缘识别的目标检测方法 | |
CN110930347A (zh) | 卷积神经网络的训练方法、焊点缺陷的检测方法及装置 | |
US7515764B2 (en) | Image processing apparatus using morphology | |
JP2001133418A (ja) | 形状特徴に基づく欠陥検出の方法及び装置 | |
US20060245650A1 (en) | Precise grayscale character segmentation apparatus and method | |
JP5852919B2 (ja) | ひび割れ検出方法 | |
JP2009145285A (ja) | 欠陥検出方法および欠陥検出装置 | |
JP2013167596A (ja) | 欠陥検査装置、欠陥検査方法及びプログラム | |
WO2014129018A1 (ja) | 文字認識装置、文字認識方法及び記録媒体 | |
JP7170605B2 (ja) | 欠陥検査装置、欠陥検査方法、およびプログラム | |
JP2006292593A (ja) | 疵検出装置、疵検出方法、コンピュータプログラム及び記録媒体 | |
JP4432575B2 (ja) | パターン画像判定方法 | |
US8971627B2 (en) | Template matching processing device and template matching processing program | |
CN114299086B (zh) | 一种低对比度成像的图像分割处理方法、电子设备及系统 | |
JP2005250786A (ja) | 画像認識方法 | |
CN115719326A (zh) | Pcb板缺陷检测方法及装置 | |
WO2020080250A1 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
CN113496223A (zh) | 文本区域检测模型的建立方法以及装置 | |
Doudkin et al. | Analysis of digital images in order to control the manufacturing of integrated circuits | |
JP4230960B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
KR101771426B1 (ko) | 기준 마크의 위치 정보를 사용한 디스플레이 패널의 정렬 방법 및 장치 | |
Chacon et al. | Nose bug egg geometric structure segmentation with anisotropic filtering and edge enhancement |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100722 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20111125 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111206 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120105 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120306 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120402 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4966893 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150406 Year of fee payment: 3 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |