JP5456154B2 - 画像領域補間 - Google Patents
画像領域補間 Download PDFInfo
- Publication number
- JP5456154B2 JP5456154B2 JP2012505129A JP2012505129A JP5456154B2 JP 5456154 B2 JP5456154 B2 JP 5456154B2 JP 2012505129 A JP2012505129 A JP 2012505129A JP 2012505129 A JP2012505129 A JP 2012505129A JP 5456154 B2 JP5456154 B2 JP 5456154B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- value
- pattern
- template
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 claims description 48
- 238000012545 processing Methods 0.000 claims description 38
- 239000000872 buffer Substances 0.000 claims description 19
- 230000015654 memory Effects 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 5
- 238000004422 calculation algorithm Methods 0.000 description 14
- 238000012986 modification Methods 0.000 description 11
- 230000004048 modification Effects 0.000 description 11
- 230000006870 function Effects 0.000 description 8
- 238000012935 Averaging Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000011524 similarity measure Methods 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 230000003936 working memory Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/40—Picture signal circuits
- H04N1/401—Compensating positionally unequal response of the pick-up or reproducing head
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Description
本出願は、2009年4月15日付の欧州特許出願第09157941.7号明細書に基づき優先権を主張する。欧州特許出願第09157941.7号明細書は、本明細書中にその全体が記載されたものとして援用される、
本発明は、欠陥又はアーチファクトを有する画像データを処理して、補正された画像データを生成するための画像処理に関する。
1.センサチップの新たなレイアウトの設計。センサチップ間のギャップを除去するために、センサチップを図3に示すような「千鳥行(staggered row)」に配置することができる。この場合、欠落画素の問題は存在しないが、別の問題が生じる。すなわち、センサチップ間での画像のつなぎ合わせである。また、この解決策は、既存のCIS製品の完全な再設計と、異なるモデルの市場への導入を必要とする。
2.センサチップの高精度な配置。この解決策では、センサチップ間のギャップを、隣接するセンサチップのRGBセンサー間の距離を最小化することにより除去する(図2)。しかしながら、これは、高価な機器と製造技術の変更を必要とする高コストの解決策である。
3.画像の近傍から必要な欠落画素値を取得する画像処理方法による画素補間。これは、画像処理ハードウェアを更新することによって実装でき、よって、再設計も製造技術の変更も必要とすることなく既存のCIS製品を更新できるため、比較的低コストな手法である。
値を計算すべき各画素に関して、画素のテンプレートパターンを複数規定することであって、各テンプレートパターンが前記画像の異なる領域を含み、値を計算すべき前記画素を含むようにする、テンプレートパターンを規定することと、
各テンプレートパターンに関して、
−前記画像の全体を含むか、又は前記テンプレートパターンよりも大きい該画像の領域を含む、探索エリアを規定すること、
−前記テンプレートパターン内の前記画素の前記値を複数の候補パターンの各々の該画素の該値と比較することであって、各候補パターンは、前記テンプレートパターンに対する前記探索エリアからの異なる領域を含み、該テンプレートパターンと前記候補パターンとの間の類似度を表す各候補パターンについて類似度測度を導出するようにする、比較すること、
−前記複数の候補パターンから、前記テンプレートパターンとの最高の類似度を表す前記類似度測度を有する候補パターンを選択すること、及び
−前記テンプレートパターン内の、値を計算すべき各画素に関して、前記選択された候補パターンからそれぞれの画素値を求めることと、
それによって、前記画像内の値を計算すべき各画素に関して、複数の値を生成することであって、各値が異なる候補パターンから導出されるようにする、生成することと、
値を計算すべき各画素に関して、該画素に対する前記導出された画素値を結合することと、を含む、方法が提供される。
前記画像内の、値を計算すべき各画素に関して、画素のテンプレートパターンを複数規定するように動作可能なテンプレートパターン選択器であって、前記テンプレートパターンは互いに重なり、各テンプレートパターンが前記画像の領域を含み、各テンプレートパターンが値を計算すべき前記画素を含むようにする、テンプレートパターン選択器と、
各テンプレートパターンに関して、前記画像の全体を含むか又は前記テンプレートパターンよりも大きい該画像の領域を含む、探索エリアを規定するように動作可能な探索エリア選択器と、
各テンプレートパターンに関して処理を行うように動作可能なパターンマッチャであって、
前記パターンマッチャは、前記テンプレートパターン内の前記画素の前記値を、複数の候補パターンの各々の該画素の該値と比較し、
各候補パターンは、前記テンプレートパターンに対する前記探索エリアからの領域を含み、
前記パターンマッチャは、前記複数の候補パターンから、前記テンプレートパターンとの最良一致を表す候補パターンを選択するように動作可能であり、
前記パターンマッチャは、前記テンプレートパターン内の値を計算すべき各画素に関して、前記選択された候補パターンからそれぞれの画素値を求めるように動作可能であり、
それによって、前記画像内の値を計算すべき各画素に関して、複数の値を生成し、各値が異なる候補パターンから導出される、
パターンマッチャと、
値を計算すべき各画素に関して、該画素値に対する前記導出された画素値を結合するように動作可能な画素コンバイナと、を備える、画像処理装置を提供する。
最初に、本発明の最も単純な実施形態を説明する。例示を簡単にするために、画像中の1画素幅の列を1列補間するための処理を説明する。しかしながら、画素列(複数可)は任意の幅とすることができることが理解されるであろう。さらに、補間される領域は、単なる画素の縦の列よりも複雑である可能性がある。例えば、領域は、可変の幅及び曲線的な形状を有してもよい。下記の実施形態の説明は、これらの代替形態の全てに対しても有効であり、複雑な領域への適用に関するさらなる詳細は、本明細書において後述する。
上述の実施形態に対して、例えば以下のように、多くの変更及び変形を加えることができる。
上記の実施形態における処理アルゴリズムは、パターンマッチングプロセスがパターンの中心を探索エリアの各画素に配置するので、1つの画素を補間するために、該画素を中心とする(2(Nx+Sx)+1)×(2(Ny+Sy)+1)のサイズの画像領域を必要とする。2(Ny+Sy)+1本の画像ラインのみをメモリバッファに保持することによって、効率的なメモリ消費を達成することができる。まず、最初の2(Ny+Sy)+1本の画像ラインをバッファに入れる。該バッファからの情報は、バッファの中心線に対応する番号Ny+Sy+1の画像ラインを処理するには十分である。次に、全てのバッファラインをシフトして、1行目のラインを廃棄し、2行目のラインが1行目になり、以下同様となる。バッファの最後のラインに新たな画像ラインが入れられ、中心バッファラインに対応する次の出力画像ラインを生成することを可能にする。したがって、この実装は、図13に示すように、入力画像ラインと出力画像ラインとの間にNy+Sy+1に等しい遅延を有する。
関数fを距離の式(3)における内部和(inner sum)とする。
第1の実施形態の別の変形は、パターンマッチングプロセスの反復的な適用であり、補間の新たな結果を次の反復において未知の画素の初期近似値として用いる。この場合、最初の線形補間(図10のブロック10)は、反復0として考えることができる。反復的アルゴリズムのブロック図を図14に示す。
上述の第1の実施形態は、単一の画素列の補間を目的としていた。複数の列[x1,x2](x2−x1+1に等しい幅を有する領域)への拡張は、x0∈[x1,x2]の範囲からの全ての画素位置を反復することによって、上記の説明から得ることができる。
・画素累積器及び重み累積器の形状を補間領域の形状に類似させるべきである。
・テンプレートパターンの適応的なサイズ。テンプレート内に存在する値を計算すべき画素(補間画素)が多すぎる場合、信頼できる画素数を増やすために、テンプレートのサイズを増大させるべきである。
・上述した高速実装の変更形態において、積分距離fは1次元関数でなくなる。その代わりに、2次元関数となり、積分画像に関する周知の技法を用いて実装することができる。
上述の第1の実施形態では、候補画素を結合して、加重平均により結果の値を与える。ここで、重みは幾何関数である。しかし、結果の値を与えるための他の任意の結合方法、例えば、
・単純平均
・トリム平均(Trimmed averaging)
・距離値に基づく重みを用いた加重平均
・全ての候補画素の中央値(又は他の任意の統計値)
を用いることができる。
上述の第1の実施形態並びにその変更形態及び変形形態において、画像領域の補間処理は、スキャナから得られた画像データに対して行われる。しかしながら、同一の処理を、汎用の画像/ビデオ処理、復元及び編集に、特に細長い領域の除去が必要である場合、例えば、
・古い写真/フィルムからの掻き傷の除去
・映画のポストプロダクション中のワイヤ除去
・ビデオフレームの奇数/偶数の画素行を補間することによるビデオのインタレース除去
に用いることができる。
多くの他の変更形態及び変形形態が可能である。
Claims (13)
- 画像を定義する画像データを処理して、前記画像内の複数の画素について画素値を計算する方法であって、
画素のテンプレートパターンを複数規定することであって、前記テンプレートパターンは互いに重なり、各テンプレートパターンが前記画像の領域を含み、値を計算すべき画素のそれぞれは、前記テンプレートパターンのうち少なくとも2つに存在する、テンプレートパターンを規定することと、
各テンプレートパターンに関して、
−前記画像の全体を含むか、又は前記テンプレートパターンよりも大きい前記画像の領域を含む、探索エリアを規定すること、
−前記テンプレートパターン内の前記画素の前記値を、複数の候補パターンの各々における前記画素の前記値と比較することであって、各候補パターンは、前記テンプレートパターンに対する前記探索エリアからの領域を含む、値を比較すること、
−前記複数の候補パターンから、前記テンプレートパターンとの最良一致を表す候補パターンを選択すること、及び
−前記テンプレートパターン内の、値を計算すべき各画素に関して、前記選択された候補パターンからそれぞれの画素値を求めること
と、
それによって、前記画像内の値を計算すべき各画素に関して、複数の値を生成することであって、各値はそれぞれ異なる候補パターンから導出される、値を生成することと、
値を計算すべき各画素に関して、前記画素に対する前記導出された画素値を結合することであって、結果の値を生成する、画素値を結合することと、
を含む、方法。 - 各テンプレートパターンの前記探索エリアは、前記画像内の、値を計算すべき前記画素を除外するように規定される、請求項1に記載の方法。
- 前記テンプレートパターン内の前記画素の前記値を前記候補パターンの前記画素の前記値と比較することの前に、値を計算すべき各画素の初期値を計算することをさらに含み、
画素の各初期値は、近傍の画素の前記値に依存して計算される、請求項1又は2に記載の方法。 - 前記導出された画素値を結合する前記プロセスであって、画素の結果の値を生成する、前記画素値を結合するプロセスは、前記導出された画素値の加重平均を計算することを含み、
前記加重平均は、
前記導出された画素値の重み付きバージョンを第1のメモリバッファに累積することと、
前記導出された画素値を重み付けするために用いる重み値を第2のメモリバッファに累積することと、
前記第1のメモリバッファからの前記累積された値を、前記第2のメモリバッファからの前記累積された値で除算することと、
によって計算される、請求項1〜3のいずれか一項に記載の方法。 - 各テンプレートパターンは、前記テンプレートパターンに含まれる、値を計算すべき画素の数に依存するサイズで規定され、
それによって、値を計算すべき前記画素の数が増加するにつれて、前記テンプレートパターンの前記サイズが増加する、請求項1〜4のいずれか一項に記載の方法。 - 各テンプレートパターン及び各探索エリアは、値を計算すべき前記複数の画素のそれぞれに対して規定され、
各テンプレートパターン及び各探索エリアは、値を計算すべき前記対応する画素を中心とする、請求項1〜5のいずれか一項に記載の方法。 - 画像を定義する画像データを処理して、前記画像内の複数の画素について画素値を計算するように動作可能な画像処理装置であって、
画素のテンプレートパターンを複数規定するように動作可能なテンプレートパターン選択器(70)であって、前記テンプレートパターンは互いに重なり、各テンプレートパターンが前記画像の領域を含み、値を計算すべき画素のそれぞれは、前記テンプレートパターンのうち少なくとも2つに存在する、テンプレートパターン選択器と、
各テンプレートパターンに関して、前記画像の全体を含むか又は前記テンプレートパターンよりも大きい前記画像の領域を含む、探索エリアを規定するように動作可能な探索エリア選択器(80)と、
各テンプレートパターンに関して処理を行うように動作可能な最良一致パターン選択器(90)であって、前記最良一致パターン選択器(90)は、
−前記テンプレートパターン内の前記画素の前記値を、複数の候補パターンの各々の前記画素の前記値と比較し、各候補パターンは、前記テンプレートパターンに対する前記探索エリアからの領域を含み、
−前記複数の候補パターンから、前記テンプレートパターンとの最良一致を表す候補パターンを選択し、
−前記テンプレートパターン内の、値を計算すべき各画素に関して、前記選択された候補パターンからそれぞれの画素値を求め、
それによって、前記画像内の値を計算すべき各画素に関して複数の値を生成し、各値はそれぞれ異なる候補パターンから導出されるようにする、
最良一致パターン選択器(90)と、
値を計算すべき各画素に関して、前記導出された画素値を結合するように動作可能な画素値計算機(100、110、120)であって、それによって結果の値を生成する、画素値計算機と、を備える、画像処理装置。 - 前記探索エリア選択器(80)は、各テンプレートパターンに対して、前記画像内の値を計算すべき前記画素を除外するように前記探索エリアを規定するよう構成される、請求項7に記載の装置。
- 初期充填値計算器(60)をさらに備え、
前記初期充填値計算器(60)は、前記最良一致パターン選択器(90)が前記テンプレートパターン内の前記画素の前記値を前記候補パターンの前記画素の前記値と比較する前に、値を計算すべき各画素の初期値を前記初期充填値計算器(60)が計算するように動作可能であり、
前記初期充填値計算機(60)は、画素の各初期値を近傍の画素の前記値に依存して計算するように構成される、請求項7又は8に記載の装置。 - 前記画素値計算機(120)は、前記導出された画素値の加重平均を計算する処理を行うことによって、前記導出された画素値を結合して、画素の結果の値を生成するように構成され、
加重平均を計算する前記処理は、
前記導出された画素値の重み付きバージョンを第1のメモリバッファ(100)に累積することと、
前記導出された画素値を重み付けするために用いる重み値を第2のメモリバッファ(110)に累積することと、
前記第1のメモリバッファ(100)からの前記累積された値を、前記第2のメモリバッファ(110)からの前記累積された値で除算することと、
を含む、請求項7〜9のいずれか一項に記載の装置。 - 前記テンプレートパターン選択器(70)は、各テンプレートパターンを、前記テンプレートパターンに含まれる、値を計算すべき画素の数に依存するサイズで規定するように構成され、
それによって、値を計算すべき前記画素の数が増加するにつれて、前記テンプレートパターンの前記サイズが増加する、請求項7〜10のいずれか一項に記載の装置。 - 前記テンプレートパターン選択器(70)及び前記探索エリア選択器(80)は、各テンプレートパターン及び各探索エリアを、値を計算すべき前記複数の画素のそれぞれに対して規定するように構成され、
各テンプレートパターン及び各探索エリアは、値を計算すべき前記対応する画素を中心とする、請求項7〜11のいずれか一項に記載の装置。 - プログラマブル処理装置を、請求項1〜6のうちの少なくとも1つに記載の方法を行うように動作可能となるようプログラムするためのコンピュータプログラム命令を含む、コンピュータプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP09157941.7 | 2009-04-15 | ||
EP09157941.7A EP2242019B1 (en) | 2009-04-15 | 2009-04-15 | Image region interpolation |
PCT/EP2010/054703 WO2010118989A1 (en) | 2009-04-15 | 2010-04-09 | Image region interpolation |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012524310A JP2012524310A (ja) | 2012-10-11 |
JP5456154B2 true JP5456154B2 (ja) | 2014-03-26 |
Family
ID=41015532
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012505129A Expired - Fee Related JP5456154B2 (ja) | 2009-04-15 | 2010-04-09 | 画像領域補間 |
Country Status (3)
Country | Link |
---|---|
EP (1) | EP2242019B1 (ja) |
JP (1) | JP5456154B2 (ja) |
WO (1) | WO2010118989A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5672872B2 (ja) | 2010-09-08 | 2015-02-18 | 株式会社リコー | 画像形成装置 |
JP5310837B2 (ja) * | 2011-12-28 | 2013-10-09 | カシオ計算機株式会社 | 画像生成装置、デジタルカメラ、方法、及びプログラム |
JP5911166B2 (ja) * | 2012-01-10 | 2016-04-27 | シャープ株式会社 | 画像処理装置、画像処理方法、画像処理プログラム、撮像装置、及び画像表示装置 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5430811A (en) * | 1991-12-25 | 1995-07-04 | Matsushita Electric Industrial Co., Ltd. | Method for interpolating missing pixels and an apparatus employing the method |
JP4115574B2 (ja) * | 1998-02-02 | 2008-07-09 | オリンパス株式会社 | 撮像装置 |
JP3707959B2 (ja) * | 1999-07-15 | 2005-10-19 | シャープ株式会社 | 画像補間装置 |
JP2001291087A (ja) * | 2000-04-07 | 2001-10-19 | Fuji Photo Film Co Ltd | 画像の位置合わせ方法および位置合わせ装置 |
JP2003078821A (ja) * | 2001-08-31 | 2003-03-14 | Hitachi Kokusai Electric Inc | 撮像装置 |
JP3938120B2 (ja) * | 2003-09-17 | 2007-06-27 | ノーリツ鋼機株式会社 | 画像処理装置、方法、及びプログラム |
JP3767593B2 (ja) * | 2003-10-07 | 2006-04-19 | 三菱電機株式会社 | 画素補間回路及び画素補間方法 |
JP2005236770A (ja) * | 2004-02-20 | 2005-09-02 | Mitsubishi Electric Corp | 画素補間回路、画像読取装置、および画素補間方法 |
US7620241B2 (en) * | 2004-11-30 | 2009-11-17 | Hewlett-Packard Development Company, L.P. | Artifact reduction in a digital video |
JP2006266752A (ja) * | 2005-03-22 | 2006-10-05 | Seiko Epson Corp | 欠陥検出方法、欠陥検査方法、欠陥検出装置、欠陥検査装置、欠陥検出プログラムおよびこのプログラムを記録した記録媒体 |
JP5097480B2 (ja) * | 2007-08-29 | 2012-12-12 | 株式会社トプコン | 画像測定装置 |
-
2009
- 2009-04-15 EP EP09157941.7A patent/EP2242019B1/en not_active Not-in-force
-
2010
- 2010-04-09 JP JP2012505129A patent/JP5456154B2/ja not_active Expired - Fee Related
- 2010-04-09 WO PCT/EP2010/054703 patent/WO2010118989A1/en active Application Filing
Also Published As
Publication number | Publication date |
---|---|
JP2012524310A (ja) | 2012-10-11 |
EP2242019A1 (en) | 2010-10-20 |
WO2010118989A1 (en) | 2010-10-21 |
EP2242019B1 (en) | 2016-01-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100422943B1 (ko) | 화상 부호화장치, 화상 복호화장치, 화상 부호화방법,화상 복호화방법 및 매체 | |
JP2004005694A (ja) | 画像処理方法、デジタル画像プロセッサ、デジタルカメラ、デジタル写真仕上げシステム及びプログラム | |
US8334880B2 (en) | Image processing apparatus | |
US8553293B2 (en) | Image interpolation apparatus and a computer readable storage medium storing instructions of a computer program | |
US8320715B2 (en) | Device and method for interpolating image, and image scanner | |
JP3710452B2 (ja) | 画像読み取り装置、データ補間方法及び制御プログラム | |
JPWO2016147832A1 (ja) | 画像読取装置及び画像読取方法 | |
JPH11341278A (ja) | 画像処理装置 | |
US9131193B2 (en) | Image-processing device removing encircling lines for identifying sub-regions of image | |
JP5456154B2 (ja) | 画像領域補間 | |
US20080025643A1 (en) | Image processing system, method for processing image and computer readable medium | |
EP2765555B1 (en) | Image evaluation device, image selection device, image evaluation method, recording medium, and program | |
EP2966613A1 (en) | Method and apparatus for generating a super-resolved image from an input image | |
JP7153424B2 (ja) | スキャナー、スキャンプログラムおよびスキャンデータの生産方法 | |
JP6422428B2 (ja) | 画像処理装置、画像処理方法、画像読取装置、及びプログラム | |
JP5002670B2 (ja) | 画像処理装置及び画像読取装置 | |
US20060110060A1 (en) | Method for run-time streak removal | |
JP2005339535A (ja) | 相違度の計算 | |
JP7153425B2 (ja) | スキャナー、スキャンプログラムおよびスキャンデータの生産方法 | |
JP2012095173A (ja) | 画像処理装置、画像形成装置、および画像処理方法 | |
JP4084719B2 (ja) | 画像処理装置および該画像処理装置を備える画像形成装置、ならびに画像処理方法、画像処理プログラムおよびコンピュータ読み取り可能な記録媒体 | |
JP2005303705A (ja) | 画像処理装置および方法 | |
JP2009124332A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2004336714A (ja) | 原稿画像識別装置、カラー複写機、及び原稿画像識別方法 | |
JP2004192164A (ja) | 画像処理装置および該画像処理装置を備える画像形成装置、ならびに画像処理方法、画像処理プログラムおよびコンピュータ読み取り可能な記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130222 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130319 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130510 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131210 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140107 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |