JP5559222B2 - 異方性フィルタリングを用いたシングルパス画像ワーピングシステム及び方法 - Google Patents
異方性フィルタリングを用いたシングルパス画像ワーピングシステム及び方法 Download PDFInfo
- Publication number
- JP5559222B2 JP5559222B2 JP2012045979A JP2012045979A JP5559222B2 JP 5559222 B2 JP5559222 B2 JP 5559222B2 JP 2012045979 A JP2012045979 A JP 2012045979A JP 2012045979 A JP2012045979 A JP 2012045979A JP 5559222 B2 JP5559222 B2 JP 5559222B2
- Authority
- JP
- Japan
- Prior art keywords
- input
- ellipse
- radius
- output
- footprint
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 32
- 238000001914 filtration Methods 0.000 title claims description 21
- 239000011159 matrix material Substances 0.000 claims description 49
- 230000004044 response Effects 0.000 claims description 20
- 238000012952 Resampling Methods 0.000 claims description 17
- 238000013507 mapping Methods 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 10
- 239000013598 vector Substances 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000001131 transforming effect Effects 0.000 claims description 2
- 230000009466 transformation Effects 0.000 description 24
- 230000006870 function Effects 0.000 description 20
- 238000010586 diagram Methods 0.000 description 7
- 238000013461 design Methods 0.000 description 6
- 238000005070 sampling Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000009499 grossing Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000000844 transformation Methods 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 230000000873 masking effect Effects 0.000 description 2
- 238000010561 standard procedure Methods 0.000 description 2
- 241000226585 Antennaria plantaginifolia Species 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
Description
呼ばれる1つの統一楕円ガウスフィルタ[ポールS. ヘックバート著、"Fundamentals of
Texture Mapping and Image Warping"(テクスチャ・マッピング及び画像ワーピングの
基礎)修士論文、カリフォルニア大学バークリー校、1989年](非特許文献1)に連結されることもあることは周知技術である。それ以降、楕円半径の近似値を使用することによってメモリ及びクロックに関して必要なハードウェアを低減するために多くの試みが実行されてきた。
テクスチャ・マップの異方性のラインに沿って補間フィルタを通過させること、及びピクセル強度値を計算するために補間フィルタの出力の加重和を計算することを含む、異方性フィルタリングで画像をテクスチャ・マッピングするための方法及びシステムを開示する。これらの出力値の重み付けは、1次元ディジタルフィルタを使用して計算できる。異方性のラインは、テクスチャ・マップの地点に対する幾何学的プリミティブの表面上の地点のマッピングを記述する逆変換から導き出される。
ごとにマルチスペース−不変量フィルタリング演算を用いる異方性テクスチャ・マッピングの技術を開示する。円形のピクセルフィルタは、そのテクスチャ・マップの楕円フットプリントを定義するためにテクスチャ・マップ上へ投影される。サンプル地点は、楕円の長軸に厳密に近似するフットプリントにおけるライン上で決定される。これらサンプル地点は、詳細のレベル及びミップマップ(mip-map)内の位置にマップされる。スペース不
変量フィルタを使用すると、テクスチャの値が、ミップマップ内の1つ以上のテクスチャ・マップからのデータを使用して、各サンプル地点に対して計算される。サンプル地点に対するこれらテクスチャの値は、ガウス・フィルタ関数を使用して事後フィルタされ、最終的なテクスチャの値を生成するために合算される。
(a)出力ピクセルに対する入力ディジタル画像データを取得し、
(b)出力ピクセル座標を入力画像座標空間上にマッピングして、マップされた座標位置を決定し、
(c)(b)で決定されたマップされた座標位置で入力座標に対して出力ピクセル座標のヤコビ行列を決定し、
(d)(c)で決定されたヤコビ行列の2つの行ベクトルによって形成され、(b)で決定されたマップされた座標位置の周囲に楕円を一義的に決定するために長軸半径と短軸半径、及び長軸半径の方向を決定し、
(e)必要な画質及び必要な処理速度に基づいて前記楕円の半径を拡張及び調整し、
(f)(e)の結果に基づいて(b)で決定された前記マップされた座標位置の周囲に入力画像座標空間におけるフットプリントを決定して、フィルタリングに関与する入力ピクセルをその中に含め、
(g)(d)の楕円を1単位の半径を有する円に変換して、円の中心から含まれる入力ピクセルまでの距離計算を容易にし、
(h)(g)における距離の関数として、円形対称形状からフットプリント内のすべての入力ピクセルに対して異方性フィルタの係数を決定し、
(i)(h)で決定された係数でフットプリント内部の入力ピクセルの値を累算することによって出力ピクセルの値を決定し、
(j)出力ピクセルの値を保存することと、
を含む。
(a)出力ピクセルに対する入力ディジタル画像データを得るための入力インタフェースと、
(b)出力ピクセル座標を入力画像座標空間上にマッピングして、マップされた座標位置を決定するための座標生成器と、
(c)マップされた座標位置で入力座標に対して出力ピクセル座標のヤコビ行列を決定するための、前記入力インタフェースと前記座標生成器とに結合されるローカル・スケール推定器と、
(d)(c)で決定されたヤコビ行列の2つの行ベクトルによって形成され、マップされた座標位置の周囲に楕円を一義的に決定するために長軸半径と短軸半径、及び長軸半径の方向を決定するように更に構成される、前記ローカル・スケール推定器と、
(e)必要な画質及び必要な処理速度に基づいて前記楕円の半径を拡張及び調整するように更に構成される、前記ローカル・スケール推定器と、
(f)マップされた座標位置の周囲に入力画像座標空間におけるフットプリントを決定して、前記フットプリントにフィルタリングに関与する入力ピクセルを含めるための、前記ローカル・スケール推定器と前記座標生成器とに結合される、フットプリント生成器と、
(g)(d)の楕円を1つのユニットの半径を有する円に変換して、円の中心から含まれる入力ピクセルまでの距離計算を容易にするための、前記フットプリント生成器及び前記ローカル・スケール推定器に結合される、フィルタ係数生成器と、
(h)前記距離の関数として、円形対称形状からフットプリント内の入力ピクセルに対する異方性フィルタの係数を決定するように更に構成される、前記フィルタ係数生成器と、
(i)(h)で決定された係数でフットプリント内部の入力ピクセルの値を累算することによって出力ピクセルの値を決定するための、前記フィルタ係数生成器と前記フットプリント生成器とに結合される、フィルタと、
(j)出力ピクセルの値を保存するために、前記フィルタに結合される出力インタフェースと、
を含む。
円空間」座標である。この楕円空間において、楕円内部のピクセルの座標は、以下の方程式を満たす。
r2(u',v') = (u')2 + (v')2 ≦ 1
、Mの3つの非ゼロ要素が、これら3つのパラメータから算出される。
Q = J-1(J-1)T
の最大長と境を接し、第2のβmaxは異方性比、即ち、長軸半径と短軸半径との比率を制
限する。さらに、λ1、λ2のいずれかが所定の最小値よりも小さい場合、それは、第3の限界値λminと置換され、これは当然1より小さくなることはない。この最後の限界値は
、フィルタ・フットプリントが補間を実行するのに小さすぎないことを保証する。この制限プロセスは、以下の方程式によって表わすこともできる。
て行われる。Mによる「楕円空間」(u', v')へのマッピングは以下のように表示されることができる。
間を回転させ、次に、楕円自体を単位円上にマッピングするために、軸方向に不均等にスケーリングする。左側のマトリクスはθだけ更なる回転をもたらす。左側の回転は、フィルタの係数計算上に何ら影響を及ぼさないので、任意にM10を強制的にゼロにするよう選択することができる。即ち、以下の通りである。
径360であり、λ2は短軸半径370であり、Ruは楕円拡張因子である。λ1=λ2=1
である場合、フィルタはすべての方向においてアップサンプリング動作する。λ1>1、λ2>1である場合、フィルタはすべての方向においてダウンサンプリング動作する。しかし、λ1>1, λ2=1である場合、拡張及び収縮間の滑らかな移動によるアップサンプリング及びダウンサンプリングの組み合わせ動作がある。
状は、可変長であり、及び楕円の方向及び形状に基づく可変比帯域(fractional bandwidth)を有する。Ru=2及びN=256の特定の場合に対するフィルタの2次元インパルス
及び周波数応答は、図4A及び図4Bにそれぞれ示される。
ルス応答h(u',v') を決定することができる。必要な有限インパルス応答(FIR)フィルタは、インパルス応答h(u',v')の小数点以下を切り捨て、それをウィンドウ関数w(u',v')によって乗じることによって得られ、その結果、以下のようになる:hd(u',v') = h(u',v')w(u',v')。
られる。
は、正規化半径であり、nは0≦n<Nを満たし、J1は第1種且つ第1の階数のベッセ
ル関数である。2次元ウインドウw(u',v')は、1次元カイザー窓プロトタイプに基づく。回転された公式化により、その設計のサポートの実際の領域は、Ruの円形サブ領域になる。
O(x,y)=I(x,y)+α(I(x,y)-Is(x,y))=(1+α)I(x,y)-αIs(x,y)
らかの近傍にわたる平滑化ピクセル値であり、αは強調の因子である。この場合、α<0は平滑化を意味し、α=0はバイパスを意味し、α>0は鮮鋭化を意味する。
O(x,y)=(1+α)Iw(x,y)−αIs(x,y)
円リングの領域であり、Nwはフィルタのワーピング部分におけるタップの数であり、Nsはフィルタの平滑化部分におけるタップの数である。
<Nsに対してはki w=0である。
Claims (13)
- 入力ピクセル座標空間及び入力ディジタルピクセルデータを有する2次元入力画像を、出力ピクセル座標空間及び出力ディジタルピクセルデータを有する2次元出力画像に変換するために、楕円周波数応答を有する2次元再サンプリング・フィルタを用いたリアルタイムのシングルパス・ディジタル・画像ワーピングのための方法であって、
(a)出力ピクセルに対する入力ディジタル画像データを取得し、
(b)出力ピクセル座標を前記2次元入力画像の座標空間上にマッピングして、マップされた座標位置を決定し、
(c)(b)で決定されたマップされた座標位置で入力座標に対して出力ピクセル座標のヤコビ行列を決定し、
(d)(c)で決定されたヤコビ行列の2つの行ベクトルによって形成され、(b)で決定されたマップされた座標位置の周囲に楕円を一義的に決定するために長軸半径と短軸半径、及び長軸半径の方向を決定し、
(e)必要な画質及び必要な処理速度に基づいて、前記楕円の半径を拡張及び調整し、
(f)固定サイズの矩形のフットプリントを決定して、フィルタリングに関与する入力ピクセルを含め、
(g)(d)の楕円を1単位の半径を有する円に変換して、円の中心から含まれる入力ピクセルまでの距離計算を容易にし、
(h)(c)で決定された前記ヤコビ行列から導かれるマトリクスによって制御される、円形対称形状からフットプリント内のすべての入力ピクセルに対して楕円周波数応答を有する2次元再サンプリング・フィルタの係数を、前記フットプリント内での(g)における前記距離の関数として決定し、
(i)(h)で決定された係数でフットプリント内部の入力ピクセルの値を累算することによって出力ピクセルの値を決定し、
(j)出力ピクセルの値を保存することと、
を含む、方法。 - 前記楕円の半径及び方向は、2×2マトリクスを介して特徴付けられ、前記マトリクスの少なくとも1つの要素は強制的にゼロにされる、請求項1に記載の方法。
- 出力ピクセルのサブセットにおける前記2×2マトリクスの非ゼロ要素の事前に計算された値が事前に表面に近似され、出力ピクセルに対するマトリクス要素が、再サンプリング中に近似パラメータから求められる、請求項2に記載の方法。
- 前記楕円の長軸半径が、マップされた入力ピクセル位置における最大強度変化の方向に垂直なエッジ方向に沿って位置合わせされ、前記半径の長さが、エッジ方向推定値の信頼性レベルによって特徴付けられるエッジの強度によって決まる、請求項1に記載の方法。
- フィルタの鮮鋭化成分及び再サンプリング成分の形状を更に結合して、細部を強調した出力画像を生成することを含む、請求項1に記載の方法。
- 前記楕円の半径を拡張及び調整することは、前記楕円の半径が、所定の上限および所定の下限を満たし、かつ、前記楕円の半径の比が所定比内となるように、楕円の半径を拡張及び調整することを含む、請求項1に記載の方法。
- 入力ピクセル座標空間及び入力ディジタルピクセルデータを有する2次元入力画像を、出力ピクセル座標空間及び出力ディジタルピクセルデータを有する2次元出力画像に変換するために、楕円周波数応答を有する2次元再サンプリング・フィルタを用いたリアルタイムのシングルパス・ディジタル・画像ワーピングのためのディジタル信号処理システムであって、
(a)出力ピクセルに対する入力ディジタル画像データを得るための入力インタフェースと、
(b)出力ピクセル座標を前記2次元入力画像の座標空間上にマッピングして、マップされた座標位置を決定するための座標生成器と、
(c)マップされた座標位置で入力座標に対して出力ピクセル座標のヤコビ行列を決定するための、前記入力インタフェースと前記座標生成器とに結合されるローカル・スケール推定器と、
(d)(c)で決定されたヤコビ行列の2つの行ベクトルによって形成され、マップされた座標位置の周囲に楕円を一義的に決定するために長軸半径と短軸半径、及び長軸半径の方向を決定するように更に構成される、前記ローカル・スケール推定器と、
(e)必要な画質及び必要な処理速度に基づいて、前記楕円の半径を拡張及び調整するように更に構成される、前記ローカル・スケール推定器と、
(f)マップされた座標位置の周囲に入力画像座標空間における固定サイズの矩形のフットプリントを決定して、前記フットプリントにフィルタリングに関与する入力ピクセルを含めるための、前記ローカル・スケール推定器と前記座標生成器とに結合される、フットプリント生成器と、
(g)(d)の楕円を1つのユニットの半径を有する円に変換して、円の中心から含まれる入力ピクセルまでの距離計算を容易にするための、前記フットプリント生成器及び前記ローカル・スケール推定器に結合される、フィルタ係数生成器と、
(h)(c)で決定された前記ヤコビ行列から導かれるマトリクスによって制御される、円形対称形状からフットプリント内の入力ピクセルに対する楕円周波数応答を有する2次元再サンプリング・フィルタの係数を、前記フットプリント内での(g)における前記距離の関数として、決定するように更に構成される、前記フィルタ係数生成器と、
(i)(h)で決定された係数でフットプリント内部の入力ピクセルの値を累算することによって出力ピクセルの値を決定するための、前記フィルタ係数生成器と前記フットプリント生成期器とに結合される、フィルタと、
(j)出力ピクセルの値を保存するために、前記フィルタに結合される出力インタフェースと、
を含む、システム。 - 前記ローカル・スケール推定器は、2×2マトリクスを介して前記楕円の半径及び方向を特徴付けるように構成され、前記2×2マトリクスの少なくとも1つの要素が強制的にゼロにされる、請求項7に記載のシステム。
- 出力ピクセルのサブセットの前記2×2マトリクスの非ゼロ要素の事前に計算された値は、事前に表面近似され、前記ローカル・スケール推定器は、再サンプリング中に近似パラメータからの出力ピクセルに対してマトリクス要素を求めるように構成される、請求項8に記載のシステム。
- 前記ローカル・スケール推定器は、マップされた入力ピクセル位置にある最大強度変化の方向に垂直なエッジ方向に沿って前記楕円の長軸半径を位置合わせし、エッジ方向推定値の信頼性レベルによって特徴付けられるエッジの強度に基づいて前記半径の長さを設定するように構成される、請求項7に記載のシステム。
- 前記フットプリント生成器が固定サイズの矩形のフットプリントを使用するように構成され、前記フィルタ係数生成器が前記ヤコビ行列から導かれるマトリクスによって制御される楕円周波数応答を有する2次元再サンプリング・フィルタを使用するように構成される、請求項9に記載のシステム。
- 前記フィルタ係数生成器が、細部が強調された2次元出力画像を生成するために、再サンプリング・フィルタの鮮鋭化及び再サンプリングのそれぞれの成分のプロファイルを結合するように構成される、請求項7に記載のシステム。
- 前記ローカル・スケール推定器は、前記楕円の半径が、所定の上限および所定の下限を満たし、かつ、前記楕円の半径の比が所定比内となるように、楕円の半径を拡張及び調整することを含む、請求項7に記載のシステム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012045979A JP5559222B2 (ja) | 2012-03-01 | 2012-03-01 | 異方性フィルタリングを用いたシングルパス画像ワーピングシステム及び方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012045979A JP5559222B2 (ja) | 2012-03-01 | 2012-03-01 | 異方性フィルタリングを用いたシングルパス画像ワーピングシステム及び方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007531143A Division JP2008512766A (ja) | 2004-09-09 | 2004-09-09 | 異方性フィルタリングを用いたシングルパス画像ワーピングシステム及び方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012138104A JP2012138104A (ja) | 2012-07-19 |
JP5559222B2 true JP5559222B2 (ja) | 2014-07-23 |
Family
ID=46675411
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012045979A Expired - Fee Related JP5559222B2 (ja) | 2012-03-01 | 2012-03-01 | 異方性フィルタリングを用いたシングルパス画像ワーピングシステム及び方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5559222B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7224504B2 (ja) | 2020-02-03 | 2023-02-17 | 三菱電機株式会社 | 蓄熱給湯装置 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111223042B (zh) * | 2020-01-16 | 2023-05-02 | 深圳市爱协生科技股份有限公司 | 一种将矩形图片处理成圆角图片的方法 |
CN113945559B (zh) * | 2021-09-30 | 2023-09-26 | 天津大学 | 一种气液固循环流化床局部相含率检测方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5343309A (en) * | 1992-08-12 | 1994-08-30 | Xerox Corporation | Image processing system and method employing adaptive filtering to provide improved reconstruction of continuous tone images from halftone images including those without a screen structure |
WO1997006512A2 (en) * | 1995-08-04 | 1997-02-20 | Microsoft Corporation | Method and system for rendering graphical objects to image chunks and combining image layers into a display image |
US6016152A (en) * | 1997-08-01 | 2000-01-18 | Avid Technology, Inc. | Apparatus and method for non-uniform image scaling |
AU757621B2 (en) * | 1998-07-16 | 2003-02-27 | Research Foundation Of The State University Of New York, The | Apparatus and method for real-time volume processing and universal 3D rendering |
US7215340B2 (en) * | 2002-07-19 | 2007-05-08 | Mitsubishi Electric Research Laboratories, Inc. | Object space EWA splatting of point-based 3D models |
-
2012
- 2012-03-01 JP JP2012045979A patent/JP5559222B2/ja not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7224504B2 (ja) | 2020-02-03 | 2023-02-17 | 三菱電機株式会社 | 蓄熱給湯装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2012138104A (ja) | 2012-07-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI358714B (en) | Single-pass image warping system and method with a | |
CN100484188C (zh) | 分辨率转换设备和方法 | |
JP2008512766A (ja) | 異方性フィルタリングを用いたシングルパス画像ワーピングシステム及び方法 | |
US9202258B2 (en) | Video retargeting using content-dependent scaling vectors | |
US20040160439A1 (en) | Image processing apparatus and method, recording medium, and program thereof | |
US8330767B2 (en) | Method and apparatus for angular invariant texture level of detail generation | |
JP5318234B2 (ja) | 超解像処理方法及び装置 | |
KR20140116406A (ko) | 저해상도 입력 데이터 구조의 초고해상도 버전을 생성하기 위한 방법 및 장치 | |
WO2005111933A1 (ja) | 画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体 | |
JP2008512767A (ja) | 一般的な2次元空間変換の表現システム及び方法 | |
KR100860968B1 (ko) | 해상도 향상 장치 및 방법 | |
JP5559222B2 (ja) | 異方性フィルタリングを用いたシングルパス画像ワーピングシステム及び方法 | |
JPH08294001A (ja) | 画像処理方法および画像処理装置 | |
JPH09149241A (ja) | 画像拡大方法及び画像拡大装置 | |
KR101651203B1 (ko) | 화질 개선을 수반한 영상 확대 방법 및 그 장치 | |
JP2016115318A (ja) | ぼやけ補正装置、超解像装置およびプログラム | |
JP2003132351A (ja) | 画像処理装置及びその方法 | |
Huang et al. | Directional moving averaging interpolation for texture mapping | |
JP2001043357A (ja) | 画像処理方法、画像処理装置及び記録媒体 | |
Wang et al. | Volume upscaling using local self-examples for high quality volume visualization | |
CN116128726A (zh) | 一种基于插值的单张图片分辨率提高方法 | |
JP2006526832A (ja) | 画像の補間 | |
JPH1185971A (ja) | 階調変換方法および装置 | |
JP2016218502A (ja) | 画像処理装置、制御方法およびプログラム | |
Wong et al. | Parallelizable inpainting and refinement of diffeomorphisms using beltrami holomorphic flow |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20120913 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20120918 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130508 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130521 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20130718 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20130723 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140507 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140605 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5559222 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |