JP5654889B2 - レンズ歪みの補正法 - Google Patents

レンズ歪みの補正法 Download PDF

Info

Publication number
JP5654889B2
JP5654889B2 JP2011016399A JP2011016399A JP5654889B2 JP 5654889 B2 JP5654889 B2 JP 5654889B2 JP 2011016399 A JP2011016399 A JP 2011016399A JP 2011016399 A JP2011016399 A JP 2011016399A JP 5654889 B2 JP5654889 B2 JP 5654889B2
Authority
JP
Japan
Prior art keywords
distortion
temporary
coefficient
distortion coefficient
error
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011016399A
Other languages
English (en)
Other versions
JP2012155652A (ja
Inventor
実治 棟安
実治 棟安
良子 花田
良子 花田
天志 工藤
天志 工藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kansai University
Original Assignee
Kansai University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kansai University filed Critical Kansai University
Priority to JP2011016399A priority Critical patent/JP5654889B2/ja
Publication of JP2012155652A publication Critical patent/JP2012155652A/ja
Application granted granted Critical
Publication of JP5654889B2 publication Critical patent/JP5654889B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Studio Devices (AREA)

Description

本発明は、例えば携帯型電話機や携帯型ゲーム機などの携帯型電子機器(以下、「携帯電話」という。)に備えられたカメラによって撮影された撮影画像が樽型歪みや糸巻き型歪みなどの歪曲収差歪みを生じている場合に、この歪曲収差歪みを補正するためのレンズ歪みの補正法に関する。
携帯電話には、カメラ機能や2次元バーコードを読み取るアプリケーション(ソフトウェア)を搭載した機種が多数提供されている。そして、携帯電話は、カメラ機能によって2次元バーコードを撮影し、アプリケーションが2次元バーコードに記録されたインターネットのURLなどを解析することにより、Webサイトを画面に表示する機能を備えている。
しかし、携帯電話に備えられたカメラ機能は、コンパクト化を図るため、小口型のレンズを搭載している。このようなレンズで撮影された撮影画像は、いわゆる樽型歪みが生じ、2次元バーコードを正確に読み取ることができにくいため、2次元バーコードに埋め込まれた情報の検出率が低下するという問題がある。また、望遠レンズで撮影された撮影画像は、いわゆる糸巻き型歪みが生じる。
そこで、樽型歪みや糸巻き型歪みなどの歪曲収差歪みが生じている撮影画像の特性を考慮することにより、両方の歪みを補正することのできるようにしたレンズ歪みの補正法が非特許文献1に提案されている。このレンズ歪みの補正法は、歪曲収差歪みが撮影画像の中央を中心として放射状に生じ、中心点から離れるにしたがって歪み量が多くなるという[数1]に示された関係を応用している。
Figure 0005654889
レンズ歪みの補正法では、一般に高次の項が比較的重要でないとされるため、撮影画像から歪み係数K2を推定することなく、歪み係数K1を推定することで、歪みのない画像座標x’,y’を算出する。歪み係数K1は、図3に示すような手順によって推定する。
すなわち、まず、四角形状の撮影画像から直線に近い枠線の1辺(細長い楕円形で囲った一方の1辺)を抽出し、この枠線上の複数画素の座標を座標群として保存する(S1)。次に、歪み係数K1の候補として多数の仮の歪み係数について保存された座標群を用いて最小2乗法による直線回帰を行い、求められた多数の回帰直線と保存された座標群上の点との2乗距離を合計した誤差が最小となった仮の歪み係数を歪み係数K1と推定する。
直線回帰とは、複数のデータ(x1,y1),…,(xn,yn)が与えられたときに、できるだけ各データの点の近くを通る直線y=ax+b(回帰直線)の傾きaと切片bとを求めることである。回帰直線は、予め決められた範囲の複数の仮の歪み係数(K1min=−9×10-8〜K1max=9×10-8)について多数求める。
すなわち、まず、仮の歪み係数の初期値K1min(=−9×10-8)を設定し(S2)、この初期値K1minに対する保存された座標群に対する補正後の座標群(枠線)を[数1]の式から求める(S3)。続いて、補正後の座標群から最小2乗法による直線回帰を行い、回帰直線を推定する(S4)。そして、補正後の座標群(枠線)と回帰直線との2乗距離の合計を誤差として求め(S5)、この誤差を仮の歪み係数K1minの値とともに保存する(S6)。
そして、仮の歪み係数の初期値K1min(=−9×10-8)に反復値K1int(=0.1×10-8)を加算して仮の歪み係数K1(min+1)(=−9.1×10-8)を更新する(S7)。この更新された仮の歪み係数K1(min+1)についても、前記の操作(S3〜S6)を行う。この操作(S3〜S6)は、仮の歪み係数K1がK1max(=9×10-8)を超えるまで繰り返される。
すなわち、仮の歪み係数K1がK1max(=9×10-8)を超えると、得られた仮の歪み係数K1min〜K1maxの中から前記誤差が最小となるときの仮の歪み係数を最適な歪み係数K1の推定値とし、この最適な歪み係数K1をパラメータとして[数1]に示された式を用いて補正画像を生成することでレンズ歪みの補正を行う(S8)。この手法では、保存する座標群として枠線の上辺、左辺の2辺上の座標群をそれぞれ使用し、各座標群からそれぞれ求められた歪み係数K1の平均値を最終的なパラメータとしている。
なお、射影変換をレンズ歪み補正よりも先に行うと、「レンズによる歪みは、撮影画像の中央を中心として放射状に生じる。」という関係が崩れるため、正確にレンズ歪みを補正することができなくなる。よって、レンズ歪み補正を行った後に射影変換が行われる。
前記従来のレンズ歪みの補正法では、歪み係数K1を推定するため、仮の歪み係数に反復値K1int(=0.1×10-8)刻みで加算し、回帰計算や誤差の計算、さらに仮の歪み係数と誤差との保存という手順を1800回も繰り返している。したがって、撮影画像の枠線の4辺を抽出することが好ましいにもかかわらず、従来のレンズ歪みの補正法では、処理時間の短縮を図るため、撮影画像の隣り合っている枠線の上辺と左辺の二辺しか抽出していない。
それにもかかわらず、従来のレンズ歪みの補正法では、枠線の検出に0.76秒、歪み係数の測定と推定に42.12秒もかかる。さらに、二辺だけ抽出して推定された歪み係数K1の精度は高くないことから、補正画像を必ずしも正確に生成することができないという不具合もある。
そこで、本発明は、短時間に、しかも、高精度に歪み係数を推定し、補正画像を正確に生成することができるようにしたレンズ歪みの補正法を提供することを課題とする。
本発明に係るレンズ歪み補正法は、四角形状の撮影画像から直線に近い枠線を抽出し、この枠線上の画素の座標を保存し、歪みのない画像座標を算出するためのパラメータである歪み係数を算出するため、予め決められた範囲から歪み係数の候補とされる複数の仮の歪み係数を算出し、各仮の歪み係数を用いて補正後の枠線を求め、この補正後の枠線から回帰直線を計算し、この補正後の枠線の座標と回帰直線との誤差を計算し、最小の誤差を算出した仮の歪み係数を歪み係数と推定し、この歪み係数をパラメータとして補正画像を形成するレンズ歪みの補正法であって、前記仮の歪み係数の範囲を設定するステップと、前記仮の歪み係数の範囲の上限及び下限から求められた2つの仮の歪み係数を用いた極小点探査法によって該仮の歪み係数の範囲を絞り込むステップと、絞り込まれた範囲における仮の歪み係数の下限に反復値を順次、上限まで加算し、加算された各仮の歪み係数の誤差を算出し、最小の誤差を算出した仮の歪み係数を歪み係数と推定するステップと、を備え、前記極小点探査法は、各仮の歪み係数を用いて求められた補正後の枠線と、この補正後の枠線から計算された回帰直線との誤差である仮の歪み係数の誤差をそれぞれ計算する第一ステップと、2つの仮の歪み係数の誤差の大小を比較する第二ステップと、その大小から一方の仮の歪み係数を更新する第三ステップと、を有し、仮の歪み係数の誤差が予め決められた閾値より小さくなるまで前記第一〜第三ステップを行うことで、前記仮の歪み係数の範囲を段階的に狭めることを特徴としている。
このレンズ歪みの補正法は、仮の歪み係数と誤差との関係が単峰性の目的関数によって表され、前記誤差の唯一の最小点から歪み係数を推定できるというる特質に着目し、歪み係数を推定する時間を短縮する。すなわち、このレンズ歪みの補正法は、例えば、推定する歪み係数を含む区間における仮の歪み係数K11,K12の誤差f(K11),f(K12)の大小を比較し、その大小から次の仮の歪み係数K11,K12を極小点探査法により順次、大まかに更新することで予め決められた誤差の閾値まで仮の歪み係数の範囲を絞り込む。そして、絞り込まれた範囲内では、仮の歪み係数の下限に反復値を順次、上限まで加算し、各加算された仮の歪み係数について誤差を算出し、最小の誤差を算出した仮の歪み係数を歪み係数と推定する。
また、前記本発明に係るレンズ歪みの補正法において、前記極小点探査法は、黄金分割探査法であることが好ましい。
このレンズ歪みの補正法によれば、黄金分割探査法により、仮の歪み係数をさらに短時間に絞り込むことができる。ここで、黄金分割探査法は、区間[a,b]における仮の歪み係数K11,K12の値と黄金比τ≒0.618を用い、その区間を内分する点K11,K12を、K11=b−τ(b−a),K12=a+τ(b−a)から求めることにより極小点を得る方法である。
また、前記本発明に係るレンズ歪みの補正法において、四角形状の撮影画像枠線の4辺について枠線上の画素の座標を保存し、推定精度を向上させることのできる3辺から歪み係数を推定することが好ましい。
4辺から歪み係数を的確に推定できない、すなわち、推定精度のよくない辺があるところ、このレンズ歪みの補正法によれば、四角形状の撮影画像の4辺についての枠線上の画素の座標のうち、推定精度のよくない辺を外した3辺を用いることによって、推定精度を向上させることができる。
また、前記本発明に係るレンズ歪みの補正法において、樽型歪みの撮影画像では、歪曲の小さな3辺から歪み係数を推定することが好ましい。
このレンズ歪みの補正法によれば、歪曲の小さな3辺から歪み係数を推定することで、推定精度の向上を図ることができる。これは、実験結果から、樽型歪みの撮影画像においては、補正する量が小さくなるように設定した方が推定精度の向上が観測されたためである。
また、前記本発明に係るレンズ歪みの補正法において、糸巻き型歪みの撮影画像では、歪曲の大きな3辺から歪み係数を推定することが好ましい。
このレンズ歪みの補正法によれば、歪曲の大きな3辺から歪み係数を推定することで、推定精度の向上を図ることができる。これは、実験結果から、糸巻き型歪みの撮影画像においては、補正する量が大きくなるように設定した方が推定精度の向上が観測されたためである。
本発明によれば、極小点探査法によって歪み係数を推定するレンズ歪みの補正法が提供されることにより、このレンズ歪みの補正法によって補正画像を作成する時間を短縮することができる。
本発明に係るレンズ歪みの補正法を説明するフロー図である。 仮の歪み係数と誤差との関係を示すグラフである。 従来のレンズ歪みの補正法を説明するフロー図である。
本発明に係るレンズ歪みの補正法の一実施形態について、図1及び図2を参照しながら説明する。このレンズ歪みの補正法は、例えば小型のレンズを使用して撮影された四角形状の撮影画像の樽型歪みや糸巻き歪みのような歪曲収差歪みを補正するため、前記[数1]で示した歪み係数K1を短時間に推定できるようにしたことを特徴としている。
そのため、このレンズ歪みの補正法は、仮の歪み係数と誤差との関係が単峰性の目的関数によって表され、前記誤差の唯一の最小点から歪み係数K1を推定できるという特質を応用し、極小点探査法により、歪み係数K1を推定する。
極小点探査法としては、黄金分割探査法を使用する。黄金分割探査法は、単峰性の目的関数において、最小値の探査範囲を黄金分割比を用いて狭めることで、最小値を得る手法である。したがって、黄金分割探査法では、図2に示すように、目的関数f(K1)の最小値を含む区間[a,b]を設定し、の値と黄金分割比τ≒0.618を用いて、その区間を内分する仮の歪み係数K11とK12を設定する。
K11とK12は、
K11=b−τ(b−a)
K12=a+τ(b−a)
から得られる。
この仮の歪み係数K11とK12を用い、演算装置によって補正後の各座標群を求める。そして、演算装置によって各回帰直線を計算し、各補正後の枠線座標と回帰直線との誤差f(K11)とf(K12)を計算する。続いて、演算装置によってこの誤差f(K11)とf(K12)の大きさを比較し、K11とK12を更新する。
すなわち、f(K11)>f(K12)の場合は、
a=K11,K11=K12,K12=b−(1−τ)(b−a)
また、f(K11)<f(K12)の場合は、
b=K12,K12=K11,K11=a+(1−τ)(b−a)
そして、f(a)<εかつf(b)<ε(εは予め決められている閾値)でなければ、仮の歪み係数K11とK12を用い、演算装置によって補正後の各座標群を求め直し、各回帰直線を計算し、各補正後の枠線座標と回帰直線との誤差f(K11)とf(K12)を計算し、この誤差f(K11)とf(K12)を比較するという手順を繰り返す。目的関数f(K1)は、閾値εよりも大きい場合は正又は負に比例するため、K11とK12の間隔は、大まかに狭めて更新することができる。
そして、f(a)<εかつf(b)<εとなると、目的関数f(K1)は、曲線状に変化するため、K11とK12を大まかに更新することができない。そこで、下限の仮の歪み係数K1minを仮の歪み係数K11とK12のどちらか小さい方とし、上限の仮の歪み係数K1maxを仮の歪み係数K11とK12をのどちらか大きい方とする。そして、演算装置によって下限の仮の歪み係数K1minに反復値Kb1int(=0.1×10-8)刻みで加算し、仮の歪み係数K1とする。
そして、この仮の歪み係数K1を用い、演算装置によって補正後の座標群を求め、回帰直線を計算し、補正後の枠線座標と回帰直線との誤差を計算し、仮の歪み係数K1と誤差を保存する。この仮の歪み係数K1に反復値Kb1intを加算するという手順を上限の仮の歪み係数K1maxになるまで、すなわち絞り込まれた範囲で繰り返す。そして、演算装置によってそれぞれの誤差f(K1)を算出し、最も小さな誤差f(K1)を算出した仮の歪み係数を歪み係数K1と推定する。この歪み係数K1は、前記の手順を16回繰り返すだけで推定することができる。
歪み係数K1の推定に、従来では42.12秒要していたにもかかわらず、このレンズ歪みの補正法では0.34秒と短縮することができる。したがって、このレンズ歪みの補正法では、四角形状の撮像画像の枠線の4辺を抽出し、4辺について歪み係数K1を推定することで、精度の高いレンズ歪みの補正をすることができる。
ただし、処理時間の短縮化のため、4辺の誤差を算出するものの、樽型歪みの撮影画像では、歪曲の小さな3辺から歪み係数K1を推定し、糸巻き型歪みの撮影画像では、歪曲の大きな3辺から歪み係数K1を推定し、平均値を歪み係数K1とする。実験結果から、樽型歪みの撮影画像では、補正する量が小さくなるように、糸巻き型歪みの撮影画像では、補正する量が大きくなるように設定した方が、推定精度が向上する傾向がみられたため、この傾向を反映するように、樽型歪みの撮影画像と糸巻き型歪みの撮影画像とで歪み係数K1の推定に用いる辺を選択する。
なお、樽型歪みの撮影画像は回帰直線の誤差が正で表され、糸巻き型歪みの撮影画像は回帰直線の誤差が負で表されるため、誤差の正負により、樽型歪みの撮影画像であるか糸巻き型歪みの撮影画像であるかを判断することができる。
このようにして歪み係数K1が推定されると、この歪み係数K1をパラメータとして演算装置によって歪みのない画像座標x’,y’を算出する。この歪みのない画像座標x’,y’は、[数1]を変形した[数2]から求めることができる。
Figure 0005654889
この歪みのない画像座標x’,y’から演算装置によって補正画像が生成される。ただし、被写体に対して垂直方向から撮影されなかった撮影画像については、射影変換を行うことによって補正する。射影変換をレンズ歪み補正よりも先に行うと、「レンズによる歪みは撮影画像の中央を中心として放射状に生じる。」という関係が崩れるため、レンズ歪み補正を行った後に、射影変換を行う。
このように、レンズ歪み補正と射影変換により、撮影画像を補正した補正画像がメモリに保存される。被写体が2次元バーコードであり、2次元バーコードにインターネットのURLやメールアドレスが記録されていると、補正画像からインターネットのURLやメールアドレスを正確に読み取ることができる。
なお、本発明は、前記実施の形態に限定することなく種々変更することができる。例えば、正確に補正するよりも処理時間を優先する場合は、4辺からでなく、2辺のみから歪み係数K1を推定してもよい。
また、本発明は、携帯電話に備えられた小型のレンズに対して、有効に適用することができるが、小型のレンズに限定することなく、レンズ歪みが生じる各種のレンズ、例えば自動車の後方を写すカメラにも適用することができる。

Claims (5)

  1. 四角形状の撮影画像から直線に近い枠線を抽出し、この枠線上の画素の座標を保存し、歪みのない画像座標を算出するためのパラメータである歪み係数を算出するため、予め決められた範囲から歪み係数の候補とされる複数の仮の歪み係数を算出し、各仮の歪み係数を用いて補正後の枠線を求め、この補正後の枠線から回帰直線を計算し、この補正後の枠線の座標と回帰直線との誤差を計算し、最小の誤差を算出した仮の歪み係数を歪み係数と推定し、この歪み係数をパラメータとして補正画像を形成するレンズ歪みの補正法であって、
    前記仮の歪み係数の範囲を設定するステップと、
    前記仮の歪み係数の範囲の上限及び下限から求められた2つの仮の歪み係数を用いた極小点探査法によって該仮の歪み係数の範囲を絞り込むステップと、
    絞り込まれた範囲における仮の歪み係数の下限に反復値を順次、上限まで加算し、加算された各仮の歪み係数の誤差を算出し、最小の誤差を算出した仮の歪み係数を歪み係数と推定するステップと、を備え、
    前記極小点探査法は、
    各仮の歪み係数を用いて求められた補正後の枠線と、この補正後の枠線から計算された回帰直線との誤差である仮の歪み係数の誤差をそれぞれ計算する第一ステップと、
    2つの仮の歪み係数の誤差の大小を比較する第二ステップと、
    その大小から一方の仮の歪み係数を更新する第三ステップと、を有し、
    仮の歪み係数の誤差が予め決められた閾値より小さくなるまで前記第一〜第三ステップを行うことで、前記仮の歪み係数の範囲を段階的に狭める、レンズ歪みの補正法。
  2. 前記極小点探査法は、黄金分割探査法であることを特徴とする請求項1に記載のレンズ歪みの補正法。
  3. 四角形状の撮影画像枠線の4辺について枠線上の画素の座標を保存し、推定精度を向上させることのできる3辺から歪み係数を推定することを特徴とする請求項1又は2に記載のレンズ歪みの補正法。
  4. 樽型歪みの撮影画像では、歪曲の小さな3辺から歪み係数を推定することを特徴とする請求項3に記載のレンズ歪みの補正法。
  5. 糸巻き型歪みの撮影画像では、歪曲の大きな3辺から歪み係数を推定することを特徴とする請求項3に記載のレンズ歪みの補正法。
JP2011016399A 2011-01-28 2011-01-28 レンズ歪みの補正法 Expired - Fee Related JP5654889B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011016399A JP5654889B2 (ja) 2011-01-28 2011-01-28 レンズ歪みの補正法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011016399A JP5654889B2 (ja) 2011-01-28 2011-01-28 レンズ歪みの補正法

Publications (2)

Publication Number Publication Date
JP2012155652A JP2012155652A (ja) 2012-08-16
JP5654889B2 true JP5654889B2 (ja) 2015-01-14

Family

ID=46837287

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011016399A Expired - Fee Related JP5654889B2 (ja) 2011-01-28 2011-01-28 レンズ歪みの補正法

Country Status (1)

Country Link
JP (1) JP5654889B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6232933B2 (ja) * 2013-10-31 2017-11-22 日本電気株式会社 放射歪み補正装置、道路環境認識装置、放射歪み補正方法およびプログラム
US10778897B2 (en) 2015-12-16 2020-09-15 Ningbo Sunny Opotech Co., Ltd. Method for compensating for image quality of optical system by means of lens adjustment
CN110009695B (zh) * 2019-04-04 2023-01-03 南京睿悦信息技术有限公司 一种vr一体机自动计算反畸变系数的方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7009A (en) * 1850-01-08 Machinery for dressing shingles
US6101288A (en) * 1997-07-28 2000-08-08 Digital Equipment Corporation Method for recovering radial distortion parameters from a single camera image
JP2001223891A (ja) * 2000-02-09 2001-08-17 Fuji Photo Film Co Ltd 画像処理方法

Also Published As

Publication number Publication date
JP2012155652A (ja) 2012-08-16

Similar Documents

Publication Publication Date Title
US8204330B2 (en) Adaptive PSF estimation technique using a sharp preview and a blurred image
US8229172B2 (en) Algorithms for estimating precise and relative object distances in a scene
US8447140B1 (en) Method and apparatus for estimating rotation, focal lengths and radial distortion in panoramic image stitching
US9691137B2 (en) Radial distortion parameter acquiring method and apparatus
WO2015014111A1 (zh) 一种光流跟踪方法和装置
US9508153B2 (en) Distance measurement apparatus, imaging apparatus, distance measurement method, and program
US10306210B2 (en) Image processing apparatus and image capturing apparatus
KR20150037374A (ko) 카메라로 촬영한 문서 영상을 스캔 문서 영상으로 변환하기 위한 방법, 장치 및 컴퓨터 판독 가능한 기록 매체
KR101839617B1 (ko) 멀티프레임을 이용한 비균일 모션 블러 제거 방법 및 장치
JP2013005258A (ja) ブレ補正装置、ブレ補正方法及び帳票
JP2005269419A (ja) 画像変形推定方法および画像変形推定装置
US8433187B2 (en) Distance estimation systems and method based on a two-state auto-focus lens
JP5654889B2 (ja) レンズ歪みの補正法
JP2012050013A (ja) 撮像装置、画像処理装置、画像処理方法及び画像処理プログラム
JP6204669B2 (ja) ロバストに非均一モーションブラーを推定する方法及び装置
JP6341087B2 (ja) 画像処理装置及び画像処理プログラム
JP6652052B2 (ja) 画像処理装置および画像処理方法
KR20100001608A (ko) 렌즈 왜곡 보정 장치 및 방법
JP2017011397A (ja) 画像処理装置、画像処理方法、及びプログラム
KR20180068022A (ko) 스테레오 카메라 영상 실시간 자동 캘리브레이션 장치, 그를 포함한 시스템 및 그 방법
JP5887974B2 (ja) 類似画像領域探索装置、類似画像領域探索方法、及び類似画像領域探索プログラム
JP6074198B2 (ja) 画像処理装置及び画像処理方法
JP5085589B2 (ja) 画像処理装置および方法
JP2015109548A (ja) ブレ補正方法、ブレ補正装置及びプログラム
JP6624841B2 (ja) 画像処理装置、画像処理方法、及びプログラム

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20130805

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140107

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140822

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140829

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141024

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141114

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141121

R150 Certificate of patent or registration of utility model

Ref document number: 5654889

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees