JP5398346B2 - 撮像装置及び信号処理装置 - Google Patents

撮像装置及び信号処理装置 Download PDF

Info

Publication number
JP5398346B2
JP5398346B2 JP2009120495A JP2009120495A JP5398346B2 JP 5398346 B2 JP5398346 B2 JP 5398346B2 JP 2009120495 A JP2009120495 A JP 2009120495A JP 2009120495 A JP2009120495 A JP 2009120495A JP 5398346 B2 JP5398346 B2 JP 5398346B2
Authority
JP
Japan
Prior art keywords
focus detection
imaging
pixels
pixel
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009120495A
Other languages
English (en)
Other versions
JP2010272903A (ja
Inventor
全 江川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2009120495A priority Critical patent/JP5398346B2/ja
Publication of JP2010272903A publication Critical patent/JP2010272903A/ja
Application granted granted Critical
Publication of JP5398346B2 publication Critical patent/JP5398346B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Automatic Focus Adjustment (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)
  • Focusing (AREA)

Description

本発明は、撮像素子の出力信号に基づいてデフォーカス検出を行う撮像装置に関する。
特許文献1には、撮像面でAFを行う方法が開示されている。この方法は、撮影レンズの異なる領域を通過する物体からの光束を、導光手段で撮像信号を発生する撮像上の一対の撮像素子列からなる検出部面上に導光する。そして、一対の撮像素子列面上に各々の物体像に関する光量分布を形成し、相対的な位置関係から焦点状態を検出する。導光手段は撮像素子上のマイクロレンズにより構成され、一対の撮像素子列はマイクロレンズ毎に設けられた一対の画素から構成されている。また、一対の撮像素子の双方の出力信号の和を撮像信号としている。
特許文献2には、焦点検出のための二次光学系を不要とした撮像装置が開示されている。この撮像装置は、被写体を撮像する撮像センサの一部画素の光学特性を他の画素と異ならせて、その一部画素の出力信号が焦点検出のために用いられる。特許文献2では、撮像センサの画素の一部において、一対の焦点検出用センサが少なくとも一組配置される。
特開平1−216306号公報 特許第3592147号
しかしながら、特許文献1では、AF画素のピッチは通常の画素のピッチに対して1/2であり、高画素化が主流の撮像素子においては通常画素を極力小さくしており、さらに高画素化を図ることは現実的に困難である。また、一対の撮像素子の双方の出力信号の和を撮像信号としているが、一対の画素を加算しても画素内レイアウトが異なる部分があり周辺画素とは感度等が同等ではなく、感度むらによるノイズの原因となる。さらに、測距点は中心に配置されるため、わずかであっても画像として目立ちやすい。
特許文献2の撮像装置では、遮光部材がアルミ配線で形成されているため、この遮光部材からの反射光を抑制しない場合、周辺画素に影響してフレア又は感度むらを生じる可能性がある。またAF用画素は、画像として用いることができないため、その部分の画像を周辺画素から補間する必要があり、空間周波数が高い被写体ではモアレが発生しやすい。
そこで本発明は、焦点検出画素の感度むらやフレアを効果的に抑制した撮像装置を提供する。
本発明の一側面としての撮像装置は、撮像光学系からの光束により形成された像を光電変換する第1及び第2の撮像画素と、該撮像光学系からの光束のうち分割された光束を遮光する遮光部材を設けた第1及び第2の焦点検出画素とを有する撮像素子と、前記第1及び第2の撮像画素の出力信号から前記第1及び第2の焦点検出画素の出力信号をそれぞれ減算して第1及び第2の焦点検出信号を得る信号抽出手段と、前記第1及び前記第2の焦点検出信号の相関演算を行うことにより前記撮像光学系のデフォーカス量を算出する焦点検出手段とを有する。
本発明の他の側面としての信号処理装置は、撮像光学系からの光束により形成された像を光電変換する第1及び第2の撮像画素と、該撮像光学系からの光束のうち分割された光束を遮光する遮光部材を設けた第1及び第2の焦点検出画素とを有する撮像素子を備えた撮像装置に用いられる信号処理装置であって、前記第1及び第2の撮像画素の出力信号から前記第1及び第2の焦点検出画素の出力信号をそれぞれ減算して第1及び第2の焦点検出信号を得る信号抽出手段と、前記第1及び前記第2の焦点検出信号の相関演算を行うことにより前記撮像光学系のデフォーカス量を算出する焦点検出手段とを有する。
本発明の他の目的及び特徴は、以下の実施例において説明される。
本発明によれば、焦点検出画素の感度むらやフレアを効果的に抑制した撮像装置を提供することができる。
本実施例における撮像素子の画素配列の一例である。 本実施例における焦点検出画素の構造図である。 本実施例における撮像装置の全体構成を示すブロック図である。 本実施例におけるAF信号抽出方法のフローチャートである。 本実施例における撮像装置の各信号の出力であり、(a)デフォーカス状態、(b)フォーカス状態を示している。 本実施例におけるゲイン補正方法のフローチャートである。
以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。
まず、本発明の実施例における撮像装置の概略について説明する。図3は、本実施例における撮像装置の全体構成を示すブロック図である。図3に示されるように、撮像装置100は、被写体を結像するレンズ101(撮像光学系)、レンズ101の焦点位置を制御するレンズ制御部102、及び、光線Lの入射光量を調節する絞り103を備える。
また、撮像装置100は、CMOS又はCCDから構成される撮像素子104を有する。撮像素子104は、RGBの各カラーフィルタがその受光面上に設けられており、撮像用の像信号の取得に用いられる画素から構成される撮像画素群105を備える。撮像画素群105は、レンズ101からの光束により形成された像を光電変換する複数の撮像画素(第1及び第2の撮像画素)を備えて構成される。
また、撮像素子104は、複数の焦点検出領域に存在して焦点検出に用いられる焦点検出画素群106(複数組の焦点検出センサ)を有する。焦点検出画素群106は、その光学構成が互いに光軸対称に構成された一対の焦点検出画素(第1及び第2の焦点検出画素)を複数備えて構成される。この一対の焦点検出画素には、レンズ101からの光束のうち分割された光束を遮光する遮光部材503、603がそれぞれ設けられている。
さらに、撮像素子104は、焦点検出画素群106の一対の焦点検出画素に対して、瞳を対称に分割してレンズ101からの光線L(光束)が入射するように光線Lを制限する瞳分割光学系107を備える。
図1は、本実施例における撮像素子104の画素配列(カラーフィルタの配列)の一例である。図1に示されるように、この画素配列は、基本的にベイヤー配列である。R、G、Bは、それぞれ、赤、緑、青の各色を表している。なお、本実施例の画素配列はこれに限定されるものではなく、ベイヤー配列以外の画素配列を用いてもよい。図1において、画素配列の行はL1〜L10で示され、画素配列の列はC1〜C18で示されている。また、焦点検出用の互いに異なる瞳の画素(第1及び第2の焦点検出画素)は、それぞれS1、S2で示されている。画素S1(第1の焦点検出画素)は行L4の偶数列に配置され、画素S2(第2の焦点検出画素)は行L5の奇数列に配置されている。上述のとおり、複数の画素S1、S2により、焦点検出画素群106が構成される。
焦点検出画素群106(画素S1、S2)のカラーフィルタは同色にする必要があり、画素配列がベイヤー配列の場合、感度が高いG(緑)が望ましい。G(緑)のカラーフィルタを用いれば、カラーフィルタ(画素S1、S2)をより近接した場所に配置することができる。また、本実施例において、遮光部材503、603の面積は、それぞれ、各撮像画素の1/2未満の面積となっている。
また、撮像装置100は、遮光部材により遮光された各々の瞳から光束に相当する像信号(焦点検出信号)を得るAF信号抽出部109(信号抽出手段)を有する。AF信号抽出部109は、焦点検出画素群106の一対の焦点検出画素(画素S1、S2)、及び、近接する撮像画素群105の少なくとも一つの撮像画素の出力信号に基づいて、上述の像信号を得る。さらに、撮像装置100は、AF信号抽出部109で得られた像信号を用いて像ずれ量(デフォーカス量)を相関演算にて算出し、焦点を検出する焦点検出部108(焦点検出手段)を有する。
次に、本実施例のAF信号抽出部109によるAF信号抽出方法について、図4のフローチャートを参照して説明する。カメラ制御部115からのAF命令により撮像装置100のAF制御が開始されると、AF信号抽出部109は、ステップS1において、撮像素子104に所定量の光が蓄積された後、撮像素子104から信号を取り込む。
続いて、AF信号抽出部109は、ステップS2において、画素S1(第1の焦点検出画素)の像信号と、その近傍の撮像画素(第1の撮像画素)から得られた画像信号との差を算出して、焦点検出信号S1’を得る。同様にAF信号抽出部109は、ステップS3において、画素S2(第2の焦点検出画素)の像信号と、その近傍の撮像画素(第2の撮像画素)から得られた画像信号との差を算出して、焦点検出信号S2’を得る。このように、AF信号抽出部109は、第1及び第2の撮像画素の出力信号から第1及び第2の焦点検出画素(画素S1、S2)の出力信号をそれぞれ減算して、第1及び第2の焦点検出信号S1’、S2’を得る。
次に焦点検出部108は、ステップS4において、焦点検出信号S1’、S2’の周知の相関演算を行うことにより、レンズ101のデフォーカス量を検出する。また、レンズ制御部102は、ステップS5において、焦点検出部108により検出されたデフォーカス量に基づいて、レンズ101のフォーカス駆動を行う。以上のステップにより、撮像装置100のAF制御は終了する。
次に、図2を参照して、本実施例における焦点検出画素(画素S1、S2)の構成について説明する。図2(a)は画素S1(第1の焦点検出画素)の断面図であり、図2(b)は画素S2(第2の焦点検出画素)の断面図である。図2(a)に示されるように、画素S1の最上部には、マイクロレンズ501が設けられている。502は、マイクロレンズ501を形成するための平面を構成するための平滑層である。また、503は、画素S1の光電変換領域の中心から一方に偏って(偏心して)配置された遮光部材(遮光層)である。504は光電変換素子である。
画素S2についても画素S1と同様、図2(b)に示されるように、マイクロレンズ601、平滑層602、遮光部材603(遮光層)、及び、光電変換素子604が設けられている。画素S2の構造が図2(a)に示される画素S1の構造と異なる点は、遮光部材603が、遮光部材503に対して、光軸中心を挟み対称の位置に設けられている点である。画素S1、S2では、各々の遮光部材503、603により光束が制限される。
次に、図5(a)を参照して、デフォーカス状態における撮像装置100における各信号の出力について説明する。被写体は、図5(a)の上部における3本の白い縦線で示されている。画素S1、S2近傍の撮像画素(近傍通常画素)の出力は、デフォーカス状態にあるため、3本の像が各々ぼけて広がっている。このとき、画素S1、S2の出力(S1光束、S2光束)は、それぞれ図5(a)の下部に示されるようになっている。
本実施例の遮光層(遮光部材503、603)は、特許文献2に示される遮光層を反転させた構造を有する。このため、焦点検出に必要な焦点検出信号S1’、S2’は、近傍通常画素の出力信号から画素S1、S2の出力信号を減算することにより得られる。すなわち、図4のフローチャートを用いて説明したAF信号抽出方法では、図5(a)中のS1光束反転とS2光束反転の両信号を求めたことになる。
また撮像装置100は、図3に示されるように、焦点検出画素群106(画素S1、S2)の出力信号のゲインを補正する画素ゲイン補正部110(ゲイン補正手段)を有する。このように、画素ゲイン補正部110は、焦点検出画素群106の出力信号の感度補正を行い、感度補正後の信号を画像信号として出力する。
次に、図6のフローチャートを参照して、画素ゲイン補正部110により実行されるゲイン補正について説明する。画素ゲイン補正部110は、まずステップS11において、焦点検出画素群106(画素S1、S2)の近傍の撮像画素から得られた画像信号(AF近傍画像信号)の平均値Aを求める。次に画素ゲイン補正部110は、ステップS12において、焦点検出画素群106(画素S1)の像信号(S1像信号)の平均値AS1を求める。同様に、ステップS13において、焦点検出画素群106(画素S2)の像信号(S2像信号)の平均値AS2を求める。
続いて画素ゲイン補正部110は、ステップS14において、画素S1の出力信号(S1像信号)をA倍してAS1で割ることにより、画素S1のゲイン補正を行って画像信号を得る。同様に、ステップS15において、画素S2の出力信号(S2像信号)をA倍してAS2で割ることにより、画素S2のゲイン補正を行って画像信号を得る。
従来のような焦点検出のための瞳を制限した撮像素子では、デフォーカス状態において、隣接する撮像画素の出力信号は、近傍通常画素信号に比較してシャープであり、異なる瞳の二つの像信号は互いに位相が異なっている。このため、テレビ受像機の電波ゴーストのような画像になってしまう。一方、本実施例では、瞳の部分(面積が比較的小さい部分)を遮光して出力信号を反転させる。このため、本実施例における焦点検出画素は、撮像画素により得られる信号の大部分を得ることができる。したがって、図5(a)に示されるS1光束及びS2光束(第1及び第2の焦点検出画素の出力信号)は近傍通常画素信号に類似し、ゴーストの発生を抑制することができる。また、本実施例によれば、画素補間を行う場合に比べて、モアレの発生を抑制することができる。
図5(b)は、フォーカス状態における撮像装置100の各信号の出力を示したものである。フォーカス状態においては、第1及び第2の焦点検出画素(画素S1、S2)は、近傍通常画素により得られる信号の大部分を得ることができる。このため、第1及び第2の焦点検出用画素の出力(S1光束、S2光束)において、S/N比を向上させることができる。
撮像装置100は、図3に示されるように、撮像画素群105から出力される像信号にガンマ補正、ホワイトバランス調整、リサンプリング、及び、所定の画像圧縮符号化を行う画像処理部111を有する。また撮像装置100は、画像処理部111から出力された画像データを表示する表示部112、及び、この画像データを記録する記録部113を有する。さらに撮像装置100は、操作者の操作入力を受け付ける操作部114、及び、撮像装置100の全体を制御するカメラ制御部115を有する。なお、撮像装置100において、焦点検出部108やAF信号抽出部109等の各信号制御部は、例えば一つ又は複数の半導体素子からなる信号処理装置として構成することもできる。
本実施例の撮像装置によれば、焦点検出画素に設けられる遮光部材の面積が小さいため、焦点検出画素の周辺の感度むらやフレアを抑制することができる。また、焦点検出画素は、近傍の撮像画素により得られる信号の大部分を得ることができる。このため、焦点検出画素の出力信号のゲイン補正を行うことにより、焦点検出画素の出力信号を画像信号として用いることが可能である。その結果、高周波の被写体の場合でもモアレの発生が抑制される。
以上、本発明の実施例について具体的に説明した。ただし、本発明は上記実施例として記載された事項に限定されるものではなく、本発明の技術思想を逸脱しない範囲内で適宜変更が可能である。
100 撮像装置
104 撮像素子
105 撮像画素群
106 焦点検出画素群
108 焦点検出部
109 AF信号抽出部
503、603 遮光部材

Claims (4)

  1. 撮像光学系からの光束により形成された像を光電変換する第1及び第2の撮像画素と、該撮像光学系からの光束のうち分割された光束を遮光する遮光部材を設けた第1及び第2の焦点検出画素とを有する撮像素子と、
    前記第1及び第2の撮像画素の出力信号から前記第1及び第2の焦点検出画素の出力信号をそれぞれ減算して第1及び第2の焦点検出信号を得る信号抽出手段と、
    前記第1及び前記第2の焦点検出信号の相関演算を行うことにより前記撮像光学系のデフォーカス量を検出する焦点検出手段と、を有することを特徴とする撮像装置。
  2. 前記第1及び前記第2の焦点検出画素の出力信号のゲインを補正するゲイン補正手段を更に有し、
    前記ゲイン補正手段は、前記第1及び第2の撮像画素の出力信号の平均値である第1の値と、複数の前記第1の焦点検出画素の出力信号の平均値である第2の値と、複数の前記第2の焦点検出画素の出力信号の平均値である第3の値と、を求め、
    前記第1の値、前記第2の値、および前記第3の値に基づいて、前記第1及び前記第2の焦点検出画素の出力信号のゲインを補正して画像信号を得ることを特徴とする請求項1記載の撮像装置。
  3. 前記遮光部材の面積は、前記第1及び第2の撮像画素のそれぞれの面積の1/2未満であることを特徴とする請求項1又は2記載の撮像装置。
  4. 撮像光学系からの光束により形成された像を光電変換する第1及び第2の撮像画素と、該撮像光学系からの光束のうち分割された光束を遮光する遮光部材を設けた第1及び第2の焦点検出画素とを有する撮像素子を備えた撮像装置に用いられる信号処理装置であって、
    前記第1及び第2の撮像画素の出力信号から前記第1及び第2の焦点検出画素の出力信号をそれぞれ減算して第1及び第2の焦点検出信号を得る信号抽出手段と、
    前記第1及び前記第2の焦点検出信号の相関演算を行うことにより前記撮像光学系のデフォーカス量を検出する焦点検出手段と、を有することを特徴とする信号処理装置。
JP2009120495A 2009-05-19 2009-05-19 撮像装置及び信号処理装置 Expired - Fee Related JP5398346B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009120495A JP5398346B2 (ja) 2009-05-19 2009-05-19 撮像装置及び信号処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009120495A JP5398346B2 (ja) 2009-05-19 2009-05-19 撮像装置及び信号処理装置

Publications (2)

Publication Number Publication Date
JP2010272903A JP2010272903A (ja) 2010-12-02
JP5398346B2 true JP5398346B2 (ja) 2014-01-29

Family

ID=43420619

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009120495A Expired - Fee Related JP5398346B2 (ja) 2009-05-19 2009-05-19 撮像装置及び信号処理装置

Country Status (1)

Country Link
JP (1) JP5398346B2 (ja)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8487759B2 (en) 2009-09-30 2013-07-16 Apple Inc. Self adapting haptic device
US10120446B2 (en) 2010-11-19 2018-11-06 Apple Inc. Haptic input device
JP5907668B2 (ja) * 2011-04-27 2016-04-26 オリンパス株式会社 撮像装置及び撮像素子
JP5852371B2 (ja) * 2011-09-01 2016-02-03 キヤノン株式会社 撮像装置及びその制御方法
KR20130104756A (ko) * 2012-03-15 2013-09-25 삼성전자주식회사 영상 촬영 장치 및 이에 포함된 이미지 센서
KR20130134293A (ko) 2012-05-30 2013-12-10 삼성전자주식회사 이미지 센서, 이의 동작 방법, 및 이를 포함하는 시스템
WO2015047364A1 (en) 2013-09-29 2015-04-02 Pearl Capital Developments Llc Devices and methods for creating haptic effects
CN105683865B (zh) 2013-09-30 2018-11-09 苹果公司 用于触觉响应的磁性致动器
US9317118B2 (en) 2013-10-22 2016-04-19 Apple Inc. Touch surface for simulating materials
CN105814510B (zh) 2013-12-10 2019-06-07 苹果公司 具有触觉响应的带体附接机构
WO2015163842A1 (en) 2014-04-21 2015-10-29 Yknots Industries Llc Apportionment of forces for multi-touch input devices of electronic devices
JP6442261B2 (ja) * 2014-06-05 2018-12-19 キヤノン株式会社 撮像素子及び撮像装置、及びその制御方法
EP3195088A2 (en) 2014-09-02 2017-07-26 Apple Inc. Haptic notifications
JP6518071B2 (ja) * 2015-01-26 2019-05-22 キヤノン株式会社 固体撮像装置およびカメラ
US10353467B2 (en) 2015-03-06 2019-07-16 Apple Inc. Calibration of haptic devices
AU2016100399B4 (en) 2015-04-17 2017-02-02 Apple Inc. Contracting and elongating materials for providing input and output for an electronic device
CN107925333B (zh) 2015-09-08 2020-10-23 苹果公司 用于在电子设备中使用的线性致动器
US10039080B2 (en) 2016-03-04 2018-07-31 Apple Inc. Situationally-aware alerts
US10268272B2 (en) 2016-03-31 2019-04-23 Apple Inc. Dampening mechanical modes of a haptic actuator using a delay
US10622538B2 (en) 2017-07-18 2020-04-14 Apple Inc. Techniques for providing a haptic output and sensing a haptic input using a piezoelectric body
US10691211B2 (en) 2018-09-28 2020-06-23 Apple Inc. Button providing force sensing and/or haptic output
US10599223B1 (en) 2018-09-28 2020-03-24 Apple Inc. Button providing force sensing and/or haptic output
US11380470B2 (en) 2019-09-24 2022-07-05 Apple Inc. Methods to control force in reluctance actuators based on flux related parameters
US11977683B2 (en) 2021-03-12 2024-05-07 Apple Inc. Modular systems configured to provide localized haptic feedback using inertial actuators
US11809631B2 (en) 2021-09-21 2023-11-07 Apple Inc. Reluctance haptic engine for an electronic device

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4797606B2 (ja) * 2005-12-01 2011-10-19 株式会社ニコン 撮像装置
JP2008134413A (ja) * 2006-11-28 2008-06-12 Sony Corp 撮像装置

Also Published As

Publication number Publication date
JP2010272903A (ja) 2010-12-02

Similar Documents

Publication Publication Date Title
JP5398346B2 (ja) 撮像装置及び信号処理装置
JP5490313B2 (ja) カラー撮像素子、撮像装置、及び撮像装置の制御プログラム
JP5493010B2 (ja) 撮像装置及びその合焦位置検出方法
JP5361535B2 (ja) 撮像装置
JP5547338B2 (ja) カラー撮像素子、撮像装置、及び撮像プログラム
JP6249825B2 (ja) 撮像装置、その制御方法、および制御プログラム
JP5490312B2 (ja) カラー撮像素子、撮像装置、及び撮像装置の制御プログラム
JP5539584B2 (ja) カラー撮像素子、撮像装置、及び撮像プログラム
JP5680797B2 (ja) 撮像装置、画像処理装置、及び画像処理方法
JP5539585B2 (ja) カラー撮像素子、撮像装置、及び撮像プログラム
JP2018196083A (ja) 画像処理装置
WO2012073727A1 (ja) 撮像装置及びその合焦位置検出方法
WO2013069445A1 (ja) 立体撮像装置及び画像処理方法
US10362214B2 (en) Control apparatus, image capturing apparatus, control method, and non-transitory computer-readable storage medium
JP2009044637A (ja) 撮像装置
JP5539583B2 (ja) カラー撮像素子、撮像装置、及び撮像プログラム
JP5634614B2 (ja) 撮像素子及び撮像装置
JP6364259B2 (ja) 撮像装置、画像処理方法、及び画像処理プログラム
JP7250428B2 (ja) 撮像装置およびその制御方法
JP5896603B2 (ja) 撮像装置及び画像処理装置
JP6741549B2 (ja) 撮像装置及びその制御方法
JP2019061035A (ja) 撮像装置及び撮像方法
WO2022149353A1 (ja) 受光素子、撮像装置及び補正処理方法
JP2015161727A (ja) 撮像素子および撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120510

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130425

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130507

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130708

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130924

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131022

R151 Written notification of patent or utility model registration

Ref document number: 5398346

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees