JP5932363B2 - 撮像装置およびその制御方法 - Google Patents
撮像装置およびその制御方法 Download PDFInfo
- Publication number
- JP5932363B2 JP5932363B2 JP2012013868A JP2012013868A JP5932363B2 JP 5932363 B2 JP5932363 B2 JP 5932363B2 JP 2012013868 A JP2012013868 A JP 2012013868A JP 2012013868 A JP2012013868 A JP 2012013868A JP 5932363 B2 JP5932363 B2 JP 5932363B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- phase difference
- viewpoint
- image
- subject
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/221—Image signal generators using stereoscopic image cameras using a single 2D image sensor using the relative movement between cameras and objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/296—Synchronisation thereof; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
- H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Studio Devices (AREA)
- Focusing (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Automatic Focus Adjustment (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Description
一方、撮像素子から取り込んだ画像データに従ってリアルタイムで表示し(いわゆるライブビュー)、ユーザが構図を確認しつつ静止画像の撮影が可能なデジタルカメラが普及している。ライブビュー中のオートフォーカス(以下、AFとも記す)制御として、特許文献3では、ライブビュー中にユーザが指定した被写体を自動で追尾しながら、連続的にAF制御を行う方法が開示されている。
図10は左目用画像および右目用画像について、視差のない場合を上段に示し、視差がある場合を下段に示す模式図であり、被写体を三角形で示している。視差がない場合、左目用画像と右目用画像における被写体像の位置は一致する。しかし、視差がある場合、左目用画像と右目用画像における被写体像の位置は一致しない。特に、被写体がカメラの光軸方向に沿って移動した場合、左目用画像と右目用画像とで被写体像の位置は、矢印に例示するようにそれぞれ逆方向に移動することになる。被写体を追尾しながら連続的にAF動作を行う場合、実際の被写体位置からずれた位置でAF制御が行われてしまう可能性がある。
そこで、本発明の目的は、左目用画像データと右目用画像データを取得するとともに、被写体を追尾しつつ連続的にAF制御を行うことである。
図1は、本発明の第1実施形態に係る撮像装置の概略構成図である。本実施形態の撮像装置は、例えば、デジタルカメラである。装置本体100はレンズ部を備えるか、または着脱可能なレンズ装置が取り付けられる。
CPU(Central Processing Unit)109は撮像装置全体を制御する。電源110は、装置本体100内の各回路に電源を供給する。カードスロット120には、着脱可能な記録媒体であるメモリカード121を差し込むことができる。メモリカード121をカードスロット120に差し込んだ状態で、メモリカード121はカード入出力部119と電気的に接続される。なお、本実施形態では記録媒体としてメモリカード121を採用しているが、その他の記録媒体、例えば、ハードディスク、光ディスク、光磁気ディスク、磁気ディスク、その他の固体メモリを採用してもよい。
ユーザがメインスイッチ116をオンにすると、CPU109は所定のプログラムを実行する。またメインスイッチ116をオフにすると、CPU109が所定のプログラムを実行し、カメラをスタンバイモードに設定する。レリーズボタンの操作によって、第1スイッチ117は第1ストローク(半押し状態)でオン状態になり、第2スイッチ118はレリーズボタンの第2ストローク(全押し状態)でオン状態となる。第1スイッチ117がオン状態となった場合、CPU109は撮影準備処理(焦点検出処理等)を実行する。第2スイッチ118がオン状態となった場合、CPU109は撮影開始を検知し、撮影動作を実行する。以下、第1スイッチ117をSW1と表記し、第2スイッチ118をSW2と表記する。
図7のS100で処理を開始すると、次のS101に進み、レリーズボタンの操作によるSW2のオン・オフ状態が判定される。SW2がオン状態の場合、S102へ進み、SW2がオフ状態の場合、S110へ進む。S102でCPU109は第1PD選択合成部106のモードを静止画モードに設定し、S103へ処理を進める。S103では現時点での撮像パラメータで撮影動作が開始し、フレームメモリ108上に全PD−RAWデータが取得され、S104へ進む。S104において、フレームメモリ108上の全PD−RAWデータに対して、RAW画像用の現像パラメータを用いて現像処理部112が現像を行い、現像後の画像データがRAM113に配置される。次のS105にて第2PD選択合成部151のモードが右目選択合成モードに設定され、S106へ進む。S106にて、フレームメモリ108上の全PD−RAWデータが第2PD選択合成部151へ入力され、RAM113へ右目用のRAWデータが出力される。さらに、RAM113上の右目用のRAWデータに対して、JPEG画像用の現像パラメータを用いて現像処理部112が現像を行い、現像後の画像データがRAM113へ配置されて、S107へ進む。
S200で動き検出処理が開始すると、次のS201でCPU109は動き検出モードがONになっているか否かを判定する。判定の結果、動き検出モードがOFFの場合、S202に進み、被写体位置の指定があるか否かについて判定される。被写体位置の指定では、上下左右選択ボタン141と設定ボタン142を用いたユーザの操作入力をCPU109が判定する。被写体位置の指定がない場合、S203に進み、動き検出処理を終了する。一方、S202において、被写体位置の指定ありと判定された場合、S204に進む。
(xL,yL)=(xT+Δx/2,yT)
この座標データはメモリに保存されて、S206に進む。
(xL,yL)=(xL+Δu,yL+Δv)
(xT,yT)=(xL+Δx/2,yL)
この座標データはメモリに保存され、S214に進む。S214でCPU109は位相差の有無を判定する。ここで、位相差の判定については、Δxがゼロであるか否かにより行ってもよいし、またΔxが所定の閾値を超えた場合に位相差ありと判定してもよい。または、Δxのデータを複数のフレーム分に亘って保持しておき、複数のΔxの結果から位相差の有無を判定してもよい。S214にて位相差ありと判定された場合、S207に進み、また位相差なしと判定された場合、S203に進む。
第1実施形態によれば、ライブビューにおいてステレオ表示をする際に、動き検出を行いつつ連続的なAF動作を実現できる。
次に本発明の第2実施形態を説明する。なお、第1実施形態で説明した、図1に示す各部については説明を省略し、以下では、第1実施形態との相違点を説明する。
撮像装置200は、バス150に接続したコントラスト評価値取得部181を備える。コントラスト評価値取得部181は、RAM113上の左目用画像データまたは右目用画像データを読み込み、CPU109が指定した画像上のエリア内におけるコントラスト評価値を算出する。コントラスト評価値は、画像出力の最大値と最小値との比より算出され、合焦近傍の画像に対して評価値が高くなるという特徴がある。
S300において動き検出処理が開始し、S301に進む。S301からS306の処理は、図8に示すS201からS206の処理と同様であるため、それらの説明を省略する。
S307でCPU109は、コントラスト評価値取得部181に対して、左目用画像での被写体中心座標(xL,yL)を中心とした矩形エリアを指定する。次に、コントラスト評価値取得部181は、左目用画像上に指定された矩形エリアにおける、被写体像のコントラスト評価値を算出してメモリに保存し、S308に進む。S308でCPU109は、S305で求めた位相差Δxを用いて合焦位置までのレンズ駆動量を算出し、駆動部163のレンズ駆動部にフォーカスレンズ102の駆動を指示する。そしてS303に進み、動き検出処理を終了する。
S313でCPU109は、コントラスト評価値取得部181に対して、左目用画像での被写体中心座標(xL,yL)を中心とした矩形エリアを指定する。次に、コントラスト評価値取得部181は、左目用画像上に指定された矩形エリアにおける、被写体像のコントラスト評価値を算出してS314に進む。S314でCPU109は、S313で求めたコントラスト評価値を、過去に保存しておいたコントラスト評価値と比較する。過去のコントラスト評価値に比べて、現時点でのコントラスト評価値が低下した場合、S315に進む。S315でCPU109は、位相差検出部162に対して、検出ラインの端点(xL−a,yL)および(xL+a,yL)を指定する。位相差検出部162は、左目用画像と右目用画像における指定されたライン位置でのデータを比較し、位相差Δxを算出してS316に進む。S316でCPU109は、S313で取得したコントラスト評価値をメモリに保存し、過去に取得したコントラスト評価値を現在の値で上書きすることにより更新する。そして、S318に進む。
105 撮像素子
106 第1PD選択合成部
109 CPU
151 第2PD選択合成部
161 動き検出部
162 位相差検出部
181 コントラスト評価値取得部
401 マイクロレンズ
402a〜i フォトダイオード
601 特徴量算出部
602 特徴量比較部
Claims (9)
- 1つのマイクロレンズに対して撮像光学系を通過した光束を受光して光電変換する光電変換部を複数有し、第1の視点の画像データと第2の視点の画像データとを出力可能である撮像素子を備える撮像装置であって、
前記第1の視点の画像データまたは前記第2の視点の画像データから被写体の動きを検出する動き検出手段と、
前記第1の視点の画像データと前記第2の視点の画像データとから第1の視点の画像と第2の視点の画像との位相差に対応する情報を取得する位相差検出手段と、
前記位相差検出手段によって検出される位相差に基づいて焦点調節制御を行う制御手段と、を備え、
前記位相差検出手段は、前記第1及び第2の視点の画像データの、前記動き検出手段で検出された動きに基づいて決定される各々の領域の画像を比較することで、前記位相差に対応する情報を取得することを特徴とする撮像装置。 - 前記制御手段は、前記動き検出手段によって被写体の動きが検出され、かつ前記位相差が第1の場合に焦点調節制御を行い、 前記動き検出手段が被写体の動きを検出しても、前記位相差が第1の場合よりも小さい第2の場合には、焦点調節制御を行わないことを特徴とする請求項1に記載の撮像装置。
- 前記撮像素子により取得した画像データを表示する表示手段を有することを特徴とする請求項1または2に記載の撮像装置。
- 前記動き検出手段は被写体の動きを検出する場合、所定の被写体像の画角における移動量を検出することによって行うことを特徴とする請求項1乃至3のいずれか1項に記載の撮像装置。
- 前記制御手段は、前記第1の視点の画像データと前記第2の視点の画像データとから立体表示を行うことを特徴とする請求項1乃至4のいずれか1項に記載の撮像装置。
- 前記第1の視点の画像データまたは前記第2の視点の画像データからコントラスト評価値を取得するコントラスト評価値取得手段をさらに備え、
前記コントラスト評価値取得手段により取得した前記コントラスト評価値が、保存しておいたコントラスト評価値に比べて低下した場合、前記位相差検出手段によって前記位相差の検出が行われることを特徴とする請求項1乃至5のいずれか1項に記載の撮像装置。 - 前記制御手段は、前記位相差検出手段に対して前記第1の視点の画像データおよび前記第2の視点の画像データに対する検出ラインを指定し、
前記位相差検出手段は、指定された検出ラインの位置にて画像データを比較して位相差を検出し、
前記制御手段は、検出された前記位相差から被写体位置を算出することを特徴とする請求項1乃至6のいずれか1項に記載の撮像装置。 - 前記制御手段は、前記動き検出手段によって検出された被写体の移動量が閾値以下である場合、前記移動量から第1の視点の画像または第2の視点の画像における被写体位置の中心座標を算出し、該中心座標での被写体特徴量の算出を前記動き検出手段に指示することを特徴とする請求項1乃至7のいずれか1項に記載の撮像装置。
- 1つのマイクロレンズに対して撮像光学系を通過した光束を受光して光電変換する光電変換部を複数有し、第1の視点の画像データと第2の視点の画像データとを出力可能である撮像素子を備える撮像装置の制御方法であって、
前記第1の視点の画像データまたは前記第2の視点の画像データから被写体の動きを検出する動き検出ステップと、
前記第1の視点の画像データと前記第2の視点の画像データとから第1の視点の画像と第2の視点の画像との位相差に対応する情報を取得する位相差検出ステップと、
前記位相差検出ステップにて検出される位相差に基づいて焦点調節制御を行う制御ステップと、を有し、
前記位相差検出ステップでは、前記第1及び第2の視点の画像データの、前記動き検出ステップで検出された動きに基づいて決定される各々の領域の画像を比較することで、前記位相差に対応する情報を取得することを特徴とする撮像装置の制御方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012013868A JP5932363B2 (ja) | 2012-01-26 | 2012-01-26 | 撮像装置およびその制御方法 |
US13/744,069 US9693037B2 (en) | 2012-01-26 | 2013-01-17 | Imaging apparatus having an imaging element in which a plurality of light receiving elements is arranged with respect to a micro lens and method for controlling same |
CN201310033033.1A CN103227899B (zh) | 2012-01-26 | 2013-01-28 | 摄像设备及其控制方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012013868A JP5932363B2 (ja) | 2012-01-26 | 2012-01-26 | 撮像装置およびその制御方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013152388A JP2013152388A (ja) | 2013-08-08 |
JP5932363B2 true JP5932363B2 (ja) | 2016-06-08 |
Family
ID=48838142
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012013868A Expired - Fee Related JP5932363B2 (ja) | 2012-01-26 | 2012-01-26 | 撮像装置およびその制御方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US9693037B2 (ja) |
JP (1) | JP5932363B2 (ja) |
CN (1) | CN103227899B (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9451152B2 (en) | 2013-03-14 | 2016-09-20 | Apple Inc. | Image sensor with in-pixel depth sensing |
KR102286109B1 (ko) | 2014-08-05 | 2021-08-04 | 삼성전자주식회사 | 이미지 픽셀, 이를 포함하는 이미지 센서, 및 이를 포함하는 이미지 처리 시스템 |
KR102477757B1 (ko) | 2015-12-16 | 2022-12-14 | 에스케이하이닉스 주식회사 | 자동 초점 시스템 및 방법 |
CN106937040B (zh) * | 2017-04-28 | 2020-04-28 | 深圳东方红鹰科技有限公司 | 探测相机及其菜单设置方法 |
Family Cites Families (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4410804A (en) | 1981-07-13 | 1983-10-18 | Honeywell Inc. | Two dimensional image panel with range measurement capability |
JPH01202985A (ja) | 1988-02-09 | 1989-08-15 | Sony Corp | ステレオカメラ |
US5864359A (en) | 1995-05-30 | 1999-01-26 | Smith & Nephew, Inc. | Stereoscopic autofocusing based on comparing the left and right eye images |
JP2000258682A (ja) | 1999-03-08 | 2000-09-22 | Olympus Optical Co Ltd | 自動焦点調節装置 |
KR100434876B1 (ko) * | 2002-03-23 | 2004-06-07 | (주)맥스소프트 | 스테레오 물체 추적 방법 및 시스템 |
US6895181B2 (en) * | 2002-08-27 | 2005-05-17 | Olympus Corporation | Camera and distance measuring method thereof |
US7792420B2 (en) * | 2006-03-01 | 2010-09-07 | Nikon Corporation | Focus adjustment device, imaging device and focus adjustment method |
JP4853707B2 (ja) | 2006-07-21 | 2012-01-11 | カシオ計算機株式会社 | 撮像装置及びそのプログラム |
US8189100B2 (en) | 2006-07-25 | 2012-05-29 | Qualcomm Incorporated | Mobile device with dual digital camera sensors and methods of using the same |
JP2008172441A (ja) * | 2007-01-10 | 2008-07-24 | Omron Corp | 検出装置および方法、並びに、プログラム |
JP5034556B2 (ja) * | 2007-02-27 | 2012-09-26 | 株式会社ニコン | 焦点検出装置および撮像装置 |
JP5224124B2 (ja) * | 2007-12-12 | 2013-07-03 | ソニー株式会社 | 撮像装置 |
JP5322593B2 (ja) * | 2008-11-10 | 2013-10-23 | キヤノン株式会社 | 焦点調節装置及び方法 |
JP2010134291A (ja) * | 2008-12-05 | 2010-06-17 | Fujifilm Corp | 撮像装置及びその制御方法 |
JP5233720B2 (ja) * | 2009-02-12 | 2013-07-10 | ソニー株式会社 | 撮像装置、撮像装置の制御方法およびプログラム |
JP5430266B2 (ja) * | 2009-07-21 | 2014-02-26 | 富士フイルム株式会社 | 画像表示装置および方法並びにプログラム |
JP5425554B2 (ja) | 2009-07-27 | 2014-02-26 | 富士フイルム株式会社 | 立体撮像装置及び立体撮像方法 |
CN101702076B (zh) | 2009-10-30 | 2012-08-22 | 深圳市掌网立体时代视讯技术有限公司 | 一种立体拍摄自动会聚跟踪方法及系统 |
JP5368350B2 (ja) * | 2010-03-18 | 2013-12-18 | 富士フイルム株式会社 | 立体撮像装置 |
JP2011217103A (ja) * | 2010-03-31 | 2011-10-27 | Fujifilm Corp | 複眼撮影方法および装置 |
JP5633181B2 (ja) * | 2010-05-07 | 2014-12-03 | 株式会社ニコン | デプスマップ出力装置 |
JP2012008370A (ja) * | 2010-06-25 | 2012-01-12 | Nikon Corp | 撮像装置および交換レンズ |
JP5704885B2 (ja) * | 2010-10-25 | 2015-04-22 | オリンパスイメージング株式会社 | 撮影機器、撮影方法及び撮影制御プログラム |
-
2012
- 2012-01-26 JP JP2012013868A patent/JP5932363B2/ja not_active Expired - Fee Related
-
2013
- 2013-01-17 US US13/744,069 patent/US9693037B2/en active Active
- 2013-01-28 CN CN201310033033.1A patent/CN103227899B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN103227899A (zh) | 2013-07-31 |
US20130194393A1 (en) | 2013-08-01 |
US9693037B2 (en) | 2017-06-27 |
JP2013152388A (ja) | 2013-08-08 |
CN103227899B (zh) | 2016-09-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8885026B2 (en) | Imaging device and imaging method | |
EP2391119B1 (en) | 3d-image capturing device | |
US8823778B2 (en) | Imaging device and imaging method | |
US20110234861A1 (en) | Imaging device | |
US20130182082A1 (en) | Stereoscopic imaging device and stereoscopic imaging method | |
JP2013218297A (ja) | 焦点調節装置および焦点調節方法 | |
US8902294B2 (en) | Image capturing device and image capturing method | |
US9124875B2 (en) | Stereoscopic imaging apparatus | |
JP5932363B2 (ja) | 撮像装置およびその制御方法 | |
JP5611469B2 (ja) | 立体撮像装置および方法 | |
US9106900B2 (en) | Stereoscopic imaging device and stereoscopic imaging method | |
JP5871535B2 (ja) | 撮像装置及び撮像装置の制御方法 | |
JP2010204385A (ja) | 立体撮像装置および立体撮像方法 | |
JP2012124650A (ja) | 撮像装置および撮像方法 | |
JP6071748B2 (ja) | 撮像装置およびその制御方法 | |
JP6289515B2 (ja) | 撮像装置及び撮像装置の制御方法 | |
JP7079161B2 (ja) | 撮像装置及びその制御方法 | |
JP2014090318A (ja) | 撮像装置およびその制御方法 | |
JP2014222268A (ja) | 撮像装置および撮像装置の制御方法 | |
JP2014102400A (ja) | 撮像装置および撮像装置の制御方法 | |
JP2021057825A (ja) | 信号処理装置及び方法、及び撮像装置 | |
JP2013207678A (ja) | 撮像装置およびその制御方法 | |
JP2014146962A (ja) | 撮像装置およびその制御方法 | |
JP2014095874A (ja) | 撮像装置および撮像装置の制御方法 | |
JP2015052662A (ja) | 撮像装置および撮像装置の制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150114 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20151111 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20151117 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160118 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160405 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160428 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5932363 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |