JP6341691B2 - 像振れ補正装置およびその制御方法、光学機器、撮像装置 - Google Patents
像振れ補正装置およびその制御方法、光学機器、撮像装置 Download PDFInfo
- Publication number
- JP6341691B2 JP6341691B2 JP2014035458A JP2014035458A JP6341691B2 JP 6341691 B2 JP6341691 B2 JP 6341691B2 JP 2014035458 A JP2014035458 A JP 2014035458A JP 2014035458 A JP2014035458 A JP 2014035458A JP 6341691 B2 JP6341691 B2 JP 6341691B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- angular velocity
- frame
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Adjustment Of Camera Lenses (AREA)
- Studio Devices (AREA)
Description
本発明の目的は、被写体に係る角速度の検出精度を高めることである。
図1は本発明の第1実施形態に係る撮像装置の構成例を示す図であり、流し撮りアシスト機能を搭載したミラーレスカメラの構成を例示する。図1の交換レンズ100は、カメラ本体部120に装着可能な光学機器である。交換レンズ100は、主撮影光学系102と、焦点距離を変更可能なズームレンズ群103から成る撮影レンズユニット101を備える。ズームエンコーダ104はズームレンズ群103の位置を検出し、検出信号をレンズシステム制御用マイクロコンピュータ(以下、レンズ制御部という)105に出力する。ズームエンコーダ104の検出信号により、撮影レンズユニット101の焦点距離を得ることができる。またレンズ制御部105は不図示の絞り制御等を行う。マウント接点部106はカメラ本体部120との接続部である。
第1検出手段である角速度センサ141は、カメラ本体部120の振れを検出し、振れ検出信号をアンプ142に出力する。アンプ142は、振れ検出信号を増幅してカメラ制御部132に出力する。第2ドライバ143はカメラ制御部132からの制御信号にしたがって、カメラの手ブレ等を補正するために撮像素子122を光軸に対して垂直方向に駆動する。位置センサ144は、第2ドライバ143により駆動される撮像素子122の位置を検出し、検出信号をカメラ制御部132に出力する。メモリカード171は、撮影された画像のデータを記録する記録媒体である。表示部172は、ユーザがカメラで撮影しようとしている画像をモニタし、また撮影した画像を表示する液晶パネル(LCD)等の表示デバイスを備える。カメラ本体部120は、交換レンズ100とのマウント接点部161を備える。レンズ制御部105とカメラ制御部132は、マウント接点部106および161を介して所定のタイミングでシリアル通信を行う。
図5の通信制御部151は、カメラ本体部120に装着された交換レンズ100との情報交換のためにシリアル通信を行い、焦点距離情報取得部511は交換レンズ100の光学情報の中から焦点距離情報を取得する。カメラパラメータ設定部152は、操作部131からの操作情報や、被写体の明るさ等の情報、さらにその他のカメラ制御情報を取得する。これらの情報に基づいて、ライブビュー中の画像を表示部172へ出力するためのカメラ設定として、第1設定部521がシャッタ速度を設定し、露光時間が決定される。また、第2設定部522がフレームレートを設定する。
主被写体ベクトル選択部(以下、単にベクトル選択部という)523は、角速度センサ141の出力から取得した角速度データに対して焦点距離情報を用いて撮像面上の移動量に換算した値と、動きベクトル検出部150の出力値から主被写体のベクトルを選択する。撮影者が流し撮りを行う場合、動きベクトル検出部150から出力される被写体の動きベクトルは、撮影者が撮影しようとしている主被写体に対応したベクトルと、流れている背景に対応したベクトルの2種類となる。背景に対応したベクトルは、角速度データから換算した撮像面上の移動量とほぼ等しくなり、また主被写体の動きベクトルは、背景のベクトルに対して動き量が小さくなる。このことから、主被写体の動きベクトル(主被写体像の領域の移動量)を特定できる。ベクトル選択部523は処理に使用するデータとして、カメラパラメータ設定部152からのフレームレートのデータ、および焦点距離情報取得部511からの焦点距離のデータを取得する。
S201は、操作部131により流し撮りアシストモードが設定されているか否かの判定処理である。操作情報の取得部531は、操作部131により流し撮りアシストモードが選択されたかどうかの情報を取得して確認する。S201で流し撮りアシストモードが設定されていると判断された場合、S202に処理を進めるが、流し撮りアシストモードが設定されていないと判断された場合にはS212に移行する。
以上のように、流し撮りアシストモードの判定結果、または流し撮り判定結果に応じて、流し撮りアシスト動作と通常防振動作との切り替え処理が行われる。
図3のS301では、タイマのスタートフラグの状態について判定処理が行われる。角速度データを取得するためのタイマが動作中であるか否かについて判定が行われ、タイマが動作していない場合、S303へと進む。また、タイマが動作中である場合、S302に移行する。
先ず、割り込み処理が開始すると、S401で撮像素子122のリセットパルスの割り込みかどうかが判定される。リセットパルスの割り込みの場合、不図示のセンサ蓄積リセットが行われ、S402に処理を進める。また、リセットパルスの割り込みでない場合、S404に移行する。S402では、流し撮りアシストモード中にセットされるタイマのスタートフラグがセットされているかどうかについて判定される。スタートフラグがセットされていない場合、何もせずにリターン処理となる。また、S402でスタートフラグがセットされている場合、S403に処理を進める。S403では、撮像素子122のリセットと同じタイミングで、図3のS305で設定した値に基づきタイマのリセットおよびスタートが行われた後、リターン処理となる。
次に、本発明の第2実施形態を説明する。本実施形態では、撮影レンズ内の防振機構(像振れ補正部)を使用して流し撮りアシスト機能を実現する場合において、角速度データの取得タイミングの設定処理を示す。第1実施形態では、主被写体に係る角速度を算出するために、所定のタイミングでの角速度データを取得する方法を示した。本実施形態では、所定の範囲内の角速度データの平均値を求める方法を説明する。
図7は本実施形態に係る撮像装置の構成図である。なお、第1実施形態の場合の構成(図1参照)と同様の機能をもつ構成要素に対しては、既に使用した符号を用いることによって、それらの詳細な説明を省略し、主に相違点を説明する。このような説明の省略については、後述の実施形態でも同じである。
流し撮りアシスト制御部718において、カメラ情報取得部812は、通信制御部811がカメラ制御部732から受信したデータのうち、以下の情報を取得する。
・レリーズスイッチの半押し操作(S1のON)情報および全押し操作(S2のON)情報。
・フレームレートおよびシャッタ速度の各情報。
・カメラ本体部720内の撮像素子722のリセットパルスタイミングの情報。
・ズームエンコーダ104から得られる焦点距離情報。
・移動量取得部816から得られる、撮像面上の主被写体像の移動量情報。
・カメラ情報取得部812から得られるカメラのフレームレート情報。
・データ取得部814から得られる角速度情報(角速度データ)。
角速度算出部817が算出した、主被写体に係る角速度信号は加算器525への負入力となる。つまり加算器525は、正入力であるA/D変換器501の出力から主被写体の角速度信号を減算し、差分信号を第2積分器526に出力する。
S904では、S903で取得したフレームレートおよびシャッタ速度の各データから、角速度センサ141の平均値取得開始のタイミングが算出される。つまり、計算開始時点が算出され、次のS905にて、対応する時間データがレジスタに設定される。
まず、図10の割り込み処理が開始すると、S1001ではカメラ通信終了の割り込みかどうかが判定される。カメラ通信終了の割り込みの場合、S1002に進み、そうでない場合にはS1005に移行する。S1002は、今回の通信がリセットパルスの発生に関する通信かどうかの判定処理である。リセットパルスの発生に関する通信の場合、S1003に処理を進め、そうでない場合、S1005に移行する。
次に、本発明の第3実施形態を説明する。本実施形態では、前記実施形態に加え、さらに撮像面上の主被写体像の位置を把握し、角速度データの取得タイミングを主被写体の位置に合わせることで、より検出精度を高めることができる。
S1201では、タイマのスタートフラグの状態を確認する処理が行われ、角速度データの取得のためのタイマが動作中かどうかについて判定される。タイマが動作していない場合、S1203へと処理を進め、タイマが動作中である場合、S1202に進む。S1203では、動きベクトル情報から得られた、撮像面上の主被写体像の位置を取得する処理が実行される。S1205では、カメラパラメータ設定部152で設定された現在のフレームレートとシャッタ速度の各データが取得される。そしてS1206では、S1203で取得した撮像面上の主被写体像の位置、およびS1205で取得した情報に基づいて、角速度データの平均値算出の計算開始時間が算出される。この時間は、撮像素子への露光直前に発生するリセットパルスの時点から、撮像面上の主被写体像の中心位置での蓄積期間の中央に相当する時点までの時間として算出される。S1207にて、S1206で算出した時間により設定されるタイミングで、角速度データを取得できるようにタイマ割り込みの設定処理が行われる。そしてS1208でタイマのスタートフラグがセットされる。この設定により、タイマの動作が開始してから設定時間が経過した後に、タイマ割り込みが発生する。タイマのスタートは割り込み処理の中で実行される。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
122,722 撮像素子
132、732 カメラ制御部
141 角速度センサ
150 動きベクトル検出部
153、717 手ブレ補正制御部
154、718 流し撮りアシスト制御部
524、817 主被写体角速度算出部
541、813 タイミング設定部
542、814 データ取得部
704 シフトレンズ群
Claims (11)
- 振れを検出して像振れ補正部を用いて像振れを補正する像振れ補正装置であって、
装置の振れを検出する第1検出手段と、
複数のフレームの画像データから撮像面上の被写体像の移動量を検出する第2検出手段と、
露光時間、フレームレート、および焦点距離の情報を取得する第1取得手段と、
前記複数のフレームのうち、第1のフレームに対応する露光期間と第2のフレームに対応する露光期間との間に、前記第1検出手段により検出されるデータを取得するタイミングを設定する設定手段と、
前記設定手段により設定されたタイミングで、前記第1検出手段により検出されるデータを取得する第2取得手段と、
前記第2検出手段の出力と、前記第1取得手段からの焦点距離の情報、および前記第2取得手段が取得したデータを用いて、被写体の移動に係る角速度または角度もしくは位置の情報を算出する算出手段と、
前記算出手段の出力から前記像振れ補正部の駆動量を算出して像振れ補正の制御を行う制御手段と、を備え、
前記第2取得手段は、前記設定手段により設定されたタイミングにしたがって、前記第1のフレームに対応する露光期間と前記第2のフレームに対応する露光期間との間で、前記第1検出手段により検出される複数のデータから平均値を取得することを特徴とする像振れ補正装置。 - 撮像面上の被写体像の領域を検出する第3検出手段を更に有し、
前記設定手段は前記第3検出手段の出力を取得して前記第1検出手段により検出される前記データの取得タイミングを設定することを特徴とする請求項1に記載の像振れ補正装置。 - 前記第3検出手段は、前記第1検出手段の出力および前記第2検出手段の出力を用いて前記被写体像の領域を検出することを特徴する請求項2に記載の像振れ補正装置。
- 前記第3検出手段は、撮像面を分割した領域のうち、1つまたは複数の領域を被写体の検出領域として選択することを特徴とする請求項2または請求項3に記載の像振れ補正装置。
- 振れを検出して像振れ補正部を用いて像振れを補正する像振れ補正装置であって、
装置の振れを検出する第1検出手段と、
複数のフレームの画像データから撮像面上の被写体像の移動量を検出する第2検出手段と、
露光時間、フレームレート、および焦点距離の情報を取得する第1取得手段と、
前記複数のフレームのうち、第1のフレームに対応する露光期間と第2のフレームに対応する露光期間との間に、前記第1検出手段により検出されるデータを取得するタイミングを設定する設定手段と、
前記設定手段により設定されたタイミングで、前記第1検出手段により検出されるデータを取得する第2取得手段と、
前記第2検出手段の出力と、前記第1取得手段からの焦点距離の情報、および前記第2取得手段が取得したデータを用いて、被写体の移動に係る角速度または角度もしくは位置の情報を算出する算出手段と、
前記算出手段の出力から前記像振れ補正部の駆動量を算出して像振れ補正の制御を行う制御手段と、を備え、
前記設定手段は、前記第1のフレームに対応する露光期間の中心時刻と前記第2のフレームに対応する露光期間の中心時刻との間の中央に前記タイミングを設定し、
前記第2取得手段は、前記設定手段により設定された前記タイミングにしたがって、前記第1のフレームに対応する露光期間と前記第2のフレームに対応する露光期間との間で、前記第1検出手段により検出される1つのデータを取得することを特徴とする像振れ補正装置。 - 流し撮りモードの設定に用いる操作手段と、
パンニングまたはチルティングの動作中であるか否かを判定する判定手段を、備え、
前記流し撮りモードが設定され、かつ前記判定手段によりパンニングまたはチルティングの状態が判定された場合、前記算出手段により前記被写体の移動に係る角速度または角度もしくは位置の情報の算出が開始することを特徴とする請求項1ないし5のいずれか1項に記載の像振れ補正装置。 - 前記像振れ補正部は、光軸を変更することで像振れを光学的に補正する補正手段を有しており、
前記制御手段は、前記算出手段の出力にしたがって前記補正手段の駆動制御を行うことを特徴とする請求項1ないし6のいずれか1項に記載の像振れ補正装置。 - 請求項1ないし7のいずれか1項に記載の像振れ補正装置を備えることを特徴とする光学機器。
- 請求項1ないし7のいずれか1項に記載の像振れ補正装置を備えることを特徴とする撮像装置。
- 振れを検出して像振れ補正部を用いて像振れを補正する像振れ補正装置にて実行される制御方法であって、
第1検出手段により装置の振れを検出し、第2検出手段により複数のフレームの画像データから撮像面上の被写体像の移動量を検出するステップと、
第1取得手段により露光時間、フレームレート、および焦点距離の情報を取得するステップと、
前記複数のフレームのうち、第1のフレームに対応する露光期間と第2のフレームに対応する露光期間との間に、前記第1検出手段により検出されるデータを取得するタイミングを設定手段が設定するステップと、
前記設定手段により設定されたタイミングにしたがって、前記第1のフレームに対応する露光期間と前記第2のフレームに対応する露光期間との間で、前記第1検出手段により検出される複数のデータから平均値を第2取得手段が取得するステップと、
前記第2検出手段の出力と、前記第1取得手段からの焦点距離の情報、および前記第2取得手段が取得したデータを用いて、被写体の移動に係る角速度または角度もしくは位置の情報を算出手段が算出するステップと、
制御手段が前記算出手段の出力から前記像振れ補正部の駆動量を算出して像振れ補正の制御を行うステップと、を有することを特徴とする像振れ補正装置の制御方法。 - 振れを検出して像振れ補正部を用いて像振れを補正する像振れ補正装置にて実行される制御方法であって、
第1検出手段により装置の振れを検出し、第2検出手段により複数のフレームの画像データから撮像面上の被写体像の移動量を検出するステップと、
第1取得手段により露光時間、フレームレート、および焦点距離の情報を取得するステップと、
前記複数のフレームのうち、第1のフレームに対応する露光期間の中心時刻と第2のフレームに対応する露光期間の中心時刻との間の中央に前記第1検出手段により検出されるデータを取得するタイミングを設定手段が設定するステップと、
前記設定手段により設定された前記タイミングにしたがって、前記第1のフレームに対応する露光期間と前記第2のフレームに対応する露光期間との間で、前記第1検出手段により検出される1つのデータを第2取得手段が取得するステップと、
前記第2検出手段の出力と、前記第1取得手段からの焦点距離の情報、および前記第2取得手段が取得したデータを用いて、被写体の移動に係る角速度または角度もしくは位置の情報を算出手段が算出するステップと、
制御手段が前記算出手段の出力から前記像振れ補正部の駆動量を算出して像振れ補正の制御を行うステップと、を有することを特徴とする像振れ補正装置の制御方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014035458A JP6341691B2 (ja) | 2014-02-26 | 2014-02-26 | 像振れ補正装置およびその制御方法、光学機器、撮像装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014035458A JP6341691B2 (ja) | 2014-02-26 | 2014-02-26 | 像振れ補正装置およびその制御方法、光学機器、撮像装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015161730A JP2015161730A (ja) | 2015-09-07 |
JP6341691B2 true JP6341691B2 (ja) | 2018-06-13 |
Family
ID=54184879
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014035458A Active JP6341691B2 (ja) | 2014-02-26 | 2014-02-26 | 像振れ補正装置およびその制御方法、光学機器、撮像装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6341691B2 (ja) |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6600232B2 (ja) * | 2015-11-05 | 2019-10-30 | キヤノン株式会社 | 像ブレ補正装置及び方法 |
US10205885B2 (en) | 2016-01-26 | 2019-02-12 | Canon Kabushiki Kaisha | Image capturing apparatus for controlling shutter speed during panning shooting and method for controlling the same |
JP6674264B2 (ja) | 2016-01-26 | 2020-04-01 | キヤノン株式会社 | 像振れ検出装置及び方法、及び撮像装置 |
JP6700853B2 (ja) | 2016-02-26 | 2020-05-27 | キヤノン株式会社 | 撮像システムおよびその制御方法、撮像装置、レンズ装置 |
JP6700874B2 (ja) * | 2016-03-08 | 2020-05-27 | キヤノン株式会社 | 像ブレ補正装置及びその制御方法、プログラム、記憶媒体 |
JP6643159B2 (ja) * | 2016-03-23 | 2020-02-12 | キヤノン株式会社 | レンズ装置、制御装置、及びそれらの制御方法 |
JP6788368B2 (ja) * | 2016-03-31 | 2020-11-25 | キヤノン株式会社 | アクセサリ装置、撮像装置およびこれらの制御方法 |
JP6786288B2 (ja) * | 2016-07-25 | 2020-11-18 | キヤノン株式会社 | 撮像装置、レンズ装置、制御方法、プログラム、および、記憶媒体 |
US10187561B2 (en) * | 2016-03-31 | 2019-01-22 | Canon Kabushiki Kaisha | Accessory apparatus, image-capturing apparatus, control apparatus, lens apparatus, control method, computer program and storage medium storing computer program |
US11202011B2 (en) | 2016-07-25 | 2021-12-14 | Canon Kabushiki Kaisha | Control apparatus, image capturing apparatus, lens apparatus, image capturing system, control method, and storage medium |
JP6800642B2 (ja) * | 2016-07-25 | 2020-12-16 | キヤノン株式会社 | アクセサリ装置、制御装置、これらの制御方法 |
JP6661493B2 (ja) * | 2016-08-30 | 2020-03-11 | キヤノン株式会社 | 像ブレ制御装置、撮像装置および制御方法 |
JP6995561B2 (ja) | 2017-10-23 | 2022-01-14 | キヤノン株式会社 | 像ブレ補正装置およびその制御方法、撮像装置 |
JP7324066B2 (ja) * | 2018-07-27 | 2023-08-09 | キヤノン株式会社 | 画像処理装置およびその制御方法、ならびに撮像装置 |
JP7191599B2 (ja) * | 2018-09-07 | 2022-12-19 | キヤノン株式会社 | 光学機器 |
JP2020056953A (ja) | 2018-10-03 | 2020-04-09 | キヤノン株式会社 | 防振装置、画像処理装置、及び検出方法 |
JP7269119B2 (ja) * | 2019-07-05 | 2023-05-08 | キヤノン株式会社 | 像ブレ補正制御装置、カメラ本体、レンズユニット、像ブレ補正制御方法、及びプログラム |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4595394B2 (ja) * | 2004-06-08 | 2010-12-08 | 株式会社ニコン | ブレ補正装置、およびカメラシステム |
JP4390274B2 (ja) * | 2004-12-27 | 2009-12-24 | キヤノン株式会社 | 撮像装置及び制御方法 |
JP2006317848A (ja) * | 2005-05-16 | 2006-11-24 | Canon Inc | 静止画撮像装置 |
JP4662835B2 (ja) * | 2005-10-13 | 2011-03-30 | Hoya株式会社 | 撮像装置 |
JP4457358B2 (ja) * | 2006-05-12 | 2010-04-28 | 富士フイルム株式会社 | 顔検出枠の表示方法、文字情報の表示方法及び撮像装置 |
JP5663897B2 (ja) * | 2010-02-26 | 2015-02-04 | 株式会社ニコン | 振れ補正装置、レンズ鏡筒、及びカメラシステム |
US20150195457A1 (en) * | 2014-01-03 | 2015-07-09 | Samsung Electro-Mechanics Co., Ltd. | Apparatus and method for image correction |
-
2014
- 2014-02-26 JP JP2014035458A patent/JP6341691B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2015161730A (ja) | 2015-09-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6341691B2 (ja) | 像振れ補正装置およびその制御方法、光学機器、撮像装置 | |
US11006032B2 (en) | Exchangeable lens with focus adjustment lens and transceiver for transmitting image plane transfer coefficient | |
JP6598549B2 (ja) | 画像処理装置およびその制御方法、撮像装置およびその制御方法 | |
JP6282152B2 (ja) | 撮像装置およびその制御方法 | |
JP6529430B2 (ja) | 撮像装置、制御方法、制御プログラム、および記憶媒体 | |
JP7087156B2 (ja) | 撮像装置、撮像方法、及びプログラム | |
US10708503B2 (en) | Image capture system, image capturing apparatus, lens unit, control methods therefor, and storage medium | |
CN107786809B (zh) | 摄像和配件设备及其通信控制方法、摄像系统及存储介质 | |
JP2018036445A (ja) | 制御装置、撮像装置、レンズ装置、制御方法、プログラム、および、記憶媒体 | |
JP2018037772A (ja) | 撮像装置およびその制御方法 | |
JP2007140064A (ja) | 像振れ補正機能付き光学機器 | |
JP2016170285A (ja) | 像ブレ補正装置、光学機器、撮像装置および制御方法 | |
JP6932531B2 (ja) | 像ブレ補正装置、撮像装置および撮像装置の制御方法 | |
JP4876550B2 (ja) | 撮像装置、制御方法および制御プログラム | |
JP6168827B2 (ja) | 像振れ補正装置および光学機器 | |
JP2013134470A (ja) | 撮像装置およびその制御方法 | |
JP2015145901A (ja) | 撮像装置 | |
JP6887858B2 (ja) | 像ブレ補正装置、撮像装置および制御方法 | |
JP2019091063A (ja) | ブレ補正装置、電子機器及びカメラ | |
JP7451152B2 (ja) | 撮像装置、制御方法及びコンピュータプログラム | |
JP6278798B2 (ja) | 撮像装置、その制御方法及びプログラム | |
JP7214424B2 (ja) | 撮像装置およびその制御方法 | |
JP2007248672A (ja) | 撮影装置、制御方法および制御プログラム | |
JP2016086210A (ja) | 像ぶれ補正装置を有する光学機器、カメラシステム | |
TW202017355A (zh) | 攝影裝置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170223 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20171129 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20171212 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180207 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180417 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180515 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6341691 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |