JP6827801B2 - 撮像装置および制御方法 - Google Patents
撮像装置および制御方法 Download PDFInfo
- Publication number
- JP6827801B2 JP6827801B2 JP2016250486A JP2016250486A JP6827801B2 JP 6827801 B2 JP6827801 B2 JP 6827801B2 JP 2016250486 A JP2016250486 A JP 2016250486A JP 2016250486 A JP2016250486 A JP 2016250486A JP 6827801 B2 JP6827801 B2 JP 6827801B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- light source
- photometric
- flicker
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6811—Motion detection based on the image signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6815—Motion detection by distinguishing pan or tilt from motion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/745—Detection of flicker frequency or suppression of flicker wherein the flicker is caused by illumination, e.g. due to fluorescent tube illumination or pulsed LED illumination
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
Description
本発明の目的は、フリッカー光源下でも精度よく被写体の動き量検知を行うことである。
まず、本発明の概要を説明する。撮像装置によって連続して撮影される画像のサンプリング間隔が長く、ある一定時間内でのサンプリング数が少なくなる場合には、動きベクトル検知の精度が問題となる。被写体の動きが大きいと、連続して撮影された画像における参照ブロックと候補ブロックとの比較エリアを大きくする必要が生じる。しかし、比較エリアを広げすぎると、動きべクトル検知の処理時間が長くなるため、リアルタイム性を欠いた処理になる可能性がある。
以下、本発明の第1実施例を説明する。図3は、本実施例における測光フリッカー動きベクトル検知処理のフローチャートである。以下の処理はカメラ制御部101のCPUと、APU112がメモリからプログラムを読み出して実行することにより実現される。
まず、S301では、ユーザにより撮影ボタンが操作され、SW1のON状態が検出された否かの判定処理が行われる。SW1のON状態と判定された場合、S302の処理に進む。SW1のON状態と判定されない場合には、S301の判定処理が繰り返される。
次に、本発明の第2実施例を説明する。本実施例では、フリッカー光源下での動き検知精度の低下に対し、フリッカー検知情報を使うことで、フリッカー光源下で動き検知を精度よく行う処理について説明する。本実施例にて第1実施例と同様の事項については説明を省略し、主に相違点を説明する。このような説明の省略の仕方は、後述の実施例でも同じである。
(Ts1−Ts)/フリッカー周期=商(Sh)+余り(Am) 式(1)
下記式(2)により、余りAmは蓄積時間1.66(ミリ秒)で除算される。
Am/1.66=商(Sh2)+余り(Am2) 式(2)
下記式(3)により、算出された商Sh2に対して、1が加算される。
Index = Sh2+1 式(3)
この結果は、前回フリッカー検知情報のゲインテーブルのIndexとなる。
次に、本発明の第3実施例を説明する。第2実施例では、ゲイン乗算による補正画像を用いる動きべクトル検知について説明したが、ゲイン乗算に伴う画像ノイズの発生が懸念される。画像ノイズが大きい場合、動き検知の精度が低下する可能性がある。そこで本実施例では、フリッカー光源下にて画像ノイズを発生させずに、フリッカー検知情報を使って精度よく動き検知を行う処理について説明する。なお、本実施例では前記実施例で説明したフリッカー光源下に比べて、特にフリッカー光源の明るさの振幅が大きい場合を例にして説明する。
次に、(B)フリッカー動きベクトル検知処理の期間では、蓄積開始時刻Ts1から、1.66ミリ秒の蓄積時間の間隔で連続して蓄積FVが繰り返される。読出FVと蓄積FVが並行して行われ、読出FV時には、前回フリッカー検知情報利用処理により、選択的にゲイン乗算処理が行われ、測光画Vgが同時に生成される。
本実施例によれば、第2実施例の効果に加えて、フリッカー光源下においてノイズの少ない画像を使うことにより、精度よく動き検知を行える。
次に、本発明の第4実施例を説明する。
図21のフローチャートを参照し、本実施例の測光画選択生成処理について説明する。以下、第3実施例の測光画選択生成処理との相違点を主に説明する。S2101は、S1901と同様の閾値を用いた判定処理である。ゲインテーブルのIndexから取得されたゲイン値が、閾値Gmax以下であると判定された場合、S2102に進み、S1902と同様、測光画Vgの生成処理が行われる。そしてリターン処理に移行する。
次に、本発明の第5実施例を説明する。
本実施例では、第1実施例で説明した(A)測光処理での蓄積A,読出Aにて取得される画像も動きべクトル検知に使用するものとする。つまり、測光フリッカー動きべクトル検知では、フリッカー検知のために短い蓄積時間で連続して撮像された画像を用いるだけではなく、測光処理で撮像された画像がさらに用いられる。したがって、本実施例によれば、前記実施例の効果に加えて、ある一定時間内に撮像される画像の使用枚数を増やすことで、精度よく動き検知を行える。この場合の、ある一定時間とは、(A)測光処理および(B)フリッカー動きべクトル検知演算が行われる期間長に相当する。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
例えば、上述の実施形態では、撮像装置のAPU112が測光演算、フリッカー検知演算、動きベクトル検知演算等を行う例を説明した。しかしながら、画像信号を生成する撮像装置とは別の画像処理装置の演算部が生成された画像信号を取得し、取得した画像信号を用いて測光演算、フリッカー検知演算、動きベクトル検知演算等を行ってもよい。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
101 カメラ制御部
108 測光センサ
112 画像処理・演算用のCPU
Claims (16)
- 被写体を撮像して画像信号を取得する撮像手段と、
前記画像信号を用いて測光処理を行う処理手段と、
前記撮像手段により連続して取得される複数の画像信号を用いてフリッカー光源の検知および被写体の動き検知を行う検知手段と、を備え、
前記処理手段は、第1の露光時間で前記撮像手段により取得される画像信号を用いて前記測光処理を行い、
前記検知手段は、前記第1の露光時間よりも短い第2の露光時間で前記撮像手段により連続して取得される複数の画像信号を用いて前記フリッカー光源の検知を行い、前記測光処理に用いる画像信号および前記フリッカー光源の検知に用いる複数の画像信号を用いて前記被写体の動き量を算出する
ことを特徴とする撮像装置。 - 前記第1の露光時間は、前記測光処理にて画像の明るさの測定に用いる画像信号の蓄積時間であり、
前記第2の露光時間は、前記フリッカー光源の明るさの変化に対して予め設定される数の画像を取得する際の画像信号の蓄積時間である
ことを特徴とする請求項1に記載の撮像装置。 - 前記検知手段は前記フリッカー光源の明るさのピークを検出して周期を算出する
ことを特徴とする請求項1または請求項2に記載の撮像装置。 - 前記検知手段により前記フリッカー光源が有ることが判定された場合、前記画像信号に係る画像の明るさを補正する補正手段をさらに備え、
前記検知手段は、前記補正手段により補正された前記複数の画像信号により被写体の動きベクトルを算出する
ことを特徴とする請求項1から3のいずれか1項に記載の撮像装置。 - 前記補正手段は、前記検知手段によって前回に得られたフリッカー検知情報を用いて明るさを補正した画像を生成する
ことを特徴とする請求項4に記載の撮像装置。 - 前記補正手段は、前記フリッカー光源の明るさの変化に対応するゲインを決定し、前記複数の画像信号に前記ゲインを乗算する処理を行う
ことを特徴とする請求項5に記載の撮像装置。 - 前記フリッカー検知情報は、前記撮像手段の蓄積開始時刻、前記フリッカー光源の有無を示す情報、前記フリッカー光源の明るさのピークを示す情報、前記ゲインの情報のうち、1つ以上を含む
ことを特徴とする請求項6に記載の撮像装置。 - 前記検知手段は、前記フリッカー光源が有ると判定された場合、補正された前記複数の画像信号から選択した画像信号を用いて前記動きベクトルを算出する
ことを特徴とする請求項4に記載の撮像装置。 - 前記補正手段は、前記検知手段により前記フリッカー光源が有ると判定され、かつ前記ゲインが閾値より小さい場合に前記画像信号の補正を行う
ことを特徴とする請求項6に記載の撮像装置。 - 前記検知手段は、前記フリッカー光源が有ると判定された場合、前記フリッカー光源の明るさのピークに対応する、前記補正された画像信号を用いて被写体の動きベクトルを算出する
ことを特徴とする請求項4に記載の撮像装置。 - 前記補正手段は、前記フリッカー光源の明るさの変化に対応するゲインを決定し、前記ゲインが閾値より大きい場合、連続して取得された複数の画像を加算する処理を行う
ことを特徴とする請求項5に記載の撮像装置。 - 被写体を撮像して画像信号を取得する撮像手段と、
前記画像信号を用いて測光処理を行う処理手段と、
前記撮像手段により連続して取得される複数の画像信号を用いてフリッカー光源の検知および被写体の動き検知を行う検知手段と、
前記検知手段によって得られたフリッカー検知情報を用いて前記フリッカー光源の明るさの変化に対応するゲインを決定し、前記検知手段により前記フリッカー光源が有ると判定され、かつ前記ゲインが閾値より小さい場合に前記複数の画像信号に前記ゲインを乗算する処理を行う補正手段と、を備え、
前記処理手段は、第1の露光時間で前記撮像手段により取得される画像信号を用いて前記測光処理を行い、
前記検知手段は、前記第1の露光時間よりも短い第2の露光時間で前記撮像手段により連続して取得される複数の画像信号を用いて前記フリッカー光源の検知を行い、前記補正手段により前記ゲインが乗算された画像信号を用いて被写体の動きベクトルを算出する
ことを特徴とする撮像装置。 - 被写体を撮像して画像信号を取得する撮像手段と、
前記画像信号を用いて測光処理を行う処理手段と、
前記撮像手段により連続して取得される複数の画像信号を用いてフリッカー光源の検知および被写体の動き検知を行う検知手段と、
前記検知手段によって得られたフリッカー検知情報を用いて前記フリッカー光源の明るさの変化に対応するゲインを決定し、前記ゲインが閾値より大きい場合、前記撮像手段により連続して取得された複数の画像信号を加算する処理を行う補正手段と、を備え、
前記処理手段は、第1の露光時間で前記撮像手段により取得される画像信号を用いて前記測光処理を行い、
前記検知手段は、前記第1の露光時間よりも短い第2の露光時間で前記撮像手段により連続して取得される複数の画像信号を用いて前記フリッカー光源の検知を行い、前記補正手段により加算された画像信号を用いて被写体の動きベクトルを算出する
ことを特徴とする撮像装置。 - 被写体を撮像する撮像手段を備える撮像装置にて実行される制御方法であって、
前記撮像手段により取得された画像信号を用いて測光処理を行う処理工程と、
前記撮像手段により連続して取得された複数の画像信号を用いてフリッカー光源の検知および被写体の動き検知を行う検知工程と、を有し、
前記処理工程では、第1の露光時間で前記撮像手段により取得される画像信号を用いて前記測光処理が行われ、
前記検知工程では、前記第1の露光時間よりも短い第2の露光時間で前記撮像手段により連続して取得される複数の画像信号を用いて前記フリッカー光源の検知が行われ、前記測光処理に用いる画像信号および前記フリッカー光源の検知に用いる複数の画像信号を用いて前記被写体の動き量が算出される
ことを特徴とする撮像装置の制御方法。 - 被写体を撮像する撮像手段を備える撮像装置にて実行される制御方法であって、
前記撮像手段により取得された画像信号を用いて測光処理を行う処理工程と、
前記撮像手段により連続して取得された複数の画像信号を用いてフリッカー光源の検知を行う検知工程と、
前記検知工程で得られたフリッカー検知情報を用いて前記フリッカー光源の明るさの変化に対応するゲインを決定し、前記検知工程で前記フリッカー光源が有ると判定され、かつ前記ゲインが閾値より小さい場合に前記複数の画像信号に前記ゲインを乗算する処理を行う補正工程と、を有し、
前記処理工程では、第1の露光時間で前記撮像手段により取得される画像信号を用いて前記測光処理が行われ、
前記検知工程では、前記第1の露光時間よりも短い第2の露光時間で前記撮像手段により連続して取得される複数の画像信号を用いて前記フリッカー光源の検知が行われ、前記補正工程で前記ゲインが乗算された画像信号を用いて被写体の動きベクトルが算出される
ことを特徴とする撮像装置の制御方法。 - 被写体を撮像する撮像手段を備える撮像装置にて実行される制御方法であって、
前記撮像手段により取得された画像信号を用いて測光処理を行う処理工程と、
前記撮像手段により連続して取得された複数の画像信号を用いてフリッカー光源の検知を行う検知工程と、
前記検知工程で得られたフリッカー検知情報を用いて前記フリッカー光源の明るさの変化に対応するゲインを決定し、前記ゲインが閾値より大きい場合、前記撮像手段により連続して取得された複数の画像信号を加算する処理を行う補正工程と、を有し、
前記処理工程では、第1の露光時間で前記撮像手段により取得される画像信号を用いて前記測光処理が行われ、
前記検知工程では、前記第1の露光時間よりも短い第2の露光時間で前記撮像手段により連続して取得される複数の画像信号を用いて前記フリッカー光源の検知が行われ、前記補正工程で加算された画像信号を用いて被写体の動きベクトルが算出される
ことを特徴とする撮像装置の制御方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016250486A JP6827801B2 (ja) | 2016-12-26 | 2016-12-26 | 撮像装置および制御方法 |
US15/841,423 US11080863B2 (en) | 2016-12-26 | 2017-12-14 | Imaging apparatus, image processing device, and control method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016250486A JP6827801B2 (ja) | 2016-12-26 | 2016-12-26 | 撮像装置および制御方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2018107563A JP2018107563A (ja) | 2018-07-05 |
JP2018107563A5 JP2018107563A5 (ja) | 2020-01-30 |
JP6827801B2 true JP6827801B2 (ja) | 2021-02-10 |
Family
ID=62629842
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016250486A Active JP6827801B2 (ja) | 2016-12-26 | 2016-12-26 | 撮像装置および制御方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US11080863B2 (ja) |
JP (1) | JP6827801B2 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6684168B2 (ja) * | 2016-06-28 | 2020-04-22 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
CN109120863B (zh) * | 2018-10-23 | 2021-01-01 | Oppo广东移动通信有限公司 | 拍摄方法、装置、存储介质及移动终端 |
CN110853031B (zh) * | 2019-11-20 | 2023-04-11 | 航天科技控股集团股份有限公司 | 汽车组合仪表指示灯点亮的排他检测方法 |
KR20210101416A (ko) * | 2020-02-10 | 2021-08-19 | 삼성전자주식회사 | 이미지 센서 제어 방법 및 장치 |
JP2021182698A (ja) * | 2020-05-19 | 2021-11-25 | キヤノン株式会社 | 撮像装置及びその制御方法 |
JP2022043930A (ja) * | 2020-09-04 | 2022-03-16 | キヤノン株式会社 | 電子機器 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4845557A (en) * | 1988-05-02 | 1989-07-04 | Dubner Computer Systems, Inc. | Field motion suppression in interlaced video displays |
JP3627872B2 (ja) | 1994-07-22 | 2005-03-09 | ソニー株式会社 | 動きベクトル検出方法及び装置 |
JP2006317848A (ja) | 2005-05-16 | 2006-11-24 | Canon Inc | 静止画撮像装置 |
US8144213B2 (en) | 2008-02-04 | 2012-03-27 | Panasonic Corporation | Imaging device, integrated circuit, and imaging method for encoding image frames based on detected flicker of a light source |
US9608725B2 (en) * | 2012-12-27 | 2017-03-28 | Panasonic Intellectual Property Corporation Of America | Information processing program, reception program, and information processing apparatus |
JP6362091B2 (ja) * | 2014-06-04 | 2018-07-25 | キヤノン株式会社 | 撮像装置、その制御方法、および制御プログラム |
JP6370134B2 (ja) * | 2014-07-02 | 2018-08-08 | キヤノン株式会社 | 撮像装置、その制御方法、および制御プログラム |
JP6460829B2 (ja) | 2015-02-20 | 2019-01-30 | キヤノン株式会社 | 撮像装置、電子機器及び光量変化特性の算出方法 |
JP6727933B2 (ja) * | 2016-06-01 | 2020-07-22 | キヤノン株式会社 | 撮像装置及び制御方法 |
-
2016
- 2016-12-26 JP JP2016250486A patent/JP6827801B2/ja active Active
-
2017
- 2017-12-14 US US15/841,423 patent/US11080863B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20180182110A1 (en) | 2018-06-28 |
JP2018107563A (ja) | 2018-07-05 |
US11080863B2 (en) | 2021-08-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6827801B2 (ja) | 撮像装置および制御方法 | |
US7929042B2 (en) | Imaging apparatus, control method of imaging apparatus, and computer program | |
JP6220225B2 (ja) | 撮像装置、撮像装置の制御方法、プログラム、及び記録媒体 | |
JP6108946B2 (ja) | 撮像装置、制御方法、プログラム及び記憶媒体 | |
WO2018101092A1 (ja) | 撮像装置およびフリッカ判定方法 | |
JP6460829B2 (ja) | 撮像装置、電子機器及び光量変化特性の算出方法 | |
US10205886B2 (en) | Imaging apparatus, control method, and storage medium | |
JP6906950B2 (ja) | 撮像装置、その制御方法とプログラムと記録媒体 | |
JP6614853B2 (ja) | 撮像装置、その制御方法、および制御プログラム | |
JP6851854B2 (ja) | 画像処理装置、撮像装置および画像処理装置の制御方法 | |
JP6482370B2 (ja) | 撮像装置、光量変化の検出方法及びプログラム | |
JP6501463B2 (ja) | 撮像装置及びその制御方法 | |
JP6541312B2 (ja) | 撮像装置及びその制御方法 | |
JP6456038B2 (ja) | 電子機器、光量変化特性の算出方法、プログラム及び記憶媒体 | |
JP6768372B2 (ja) | 撮像装置、その制御方法、及びプログラム | |
JP4974862B2 (ja) | 撮像装置及びその制御方法 | |
JP6391319B2 (ja) | 撮像装置、その制御方法、および制御プログラム | |
JP2015167308A (ja) | 顔検出オートフォーカス制御に適する測光方法 | |
JP6704718B2 (ja) | 撮像装置、その制御方法、および制御プログラム | |
JP6005955B2 (ja) | 測光装置及び撮像装置 | |
JP6598927B2 (ja) | 撮像装置、制御方法、プログラム及び記憶媒体 | |
JP6351778B2 (ja) | 撮像装置、制御方法、プログラム及び記憶媒体 | |
JP2017098777A (ja) | 撮像装置及びその制御方法、プログラム | |
JP6504845B2 (ja) | 撮像装置、その制御方法、および制御プログラム | |
JP2021129199A (ja) | 撮像装置およびその制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191213 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191213 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200721 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200804 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201001 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201222 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210120 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6827801 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |