JP7420942B2 - 敵対的生成器を用いたレート適応ニューラル画像圧縮のための方法及び装置 - Google Patents
敵対的生成器を用いたレート適応ニューラル画像圧縮のための方法及び装置 Download PDFInfo
- Publication number
- JP7420942B2 JP7420942B2 JP2022530201A JP2022530201A JP7420942B2 JP 7420942 B2 JP7420942 B2 JP 7420942B2 JP 2022530201 A JP2022530201 A JP 2022530201A JP 2022530201 A JP2022530201 A JP 2022530201A JP 7420942 B2 JP7420942 B2 JP 7420942B2
- Authority
- JP
- Japan
- Prior art keywords
- feature
- neural network
- dnn
- loss
- generator
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 93
- 230000006835 compression Effects 0.000 title claims description 49
- 238000007906 compression Methods 0.000 title claims description 49
- 230000001537 neural effect Effects 0.000 title claims description 31
- 230000003044 adaptive effect Effects 0.000 title claims description 12
- 238000012549 training Methods 0.000 claims description 168
- 238000013528 artificial neural network Methods 0.000 claims description 90
- 238000012360 testing method Methods 0.000 description 138
- 230000008569 process Effects 0.000 description 41
- 238000010586 diagram Methods 0.000 description 21
- 238000012545 processing Methods 0.000 description 9
- 238000013459 approach Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 4
- 230000006978 adaptation Effects 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000008685 targeting Effects 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 2
- 230000006837 decompression Effects 0.000 description 2
- 238000001152 differential interference contrast microscopy Methods 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- VBRBNWWNRIMAII-WYMLVPIESA-N 3-[(e)-5-(4-ethylphenoxy)-3-methylpent-3-enyl]-2,2-dimethyloxirane Chemical compound C1=CC(CC)=CC=C1OC\C=C(/C)CCC1C(C)(C)O1 VBRBNWWNRIMAII-WYMLVPIESA-N 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000007596 consolidation process Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 230000001066 destructive effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/115—Selection of the code volume for a coding unit prior to coding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
- H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Algebra (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
本出願は、米国特許商標庁に、2020年7月21日に出願された米国特許仮出願第63/054,648号、2020年7月21日に出願された米国特許仮出願第63/054,662号、2020年7月21日に出願された米国特許仮出願第63/054,665号、及び2021年6月24日に出願された米国特許出願第17/356,722号、に基づき、これらを基礎とする優先権を主張しており、それらの開示の全体が参照により本明細書に組み込まれている。
さらに又はあるいは、入力インタフェース250は、情報を感知するためのセンサ(例えば、全地球測位システム(GPS)コンポーネント、加速度計、ジャイロスコープ、及び/又はアクチュエータ)を含み得る。出力インタフェース260は、デバイス200(例えば、ディスプレイ、スピーカ、及び/又は1つ以上の発光ダイオード(LED))からの出力情報を提供するコンポーネントを含む。
(外1)
(以下同様の記号を、y ̄等と表す場合もある)は、格納のためにコンパクトであり、伝送が計算される。その後、圧縮表現y ̄に基づいて、出力画像x ̄が再構成され、再構成された出力画像x ̄は、元の入力画像xと類似し得る。圧縮表現y ̄を計算するプロセスは2つの部分に分割され得る:DNNエンコード表現yを計算するためにテストDNNエンコーダを使用するDNNエンコードプロセスと、その後、テストエンコーダを通してyがエンコードされ、圧縮表現y ̄を生成する、エンコードプロセスである。したがって、デコードプロセスは、2つの部分に分割される:圧縮表現y ̄が、テストデコーダによってデコードされ(典型的にはデコード及び脱量子化又は逆量子化(dequantization)を含む)、復元されたy’ ̄を生成する、デコードプロセスと、その後、復元された表現y’ ̄が、テストDNNデコーダによって使用され、イメージx ̄を再構成する、DNNデコードプロセスである。本開示においては、DNNエンコードに使用されるテストDNNエンコーダのネットワーク構造、又は、DNNデコードに使用されるテストDNNデコーダのネットワーク構造に制限はない。エンコード又はデコードのどちらにも使用される方法(量子化方法及びエントロピーコーディング方法)には制約がない。
(外2)
(以下同様の記号を、f^等と表す場合もある)(異なる又は拡張された特徴)が計算され、f^は(fに代えて)、テストDNNエンコーダ330部分2を通過し、代理特徴f^のDNNエンコード表現y^を計算する。y^に基づいて、エンコードモジュールは、テストエンコーダ340を使用して、圧縮表現y ̄を計算する。その後、デコーダ側で、y ̄(復元表現)に基づいて、復元表現y’ ̄は、テストデコーダ350を使用してデコードプロセスを通して計算されることができる。その後、DNNデコードモジュールは、テストDNNデコーダ360を使用して、y’ ̄に基づいて、再構成された出力画像x ̄を計算する。圧縮表現y ̄及び再構成された出力画像x ̄は、ターゲットのλt値で式(1)のほぼ最適なR‐D損失(すなわち、R‐D損失をλtで最適化することによって訓練された可能性がある仮想モデルMtに類似したR‐D損失)を有する。
エントロピーエンコーダ及びデコーダは、訓練ステージではスキップされる。
によって訓練され得る。
第3ニューラルネットワークの第1部分を使用して、解凍された表現から第3特徴を取得するステップと、取得された第3特徴に基づいて、アテンションマップを生成するステップと、を含む。第2代理特徴を生成するステップは、第4ニューラルネットワークを使用して、取得された第2特徴及び生成されたアテンションマップに基づいて、第2代理特徴を生成する、ステップを含むことができる。
第1ニューラルネットワークの第1部分を使用して、入力画像の第2特徴を取得するステップと、取得された前記第2特徴に基づいて、アテンションマップを生成するステップと、を含む固代ができる。第1代理特徴を生成するステップは、第2ニューラルネットワークを使用して、取得された第1特徴及び生成されたアテンションマップに基づいて、第1代理特徴を生成するステップと、を含むことができる。
Claims (9)
- 少なくとも1つのプロセッサによって実行される、敵対的生成器を用いたレート適応ニューラル画像圧縮の方法であって、
前記敵対的生成器の第1ニューラルネットワークの第1部分を使用して、入力画像の第1特徴を取得するステップと、
前記敵対的生成器の第2ニューラルネットワークを使用して、取得された前記第1特徴に基づいて第1代理特徴を生成するステップと、
前記敵対的生成器の前記第1ニューラルネットワークの第2部分を使用して、生成された前記第1代理特徴をエンコードし、第1エンコード表現を生成する、ステップと、
生成された前記第1エンコード表現を圧縮するステップと、
圧縮された前記第1エンコード表現を解凍するステップと、
第3ニューラルネットワークを使用して、解凍された前記第1エンコード表現をデコードし、第1出力画像を再構成する、ステップと、
を含み、
前記第2ニューラルネットワークは、敵対的生成ネットワーク訓練フレームワークを使用して、圧縮された前記第1エンコード表現のレート損失、及び、前記入力画像と再構成された前記第1出力画像との間で決定された歪み損失に基づいて訓練される、方法。 - 前記第2ニューラルネットワークは、
前記第1ニューラルネットワークの第3部分を使用して、取得された前記第1特徴をエンコードし、第2エンコード表現を生成する、ステップと、
第4ニューラルネットワークを使用して、生成された前記第1エンコード表現と、生成された前記第2エンコード表現と、の間の表現識別損失を決定するステップと、
第5ニューラルネットワークを使用して、生成された前記第1代理特徴と、取得された前記第1特徴と、の間の特徴識別損失を決定するステップと、
決定された前記表現識別損失及び決定された前記特徴識別損失を使用して、前記第2ニューラルネットワーク、前記第4ニューラルネットワーク及び前記第5ニューラルネットワークの重みづけ係数を更新し、前記レート損失、前記歪み損失、前記表現識別損失及び前記特徴識別損失を最適化する、ステップと、
によって訓練される、
請求項1記載の方法。 - 前記方法はさらに、
前記第1ニューラルネットワークを使用して、前記入力画像をエンコードし、前記第1エンコード表現を生成する、ステップと、
前記第3ニューラルネットワークの第1部分を使用して、解凍された前記第1エンコード表現から第2特徴を取得するステップと、
第4ニューラルネットワークを使用して、取得された前記第2特徴に基づいて第2代理特徴を生成するステップと、
前記第3ニューラルネットワークの第2部分を使用して、生成された前記第2代理特徴をデコードし、前記第1出力画像を再構成する、ステップと、を含む、
請求項1記載の方法。 - 前記第4ニューラルネットワークは、
前記第3ニューラルネットワークの第3部分を使用して、取得された前記第2特徴をデコードし、第2出力画像と再構成する、ステップと、
第5ニューラルネットワークを使用して、再構成された前記第1出力画像と、再構成された前記第2出力画像と、の間の表現識別損失を決定するステップと、
第6ニューラルネットワークを使用して、生成された前記第2代理特徴と、取得された前記第2特徴と、の間の特徴識別損失を決定するステップと、
決定された前記表現識別損失及び決定された前記特徴識別損失を使用して、前記第4ニューラルネットワーク、前記第5ニューラルネットワーク及び前記第6ニューラルネットワークの重みづけ係数を更新し、前記レート損失、前記歪み損失、前記表現識別損失及び前記特徴識別損失を最適化する、ステップと、
によって訓練される、
請求項3記載の方法。 - 前記第1ニューラルネットワークを使用して、前記入力画像の第3特徴を取得するステップと、
取得された前記第3特徴に基づくアテンションマップを生成するステップと、
をさらに含み、
前記第2代理特徴を生成するステップは、前記第4ニューラルネットワークを使用して、取得された前記第2特徴及び生成された前記アテンションマップに基づいて前記第2代理特徴を生成するステップを含む、
請求項3記載の方法。 - 前記第3ニューラルネットワークの第1部分を使用して、解凍された前記第1エンコード表現から第3特徴を取得するステップと、
取得された前記第3特徴に基づいて、アテンションマップを生成するステップと、
をさらに含み、
前記第2代理特徴を生成するステップは、前記第4ニューラルネットワークを使用して、取得された前記第2特徴及び生成された前記アテンションマップに基づいて、前記第2代理特徴を生成するステップを含む、
請求項3記載の方法。 - 前記第1ニューラルネットワークの前記第1部分を使用して、前記入力画像の第2特徴を取得するステップと、
取得された前記第2特徴に基づいて、アテンションマップを生成するステップと、
前記第1代理特徴を生成するステップは、前記第2ニューラルネットワークを使用して、取得された前記第1特徴及び生成された前記アテンションマップに基づいて、前記第1代理特徴を生成するステップを含む、
請求項1記載の方法。 - 敵対的生成器を用いたレート適応ニューラル画像圧縮のための装置であって、
プログラムコードを格納するように構成された少なくとも1つのメモリと、
前記プログラムコードを読み込んで、前記プログラムコードによって指示されるように作動するように構成された少なくとも1つのプロセッサと、を備え、
前記プログラムコードは、請求項1乃至7いずれか1項記載の方法を前記少なくとも1つのプロセッサに実行させるように構成されている、装置。 - 敵対的生成器を用いたレート適応ニューラル画像圧縮のために、少なくとも1つのプロセッサに請求項1乃至7いずれか1項記載の方法を実行させるプログラム。
Applications Claiming Priority (9)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202063054648P | 2020-07-21 | 2020-07-21 | |
US202063054662P | 2020-07-21 | 2020-07-21 | |
US202063054665P | 2020-07-21 | 2020-07-21 | |
US63/054,665 | 2020-07-21 | ||
US63/054,648 | 2020-07-21 | ||
US63/054,662 | 2020-07-21 | ||
US17/356,722 US11622117B2 (en) | 2020-07-21 | 2021-06-24 | Method and apparatus for rate-adaptive neural image compression with adversarial generators |
US17/356,722 | 2021-06-24 | ||
PCT/US2021/042292 WO2022020297A1 (en) | 2020-07-21 | 2021-07-20 | Method and apparatus for rate-adaptive neural image compression with adversarial generators |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023502526A JP2023502526A (ja) | 2023-01-24 |
JP7420942B2 true JP7420942B2 (ja) | 2024-01-23 |
Family
ID=79689555
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022530201A Active JP7420942B2 (ja) | 2020-07-21 | 2021-07-20 | 敵対的生成器を用いたレート適応ニューラル画像圧縮のための方法及び装置 |
Country Status (6)
Country | Link |
---|---|
US (1) | US11622117B2 (ja) |
EP (1) | EP4018392A4 (ja) |
JP (1) | JP7420942B2 (ja) |
KR (1) | KR20220061223A (ja) |
CN (1) | CN114616576A (ja) |
WO (1) | WO2022020297A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20220321879A1 (en) * | 2021-03-30 | 2022-10-06 | Isize Limited | Processing image data |
WO2023225999A1 (en) * | 2022-05-27 | 2023-11-30 | Robert Bosch Gmbh | Method and apparatus for certifying defense against image transformation |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9965705B2 (en) * | 2015-11-03 | 2018-05-08 | Baidu Usa Llc | Systems and methods for attention-based configurable convolutional neural networks (ABC-CNN) for visual question answering |
EP3583777A4 (en) | 2017-02-16 | 2020-12-23 | Nokia Technologies Oy | VIDEO PROCESSING PROCESS AND TECHNICAL EQUIPMENT |
US10650245B2 (en) * | 2018-06-08 | 2020-05-12 | Adobe Inc. | Generating digital video summaries utilizing aesthetics, relevancy, and generative neural networks |
CN109472360B (zh) * | 2018-10-30 | 2020-09-04 | 北京地平线机器人技术研发有限公司 | 神经网络的更新方法、更新装置和电子设备 |
CA3122985A1 (en) | 2018-12-11 | 2020-06-18 | Exxonmobil Upstream Research Company | Training machine learning systems for seismic interpretation |
US11620475B2 (en) * | 2020-03-25 | 2023-04-04 | Ford Global Technologies, Llc | Domain translation network for performing image translation |
-
2021
- 2021-06-24 US US17/356,722 patent/US11622117B2/en active Active
- 2021-07-20 CN CN202180006080.XA patent/CN114616576A/zh active Pending
- 2021-07-20 KR KR1020227012232A patent/KR20220061223A/ko unknown
- 2021-07-20 WO PCT/US2021/042292 patent/WO2022020297A1/en unknown
- 2021-07-20 EP EP21846823.9A patent/EP4018392A4/en active Pending
- 2021-07-20 JP JP2022530201A patent/JP7420942B2/ja active Active
Non-Patent Citations (2)
Title |
---|
Fei Yang et al.,Variable Rate Deep Image Compression With Modulated Autoencoder,IEEE SIGNAL PROCESSING LETTERS,IEEE,2020年01月31日,VOL. 27,pp. 331-335,https://ieeexplore.ieee.org/document/8977394 |
Tong Chen et al.,Neural Image Compression via Non-Local Attention Optimization and Improved Context Modeling,arxiv.org,2019年10月11日,https://arxiv.org/abs/1910.06244 |
Also Published As
Publication number | Publication date |
---|---|
CN114616576A (zh) | 2022-06-10 |
EP4018392A1 (en) | 2022-06-29 |
EP4018392A4 (en) | 2022-11-30 |
JP2023502526A (ja) | 2023-01-24 |
US11622117B2 (en) | 2023-04-04 |
US20220030246A1 (en) | 2022-01-27 |
WO2022020297A1 (en) | 2022-01-27 |
KR20220061223A (ko) | 2022-05-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7374340B2 (ja) | ニューラル画像圧縮のためのタスク適応型前処理のための方法、装置およびコンピュータプログラム | |
JP7420942B2 (ja) | 敵対的生成器を用いたレート適応ニューラル画像圧縮のための方法及び装置 | |
CN114450938B (zh) | 多速率神经图像压缩方法、装置以及电子设备 | |
JP2024519246A (ja) | ニューラル画像圧縮のための潜在空間における代用品質ファクタ学習 | |
JP2023526180A (ja) | 滑らかな品質制御による適応ニューラル画像圧縮のための代替の入力最適化 | |
WO2021231218A1 (en) | Method and apparatus for feature substitution for end-to-end image compression | |
JP7342265B2 (ja) | μ構造化ネストマスク及び重み単一化によるマルチレートニューラル画像圧縮モデルを圧縮及び加速するための方法及び装置 | |
JP7471730B2 (ja) | メタ学習によるレート制御を用いた適応ニューラル画像圧縮のための方法、装置及びプログラム | |
JP7411117B2 (ja) | メタ学習による柔軟なハイパー事前モデルを用いる適応画像圧縮のための方法、装置及びコンピュータプログラム | |
JP7425870B2 (ja) | 積み重ね可能な入れ子モデル構造及びマイクロ構造化された重み統一によるマルチレートニューラル画像圧縮のための方法及び装置 | |
JP7434605B2 (ja) | メタ学習によるスムーズな品質制御を用いた適応ニューラル画像圧縮のための方法、装置、非一時的コンピュータ可読媒体、およびコンピュータプログラム | |
KR102709771B1 (ko) | 메타 러닝에 의한 유연한 하이퍼프라이어 모델을 갖는 적응 이미지 압축을 위한 방법 및 장치 | |
JP2024512652A (ja) | ニューラル画像圧縮における複数ブロック用のコンテンツ適応型オンライン訓練のためのシステム、方法、およびコンピュータプログラム | |
JP2024518239A (ja) | ニューラル画像圧縮における反復的なコンテンツ適応型オンライントレーニングのためのシステム、方法、及びコンピュータプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220524 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230627 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230926 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231219 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240111 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7420942 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |