JP7451591B2 - 機械学習モデルベースのビデオ圧縮 - Google Patents
機械学習モデルベースのビデオ圧縮 Download PDFInfo
- Publication number
- JP7451591B2 JP7451591B2 JP2022062152A JP2022062152A JP7451591B2 JP 7451591 B2 JP7451591 B2 JP 7451591B2 JP 2022062152 A JP2022062152 A JP 2022062152A JP 2022062152 A JP2022062152 A JP 2022062152A JP 7451591 B2 JP7451591 B2 JP 7451591B2
- Authority
- JP
- Japan
- Prior art keywords
- video content
- model
- latent
- trained
- residual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000010801 machine learning Methods 0.000 title claims description 127
- 230000006835 compression Effects 0.000 title claims description 90
- 238000007906 compression Methods 0.000 title claims description 90
- 238000012545 processing Methods 0.000 claims description 42
- 238000000034 method Methods 0.000 claims description 25
- 238000013528 artificial neural network Methods 0.000 claims description 23
- 230000006870 function Effects 0.000 claims description 16
- 230000009471 action Effects 0.000 description 60
- 238000012549 training Methods 0.000 description 10
- 238000013140 knowledge distillation Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 238000013459 approach Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 208000009119 Giant Axonal Neuropathy Diseases 0.000 description 4
- 201000003382 giant axonal neuropathy 1 Diseases 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000001537 neural effect Effects 0.000 description 3
- 208000004547 Hallucinations Diseases 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000013178 mathematical model Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000002096 quantum dot Substances 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000001364 causal effect Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000001143 conditioned effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/002—Image coding using neural networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Analysis (AREA)
Description
本出願は、2021年4月8日に出願され、「Neural Network Based Video Codecs」と題する仮特許出願シリアル番号63/172,315、および2021年10月13日に出願され、「Microdosing For Low Bitrate Video Compression」と題する仮特許出願シリアル番号63/255,280の利益および優先権を主張するものである。それによって、これらは参照により完全に本出願に組み込まれている。
が生じる。簡単にするために、動き補償が完了したと仮定し、その結果は、
の推定値および
である。
を明確するために必要な残差情報を圧縮するために、トレーニング済画像圧縮MLモデルを活用する2つの戦略を以下に説明する。第1戦略は、「潜在空間残差による知識蒸留」と呼ばれ、第2戦略は、「画像空間残差による知識蒸留」と称される。
利用可能なトレーニング済画像圧縮MLモデルgを活用する別のアプローチは、図2Cの例示的なMLモデルベースビデオコーデックアーキテクチャ228で表されるように、画像空間残差で動作することである。潜在残差の場合と同様に、動き補償が完了し、現在のフレームxt+1と動き
との間の差を符号化することのみが必要であり、図2Cにおいて参照番号219によって識別される。図2Cに示されるように、MLモデルベースビデオコーデックアーキテクチャ228は、MLモデルベースビデオ圧縮エンコーダ235および画像圧縮MLモデル232を含む。図2Cに示されるMLモデルベースビデオコーデックアーキテクチャ228の特徴は、図1における、MLモデルベースコーデックソフトウェアリソース130の中に含まれ得ることに留意されたい。すなわち、いくつかの実装形態において、MLモデルベースコーデックソフトウェアリソース130は、MLモデルベースビデオ圧縮エンコーダ235および画像圧縮MLモデル232を含むことができる。
Claims (12)
- システムであって、
処理ハードウェアと、機械学習(ML)モデルベースビデオ圧縮エンコーダおよびトレーニング済画像圧縮MLモデルを格納するシステムメモリと、を含むコンピューティングプラットフォームを備え、
前記処理ハードウェアは前記MLモデルベースビデオ圧縮エンコーダを実行するように構成されて、
非圧縮ビデオコンテンツおよび前記非圧縮ビデオコンテンツに対応する動き補償済ビデオコンテンツを受信し、
前記非圧縮ビデオコンテンツに対応する画像空間残差を識別するために、前記非圧縮ビデオコンテンツを前記動き補償済ビデオコンテンツと比較し、
前記画像空間残差を前記画像空間残差の潜在空間表現に変換し、
前記トレーニング済画像圧縮MLモデルを使用して、前記動き補償済ビデオコンテンツを受信し、
前記トレーニング済画像圧縮MLモデルを使用して、前記動き補償済ビデオコンテンツを、前記動き補償済ビデオコンテンツの潜在空間表現に変換し、
符号化済潜在残差を制作するために、前記画像空間残差の前記潜在空間表現を符号化し、
符号化済潜在ビデオコンテンツを制作するために、前記トレーニング済画像圧縮MLモデルを使用して、前記動き補償済ビデオコンテンツの前記潜在空間表現を符号化し、および、
前記符号化済潜在残差および前記符号化済潜在ビデオコンテンツを使用して、前記非圧縮ビデオコンテンツに対応する圧縮ビデオコンテンツを生成する、システム。 - 請求項1に記載のシステムであって、前記符号化済潜在残差および前記符号化済潜在ビデオコンテンツは、並行して制作される、システム。
- 請求項1に記載のシステムであって、前記処理ハードウェアは前記MLモデルベースビデオ圧縮エンコーダを実行するように構成されて、前記符号化済潜在残差と前記符号化済潜在ビデオコンテンツとの間の差に基づいて、前記非圧縮ビデオコンテンツに対応する前記圧縮ビデオコンテンツを生成する、システム。
- 請求項1に記載のシステムであって、前記トレーニング済画像圧縮MLモデルは、トレーニング済人工ニューラルネットワーク(NN)を備える、システム。
- 請求項4に記載のシステムであって、前記トレーニング済みNNは敵対的損失を含む目的関数を使用してトレーニングされる、システム。
- 請求項4に記載のシステムであって、前記トレーニング済みNNは生成的敵対ネットワーク(GAN)を備える、システム。
- 処理ハードウェアと、機械学習(ML)モデルベースビデオ圧縮エンコーダおよびトレーニング済画像圧縮MLモデルを格納するシステムメモリと、を有するコンピューティングプラットフォームを含むシステムによって使用する方法であって、
前記処理ハードウェアによって実行する前記MLモデルベースビデオ圧縮エンコーダによって、非圧縮ビデオコンテンツおよび前記非圧縮ビデオコンテンツに対応する動き補償済ビデオコンテンツを受信するステップと、
前記処理ハードウェアによって実行する前記MLモデルベースビデオ圧縮エンコーダによって、前記非圧縮ビデオコンテンツを前記動き補償済ビデオコンテンツと比較するステップであって、それによって前記非圧縮ビデオコンテンツに対応する画像空間残差を識別するステップと、
前記処理ハードウェアによって実行する前記MLモデルベースビデオ圧縮エンコーダによって、前記画像空間残差を前記画像空間残差の潜在空間表現に変換するステップと、
前記処理ハードウェアによって実行する前記トレーニング済画像圧縮MLモデルによって、前記動き補償済ビデオコンテンツを受信するステップと、
前記処理ハードウェアによって実行する前記トレーニング済画像圧縮MLモデルによって、前記動き補償済ビデオコンテンツを、前記動き補償済ビデオコンテンツの潜在空間表現に変換するステップと、
前記処理ハードウェアによって実行する前記MLモデルベースビデオ圧縮エンコーダによって、符号化済潜在残差を制作するために、前記画像空間残差の前記潜在空間表現を符号化するステップと、
前記処理ハードウェアによって実行する前記トレーニング済画像圧縮MLモデルによって、符号化済潜在ビデオコンテンツを制作するために、前記動き補償済ビデオコンテンツの前記潜在空間表現を符号化するステップと、
前記処理ハードウェアによって実行する前記MLモデルベースビデオ圧縮エンコーダによって、また前記符号化済潜在残差および前記符号化済潜在ビデオコンテンツを使用して、前記非圧縮ビデオコンテンツに対応する圧縮ビデオコンテンツを生成するステップと、
を含む方法。 - 請求項7に記載の方法であって、前記符号化済潜在残差および前記符号化済潜在ビデオコンテンツを、並行して制作する、方法。
- 請求項7に記載の方法であって、前記符号化済潜在残差と前記符号化済潜在ビデオコンテンツとの間の差に基づいて、前記非圧縮ビデオコンテンツに対応する前記圧縮ビデオコンテンツを生成する、方法。
- 請求項7に記載の方法であって、前記トレーニング済画像圧縮MLモデルは、トレーニング済みニューラルネットワーク(NN)を備える、方法。
- 請求項10に記載の方法であって、前記トレーニング済みNNを、敵対的損失を含む目的関数を使用してトレーニングする、方法。
- 請求項10に記載の方法であって、前記トレーニング済みNNは生成的敵対ネットワーク(GAN)を備える、方法。
Applications Claiming Priority (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202163172315P | 2021-04-08 | 2021-04-08 | |
US63/172,315 | 2021-04-08 | ||
US202163255280P | 2021-10-13 | 2021-10-13 | |
US63/255,280 | 2021-10-13 | ||
US17/704,692 | 2022-03-25 | ||
US17/704,692 US20220329876A1 (en) | 2021-04-08 | 2022-03-25 | Machine Learning Model-Based Video Compression |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022161861A JP2022161861A (ja) | 2022-10-21 |
JP7451591B2 true JP7451591B2 (ja) | 2024-03-18 |
Family
ID=80999748
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022062152A Active JP7451591B2 (ja) | 2021-04-08 | 2022-04-01 | 機械学習モデルベースのビデオ圧縮 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20220329876A1 (ja) |
EP (1) | EP4087251A1 (ja) |
JP (1) | JP7451591B2 (ja) |
KR (1) | KR20220139800A (ja) |
CN (1) | CN115209154A (ja) |
BR (1) | BR102022006510A2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB202216792D0 (en) * | 2022-11-10 | 2022-12-28 | Samsung Electronics Co Ltd | Semi-supervised video object segmentation |
WO2024149394A1 (en) * | 2023-01-13 | 2024-07-18 | Douyin Vision Co., Ltd. | Method, apparatus, and medium for visual data processing |
CN116781912B (zh) * | 2023-08-17 | 2023-11-14 | 瀚博半导体(上海)有限公司 | 视频传输方法、装置、计算机设备及计算机可读存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020107877A1 (zh) | 2018-11-29 | 2020-06-04 | 北京市商汤科技开发有限公司 | 视频压缩处理方法及装置、电子设备及存储介质 |
JP2020136884A (ja) | 2019-02-19 | 2020-08-31 | 日本電信電話株式会社 | 生成装置及びコンピュータプログラム |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11012718B2 (en) * | 2019-08-30 | 2021-05-18 | Disney Enterprises, Inc. | Systems and methods for generating a latent space residual |
WO2021178909A1 (en) * | 2020-03-05 | 2021-09-10 | Waymo Llc | Learning point cloud augmentation policies |
US11565185B2 (en) * | 2020-03-31 | 2023-01-31 | Electronic Arts Inc. | Method and system for automatic and interactive model training using domain knowledge in video games |
US20210360233A1 (en) * | 2020-05-12 | 2021-11-18 | Comcast Cable Communications, Llc | Artificial intelligence based optimal bit rate prediction for video coding |
US20220021887A1 (en) * | 2020-07-14 | 2022-01-20 | Wisconsin Alumni Research Foundation | Apparatus for Bandwidth Efficient Video Communication Using Machine Learning Identified Objects Of Interest |
-
2022
- 2022-03-25 US US17/704,692 patent/US20220329876A1/en active Pending
- 2022-03-31 EP EP22165891.7A patent/EP4087251A1/en active Pending
- 2022-04-01 JP JP2022062152A patent/JP7451591B2/ja active Active
- 2022-04-04 BR BR102022006510-1A patent/BR102022006510A2/pt unknown
- 2022-04-04 KR KR1020220041682A patent/KR20220139800A/ko active IP Right Grant
- 2022-04-08 CN CN202210363406.0A patent/CN115209154A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020107877A1 (zh) | 2018-11-29 | 2020-06-04 | 北京市商汤科技开发有限公司 | 视频压缩处理方法及装置、电子设备及存储介质 |
JP2020136884A (ja) | 2019-02-19 | 2020-08-31 | 日本電信電話株式会社 | 生成装置及びコンピュータプログラム |
Non-Patent Citations (1)
Title |
---|
Abdelaziz Djelouah, et al.,Neural Inter-Frame Compression for Video Coding,2019 IEEE/CVF International Conference on Computer Vision (ICCV),IEEE,2019年10月27日,pp.6420-6424,https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=9009574 |
Also Published As
Publication number | Publication date |
---|---|
US20220329876A1 (en) | 2022-10-13 |
BR102022006510A2 (pt) | 2022-10-11 |
CN115209154A (zh) | 2022-10-18 |
EP4087251A1 (en) | 2022-11-09 |
KR20220139800A (ko) | 2022-10-17 |
JP2022161861A (ja) | 2022-10-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7451591B2 (ja) | 機械学習モデルベースのビデオ圧縮 | |
US10880551B2 (en) | Method and apparatus for applying deep learning techniques in video coding, restoration and video quality analysis (VQA) | |
US10623775B1 (en) | End-to-end video and image compression | |
CN109218727B (zh) | 视频处理的方法和装置 | |
TW202247650A (zh) | 使用機器學習系統進行隱式圖像和視訊壓縮 | |
US11881003B2 (en) | Image compression and decoding, video compression and decoding: training methods and training systems | |
US20210400277A1 (en) | Method and system of video coding with reinforcement learning render-aware bitrate control | |
KR20230028250A (ko) | 강화 학습 기반 속도 제어 | |
JP7416489B2 (ja) | 深層強化学習を用いたエンドツーエンドのタスク指向型潜在圧縮のための方法、装置およびコンピュータプログラム | |
JP7403573B2 (ja) | 低ビットレートのビデオ圧縮のためのマイクロドージング | |
US11570465B2 (en) | Machine-learned in-loop predictor for video compression | |
CN116918329A (zh) | 一种视频帧的压缩和视频帧的解压缩方法及装置 | |
CN102948147A (zh) | 基于变换系数直方图的视频速率控制 | |
JP7419478B2 (ja) | コーデックレート歪み補償ダウンサンプラ | |
US12028540B2 (en) | Video size reduction by reconstruction | |
CN114222124B (zh) | 一种编解码方法及设备 | |
KR102650523B1 (ko) | 심층 강화 학습에 의한 종단 간 신경 압축을 위한 방법 및 장치 | |
KR20240071400A (ko) | 가변 보조 입력을 이용하는 트랜스포머 기반 신경망 | |
KR20240064698A (ko) | 특징 맵 인코딩 및 디코딩 방법 및 장치 | |
WO2024015713A1 (en) | Video coding using camera motion compensation and object motion compensation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220708 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230822 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230829 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231002 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231212 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231215 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240206 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240306 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7451591 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |