JP7196167B2 - ホスト通信されるマージされた重みと層単位命令のパッケージとを使用するニューラルネットワークアクセラレータによる多層ニューラルネットワーク処理 - Google Patents
ホスト通信されるマージされた重みと層単位命令のパッケージとを使用するニューラルネットワークアクセラレータによる多層ニューラルネットワーク処理 Download PDFInfo
- Publication number
- JP7196167B2 JP7196167B2 JP2020521412A JP2020521412A JP7196167B2 JP 7196167 B2 JP7196167 B2 JP 7196167B2 JP 2020521412 A JP2020521412 A JP 2020521412A JP 2020521412 A JP2020521412 A JP 2020521412A JP 7196167 B2 JP7196167 B2 JP 7196167B2
- Authority
- JP
- Japan
- Prior art keywords
- layer
- neural network
- instructions
- processing
- instruction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013528 artificial neural network Methods 0.000 title claims description 219
- 238000012545 processing Methods 0.000 title claims description 132
- 239000011159 matrix material Substances 0.000 claims description 89
- 238000000034 method Methods 0.000 claims description 47
- 230000006870 function Effects 0.000 claims description 21
- 230000008569 process Effects 0.000 claims description 16
- 230000004913 activation Effects 0.000 claims description 13
- 230000007704 transition Effects 0.000 claims description 5
- 239000000872 buffer Substances 0.000 description 50
- 230000001133 acceleration Effects 0.000 description 21
- 238000010801 machine learning Methods 0.000 description 17
- 238000011176 pooling Methods 0.000 description 14
- 238000001994 activation Methods 0.000 description 12
- 230000002093 peripheral effect Effects 0.000 description 11
- 238000013527 convolutional neural network Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 230000003068 static effect Effects 0.000 description 7
- 230000004044 response Effects 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 5
- 210000004027 cell Anatomy 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 238000012546 transfer Methods 0.000 description 3
- 239000008186 active pharmaceutical agent Substances 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000000977 initiatory effect Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Neurology (AREA)
- Advance Control (AREA)
- Image Analysis (AREA)
- Complex Calculations (AREA)
Description
2*max(B,C)*num-sets
であり得る。
ここで、max(B,C)はBおよびC行列の最大サイズであり、num-setsは、画像のRGBチャネルなど、入力データのセットの数である。
畳み込み1
ReLu1
最大プール1
畳み込み2
ReLu2
最大プール2
畳み込み3
ReLu3
畳み込み4
ReLu4
畳み込み5
ReLu5
最大プール5
FC6
FC7
FC8
ここで、各整数はニューラルネットワークにおける層を示す。層は、アルゴリズム説明では1から、特定の実装形態では0から番号付けされ得る。両方の説明は交換可能である。ニューラルネットワーク層の定義に基づいて、KAインターフェースは、命令パッケージ中に含めるための層単位命令を準備する。たとえば、上記の例示的なニューラルネットワーク定義に基づくAlexnet畳み込みニューラルネットワークの層2のための層単位命令は、以下の通りである。
M:192
N:5832
K:1600
scaleFPGAC:26
A_offset:24567
do im2col:2
batch size:8
img ch:64 w:27 w_padded:32 h:27
out w:27 w_padded:32
maxpool:2
relu:true
ニューラルネットワークアクセラレータによって命令パッケージを共有メモリから読み取ることと、ニューラルネットワークアクセラレータによって命令パッケージの複数の層単位命令を処理することとを含み得る。
Claims (13)
- ホストコンピュータシステムによって、複数の重み行列を、ニューラルネットワークアクセラレータと共有されるメモリ中の連続アドレス空間に書き込むことと、
前記ホストコンピュータシステムによって複数の層単位命令を命令パッケージにアセンブルすることであって、各層単位命令が、ニューラルネットワークの複数の層のそれぞれの層の処理と、前記共有メモリ中の重み行列のそれぞれのオフセットとを指定する、複数の層単位命令を命令パッケージにアセンブルすることと、
前記ホストコンピュータシステムによって入力データと前記命令パッケージとを前記共有メモリに書き込むことと、
前記ニューラルネットワークアクセラレータによってダイレクトメモリアクセス(DMA)動作を介して前記共有メモリから前記命令パッケージの各層単位命令を読み取ることと、
前記ニューラルネットワークアクセラレータによって前記命令パッケージの前記複数の層単位命令の各層単位命令を処理することであって、前記処理することが、
前記層単位命令から、前記複数の重み行列のうちの重み行列のベースアドレスおよびオフセットを決定することと、
DMAを介して前記共有メモリから前記重み行列を読み取ることと
を含む、前記複数の層単位命令の各層単位命令を処理することと
を含む方法。 - 前記複数の重み行列を書き込むことが、前記複数の層単位命令を処理することの前に、前記複数の重み行列のすべてを前記共有メモリに書き込むことを含む、請求項1に記載の方法。
- 前記重み行列の前記共有メモリ中のベースアドレスを示すパラメータを、前記ホストコンピュータシステムから前記ニューラルネットワークアクセラレータに伝えることをさらに含む、請求項1または請求項2に記載の方法。
- 前記複数の層単位命令を処理することが、
前記命令パッケージの第1の層単位命令を処理することと、その後に連続して前記命令パッケージの第2の層単位命令を処理することと、
前記第1の層単位命令を処理する際に、入力データを前記共有メモリの第1の部分から読み取り、出力データを前記共有メモリの第2の部分に書き込むことと、
前記第2の層単位命令を処理する際に、入力データを前記共有メモリの前記第2の部分から読み取り、出力データを前記共有メモリの前記第1の部分に書き込むことと
を含む、請求項1から3のいずれか一項に記載の方法。 - 前記複数の層単位命令を処理することが、前記命令パッケージ中での出現の順に前記命令パッケージ中の前記複数の層単位命令を処理することを含む、請求項1から4のいずれか一項に記載の方法。
- 前記複数の層単位命令を処理することが、命令パッケージ中のn個の命令について、命令i+1の実行を開始する前に命令iの実行を完了することを処理することを含み、1≦i≦nである、請求項1から5のいずれか一項に記載の方法。
- 前記複数の層単位命令を処理することが、前記命令パッケージによって定義される状態機械のための有限状態機械遷移表を評価することを含む、請求項1から6のいずれか一項に記載の方法。
- 共有メモリと、
前記共有メモリに接続されたホストコンピュータシステムであって、前記ホストコンピュータシステムが命令で構成され、前記命令は、実行されたとき、前記ホストコンピュータシステムに、
複数の重み行列を前記共有メモリ中の連続アドレス空間に書き込むことと、
複数の層単位命令を命令パッケージにアセンブルすることであって、各層単位命令が、ニューラルネットワークの複数の層のそれぞれの層の処理と、前記共有メモリ中の重み行列のそれぞれのオフセットとを指定する、複数の層単位命令を命令パッケージにアセンブルすることと、
入力データと前記命令パッケージとを前記共有メモリに書き込むことと
を行わせる、ホストコンピュータシステムと、
前記共有メモリにおよび前記ホストコンピュータシステムに接続されたニューラルネットワークアクセラレータであって、前記ニューラルネットワークアクセラレータは、
前記命令パッケージの各層単位命令を前記共有メモリから読み取ることと、
前記命令パッケージの前記複数の層単位命令を処理することであって、前記処理することが、
前記層単位命令から、前記複数の重み行列のうちの重み行列のベースアドレスおよびオフセットを決定することと、
DMAを介して前記共有メモリから前記重み行列を読み取ることと
を含む、前記複数の層単位命令を処理することと
を行うように構成された、ニューラルネットワークアクセラレータと
を備える、ニューラルネットワーク処理システム。 - 前記ホストコンピュータシステムに前記複数の重み行列を書き込むことを行わせる前記命令が、前記ニューラルネットワークアクセラレータによって前記複数の層単位命令を処理することの前に、前記ホストコンピュータシステムに前記複数の重み行列のすべてを前記共有メモリに書き込むことを行わせる命令を含む、請求項8に記載のニューラルネットワーク処理システム。
- 前記ホストコンピュータシステムが命令でさらに構成され、前記命令が、実行されたとき、前記ホストコンピュータシステムに、前記重み行列の前記共有メモリ中のベースアドレスを示すパラメータを、前記ニューラルネットワークアクセラレータに伝えることを行わせる、請求項8または9に記載のニューラルネットワーク処理システム。
- 前記複数の層単位命令を処理する際の前記ニューラルネットワークアクセラレータが、
前記命令パッケージの第1の層単位命令と第2の層単位命令とを連続して処理することと、
前記第1の層単位命令を処理する際に、入力データを前記共有メモリの第1の部分から読み取り、出力データを前記共有メモリの第2の部分に書き込むことと、
前記第2の層単位命令を処理する際に、入力データを前記共有メモリの前記第2の部分から読み取り、出力データを前記共有メモリの前記第1の部分に書き込むことと
を行うように構成された、請求項8から10のいずれか一項に記載のニューラルネットワーク処理システム。 - 前記ホストコンピュータシステムに、前記複数の層単位命令をアセンブルすることを行わせる前記命令が、前記ホストコンピュータシステムに、前記層単位命令のうちの1つまたは複数において、畳み込み、行列乗算、スケーリング、最大プール次元、および活性化関数のための構成パラメータを指定することを行わせる命令を含む、請求項8から11のいずれか一項に記載のニューラルネットワーク処理システム。
- 前記複数の層単位命令を処理する際の前記ニューラルネットワークアクセラレータが、前記命令パッケージ中での出現の順に前記命令パッケージ中の前記複数の層単位命令を処理するようにさらに構成された、請求項9に記載のニューラルネットワーク処理システム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/785,800 | 2017-10-17 | ||
US15/785,800 US11620490B2 (en) | 2017-10-17 | 2017-10-17 | Multi-layer neural network processing by a neural network accelerator using host communicated merged weights and a package of per-layer instructions |
PCT/US2018/056112 WO2019079319A1 (en) | 2017-10-17 | 2018-10-16 | NEURONAL MULTICOUCHE NETWORK PROCESSING BY A NEURONAL NETWORK ACCELERATOR USING CONTAINED HOST COMMUNICATION WEIGHTS AND A LAYERED INSTRUCTION PACKAGE |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2020537785A JP2020537785A (ja) | 2020-12-24 |
JP2020537785A5 JP2020537785A5 (ja) | 2021-11-25 |
JP7196167B2 true JP7196167B2 (ja) | 2022-12-26 |
Family
ID=64110172
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020521412A Active JP7196167B2 (ja) | 2017-10-17 | 2018-10-16 | ホスト通信されるマージされた重みと層単位命令のパッケージとを使用するニューラルネットワークアクセラレータによる多層ニューラルネットワーク処理 |
Country Status (6)
Country | Link |
---|---|
US (1) | US11620490B2 (ja) |
EP (1) | EP3698296B1 (ja) |
JP (1) | JP7196167B2 (ja) |
KR (1) | KR102578508B1 (ja) |
CN (1) | CN111226231A (ja) |
WO (1) | WO2019079319A1 (ja) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11037330B2 (en) * | 2017-04-08 | 2021-06-15 | Intel Corporation | Low rank matrix compression |
US11386644B2 (en) * | 2017-10-17 | 2022-07-12 | Xilinx, Inc. | Image preprocessing for generalized image processing |
US10565285B2 (en) * | 2017-12-18 | 2020-02-18 | International Business Machines Corporation | Processor and memory transparent convolutional lowering and auto zero padding for deep neural network implementations |
US11250107B2 (en) * | 2019-07-15 | 2022-02-15 | International Business Machines Corporation | Method for interfacing with hardware accelerators |
US11573828B2 (en) * | 2019-09-16 | 2023-02-07 | Nec Corporation | Efficient and scalable enclave protection for machine learning programs |
US11501145B1 (en) * | 2019-09-17 | 2022-11-15 | Amazon Technologies, Inc. | Memory operation for systolic array |
KR102463123B1 (ko) * | 2019-11-29 | 2022-11-04 | 한국전자기술연구원 | 뉴럴 네트워크 가속기의 효율적인 제어, 모니터링 및 소프트웨어 디버깅 방법 |
US11132594B2 (en) | 2020-01-03 | 2021-09-28 | Capital One Services, Llc | Systems and methods for producing non-standard shaped cards |
US11182159B2 (en) | 2020-02-26 | 2021-11-23 | Google Llc | Vector reductions using shared scratchpad memory |
CN111461315A (zh) * | 2020-03-31 | 2020-07-28 | 中科寒武纪科技股份有限公司 | 计算神经网络的方法、装置、板卡及计算机可读存储介质 |
CN111461316A (zh) * | 2020-03-31 | 2020-07-28 | 中科寒武纪科技股份有限公司 | 计算神经网络的方法、装置、板卡及计算机可读存储介质 |
US11783163B2 (en) * | 2020-06-15 | 2023-10-10 | Arm Limited | Hardware accelerator for IM2COL operation |
CN112613605A (zh) * | 2020-12-07 | 2021-04-06 | 深兰人工智能(深圳)有限公司 | 神经网络加速控制方法、装置、电子设备及存储介质 |
CN112580787B (zh) * | 2020-12-25 | 2023-11-17 | 北京百度网讯科技有限公司 | 神经网络加速器的数据处理方法、装置、设备及存储介质 |
CN113326479A (zh) * | 2021-05-28 | 2021-08-31 | 哈尔滨理工大学 | 一种基于fpga的k均值算法的实现方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160335120A1 (en) | 2015-05-11 | 2016-11-17 | Auviz Systems, Inc. | ACCELERATING ALGORITHMS & APPLICATIONS ON FPGAs |
JP2016536679A (ja) | 2013-10-11 | 2016-11-24 | クゥアルコム・インコーポレイテッドQualcomm Incorporated | ニューラルシミュレータ用の共有メモリアーキテクチャ |
US20160342890A1 (en) | 2015-05-21 | 2016-11-24 | Google Inc. | Batch processing in a neural network processor |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6346825B1 (en) | 2000-10-06 | 2002-02-12 | Xilinx, Inc. | Block RAM with configurable data width and parity for use in a field programmable gate array |
EP3000030A4 (en) * | 2013-05-22 | 2017-07-05 | Neurala Inc. | Methods and apparatus for iterative nonspecific distributed runtime architecture and its application to cloud intelligence |
US10417555B2 (en) * | 2015-05-29 | 2019-09-17 | Samsung Electronics Co., Ltd. | Data-optimized neural network traversal |
CN108292241B (zh) * | 2015-10-28 | 2022-05-24 | 谷歌有限责任公司 | 处理计算图 |
US9875104B2 (en) * | 2016-02-03 | 2018-01-23 | Google Llc | Accessing data in multi-dimensional tensors |
US10891538B2 (en) * | 2016-08-11 | 2021-01-12 | Nvidia Corporation | Sparse convolutional neural network accelerator |
CN107239823A (zh) * | 2016-08-12 | 2017-10-10 | 北京深鉴科技有限公司 | 一种用于实现稀疏神经网络的装置和方法 |
US10802992B2 (en) * | 2016-08-12 | 2020-10-13 | Xilinx Technology Beijing Limited | Combining CPU and special accelerator for implementing an artificial neural network |
US10489702B2 (en) * | 2016-10-14 | 2019-11-26 | Intel Corporation | Hybrid compression scheme for efficient storage of synaptic weights in hardware neuromorphic cores |
US10175980B2 (en) * | 2016-10-27 | 2019-01-08 | Google Llc | Neural network compute tile |
US10949736B2 (en) * | 2016-11-03 | 2021-03-16 | Intel Corporation | Flexible neural network accelerator and methods therefor |
CN110050267B (zh) * | 2016-12-09 | 2023-05-26 | 北京地平线信息技术有限公司 | 用于数据管理的系统和方法 |
GB2568776B (en) * | 2017-08-11 | 2020-10-28 | Google Llc | Neural network accelerator with parameters resident on chip |
-
2017
- 2017-10-17 US US15/785,800 patent/US11620490B2/en active Active
-
2018
- 2018-10-16 JP JP2020521412A patent/JP7196167B2/ja active Active
- 2018-10-16 CN CN201880067687.7A patent/CN111226231A/zh active Pending
- 2018-10-16 WO PCT/US2018/056112 patent/WO2019079319A1/en active Search and Examination
- 2018-10-16 EP EP18797373.0A patent/EP3698296B1/en active Active
- 2018-10-16 KR KR1020207013441A patent/KR102578508B1/ko active IP Right Grant
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016536679A (ja) | 2013-10-11 | 2016-11-24 | クゥアルコム・インコーポレイテッドQualcomm Incorporated | ニューラルシミュレータ用の共有メモリアーキテクチャ |
US20160335120A1 (en) | 2015-05-11 | 2016-11-17 | Auviz Systems, Inc. | ACCELERATING ALGORITHMS & APPLICATIONS ON FPGAs |
US20160342890A1 (en) | 2015-05-21 | 2016-11-24 | Google Inc. | Batch processing in a neural network processor |
Non-Patent Citations (1)
Title |
---|
QIU, Jiantao, et al.,Going Deeper with Embedded FPGA Platform for Convolutional Neural Network,Proceedings of the 2016 ACM/SIGDA International Symposium on Field-Programmable Gate Arrays,2016年02月,pages 26-35,[検索日 2022.11.07], インターネット:<URL:https://dl.acm.org/doi/10.1145/2847263.2847265>,<DOI: 10.1145/2847263.2847265> |
Also Published As
Publication number | Publication date |
---|---|
KR20200069338A (ko) | 2020-06-16 |
EP3698296A1 (en) | 2020-08-26 |
KR102578508B1 (ko) | 2023-09-13 |
EP3698296B1 (en) | 2024-07-17 |
WO2019079319A1 (en) | 2019-04-25 |
JP2020537785A (ja) | 2020-12-24 |
US20190114529A1 (en) | 2019-04-18 |
CN111226231A (zh) | 2020-06-02 |
US11620490B2 (en) | 2023-04-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7196167B2 (ja) | ホスト通信されるマージされた重みと層単位命令のパッケージとを使用するニューラルネットワークアクセラレータによる多層ニューラルネットワーク処理 | |
JP7196168B2 (ja) | 複数のプロセッサおよびニューラルネットワークアクセラレータを有するニューラルネットワーク処理システム | |
US11429848B2 (en) | Host-directed multi-layer neural network processing via per-layer work requests | |
EP3698313B1 (en) | Image preprocessing for generalized image processing | |
US11568218B2 (en) | Neural network processing system having host controlled kernel acclerators | |
US10515135B1 (en) | Data format suitable for fast massively parallel general matrix multiplication in a programmable IC | |
KR102650299B1 (ko) | 대규모 병렬 소프트웨어로 정의된 하드웨어 시스템에서의 정적 블록 스케줄링 | |
US10354733B1 (en) | Software-defined memory bandwidth reduction by hierarchical stream buffering for general matrix multiplication in a programmable IC | |
US10984500B1 (en) | Inline image preprocessing for convolution operations using a matrix multiplier on an integrated circuit | |
US11204747B1 (en) | Re-targetable interface for data exchange between heterogeneous systems and accelerator abstraction into software instructions | |
KR20200037303A (ko) | 뉴럴 네트워크들의 아키텍처 최적화된 트레이닝 | |
US10943039B1 (en) | Software-driven design optimization for fixed-point multiply-accumulate circuitry | |
US11036827B1 (en) | Software-defined buffer/transposer for general matrix multiplication in a programmable IC | |
KR102697368B1 (ko) | 일반화된 이미지 프로세싱을 위한 이미지 프리프로세싱 | |
US20210209462A1 (en) | Method and system for processing a neural network |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A529 | Written submission of copy of amendment under article 34 pct |
Free format text: JAPANESE INTERMEDIATE CODE: A529 Effective date: 20200605 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211014 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211014 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221025 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221115 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221214 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7196167 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |