JP7419574B2 - 膨張畳み込み加速演算方法及び装置 - Google Patents
膨張畳み込み加速演算方法及び装置 Download PDFInfo
- Publication number
- JP7419574B2 JP7419574B2 JP2022580125A JP2022580125A JP7419574B2 JP 7419574 B2 JP7419574 B2 JP 7419574B2 JP 2022580125 A JP2022580125 A JP 2022580125A JP 2022580125 A JP2022580125 A JP 2022580125A JP 7419574 B2 JP7419574 B2 JP 7419574B2
- Authority
- JP
- Japan
- Prior art keywords
- convolution
- dilation
- sub
- dilated
- operations
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004364 calculation method Methods 0.000 title claims description 47
- 230000001133 acceleration Effects 0.000 title claims description 19
- 230000010339 dilation Effects 0.000 claims description 32
- 239000011159 matrix material Substances 0.000 claims description 24
- 238000000034 method Methods 0.000 claims description 22
- 230000001186 cumulative effect Effects 0.000 claims description 6
- 230000003139 buffering effect Effects 0.000 claims description 3
- 238000009825 accumulation Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 25
- 238000012545 processing Methods 0.000 description 7
- 230000009286 beneficial effect Effects 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 238000011176 pooling Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/15—Correlation function computation including computation of convolution operations
- G06F17/153—Multidimensional correlation or convolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
- G06F7/38—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation
- G06F7/48—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices
- G06F7/50—Adding; Subtracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
- G06F7/38—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation
- G06F7/48—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices
- G06F7/52—Multiplying; Dividing
- G06F7/523—Multiplying only
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Pure & Applied Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Mathematical Optimization (AREA)
- Neurology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Algebra (AREA)
- Databases & Information Systems (AREA)
- Complex Calculations (AREA)
- Image Processing (AREA)
Description
本発明は、深層学習分野に属するものであり、具体的に、膨張畳み込み加速演算方法及び装置に関する。
本部分は、特許請求の範囲に記載の本発明の実施形態のために、背景又は上下文を提供することを意図したものである。ここでの記載は、本部分に含まれることが原因で従来技術として認められるものではない。
従来技術における膨張畳み込み演算の実現汎用性が良くなく、複雑度が高い問題に対し、本発明の実施例では、膨張畳み込み加速演算方法及び装置を提供する。このような方法及び装置によれば、上記問題を解決することができる。
以下の例示的な実施例の詳細を閲覧したうえで、当業者は、本明細書に記載の利点や有益な効果、および、他の利点や有益な効果を理解できるだろう。添付図面は、例示的な実施例の目的を示すためのものに過ぎず、本発明を制限するものとして見なされない。しかも、全ての添付図面において、同一の部材は同一の記号で示される。添付図面において、
図1は、従来技術におけるIm2colに基づく膨張畳み込み演算の概略図である。
以下は、添付図面を参照しながら、本開示の例示的な実施例をより詳しく説明する。添付図面には、本開示の例示的な実施例が示されたが、本開示は、種々な形式で実現することができ、ここに記載の実施例により限られたものではないと、理解すべきである。逆に、それらの実施例を提供する目的は、本開示をさらに明瞭に理解できるようにすることであって、本開示の範囲を当業者に完全に伝えることができることである。
ステップ302:R×1のサブ膨張畳み込み演算ごとに、複数の重み値を演算部行列における複数の演算部に並行してバッファすること、
ステップ303:入力画像データから、複数の重み値の各々に対応する多重入力データストリームをそれぞれ、特定し、多重入力データストリームを複数の演算部に並行して入力すること、
ステップ304:複数の演算部の各々の内部において、バッファされている重み値と受信された入力データストリームに基づいて、スライド操作と乗算操作を実行するとともに、複数の演算部の間に累積加算操作を実行して、サブ膨張畳み込み演算の中間結果を出力すること、および、
ステップ305:S個のR×1のサブ膨張畳み込み演算の中間結果を加算して、膨張畳み込み演算の畳み込み結果を取得すること。
論理制御部は、R×Sの膨張畳み込み演算を、S個のR×1のサブ膨張畳み込み演算に分解し、Rが畳み込みカーネルの高さであり、Sが畳み込みカーネルの幅であり、R×1のサブ膨張畳み込み演算ごとに、複数の重み値を演算部行列における複数の演算部に並行してバッファし、複数の重み値の各々に対応する多重入力データストリームをそれぞれ、特定し、多重入力データストリームを前記複数の演算部に並行して入力するために配置されており、
演算部行列は、複数の演算部の各々の内部において、バッファされている重み値と受信された入力データストリームに基づいて、スライド操作と乗算操作を実行するとともに、複数の演算部の間に累積加算操作を実行して、サブ膨張畳み込み演算の中間結果を出力し、S個のR×1のサブ膨張畳み込み演算の中間結果を加算して、膨張畳み込み演算の畳み込み結果を取得するために配置されている、膨張畳み込み加速演算装置をさらに提供する。
Claims (10)
- R×Sの膨張畳み込み演算を、S個のR×1のサブ膨張畳み込み演算に分解するステップであって、前記Rが畳み込みカーネルの高さであり、前記Sが畳み込みカーネルの幅であるステップ、
R×1のサブ膨張畳み込み演算ごとに、複数の重み値を演算部行列における複数の演算部に並行してバッファするステップ、
入力画像データから、前記複数の重み値の各々に対応する多重入力データストリームをそれぞれ、特定し、前記多重入力データストリームを前記複数の演算部に並行して入力するステップ、
前記複数の演算部の各々の内部において、バッファされている重み値と受信された入力データストリームに基づいて、スライド操作と乗算操作を実行するとともに、前記複数の演算部の間に累積加算操作を実行して、前記サブ膨張畳み込み演算の中間結果を出力するステップ、および、
前記S個のR×1のサブ膨張畳み込み演算の中間結果を加算して、前記膨張畳み込み演算の畳み込み結果を取得するステップ、を含む、
ことを特徴とする膨張畳み込み加速演算方法。 - 前記膨張畳み込み演算の膨張率と畳み込みステップサイズに基づき、入力画像データから、必要なデータを読み取ることで、前記重み値毎に対応する入力データストリームをスティッチングして構成する、ことを特徴とする請求項1に記載の方法。
- 前記膨張畳み込み演算の膨張率と畳み込みステップサイズに基づき、前記入力画像データにおける複数行のデータを読み取ることで、前記重み値毎に対応する入力データストリームをスティッチングして構成する、ことを特徴とする請求項1に記載の方法。
- 前記スライド操作のスライドステップサイズは、前記膨張畳み込み演算の前記畳み込みステップサイズによって決められる、ことを特徴とする請求項1に記載の方法。
- 前記S個のR×1のサブ膨張畳み込み演算の中間結果を加算する前記ステップは、
前記S個のR×1のサブ膨張畳み込み演算において、前記S個のR×1のサブ膨張畳み込み演算の中間結果をリアルタイムに加算すること、又は、
前記S個のR×1のサブ膨張畳み込み演算の実行が終了した後、複数の中間結果を加算すること、を含む、ことを特徴とする請求項1に記載の方法。 - 論理制御部と、演算部行列と、を備え、
前記論理制御部は、R×Sの膨張畳み込み演算を、S個のR×1のサブ膨張畳み込み演算に分解し、前記Rが畳み込みカーネルの高さであり、前記Sが畳み込みカーネルの幅であり、R×1のサブ膨張畳み込み演算ごとに、複数の重み値を前記演算部行列における複数の演算部に並行してバッファし、入力画像データから、前記複数の重み値の各々に対応する多重入力データストリームをそれぞれ、特定し、前記多重入力データストリームを前記複数の演算部に並行して入力するために配置されており、
前記演算部行列は、前記複数の演算部の各々の内部において、バッファされている重み値と受信された入力データストリームに基づいて、スライド操作と乗算操作を実行するとともに、前記複数の演算部の間に累積加算操作を実行して、前記サブ膨張畳み込み演算の中間結果を出力し、前記S個のR×1のサブ膨張畳み込み演算の中間結果を加算して、前記膨張畳み込み演算の畳み込み結果を取得するために配置されている、
ことを特徴とする膨張畳み込み加速演算装置。 - 前記論理制御部は、
前記膨張畳み込み演算の膨張率と畳み込みステップサイズに基づき、入力画像データから、必要なデータを読み取ることで、前記重み値毎に対応する入力データストリームをスティッチングして構成するために配置されている、ことを特徴とする請求項6に記載の装置。 - 前記論理制御部は、
前記膨張畳み込み演算の膨張率と畳み込みステップサイズに基づき、前記入力画像データにおける複数行のデータを読み取ることで、前記重み値毎に対応する入力データストリームをスティッチングして構成するために配置されている、ことを特徴とする請求項6に記載の装置。 - 前記スライド操作のスライドステップサイズは、前記膨張畳み込み演算の前記畳み込みステップサイズによって決められる、ことを特徴とする請求項6に記載の装置。
- 前記演算部行列は、前記S個のR×1のサブ膨張畳み込み演算において、前記S個のR×1のサブ膨張畳み込み演算の中間結果をリアルタイムに加算する、又は、前記S個のR×1のサブ膨張畳み込み演算の実行が終了した後、複数の中間結果を加算するために配置されている、ことを特徴とする請求項6に記載の装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010659646.6A CN113989169A (zh) | 2020-07-08 | 2020-07-08 | 一种膨胀卷积加速计算方法及装置 |
CN202010659646.6 | 2020-07-08 | ||
PCT/CN2020/126195 WO2022007265A1 (zh) | 2020-07-08 | 2020-11-03 | 一种膨胀卷积加速计算方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023531070A JP2023531070A (ja) | 2023-07-20 |
JP7419574B2 true JP7419574B2 (ja) | 2024-01-22 |
Family
ID=79552764
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022580125A Active JP7419574B2 (ja) | 2020-07-08 | 2020-11-03 | 膨張畳み込み加速演算方法及び装置 |
Country Status (6)
Country | Link |
---|---|
US (1) | US12056530B2 (ja) |
EP (1) | EP4181024A4 (ja) |
JP (1) | JP7419574B2 (ja) |
KR (1) | KR20230081697A (ja) |
CN (1) | CN113989169A (ja) |
WO (1) | WO2022007265A1 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114565501B (zh) * | 2022-02-21 | 2024-03-22 | 格兰菲智能科技有限公司 | 用于卷积运算的数据加载方法及其装置 |
CN115292662B (zh) * | 2022-08-18 | 2023-09-22 | 上海燧原科技有限公司 | 一种卷积加速运算方法、装置、电子设备及存储介质 |
CN116152037A (zh) * | 2022-12-06 | 2023-05-23 | 嘉楠明芯(北京)科技有限公司 | 图像反卷积方法和设备、存储介质 |
CN117407733B (zh) * | 2023-12-12 | 2024-04-02 | 南昌科晨电力试验研究有限公司 | 一种基于对抗生成shapelet的流量异常检测方法及系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180314671A1 (en) | 2017-04-27 | 2018-11-01 | Falcon Computing | Systems And Methods For Systolic Array Design From A High-Level Program |
US20190042923A1 (en) | 2017-08-07 | 2019-02-07 | Intel Corporation | System and method for an optimized winograd convolution accelerator |
CN111178519A (zh) | 2019-12-27 | 2020-05-19 | 华中科技大学 | 卷积神经网络加速引擎、卷积神经网络加速系统及方法 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104915322B (zh) * | 2015-06-09 | 2018-05-01 | 中国人民解放军国防科学技术大学 | 一种卷积神经网络硬件加速方法 |
US10067509B1 (en) | 2017-03-10 | 2018-09-04 | TuSimple | System and method for occluding contour detection |
CN107862650B (zh) * | 2017-11-29 | 2021-07-06 | 中科亿海微电子科技(苏州)有限公司 | 加速计算二维图像cnn卷积的方法 |
CN109919295B (zh) * | 2017-12-12 | 2022-10-28 | 北京大学深圳研究生院 | 一种基于轻量级卷积神经网络的嵌入式音频事件检测方法 |
CN109032781A (zh) * | 2018-07-13 | 2018-12-18 | 重庆邮电大学 | 一种卷积神经网络算法的fpga并行系统 |
CN109447893A (zh) * | 2019-01-28 | 2019-03-08 | 深兰人工智能芯片研究院(江苏)有限公司 | 一种卷积神经网络fpga加速中图像前处理方法及装置 |
CN110543849B (zh) | 2019-08-30 | 2022-10-04 | 北京市商汤科技开发有限公司 | 检测器的配置方法及装置、电子设备和存储介质 |
CN111260037B (zh) | 2020-02-11 | 2023-10-13 | 深圳云天励飞技术股份有限公司 | 图像数据的卷积运算方法、装置、电子设备及存储介质 |
CN111951269B (zh) * | 2020-10-16 | 2021-01-05 | 深圳云天励飞技术股份有限公司 | 图像处理方法及相关设备 |
-
2020
- 2020-07-08 CN CN202010659646.6A patent/CN113989169A/zh active Pending
- 2020-11-03 WO PCT/CN2020/126195 patent/WO2022007265A1/zh unknown
- 2020-11-03 US US18/014,635 patent/US12056530B2/en active Active
- 2020-11-03 EP EP20944528.7A patent/EP4181024A4/en active Pending
- 2020-11-03 KR KR1020227031052A patent/KR20230081697A/ko unknown
- 2020-11-03 JP JP2022580125A patent/JP7419574B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180314671A1 (en) | 2017-04-27 | 2018-11-01 | Falcon Computing | Systems And Methods For Systolic Array Design From A High-Level Program |
US20190042923A1 (en) | 2017-08-07 | 2019-02-07 | Intel Corporation | System and method for an optimized winograd convolution accelerator |
CN111178519A (zh) | 2019-12-27 | 2020-05-19 | 华中科技大学 | 卷积神经网络加速引擎、卷积神经网络加速系统及方法 |
Also Published As
Publication number | Publication date |
---|---|
US20230273829A1 (en) | 2023-08-31 |
CN113989169A (zh) | 2022-01-28 |
JP2023531070A (ja) | 2023-07-20 |
KR20230081697A (ko) | 2023-06-07 |
WO2022007265A1 (zh) | 2022-01-13 |
EP4181024A4 (en) | 2024-04-24 |
EP4181024A1 (en) | 2023-05-17 |
US12056530B2 (en) | 2024-08-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7419574B2 (ja) | 膨張畳み込み加速演算方法及び装置 | |
US11468301B2 (en) | Method and apparatus for performing operation of convolutional layer in convolutional neural network | |
KR102659997B1 (ko) | 저전력 컨볼루션 신경망 추론 애플리케이션을 위한 메모리 대역폭 감소 기술 | |
US11256977B2 (en) | Lowering hardware for neural networks | |
US11436017B2 (en) | Data temporary storage apparatus, data temporary storage method and operation method | |
KR101298393B1 (ko) | 그래픽 처리 유닛 상에서 콘볼루션 신경망을 트레이닝하는방법 | |
JP2019109896A (ja) | ニューラルネットワークにおける畳み込み計算のための方法および電子デバイス | |
JP2019109895A (ja) | ニューラルネットワークにおける畳み込み計算のための方法および電子デバイス | |
JP2021509747A (ja) | ハードウェアベースのプーリングのシステムおよび方法 | |
CN110989920B (zh) | 能量高效的存储器系统和方法 | |
WO2022206556A1 (zh) | 图像数据的矩阵运算方法、装置、设备及存储介质 | |
US11763131B1 (en) | Systems and methods for reducing power consumption of convolution operations for artificial neural networks | |
US20230289230A1 (en) | Method and apparatus for accelerating convolutional neural network | |
CN113673701B (zh) | 神经网络模型的运行方法、可读介质和电子设备 | |
KR102470027B1 (ko) | 다수 컨벌루션 윈도우 중의 이미지 데이터를 추출하는 방법, 장치, 기기 및 컴퓨터 판독 가능한 저장매체 | |
US20200057919A1 (en) | Apparatus for processing a neural network | |
US11599181B1 (en) | Systems and methods for reducing power consumption of convolution operations of artificial neural networks | |
CN111311599B (zh) | 图像处理方法、装置、电子设备和存储介质 | |
US20220253683A1 (en) | Implementing Fully-Connected Neural-Network Layers in Hardware | |
JP7332722B2 (ja) | データ処理方法、装置、記憶媒体及び電子機器 | |
US11699081B2 (en) | Systems and methods for reducing data movement during convolution operations in artificial neural networks | |
CN117391162A (zh) | 基于卷积神经网络的加速器及加速方法 | |
CN114662647A (zh) | 处理用于神经网络的层的数据 | |
CN111125627A (zh) | 用于池化多维矩阵的方法及相关产品 | |
US20240111840A1 (en) | Selecting a Tiling Scheme for Processing Instances of Input Data Through a Neural Netwok |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221223 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231130 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231212 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240110 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7419574 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |