JP6857369B2 - Cnnを学習する方法及び学習装置、それを利用したテスト方法及びテスト装置 - Google Patents
Cnnを学習する方法及び学習装置、それを利用したテスト方法及びテスト装置 Download PDFInfo
- Publication number
- JP6857369B2 JP6857369B2 JP2020001966A JP2020001966A JP6857369B2 JP 6857369 B2 JP6857369 B2 JP 6857369B2 JP 2020001966 A JP2020001966 A JP 2020001966A JP 2020001966 A JP2020001966 A JP 2020001966A JP 6857369 B2 JP6857369 B2 JP 6857369B2
- Authority
- JP
- Japan
- Prior art keywords
- feature map
- test
- channel
- width
- height
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012360 testing method Methods 0.000 title claims description 224
- 238000000034 method Methods 0.000 title claims description 97
- 238000010998 test method Methods 0.000 title claims description 15
- 238000012549 training Methods 0.000 claims description 97
- 230000008569 process Effects 0.000 claims description 40
- 238000012545 processing Methods 0.000 claims description 25
- 238000004364 calculation method Methods 0.000 claims description 24
- 238000013527 convolutional neural network Methods 0.000 description 32
- 238000007781 pre-processing Methods 0.000 description 13
- 230000004913 activation Effects 0.000 description 10
- 238000010606 normalization Methods 0.000 description 10
- 238000011176 pooling Methods 0.000 description 10
- 238000012805 post-processing Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 5
- 238000005457 optimization Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 238000010009 beating Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3466—Performance evaluation by tracing or monitoring
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
- G06F13/14—Handling requests for interconnection or transfer
- G06F13/36—Handling requests for interconnection or transfer for access to common bus or bus system
- G06F13/368—Handling requests for interconnection or transfer for access to common bus or bus system with decentralised access control
- G06F13/378—Handling requests for interconnection or transfer for access to common bus or bus system with decentralised access control using a parallel poll method
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/15—Correlation function computation including computation of convolution operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/94—Hardware or software architectures specially adapted for image or video understanding
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Computational Mathematics (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Optimization (AREA)
- Mathematical Analysis (AREA)
- Medical Informatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Biodiversity & Conservation Biology (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Algebra (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Description
である前記リシェイプ済み特徴マップを生成させることを特徴とする。
である前記リシェイプ済み特徴マップを生成させることを特徴とする。
である前記リシェイプ済み特徴マップを生成させるか、(ii)幅WxK、高さH、チャンネル
である前記リシェイプ済み特徴マップを生成させ、前記
番目のチャンネル上における前記リシェイプ済み特徴マップの最終部分(Final Part)のサイズが幅W、高さHxKであるサイズにならない場合、前記リシェイプレイヤをもって、少なくとも一つのゼロパディング(Zero Padding)を追加させて前記
番目のチャンネル上における前記リシェイプ済み特徴マップの前記最終部分のサイズが幅W、高さHxKであるサイズになるようにするか、前記
番目のチャンネル上における前記リシェイプ済み特徴マップの前記最終部分のサイズが幅WxK、高さHであるサイズにならない場合、前記リシェイプレイヤをもって、少なくとも一つのゼロパディングを追加させて前記
番目のチャンネル上における前記リシェイプ済み特徴マップの前記最終部分のサイズが幅WxK、高さHであるサイズになるようにすることを特徴とする。
である前記テスト用リシェイプ済み特徴マップを生成させることを特徴とする。
である前記テスト用リシェイプ済み特徴マップを生成させることを特徴とする。
である前記テスト用リシェイプ済み特徴マップを生成させるか、(ii)幅WxK、高さH、チャンネル
である前記テスト用リシェイプ済み特徴マップを生成させ、前記
番目のチャンネル上の前記テスト用リシェイプ済み特徴マップの最終部分(Final Part)のサイズが幅W、高さHxKであるサイズにならない場合、前記リシェイプレイヤをもって、少なくとも一つのゼロパディング(Zero Padding)を追加させて前記
番目のチャンネル上の前記テスト用リシェイプ済み特徴マップの前記最終部分のサイズが幅W、高さHxKであるサイズになるようにするか、前記
番目のチャンネル上の前記テスト用リシェイプ済み特徴マップの前記最終部分のサイズが幅WxK、高さHであるサイズにならない場合、前記リシェイプレイヤをもって、少なくとも一つのゼロパディングを追加させて前記
番目のチャンネル上の前記テスト用リシェイプ済み特徴マップの前記最終部分のサイズが幅WxK、高さHであるサイズになるようにすることを特徴とする。
である前記リシェイプ済み特徴マップを生成させることを特徴とする。
である前記リシェイプ済み特徴マップを生成させることを特徴とする。
である前記リシェイプ済み特徴マップを生成させるか、(ii)幅WxK、高さH、チャンネル
である前記リシェイプ済み特徴マップを生成させ、前記
番目のチャンネル上における前記リシェイプ済み特徴マップの最終部分(Final Part)のサイズが幅W、高さHxKであるサイズにならない場合、前記リシェイプレイヤをもって、少なくとも一つのゼロパディング(Zero Padding)を追加させて前記
番目のチャンネル上における前記リシェイプ済み特徴マップの前記最終部分のサイズが幅W、高さHxKであるサイズになるようにするか、前記
番目のチャンネル上における前記リシェイプ済み特徴マップの最終部分のサイズが幅WxK、高さHであるサイズにならない場合、前記リシェイプレイヤをもって、少なくとも一つのゼロパディングを追加させて前記
番目のチャンネル上における前記リシェイプ済み特徴マップの前記最終部分のサイズが幅WxK、高さHであるサイズとなることを特徴とする。
である前記テスト用リシェイプ済み特徴マップを生成させることを特徴とする。
である前記テスト用リシェイプ済み特徴マップを生成させることを特徴とする。
である前記テスト用リシェイプ済み特徴マップを生成させるか、(ii)幅WxK、高さH、チャンネル
である前記テスト用リシェイプ済み特徴マップを生成させ、前記
番目のチャンネル上の前記テスト用リシェイプ済み特徴マップの最終部分(Final Part)のサイズが幅W、高さHxKであるサイズにならない場合、前記リシェイプレイヤをもって、少なくとも一つのゼロパディング(Zero Padding)を追加させて前記
番目のチャンネル上の前記テスト用リシェイプ済み特徴マップの前記最終部分のサイズが幅W、高さHxKであるサイズになるようにするか、前記
番目のチャンネル上の前記テスト用リシェイプ済み特徴マップの最終部分のサイズが幅WxK、高さHであるサイズにならない場合、前記リシェイプレイヤをもって、少なくとも一つのゼロパディングを追加させて前記
番目のチャンネル上の前記テスト用リシェイプ済み特徴マップの前記最終部分のサイズが幅WxK、高さHであるサイズになるようにすることを特徴とする。
であるリシェイプ済み特徴マップを生成させるか、(ii)幅WxK、高さH、チャンネル
であるリシェイプ済み特徴マップを生成させることができる。
番目のチャンネル上のリシェイプ済み特徴マップの最終部分(Final Part)のサイズが幅W、高さHxKであるサイズにならない場合には、学習装置100はリシェイプレイヤ122をもって、少なくとも一つのゼロパディング(Zero Padding)を追加させて
番目のチャンネル上のリシェイプ済み特徴マップの最終部分のサイズが幅W、高さHxKであるサイズになるようにするか、
番目のチャンネル上のリシェイプ済み特徴マップの最終部分のサイズが幅WxK、高さHであるサイズにならない場合には、リシェイプレイヤ122をもって、少なくとも一つのゼロパディングを追加させて
番目のチャンネル上のリシェイプ済み特徴マップの前記最終部分のサイズが幅WxK、高さHであるサイズになるようにすることができる。
を有するようになる。そして、リシェイプ済み特徴マップ400Aのそれぞれのチャンネルは、トレーニングイメージまたはこれを加工した特徴マップ300のK個のチャンネルから構成されたそれぞれのグループに対応し得る。つまり、リシェイプ済み特徴マップ400Aの最初のチャンネルはトレーニングイメージまたはこれを加工した特徴マップ300の最初のないしK番目のチャンネルに対応し、リシェイプ済み特徴マップ400Aの二番目のチャンネルは、トレーニングイメージまたはこれを加工した特徴マップ300のK+1番目のチャンネルないし2xK番目のチャンネルに対応し得る。そして、リシェイプ済み特徴マップ400Aの
番目のチャンネルは、トレーニングイメージまたはこれを加工した特徴マップ300の
番目のチャンネルないしL番目のチャンネルに対応し得る。
になる。そして、リシェイプ済み特徴マップ500Aのそれぞれのチャンネルは、トレーニングイメージまたはこれを加工した特徴マップ300のK個のチャンネルから構成されたそれぞれのグループに対応し得る。すなわち、リシェイプ済み特徴マップ500Aの最初のチャンネルは、トレーニングイメージまたはこれを加工した特徴マップ300の最初のチャンネルないしK番目のチャンネルに対応し、リシェイプ済み特徴マップ500Aの二番目のチャンネルは、トレーニングイメージまたはこれを加工した特徴マップ300のK+1番目のチャンネルないし2xK番目のチャンネルに対応し得る。そして、リシェイプ済み特徴マップ500Aの
番目のチャンネルは、トレーニングイメージまたはこれを加工した特徴マップ300の
番目のチャンネルないしL番目のチャンネルに対応し得る。
であるテスト用リシェイプ済み特徴マップを生成させるか、(ii)幅WxK、高さH、チャンネル
であるテスト用リシェイプ済み特徴マップを生成させることができる。そして、
番目のチャンネル上のテスト用リシェイプ済み特徴マップの最終部分のサイズが幅W、高さHxKであるサイズにならない場合には、テスト装置200はリシェイプレイヤをもって、少なくとも一つのゼロパディングを追加させて
番目のチャンネル上のテスト用リシェイプ済み特徴マップの最終部分のサイズが幅W、高さHxKであるサイズになるようにするか、
番目のチャンネル上のテスト用リシェイプ済み特徴マップの最終部分のサイズが幅WxK、高さHであるサイズにならない場合には、テスト装置200はリシェイプレイヤをもって、少なくとも一つのゼロパディングを追加させて
番目のチャンネル上のリシェイプ済み特徴マップの最終部分のサイズが幅WxK、高さHであるサイズになるようにすることができる。
になる。そして、テスト用リシェイプ済み特徴マップのそれぞれのチャンネルは、テストイメージまたはこれを加工した特徴マップのK個のチャンネルから構成されたそれぞれのグループに対応し得る。つまり、テスト用リシェイプ済み特徴マップの最初のチャンネルは、テストイメージまたはこれを加工した特徴マップの最初のチャンネルないしK番目のチャンネルに対応し、テスト用リシェイプ済み特徴マップの二番目のチャンネルは、テストイメージまたはこれを加工した特徴マップのK+1番目のチャンネルないし2xK番目のチャンネルに対応し得る。そして、テスト用リシェイプ済み特徴マップの
番目のチャンネルは、テストイメージまたはこれを加工した特徴マップの
番目のチャンネルないしL番目のチャンネルに対応し得る。
になり得る。この際、テスト用リシェイプ済み特徴マップのそれぞれのチャンネルは、テストイメージまたはこれを加工した特徴マップのK個のチャンネルから構成されたそれぞれのグループに対応し得る。
200:テスト装置
110、210:通信部
120、220:プロセッサ
130:データベース
Claims (28)
- 1xKコンボリューション演算またはKx1コンボリューション演算を利用してCNNのパラメータを学習する方法において、
(a)少なくとも一つのトレーニングイメージが取得されると、学習装置は、リシェイプレイヤ(Reshaping Layer)をもって、前記トレーニングイメージまたはこれを加工した特徴マップのすべてのチャンネルのうちでそれぞれの対応するK個のチャンネルから構成されたそれぞれのグループ内の特徴それぞれを2次元的にコンカチネート(Concatenating)させてリシェイプ済み特徴マップ(Reshaped Feature Map)を生成させ、後続(Subsequent)コンボリューションレイヤをもって、前記リシェイプ済み特徴マップに対して1xKコンボリューション演算またはKx1コンボリューション演算を適用させてボリューム(Volume)が調整された調整特徴マップ(Adjusted Feature Map)を生成させる段階;及び
(b)前記学習装置は、出力レイヤをもって、前記調整特徴マップまたはこれを加工した特徴マップ上の特徴を参照して少なくとも一つの出力を生成し、ロスレイヤをもって、前記出力とこれに対応する少なくとも一つの原本正解(Ground Truth)とを参照して少なくとも一つのロスを算出させることにより、前記ロスをバックプロパゲーションして前記後続コンボリューションレイヤの少なくとも一部のパラメータを学習する段階;
を含むことを特徴とする学習方法。 - 前記(a)段階で、
前記トレーニングイメージまたはこれを加工した特徴マップのチャンネル個数がKの倍数でない場合、前記学習装置は、前記リシェイプレイヤをもって、前記トレーニングイメージまたはこれを加工した特徴マップのチャンネルに少なくとも一つのダミーチャンネル(Dummy Channel)を追加させて少なくとも一つの前記ダミーチャンネルを含む前記チャンネルの個数がKの倍数になるようにした後、前記トレーニングイメージまたはこれを加工した特徴マップの少なくとも一つの前記ダミーチャンネルを含む前記すべてのチャンネルのうちでそれぞれの対応するK個の前記チャンネルから構成されたそれぞれの前記グループ内の前記特徴それぞれをコンカチネートさせることを特徴とする請求項1に記載の学習方法。 - 前記後続コンボリューションレイヤのカーネル(Kernel)個数をMとする場合、
前記(a)段階で、
前記学習装置は、
前記後続コンボリューションレイヤをもって、前記リシェイプ済み特徴マップに対して1xKコンボリューション演算を適用させて幅W、高さH、チャンネルMであるWxHxMのボリュームを有する前記調整特徴マップを生成させることを特徴とする請求項3に記載の学習方法。 - 前記後続コンボリューションレイヤのカーネル個数をMとする場合、
前記(a)段階で、
前記学習装置は、
前記後続コンボリューションレイヤをもって、前記リシェイプ済み特徴マップに対してKx1コンボリューション演算を適用させて幅W、高さH、チャンネルMであるWxHxMのボリュームを有する前記調整特徴マップを生成させることを特徴とする請求項5に記載の学習方法。 - 前記トレーニングイメージまたはこれを加工した特徴マップの幅をW、高さをHとし、チャンネル個数をLとする場合、
前記(a)段階で、
前記学習装置が、
前記リシェイプレイヤをもって、(i)幅W、高さHxK、チャンネル
である前記リシェイプ済み特徴マップを生成させるか、(ii)幅WxK、高さH、チャンネル
である前記リシェイプ済み特徴マップを生成させ、
前記
番目のチャンネル上における前記リシェイプ済み特徴マップの最終部分(Final Part)のサイズが幅W、高さHxKであるサイズにならない場合、前記リシェイプレイヤをもって、少なくとも一つのゼロパディング(Zero Padding)を追加させて前記
番目のチャンネル上における前記リシェイプ済み特徴マップの前記最終部分のサイズが幅W、高さHxKであるサイズになるようにするか、前記
番目のチャンネル上における前記リシェイプ済み特徴マップの前記最終部分のサイズが幅WxK、高さHであるサイズにならない場合、前記リシェイプレイヤをもって、少なくとも一つのゼロパディングを追加させて前記
番目のチャンネル上における前記リシェイプ済み特徴マップの前記最終部分のサイズが幅WxK、高さHであるサイズになるようにすることを特徴とする請求項1に記載の学習方法。 - 1xKコンボリューション演算またはKx1コンボリューション演算を利用してCNNをテストする方法において、
(a)学習装置が、(i)リシェイプレイヤ(Reshaping Layer)をもって、少なくとも一つのトレーニングイメージまたはこれを加工した特徴マップのすべてのチャンネルのうちでそれぞれの対応するK個のチャンネルから構成されたそれぞれのグループ内の学習用特徴それぞれを2次元的にコンカチネート(Concatenating)させて学習用リシェイプ済み特徴マップ(Reshaped Feature Map)を生成させ、後続(Subsequent)コンボリューションレイヤをもって、前記学習用リシェイプ済み特徴マップに対して1xKコンボリューション演算またはKx1コンボリューション演算を適用させてボリューム(Volume)が調整された学習用調整特徴マップ(Adjusted Feature Map)を生成させ、(ii)出力レイヤをもって、前記学習用調整特徴マップまたはこれを加工した特徴マップ上の特徴を参照して、少なくとも一つの学習用出力を生成させ、ロスレイヤをもって、前記学習用出力とこれに対応する少なくとも一つの原本正解(Ground Truth)とを参照して少なくとも一つのロスを算出させることにより、前記ロスをバックプロパゲーションして前記後続コンボリューションレイヤの少なくとも一部のパラメータを学習した状態で、少なくとも一つのテストイメージが取得されると、テスト装置は、前記リシェイプレイヤ(Reshaping Layer)をもって、前記テストイメージまたはこれを加工した特徴マップのすべてのチャンネルのうちでそれぞれの対応するK個のチャンネルから構成されたそれぞれのグループ内のテスト用特徴それぞれを2次元的にコンカチネート(Concatenating)させてテスト用リシェイプ済み特徴マップ(Reshaped Feature Map)を生成させ、前記後続(Subsequent)コンボリューションレイヤをもって、前記テスト用リシェイプ済み特徴マップに対して1xKコンボリューション演算またはKx1コンボリューション演算を適用させてボリューム(Volume)が調整されたテスト用調整特徴マップ(Adjusted Feature Map)を生成させる段階;及び
(b)前記テスト装置が、前記出力レイヤをもって、前記テスト用調整特徴マップまたはこれを加工した特徴マップ上の特徴を参照して少なくとも一つのテスト用出力を生成させる段階;
を含むことを特徴とするテスト方法。 - 前記(a)段階で、
前記テストイメージまたはこれを加工した特徴マップのチャンネル個数がKの倍数でない場合、前記テスト装置は、前記リシェイプレイヤをもって、前記テストイメージまたはこれを加工した特徴マップのチャンネルに少なくとも一つのダミーチャンネル(Dummy Channel)を追加させて少なくとも一つの前記ダミーチャンネルを含む前記チャンネルの個数がKの倍数になるようにした後、前記テストイメージまたはこれを加工した特徴マップの少なくとも一つの前記ダミーチャンネルを含む前記すべてのチャンネルのうちでそれぞれの対応するK個の前記チャンネルから構成されたそれぞれの前記グループ内の前記特徴それぞれをコンカチネートさせることを特徴とする請求項8に記載のテスト方法。 - 前記後続コンボリューションレイヤのカーネル(Kernel)個数をMとする場合、
前記(a)段階で、
前記テスト装置は、
前記後続コンボリューションレイヤをもって、前記テスト用リシェイプ済み特徴マップに対して1xKコンボリューション演算を適用させて幅W、高さH、チャンネルMであるWxHxMのボリュームを有する前記テスト用調整特徴マップを生成させることを特徴とする請求項10に記載のテスト方法。 - 前記後続コンボリューションレイヤのカーネル個数をMとする場合、
前記(a)段階で、
前記テスト装置は、
前記後続コンボリューションレイヤをもって、前記テスト用リシェイプ済み特徴マップに対してKx1コンボリューション演算を適用させて幅W、高さH、チャンネルMであるWxHxMのボリュームを有する前記テスト用調整特徴マップを生成させることを特徴とする請求項12に記載のテスト方法。 - 前記テストイメージまたは前記これを加工した特徴マップの幅をW、高さをHとし、チャンネルの個数をLとする場合、
前記(a)段階で、
前記テスト装置が、
前記リシェイプレイヤをもって、(i)幅W、高さHxK、チャンネル
である前記テスト用リシェイプ済み特徴マップを生成させるか、(ii)幅WxK、高さH、チャンネル
である前記テスト用リシェイプ済み特徴マップを生成させ、
前記
番目のチャンネル上の前記テスト用リシェイプ済み特徴マップの最終部分(Final Part)のサイズが幅W、高さHxKであるサイズにならない場合、前記リシェイプレイヤをもって、少なくとも一つのゼロパディング(Zero Padding)を追加させて前記
番目のチャンネル上の前記テスト用リシェイプ済み特徴マップの前記最終部分のサイズが幅W、高さHxKであるサイズになるようにするか、前記
番目のチャンネル上の前記テスト用リシェイプ済み特徴マップの前記最終部分のサイズが幅WxK、高さHであるサイズにならない場合、前記リシェイプレイヤをもって、少なくとも一つのゼロパディングを追加させて前記
番目のチャンネル上の前記テスト用リシェイプ済み特徴マップの前記最終部分のサイズが幅WxK、高さHであるサイズになるようにすることを特徴とする請求項8に記載のテスト方法。 - 1xKコンボリューション演算またはKx1コンボリューション演算を利用してCNNのパラメータを学習する学習装置において、
インストラクションを格納する少なくとも一つのメモリと、
(I)リシェイプレイヤ(Reshaping Layer)をもって、少なくとも一つのトレーニングイメージまたはこれを加工した特徴マップのすべてのチャンネルのうちでそれぞれの対応するK個のチャンネルから構成されたそれぞれのグループ内の特徴それぞれを2次元的にコンカチネート(Concatenating)させてリシェイプ済み特徴マップ(Reshaped Feature Map)を生成させ、後続(Subsequent)コンボリューションレイヤをもって、前記リシェイプ済み特徴マップに対して1xKコンボリューション演算またはKx1コンボリューション演算を適用させてボリューム(Volume)が調整された調整特徴マップ(Adjusted Feature Map)を生成させるプロセス、及び(II)出力レイヤをもって、前記調整特徴マップまたはこれを加工した特徴マップ上の特徴を参照して少なくとも一つの出力を生成させ、ロスレイヤをもって、前記出力とこれに対応する少なくとも一つの原本正解(Ground Truth)とを参照して少なくとも一つのロスを算出させることにより、前記ロスをバックプロパゲーションして前記後続コンボリューションレイヤの少なくとも一部のパラメータを学習するプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサと、
を含むことを特徴とする学習装置。 - 前記(I)プロセスで、
前記トレーニングイメージまたはこれを加工した特徴マップのチャンネル個数がKの倍数でない場合、前記プロセッサは、前記リシェイプレイヤをもって、前記トレーニングイメージまたはこれを加工した特徴マップのチャンネルに少なくとも一つのダミーチャンネル(Dummy Channel)を追加させて少なくとも一つの前記ダミーチャンネルを含む前記チャンネルの個数がKの倍数になるようにした後、前記トレーニングイメージまたはこれを加工した特徴マップの少なくとも一つの前記ダミーチャンネルを含む前記すべてのチャンネルのうちでそれぞれの対応するK個の前記チャンネルから構成されたそれぞれの前記グループ内の前記特徴それぞれをコンカチネートさせることを特徴とする請求項15に記載の学習装置。 - 前記後続コンボリューションレイヤのカーネル(Kernel)個数をMとする場合、
前記(I)プロセスで、
前記プロセッサは、前記後続コンボリューションレイヤをもって、前記リシェイプ済み特徴マップに対して1xKコンボリューション演算を適用させて幅W、高さH、チャンネルMであるWxHxMのボリュームを有する前記調整特徴マップを生成させることを特徴とする請求項17に記載の学習装置。 - 前記後続コンボリューションレイヤのカーネル個数をMとする場合、
前記(I)プロセスで、
前記プロセッサは、
前記後続コンボリューションレイヤをもって、前記リシェイプ済み特徴マップに対してKx1コンボリューション演算を適用させて幅W、高さH、チャンネルMであるWxHxMのボリュームを有する前記調整特徴マップを生成させることを特徴とする請求項19に記載の学習装置。 - 前記トレーニングイメージまたはこれを加工した特徴マップの幅をW、高さをHとし、チャンネルの個数をLとする場合、
前記(I)プロセスで、
前記プロセッサは、
前記リシェイプレイヤをもって、(i)幅W、高さHxK、チャンネル
である前記リシェイプ済み特徴マップを生成させるか、(ii)幅WxK、高さH、チャンネル
である前記リシェイプ済み特徴マップを生成させ、
前記
番目のチャンネル上における前記リシェイプ済み特徴マップの最終部分(Final Part)のサイズが幅W、高さHxKであるサイズにならない場合、前記リシェイプレイヤをもって、少なくとも一つのゼロパディング(Zero Padding)を追加させて前記
番目のチャンネル上における前記リシェイプ済み特徴マップの前記最終部分のサイズが幅W、高さHxKであるサイズになるようにするか、前記
番目のチャンネル上における前記リシェイプ済み特徴マップの最終部分のサイズが幅WxK、高さHであるサイズにならない場合、前記リシェイプレイヤをもって、少なくとも一つのゼロパディングを追加させて前記
番目のチャンネル上における前記リシェイプ済み特徴マップの前記最終部分のサイズが幅WxK、高さHであるサイズとなるようにすることを特徴とする請求項15に記載の学習装置。 - 1xKコンボリューション演算またはKx1コンボリューション演算を利用してCNNをテストするテスト装置において、
インストラクションを格納する少なくとも一つのメモリと、
学習装置は、(i)リシェイプレイヤ(Reshaping Layer)をもって、少なくとも一つのトレーニングイメージまたはこれを加工した特徴マップのすべてのチャンネルのうちでそれぞれの対応するK個のチャンネルから構成されたそれぞれのグループ内の学習用特徴それぞれを2次元的にコンカチネート(Concatenating)させて学習用リシェイプ済み特徴マップ(Reshaped Feature Map)を生成させ、後続(Subsequent)コンボリューションレイヤをもって、前記学習用リシェイプ済み特徴マップに対して1xKコンボリューション演算またはKx1コンボリューション演算を適用させてボリューム(Volume)が調整された学習用調整特徴マップ(Adjusted Feature Map)を生成させ、(ii)出力レイヤをもって、前記学習用調整特徴マップまたはこれを加工した特徴マップ上の特徴を参照して少なくとも一つの学習用出力を生成させ、ロスレイヤをもって、前記学習用出力とこれに対応する少なくとも一つの原本正解(Ground Truth)とを参照して少なくとも一つのロスを算出させることにより、前記ロスをバックプロパゲーションして前記後続コンボリューションレイヤの少なくとも一部のパラメータを学習した状態で、(I)リシェイプレイヤ(Reshaping Layer)をもって、少なくとも一つのテストイメージまたはこれを加工した特徴マップのすべてのチャンネルのうちでそれぞれの対応するK個のチャンネルから構成されたそれぞれのグループ内のテスト用特徴それぞれを2次元的にコンカチネート(Concatenating)させてリシェイプ済み特徴マップ(Reshaped Feature Map)を生成させ、前記後続(Subsequent)コンボリューションレイヤをもって、前記リシェイプ済み特徴マップに対して1xKコンボリューション演算またはKx1コンボリューション演算を適用させてボリューム(Volume)が調整された調整特徴マップ(Adjusted Feature Map)を生成させるプロセス、及び(II)前記出力レイヤをもって、前記テスト用調整特徴マップまたはこれを加工した特徴マップ上の特徴を参照して少なくとも一つのテスト用出力を生成させるプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサと、
を含むことを特徴とするテスト装置。 - 前記(I)プロセスで、
前記テストイメージまたはこれを加工した特徴マップのチャンネル個数がKの倍数でない場合、
前記プロセッサは、前記リシェイプレイヤをもって、前記テストイメージまたはこれを加工した特徴マップのチャンネルに少なくとも一つのダミーチャンネル(Dummy Channel)を追加させて少なくとも一つの前記ダミーチャンネルを含む前記チャンネルの個数がKの倍数になるようにした後、前記テストイメージまたはこれを加工した特徴マップの少なくとも一つの前記ダミーチャンネルを含む前記すべてのチャンネルのうちでそれぞれの対応するK個の前記チャンネルから構成されたそれぞれの前記グループ内の前記特徴それぞれをコンカチネートさせることを特徴とする請求項22に記載のテスト装置。 - 前記後続コンボリューションレイヤのカーネル(Kernel)個数をMとする場合、
前記(I)プロセスで、
前記プロセッサは、
前記後続コンボリューションレイヤをもって、前記テスト用リシェイプ済み特徴マップに対して1xKコンボリューション演算を適用させて幅W、高さH、チャンネルMであるWxHxMのボリュームを有する前記テスト用調整特徴マップを生成させることを特徴とする請求項24に記載のテスト装置。 - 前記後続コンボリューションレイヤのカーネル個数をMとする場合、
前記(I)プロセスで、
前記プロセッサは、
前記後続コンボリューションレイヤをもって、前記テスト用リシェイプ済み特徴マップに対してKx1コンボリューション演算を適用させて幅W、高さH、チャンネルMであるWxHxMのボリュームを有する前記テスト用調整特徴マップを生成させることを特徴とする請求項26に記載のテスト装置。 - 前記テストイメージまたはこれを加工した特徴マップの幅をW、高さをHとし、チャンネルの個数をLとする場合、
前記(I)プロセスで、
前記プロセッサは、
前記リシェイプレイヤをもって、(i)幅W、高さHxK、チャンネル
である前記テスト用リシェイプ済み特徴マップを生成させるか、(ii)幅WxK、高さH、チャンネル
である前記テスト用リシェイプ済み特徴マップを生成させ、
前記
番目のチャンネル上の前記テスト用リシェイプ済み特徴マップの最終部分(Final Part)のサイズが幅W、高さHxKであるサイズにならない場合、前記リシェイプレイヤをもって、少なくとも一つのゼロパディング(Zero Padding)を追加させて前記
番目のチャンネル上の前記テスト用リシェイプ済み特徴マップの前記最終部分のサイズが幅W、高さHxKであるサイズになるようにするか、前記
番目のチャンネル上の前記テスト用リシェイプ済み特徴マップの最終部分のサイズが幅WxK、高さHであるサイズにならない場合、前記リシェイプレイヤをもって、少なくとも一つのゼロパディングを追加させて前記
番目のチャンネル上の前記テスト用リシェイプ済み特徴マップの前記最終部分のサイズが幅WxK、高さHであるサイズになるようにすることを特徴とする請求項22に記載のテスト装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/255,109 | 2019-01-23 | ||
US16/255,109 US11461653B2 (en) | 2019-01-23 | 2019-01-23 | Learning method and learning device for CNN using 1xK or Kx1 convolution to be used for hardware optimization, and testing method and testing device using the same |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020119535A JP2020119535A (ja) | 2020-08-06 |
JP6857369B2 true JP6857369B2 (ja) | 2021-04-14 |
Family
ID=69159558
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020001966A Active JP6857369B2 (ja) | 2019-01-23 | 2020-01-09 | Cnnを学習する方法及び学習装置、それを利用したテスト方法及びテスト装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11461653B2 (ja) |
EP (1) | EP3686794B1 (ja) |
JP (1) | JP6857369B2 (ja) |
KR (1) | KR102337383B1 (ja) |
CN (1) | CN111476247B (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10303980B1 (en) * | 2018-09-05 | 2019-05-28 | StradVision, Inc. | Learning method, learning device for detecting obstacles and testing method, testing device using the same |
CN111988609B (zh) * | 2019-05-22 | 2024-07-16 | 富士通株式会社 | 图像编码装置、概率模型生成装置和图像解码装置 |
US10943353B1 (en) | 2019-09-11 | 2021-03-09 | International Business Machines Corporation | Handling untrainable conditions in a network architecture search |
US11023783B2 (en) * | 2019-09-11 | 2021-06-01 | International Business Machines Corporation | Network architecture search with global optimization |
KR20230137594A (ko) | 2022-03-22 | 2023-10-05 | 동원산업 주식회사 | 인공 신경망을 이용한 어류 등급 판정 방법 및 장치 |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10083395B2 (en) * | 2015-05-21 | 2018-09-25 | Google Llc | Batch processing in a neural network processor |
CN106558025B (zh) * | 2015-09-29 | 2021-02-09 | 腾讯科技(深圳)有限公司 | 一种图片的处理方法和装置 |
WO2017139927A1 (en) * | 2016-02-17 | 2017-08-24 | Intel Corporation | Region proposal for image regions that include objects of interest using feature maps from multiple layers of a convolutional neural network model |
JP6869676B2 (ja) * | 2016-09-27 | 2021-05-12 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
JP6929047B2 (ja) * | 2016-11-24 | 2021-09-01 | キヤノン株式会社 | 画像処理装置、情報処理方法及びプログラム |
US10067509B1 (en) * | 2017-03-10 | 2018-09-04 | TuSimple | System and method for occluding contour detection |
WO2018170393A2 (en) * | 2017-03-17 | 2018-09-20 | Portland State University | Frame interpolation via adaptive convolution and adaptive separable convolution |
EP3607493A4 (en) * | 2017-04-07 | 2020-12-02 | INTEL Corporation | PROCEDURES AND SYSTEMS FOR BUDGETED AND SIMPLIFIED TRAINING OF DEEP NEURAL NETWORKS |
JP6744838B2 (ja) * | 2017-04-18 | 2020-08-19 | Kddi株式会社 | エンコーダデコーダ畳み込みニューラルネットワークにおける解像感を改善するプログラム |
CN109145927A (zh) * | 2017-06-16 | 2019-01-04 | 杭州海康威视数字技术股份有限公司 | 一种对形变图像的目标识别方法及装置 |
US10474988B2 (en) * | 2017-08-07 | 2019-11-12 | Standard Cognition, Corp. | Predicting inventory events using foreground/background processing |
US10049323B1 (en) * | 2017-10-13 | 2018-08-14 | StradVision, Inc. | Method and device for performing activation and convolution operation at the same time and learning method and learning device for the same |
EP3622520A1 (en) * | 2017-10-16 | 2020-03-18 | Illumina, Inc. | Deep learning-based techniques for training deep convolutional neural networks |
WO2019079202A1 (en) * | 2017-10-16 | 2019-04-25 | Illumina, Inc. | ABERRANT CONNECTION DETECTION USING CONVOLUTION NEURAL NETWORKS (CNN) |
CN109166100A (zh) * | 2018-07-24 | 2019-01-08 | 中南大学 | 基于卷积神经网络的多任务学习细胞计数方法 |
CN109086886A (zh) * | 2018-08-02 | 2018-12-25 | 工极(北京)智能科技有限公司 | 一种基于极限学习机的卷积神经网络学习算法 |
-
2019
- 2019-01-23 US US16/255,109 patent/US11461653B2/en active Active
- 2019-11-15 KR KR1020190147089A patent/KR102337383B1/ko active IP Right Grant
- 2019-12-19 CN CN201911314750.5A patent/CN111476247B/zh active Active
-
2020
- 2020-01-09 JP JP2020001966A patent/JP6857369B2/ja active Active
- 2020-01-10 EP EP20151251.4A patent/EP3686794B1/en active Active
Also Published As
Publication number | Publication date |
---|---|
KR102337383B1 (ko) | 2021-12-10 |
CN111476247B (zh) | 2023-09-26 |
US11461653B2 (en) | 2022-10-04 |
EP3686794A1 (en) | 2020-07-29 |
EP3686794C0 (en) | 2024-07-24 |
JP2020119535A (ja) | 2020-08-06 |
US20200234135A1 (en) | 2020-07-23 |
EP3686794B1 (en) | 2024-07-24 |
CN111476247A (zh) | 2020-07-31 |
KR20200091795A (ko) | 2020-07-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6857369B2 (ja) | Cnnを学習する方法及び学習装置、それを利用したテスト方法及びテスト装置 | |
JP6853560B2 (ja) | 高精度イメージを分析するディープラーニングネットワークの学習に利用するためのトレーニングイメージをオートラベリングするための方法、及びこれを利用したオートラベリング装置{method for auto−labeling training images for use in deep learning network to analyze images with high precision, and auto−labeling device using the same} | |
JP6923960B2 (ja) | 自動駐車システムを提供するために決定地点間の関係及び決定地点に対するリグレッション結果を利用して駐車スペースを検出する学習方法及び学習装置、そしてこれを利用したテスティング方法及びテスティング装置 | |
JP6856851B2 (ja) | イメージエンコーディングのための方法及び装置そしてこれを利用したテスト方法及びテスト装置 | |
JP6924517B2 (ja) | ディープニューラルネットワーク基盤の多重パッチ組み合わせを利用して顔を認識し、極度の状況でフォールトトレランス及びフラクチュエーションロバスト性を向上させる方法 | |
JP6858382B2 (ja) | ハードウェア最適化に使用される1xHコンボリューションを利用したCNN基盤の物体検出器を学習する方法及び学習装置、それを利用したテスト方法及びテスト装置 | |
KR102337376B1 (ko) | 레인 마스크(Lane Mask)를 사용하여 후처리 없이 입력 이미지에 포함된 하나 이상의 차선을 검출하는 방법 및 장치, 그리고 이를 이용한 테스트 방법 및 테스트 장치 | |
JP6857368B2 (ja) | Cnn学習方法及び学習装置、これを利用したテスト方法及びテスト装置 | |
JP6957050B2 (ja) | モバイルデバイスまたは小型ネットワークに適用可能なハードウェアを最適化するのに利用可能なroiをプーリングするために、マスキングパラメータを利用する方法及び装置、そしてこれを利用したテスト方法及びテスト装置{learning method and learning device for pooling roi by using masking parameters to be used for mobile devices or compact networks via hardware optimization, and testing method and testing device using the same} | |
JP6964353B2 (ja) | ハードウェア最適化に使用されるイメージ認識のための1x1コンボリューションを利用したCNN学習方法及び学習装置、それを利用したテスト方法及びテスト装置{LEARNING METHOD AND LEARNING DEVICE FOR CONVOLUTIONAL NEURAL NETWORK USING 1×1 CONVOLUTION FOR IMAGE RECOGNITION TO BE USED FOR HARDWARE OPTIMIZATION, AND TESTING METHOD AND TESTING DEVICE USING THE SAME} | |
JP7252120B2 (ja) | 核心性能指数を満たすことができるハードウェア最適化が行われるように、cnnで複数のブロック内の入力イメージから特徴を抽出する学習方法及び学習装置、それを利用したテスト方法及びテスト装置 | |
JP6856906B2 (ja) | 自律走行車両レベル4を満たすために領域のクラスに応じてモードを切り換えるためにグリッド生成器を利用するニューラルネットワーク演算方法及びこれを利用した装置 | |
JP2020038666A (ja) | 自律走行状況で障害物検出のための学習用データセットの生成方法及びこれを利用したコンピューティング装置、学習方法及び学習装置 | |
JP6856957B2 (ja) | 写真スタイル変換を使用してランタイム入力の変換によりリアル世界で使用されるバーチャル世界で学習されたcnnを許容するための学習方法及び学習装置、そしてこれを利用したテスト方法及びテスト装置 | |
CN114821580A (zh) | 一种分阶段融入去噪模块的含噪图像分割方法 | |
JP6853592B2 (ja) | ハードウェア最適化に使用される1x1コンボリューションを利用したCNN基盤の物体検出器を学習する方法及び学習装置、これを利用したテスト方法及びテスト装置{LEARNING METHOD AND LEARNING DEVICE FOR OBJECT DETECTOR BASED ON CNN USING 1×1 CONVOLUTION TO BE USED FOR HARDWARE OPTIMIZATION, AND TESTING METHOD AND TESTING DEVICE USING THE SAME} | |
JP6856852B2 (ja) | 横フィルタマスクを利用して自律走行車の走行経路を計画するために車線要素を検出する方法及び装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200109 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210215 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210224 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210312 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6857369 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |