JP7309134B2 - 可視化方法、これに用いるプログラム、および、可視化装置、並びに、これを備える判別装置 - Google Patents
可視化方法、これに用いるプログラム、および、可視化装置、並びに、これを備える判別装置 Download PDFInfo
- Publication number
- JP7309134B2 JP7309134B2 JP2022515304A JP2022515304A JP7309134B2 JP 7309134 B2 JP7309134 B2 JP 7309134B2 JP 2022515304 A JP2022515304 A JP 2022515304A JP 2022515304 A JP2022515304 A JP 2022515304A JP 7309134 B2 JP7309134 B2 JP 7309134B2
- Authority
- JP
- Japan
- Prior art keywords
- feature vector
- graph
- multidimensional feature
- dimensional
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/86—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using syntactic or structural representations of the image or video pattern, e.g. symbolic string recognition; using graph matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/771—Feature selection, e.g. selecting representative features from a multi-dimensional feature space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Biodiversity & Conservation Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Description
2 CPU
4 ROM
6 RAM
8 GPU
10 HDD
12 入出力インターフェイス
14 入力装置
20 画像表示制御部
22 画像取得部
24 領域指定部
26 特徴抽出器(特徴抽出器)
27 特徴変換器(特徴変換器)
27a 全結合層(複数の全結合層)
27b 全結合層(複数の全結合層)
28 分類器(分類器)
29 距離算定器
30 二次元グラフ化データ生成部(グラフ生成部)
31 選定部(選定部)
32 報知部(報知部)
33 記憶部
34a 教師信号付きサンプル画像データ(サンプルデータ)
34b 判別対象画像データ
34c 指定領域画像データ
35 学習済モデル(学習済モデル)
36a モデル用二次元グラフ化データ(第1グラフ化データ)
36a’ 選択二次元グラフ化データ(第2グラフ化データ)
36b 判別用二次元グラフ化データ(第2グラフ化データ、第3グラフ化データ)
36c 類似二次元グラフ化データ(第4グラフ化データ)
38 距離データ
39 バーグラフ化データ
60 ディスプレイ(表示部)
62 ウィンドウ(表示部)
62a 第1領域(第1領域)
62b 第2領域(第2領域)
62c 第3領域(第3領域)
62d 第4領域(第4領域)
80 バス
82 バスライン
90a 第1多次元特徴ベクトル(第1多次元特徴ベクトル)
90b 第1多次元特徴ベクトル(第3多次元特徴ベクトル)
90c 第1多次元特徴ベクトル(第5多次元特徴ベクトル)
92a 第2多次元特徴ベクトル(第2多次元特徴ベクトル)
92a’ 距離最小第2多次元特徴ベクトル
92b 第2多次元特徴ベクトル(第4多次元特徴ベクトル)
92c 第2多次元特徴ベクトル(第6多次元特徴ベクトル)
fn 特徴量(特徴量)
n 列番号
Og OK品のモデル用二次元グラフ(複数のグラフ)
Ng NG品のモデル用二次元グラフ(複数のグラフ)
Sg 類似二次元グラフ(第6多次元特徴ベクトルのグラフと類似するグラフ)
Bg バーグラフ
Dg 判別用二次元グラフ(第4多次元特徴ベクトルのグラフ、第6多次元特徴ベクトルのグラフ)
Cg 選択二次元グラフ(第4多次元特徴ベクトルのグラフ)
Claims (20)
- 複数のサンプルデータを用いて学習される学習済モデルの学習状況を可視化する可視化方法であって、
(a)前記学習済モデルを生成する際、前記複数のサンプルデータそれぞれの第1多次元特徴ベクトルを特徴抽出器によって抽出し、
(b)抽出した前記第1多次元特徴ベクトルを、複数の全結合層を用いた特徴変換器によって、前記第1多次元特徴ベクトルよりも次元の低いn次元列ベクトル(f 1 ,f 2 ,f 3 ,・・・,f n-1 ,f n )である第2多次元特徴ベクトルに変換し、
(c)縦軸または横軸に列番号1,2,3,・・・,n-1,n、横軸または縦軸に特徴量をとった直交座標系、または、該直交座標系を変換した極座標系に、n個の特徴量f 1 ,f 2 ,f 3 ,・・・,f n-1 ,f n をプロットして曲線ないし直線で繋ぐことによって、変換された前記複数のサンプルデータそれぞれの前記第2多次元特徴ベクトルをグラフ化し、
(d)生成された複数のグラフを表示部の第1領域に表示する
可視化方法。 - 前記ステップ(d)は、前記複数のグラフのうち同一または類似するグラフ同士を同一または類似する態様で表示し、類似しないグラフを異なる態様で表示するステップである
請求項1に記載の可視化方法。 - 前記ステップ(a)は、判別対象の分類の際には、該判別対象の第3多次元特徴ベクトルを前記特徴抽出器によって抽出するステップであり、
前記ステップ(b)は、抽出された前記第3多次元特徴ベクトルを、前記特徴変換器によって、前記第3多次元特徴ベクトルよりも次元の低いn次元列ベクトル(f 1 ,f 2 ,f 3 ,・・・,f n-1 ,f n )である第4多次元特徴ベクトルに変換するステップを含み、
前記ステップ(c)は、縦軸または横軸に列番号1,2,3,・・・,n-1,n、横軸または縦軸に特徴量をとった直交座標系、または、該直交座標系を変換した極座標系に、n個の特徴量f 1 ,f 2 ,f 3 ,・・・,f n-1 ,f n をプロットして曲線ないし直線で繋ぐことによって、前記第4多次元特徴ベクトルをグラフ化するステップを含み、
前記ステップ(d)は、前記第4多次元特徴ベクトルのグラフを前記複数のグラフとは異なる態様で前記第1領域に表示するステップを含む
請求項1または2に記載の可視化方法。 - 前記判別対象の画像を前記表示部の第2領域に表示するステップ(e)と、
前記判別対象の画像の任意の領域を指定するステップ(f)と、
をさらに含み、
前記ステップ(a)は、指定された前記任意の領域における第5多次元特徴ベクトルを前記特徴抽出器によって抽出するステップを含み、
前記ステップ(b)は、抽出された前記第5多次元特徴ベクトルを、前記特徴変換器によって、前記第5多次元特徴ベクトルよりも次元の低いn次元列ベクトル(f 1 ,f 2 ,f 3 ,・・・,f n-1 ,f n )である第6多次元特徴ベクトルに変換するステップを含み、
前記ステップ(c)は、縦軸または横軸に列番号1,2,3,・・・,n-1,n、横軸または縦軸に特徴量をとった直交座標系、または、該直交座標系を変換した極座標系に、n個の特徴量f 1 ,f 2 ,f 3 ,・・・,f n-1 ,f n をプロットして曲線ないし直線で繋ぐことによって、前記第6多次元特徴ベクトルをグラフ化するステップを含み、
前記ステップ(d)は、前記第6多次元特徴ベクトルのグラフを前記複数のグラフとは異なる態様で前記第1領域に表示するステップを含む
請求項3に記載の可視化方法。 - 前記複数のグラフのうち前記第6多次元特徴ベクトルのグラフと類似するグラフを選択するステップ(g)をさらに含み、
前記ステップ(d)は、前記複数のグラフのうち前記第6多次元特徴ベクトルのグラフと類似するグラフを、前記複数のグラフおよび前記第6多次元特徴ベクトルのグラフとは異なる態様で前記第1領域に表示するステップを含んでいる
請求項4に記載の可視化方法。 - 所定の前記第2多次元特徴ベクトルに基づき基準値を設定するステップ(h)と、
前記第6多次元特徴ベクトルと前記基準値との差を一次元の数値として算出するステップ(i)と、
算出した該差を視覚的および/または聴覚的および/または触覚的な態様で報知するステップ(j)と、
をさらに備える請求項4または5に記載の可視化方法。 - 前記特徴抽出器および前記特徴変換器は、深層学習を含むニューラルネットワークを用いて学習する
請求項1ないし6のいずれか1項に記載の可視化方法。 - 前記特徴抽出器および前記特徴変換器は、ディープメトリックラーニングを用いて学習する
請求項7に記載の可視化方法。 - 複数のサンプルデータを用いて学習される学習済モデルの学習状況を可視化するためのプログラムであって、
請求項1ないし8のいずれか1項に記載の可視化方法の各ステップを1又は複数のコンピュータに実行させるためのプログラム。 - 複数のサンプルデータを用いて学習される学習済モデルの学習状況を可視化する可視化装置であって、
前記学習済モデルを生成する際、前記複数のサンプルデータそれぞれの第1多次元特徴ベクトルを抽出する特徴抽出器と、
抽出された前記第1多次元特徴ベクトルを、複数の全結合層を用いて該第1多次元特徴ベクトルよりも次元の低いn次元列ベクトル(f 1 ,f 2 ,f 3 ,・・・,f n-1 ,f n )である第2多次元特徴ベクトルに変換する特徴変換器と、
縦軸または横軸に列番号1,2,3,・・・,n-1,n、横軸または縦軸に特徴量をとった直交座標系、または、該直交座標系を変換した極座標系に、n個の特徴量f 1 ,f 2 ,f 3 ,・・・,f n-1 ,f n をプロットして曲線ないし直線で繋ぐことによって、変換された前記複数のサンプルデータそれぞれの前記第2多次元特徴ベクトルをグラフ化するための複数の第1グラフ化データを生成するグラフ生成部と、
生成された前記複数の第1グラフ化データに基づき複数のグラフを表示可能な第1領域を有する表示部と、
を備える可視化装置。 - 前記グラフ生成部は、前記複数の第1グラフ化データのうち同一または類似するデータ同士には同一または類似する第1識別情報を付加し、
前記表示部は、前記第1識別情報が付加された前記複数の第1グラフ化データに基づき前記複数のグラフを前記第1領域に表示する
請求項10に記載の可視化装置。 - 前記特徴抽出器は、判別対象の分類の際には、該判別対象の第3多次元特徴ベクトルを抽出し、
前記特徴変換器は、抽出された前記第3多次元特徴ベクトルを、該第3多次元特徴ベクトルよりも次元の低いn次元列ベクトル(f 1 ,f 2 ,f 3 ,・・・,f n-1 ,f n )である第4多次元特徴ベクトルに変換し、
前記グラフ生成部は、縦軸または横軸に列番号1,2,3,・・・,n-1,n、横軸または縦軸に特徴量とった直交座標系、または、該直交座標系を変換した極座標系に、n個の特徴量f 1 ,f 2 ,f 3 ,・・・,f n-1 ,f n をプロットして曲線ないし直線で繋ぐことによって、該第4多次元特徴ベクトルをグラフ化するための第2グラフ化データを生成すると共に、該第2グラフ化データに前記第1識別情報とは異なる第2識別情報を付加し、
前記表示部は、前記第2識別情報が付加された前記第2グラフ化データに基づき前記第4多次元特徴ベクトルのグラフを前記第1領域に表示する
請求項11に記載の可視化装置。 - 前記表示部は、前記判別対象の画像を表示可能な第2領域を有すると共に、該第2領域において前記判別対象の画像の任意の領域を指定可能であり、
前記特徴抽出器は、指定された前記任意の領域における第5多次元特徴ベクトルを抽出し、
前記特徴変換器は、抽出された前記第5多次元特徴ベクトルを、該第5多次元特徴ベクトルよりも次元の低いn次元列ベクトル(f 1 ,f 2 ,f 3 ,・・・,f n-1 ,f n )である第6多次元特徴ベクトルに変換し、
前記グラフ生成部は、縦軸または横軸に列番号1,2,3,・・・,n-1,n、横軸または縦軸に特徴量をとった直交座標系、または、該直交座標系を変換した極座標系に、n個の特徴量f 1 ,f 2 ,f 3 ,・・・,f n-1 ,f n をプロットして曲線ないし直線で繋ぐことによって、前記第6多次元特徴ベクトルをグラフ化するための第3グラフ化データを生成すると共に、該第3グラフ化データに前記第1識別情報とは異なる第3識別情報を付加し、
前記表示部は、前記第3識別情報が付加された前記第3グラフ化データに基づき前記第6多次元特徴ベクトルのグラフを前記第1領域に表示する
請求項12に記載の可視化装置。 - 前記複数の第1グラフ化データのうち前記第3グラフ化データと類似する第4グラフ化データを選定し、選定した該第4グラフ化データに、前記第1および第2識別情報とは異なる第4識別情報を付加する選定部をさらに備え、
前記表示部は、前記第4識別情報が付加された前記第4グラフ化データに基づき前記第6多次元特徴ベクトルのグラフと類似するグラフを前記第1領域に表示する
請求項13に記載の可視化装置。 - 所定の前記第2多次元特徴ベクトルに基づき基準値を設定すると共に、前記第6多次元特徴ベクトルと該基準値との差を一次元の数値として算出し、算出した該差を視覚的および/または聴覚的および/または触覚的な態様で報知する報知部をさらに備える請求項13または14に記載の可視化装置。
- 前記特徴抽出器および前記特徴変換器は、深層学習を含むニューラルネットワークを用いて学習する
請求項10ないし15のいずれか1項に記載の可視化装置。 - 前記特徴抽出器および前記特徴変換器は、ディープメトリックラーニングを用いて学習する
請求項16に記載の可視化装置。 - 判別対象の分類を判別可能な判別装置であって、
請求項10ないし17のいずれか1項に記載の可視化装置と、
前記第2多次元特徴ベクトルに基づいて前記複数のサンプルデータを分類する統計的機械学習を用いた分類器と、
を備える判別装置。 - 請求項12ないし17のいずれか1項に記載の可視化装置を備える請求項18に記載の判別装置であって、
前記分類器は、分類された前記複数のサンプルデータそれぞれの前記第2多次元特徴ベクトルと、前記第4多次元特徴ベクトルと、に基づいて前記判別対象を分類する
判別装置。 - 請求項13ないし15のいずれか1項に記載の可視化装置を備える請求項18に記載の判別装置であって、
前記分類器は、分類された前記複数のサンプルデータそれぞれの前記第2多次元特徴ベクトルと、前記第6多次元特徴ベクトルと、に基づいて前記任意の領域を分類する
判別装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020073810 | 2020-04-17 | ||
JP2020073810 | 2020-04-17 | ||
PCT/JP2021/014131 WO2021210414A1 (ja) | 2020-04-17 | 2021-04-01 | 可視化方法、これに用いるプログラム、および、可視化装置、並びに、これを備える判別装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2021210414A1 JPWO2021210414A1 (ja) | 2021-10-21 |
JP7309134B2 true JP7309134B2 (ja) | 2023-07-18 |
Family
ID=78084205
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022515304A Active JP7309134B2 (ja) | 2020-04-17 | 2021-04-01 | 可視化方法、これに用いるプログラム、および、可視化装置、並びに、これを備える判別装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20230103374A1 (ja) |
JP (1) | JP7309134B2 (ja) |
WO (1) | WO2021210414A1 (ja) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001250101A (ja) | 2000-03-07 | 2001-09-14 | Yamatake Corp | データ領域の解析方法及び表現方法 |
WO2002021441A1 (fr) | 2000-09-06 | 2002-03-14 | Hitachi, Ltd. | Detecteur de comportement anormal |
WO2018170421A1 (en) | 2017-03-17 | 2018-09-20 | Magic Leap, Inc. | Room layout estimation methods and techniques |
JP2019507935A (ja) | 2016-03-11 | 2019-03-22 | エヌイーシー ラボラトリーズ アメリカ インクNEC Laboratories America, Inc. | 物体ランドマーク検出のための深層変形ネットワーク |
JP2019212296A (ja) | 2018-05-31 | 2019-12-12 | キヤノンメディカルシステムズ株式会社 | 医用情報処理装置、方法及びプログラム |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS61156389A (ja) * | 1984-12-27 | 1986-07-16 | 富士通株式会社 | 鑑別論理構成方法 |
-
2021
- 2021-04-01 WO PCT/JP2021/014131 patent/WO2021210414A1/ja active Application Filing
- 2021-04-01 JP JP2022515304A patent/JP7309134B2/ja active Active
- 2021-04-01 US US17/907,135 patent/US20230103374A1/en active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001250101A (ja) | 2000-03-07 | 2001-09-14 | Yamatake Corp | データ領域の解析方法及び表現方法 |
WO2002021441A1 (fr) | 2000-09-06 | 2002-03-14 | Hitachi, Ltd. | Detecteur de comportement anormal |
JP2019507935A (ja) | 2016-03-11 | 2019-03-22 | エヌイーシー ラボラトリーズ アメリカ インクNEC Laboratories America, Inc. | 物体ランドマーク検出のための深層変形ネットワーク |
WO2018170421A1 (en) | 2017-03-17 | 2018-09-20 | Magic Leap, Inc. | Room layout estimation methods and techniques |
JP2019212296A (ja) | 2018-05-31 | 2019-12-12 | キヤノンメディカルシステムズ株式会社 | 医用情報処理装置、方法及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
US20230103374A1 (en) | 2023-04-06 |
JPWO2021210414A1 (ja) | 2021-10-21 |
WO2021210414A1 (ja) | 2021-10-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6547275B2 (ja) | 情報処理システム、情報処理装置、情報処理方法、及びプログラム | |
JP4603512B2 (ja) | 異常領域検出装置および異常領域検出方法 | |
US10460256B2 (en) | Interactive performance visualization of multi-class classifier | |
US9886669B2 (en) | Interactive visualization of machine-learning performance | |
US10572512B2 (en) | Detection method and information processing device | |
JP6679266B2 (ja) | データ解析装置、データ解析方法及びプログラム | |
JP2018142097A (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP2016133895A (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP4728444B2 (ja) | 異常領域検出装置および異常領域検出方法 | |
JP4376145B2 (ja) | 画像分類学習処理システム及び画像識別処理システム | |
JP7348588B2 (ja) | 異常検出システム、及び異常検出プログラム | |
JP7298825B2 (ja) | 学習支援装置、学習装置、学習支援方法及び学習支援プログラム | |
JP2020047010A (ja) | 情報推定装置及び情報推定方法 | |
JP7309134B2 (ja) | 可視化方法、これに用いるプログラム、および、可視化装置、並びに、これを備える判別装置 | |
JP2016133899A (ja) | 情報処理装置、情報処理方法、及びプログラム | |
CN113128329A (zh) | 用于在自主驾驶应用中更新对象检测模型的视觉分析平台 | |
US20220405299A1 (en) | Visualizing feature variation effects on computer model prediction | |
JP5104291B2 (ja) | 画像解析プログラム、画像解析装置、および画像解析方法 | |
WO2021210413A1 (ja) | 判別対象の分類方法、これに用いるプログラム、および、判別装置 | |
US20220076049A1 (en) | Importance analysis apparatus, method, and non-transitory computer readable medium | |
US8606494B2 (en) | Map generation apparatus, map generation method and computer readable medium | |
JP7327984B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP7252591B2 (ja) | 幾何学形状のマッチングによる画像処理方法及び画像処理装置 | |
WO2021106028A1 (ja) | 機械学習装置、機械学習方法、及び、機械学習プログラムが格納された記録媒体 | |
CN111985826A (zh) | 一种多指标工业产品的可视化质量分级方法和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220420 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230313 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230322 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230417 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230417 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230615 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230623 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7309134 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |