JP7441452B2 - 教師データ生成方法、学習済みモデル生成方法、および発病予測方法 - Google Patents
教師データ生成方法、学習済みモデル生成方法、および発病予測方法 Download PDFInfo
- Publication number
- JP7441452B2 JP7441452B2 JP2019195362A JP2019195362A JP7441452B2 JP 7441452 B2 JP7441452 B2 JP 7441452B2 JP 2019195362 A JP2019195362 A JP 2019195362A JP 2019195362 A JP2019195362 A JP 2019195362A JP 7441452 B2 JP7441452 B2 JP 7441452B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- medical image
- region
- interest
- endoscope
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 71
- 201000010099 disease Diseases 0.000 title claims description 27
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 title claims description 27
- 230000003902 lesion Effects 0.000 claims description 49
- 238000000605 extraction Methods 0.000 claims description 40
- 238000012937 correction Methods 0.000 claims description 31
- 210000004204 blood vessel Anatomy 0.000 claims description 15
- 238000010801 machine learning Methods 0.000 claims description 12
- 210000002751 lymph Anatomy 0.000 claims description 5
- 230000000762 glandular Effects 0.000 claims description 4
- 210000004400 mucous membrane Anatomy 0.000 claims description 4
- 238000003860 storage Methods 0.000 description 58
- 238000012545 processing Methods 0.000 description 29
- 238000003672 processing method Methods 0.000 description 27
- 230000008569 process Effects 0.000 description 20
- 239000000284 extract Substances 0.000 description 15
- 239000012634 fragment Substances 0.000 description 14
- 238000001839 endoscopy Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 12
- 210000000056 organ Anatomy 0.000 description 12
- 230000006870 function Effects 0.000 description 11
- 210000001519 tissue Anatomy 0.000 description 11
- 239000011165 3D composite Substances 0.000 description 10
- 230000015572 biosynthetic process Effects 0.000 description 9
- 239000002131 composite material Substances 0.000 description 9
- 239000000203 mixture Substances 0.000 description 9
- 238000004088 simulation Methods 0.000 description 9
- 238000003786 synthesis reaction Methods 0.000 description 9
- 238000006243 chemical reaction Methods 0.000 description 8
- 238000011156 evaluation Methods 0.000 description 8
- 230000008859 change Effects 0.000 description 7
- 230000002496 gastric effect Effects 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 238000010827 pathological analysis Methods 0.000 description 6
- 238000003745 diagnosis Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000003780 insertion Methods 0.000 description 4
- 230000037431 insertion Effects 0.000 description 4
- 206010028980 Neoplasm Diseases 0.000 description 3
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 3
- 201000011510 cancer Diseases 0.000 description 3
- 239000013307 optical fiber Substances 0.000 description 3
- 208000015768 polyposis Diseases 0.000 description 3
- 238000001356 surgical procedure Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 208000001333 Colorectal Neoplasms Diseases 0.000 description 2
- 208000037062 Polyps Diseases 0.000 description 2
- 210000000013 bile duct Anatomy 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000002674 endoscopic surgery Methods 0.000 description 2
- 238000002073 fluorescence micrograph Methods 0.000 description 2
- 230000002068 genetic effect Effects 0.000 description 2
- 238000003702 image correction Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000005304 joining Methods 0.000 description 2
- 210000000214 mouth Anatomy 0.000 description 2
- 238000002271 resection Methods 0.000 description 2
- 210000002784 stomach Anatomy 0.000 description 2
- 206010009944 Colon cancer Diseases 0.000 description 1
- 108700019961 Neoplasm Genes Proteins 0.000 description 1
- 102000048850 Neoplasm Genes Human genes 0.000 description 1
- 208000037273 Pathologic Processes Diseases 0.000 description 1
- 210000000683 abdominal cavity Anatomy 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 210000000436 anus Anatomy 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 239000002775 capsule Substances 0.000 description 1
- 230000000112 colonic effect Effects 0.000 description 1
- 238000002052 colonoscopy Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000002224 dissection Methods 0.000 description 1
- 210000001198 duodenum Anatomy 0.000 description 1
- 210000003238 esophagus Anatomy 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 210000001035 gastrointestinal tract Anatomy 0.000 description 1
- 238000010448 genetic screening Methods 0.000 description 1
- 210000004907 gland Anatomy 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 210000002429 large intestine Anatomy 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000004060 metabolic process Effects 0.000 description 1
- 210000003097 mucus Anatomy 0.000 description 1
- 210000003928 nasal cavity Anatomy 0.000 description 1
- 210000000277 pancreatic duct Anatomy 0.000 description 1
- 210000004738 parenchymal cell Anatomy 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 230000009054 pathological process Effects 0.000 description 1
- 210000003240 portal vein Anatomy 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 210000000813 small intestine Anatomy 0.000 description 1
- 238000007920 subcutaneous administration Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 210000001215 vagina Anatomy 0.000 description 1
- 230000002792 vascular Effects 0.000 description 1
- 210000001835 viscera Anatomy 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
- 230000037303 wrinkles Effects 0.000 description 1
- 229910052724 xenon Inorganic materials 0.000 description 1
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 1
Images
Landscapes
- Endoscopes (AREA)
Description
項1.
観察対象を撮影または描出した第1医用画像を取得する第1取得ステップと、
前記第1医用画像の特徴量を抽出する第1抽出ステップと、
前記観察対象を撮影または描出した第2医用画像を取得する第2取得ステップと、
前記第2医用画像の特徴量を抽出する第2抽出ステップと、
前記第1医用画像の特徴量と前記第2医用画像の特徴量とを比較する比較ステップと、
前記比較ステップの比較結果に基づいて、前記第1医用画像と前記第2医用画像との位置関係を特定する位置関係特定ステップと、
を備えた画像処理方法。
項2.
前記第1医用画像および前記第2医用画像は、前記観察対象を内視鏡で撮影した内視鏡画像である、項1に記載の画像処理方法。
項3.
前記特徴量は、前記観察対象の血管、リンパ管、腺管、柔毛または粘膜のパターンである、項2に記載の画像処理方法。
項4.
前記第1抽出ステップの前に、前記第1医用画像の不明瞭な部分を補正する第1補正ステップと、
前記第2抽出ステップの前に、前記第2医用画像の不明瞭な部分を補正する第2補正ステップと、
をさらに備えた、項2または3に記載の画像処理方法。
項5.
前記第1医用画像に第1関心領域を設定する第1設定ステップをさらに備え、
前記位置関係特定ステップは、前記比較結果に基づいて、第2医用画像における第1関心領域に対応する第2関心領域を特定する関心領域特定ステップを備えた、項2から4のいずれかに記載の画像処理方法。
項6.
前記第2医用画像の撮影時期は、前記第1医用画像の撮影時期よりも後である、項5に記載の画像処理方法。
項7.
前記第2医用画像において、前記第2関心領域を他の領域と識別可能に表示する表示ステップをさらに備えた、項6に記載の画像処理方法。
項8.
前記第1医用画像の撮影時期は、前記第2医用画像の撮影時期よりも後である、項5に記載の画像処理方法。
項9.
前記第1医用画像に第1関心領域を設定する第1設定ステップをさらに備え、
前記第2医用画像は、前記第1関心領域の一部を前記内視鏡で拡大して撮影した画像である、項2から4のいずれかに記載の画像処理方法。
項10.
前記第1医用画像における前記第2医用画像の位置を識別可能に表示する表示ステップをさらに備えた、項9に記載の画像処理方法。
項11.
前記第2取得ステップ、第2抽出ステップ、比較ステップおよび位置関係特定ステップを繰り返して、位置の異なる複数の第2医用画像を取得し、
前記複数の第2医用画像の互いに重複していない部分を繋ぎ合わせて合成拡大画像を生成する画像合成ステップ、
をさらに備えた、項9または10に記載の画像処理方法。
項12.
前記第2医用画像は、一度の内視鏡挿入において、前記第1医用画像に続いて連続的に撮影された画像である、項2から4のいずれかに記載の画像処理方法。
項13.
前記一度の内視鏡挿入において、前記観察対象の異なる部位について、前記第2取得ステップおよび前記第2抽出ステップを繰り返し、
前記各第2取得ステップで取得された複数の第2医用画像について、各第2医用画像の特徴量とその直前に取得された第2医用画像の特徴量とを比較し、
前記比較結果に基づいて、前記第1医用画像と前記第2医用画像との位置関係、および前記複数の第2医用画像同士の位置関係を特定し、前記第1医用画像および複数の前記第2医用画像を繋ぎ合わせて3次元合成画像を生成する合成ステップをさらに備えた、項12に記載の画像処理方法。
項14.
前記3次元合成画像を展開した2次元展開画像を生成する展開画像生成ステップをさらに備えた、項13に記載の画像処理方法。
項15.
前記2次元展開画像に基づき、前記観察対象における観察状態を評価する観察状態評価ステップをさらに備えた、項14に記載の画像処理方法。
項16.
項8に記載の画像処理方法の前記関心領域特定ステップで特定された前記第2関心領域を前記第2医用画像に付加して、機械学習のための教師データを生成する、教師データ生成方法。
項17.
前記第1関心領域は病変部を含み、
前記第2関心領域は前記病変部を含まない、項16に記載の教師データ生成方法。
項18.
項11に記載の画像処理方法の前記画像合成ステップによって生成された前記合成拡大画像に、前記第1関心領域を切除して得られた組織の病理学的診断情報を付加して、機械学習のための教師データを生成する、教師データ生成方法。
項19.
前記病理学的診断情報は、前記第1関心領域における病変部および非病変部の範囲に関する情報を含む、項18に記載の教師データ生成方法。
項20.
項16または17に記載の教師データ生成方法によって生成された教師データを用いて機械学習を行い、
未知の観察対象を内視鏡で撮影した内視鏡画像を入力とし、前記未知の観察対象における前記病変の発生に関する発病予測情報を出力とする学習済みモデルを生成する、学習済みモデル生成方法。
項21.
被検者の観察対象の内視鏡画像を取得する第3取得ステップと、
項20に記載の学習済みモデル生成方法によって生成された学習済みモデルに、前記第3取得ステップで取得された内視鏡画像を入力して、前記被検者の観察対象における前記病変の発生に関する発病予測情報を取得する発病予測ステップと、
を備えた発病予測方法。
項22.
観察対象を撮影または描出した第1医用画像を取得する第1取得部と、
前記第1医用画像の特徴量を抽出する第1抽出部と、
前記観察対象を撮影または描出した第2医用画像を取得する第2取得部と、
前記第2医用画像の特徴量を抽出する第2抽出部と、
前記第1医用画像の特徴量と前記第2医用画像の特徴量とを比較する比較部と、
前記比較部の比較結果に基づいて、前記第1医用画像と前記第2医用画像との位置関係を特定する位置関係特定部と、
を備えた画像処理装置。
項23.
項1~15のいずれかに記載の画像処理方法の各ステップをコンピュータに実行させる画像処理プログラム。
項24.
項23に記載の画像処理プログラムを記録したコンピュータ読み取り可能な非一時的な記録媒体。
以下、本発明の第1実施形態について説明する。図1は、第1実施形態に係る内視鏡システム1の構成を示すブロック図である。内視鏡システム1は、内視鏡2と、制御装置3と、モニタ4とを備えている。
以下、本発明の第2実施形態について説明する。なお、第1実施形態におけるものと同一の機能を有する部材については、同一の符号を付し、原則として、その詳細な説明を省略する。
以下、本発明の第3実施形態について説明する。なお、第1および第2実施形態におけるものと同一の機能を有する部材については、同一の符号を付し、原則として、その詳細な説明を省略する。
以下、本発明の第4実施形態について説明する。なお、第1~第3実施形態におけるものと同一の機能を有する部材については、同一の符号を付し、原則として、その詳細な説明を省略する。
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて、種々の変更が可能である。例えば、異なる実施形態に開示された技術的手段を適宜組み合わせて得られる形態も、本発明の技術的範囲に属する。
2 内視鏡
2a 蛍光体
2b 撮像素子
3 制御装置
4 モニタ
5 光源装置
5a 光源
5b 光源駆動部
6 プロセッサ(画像処理装置)
6a AD変換部
6b 画像取得部(第1取得部、第2取得部)
6c 補正部
6d 特徴量抽出部(第1抽出部、第2抽出部)
6e 関心領域設定部(位置関係特定部)
6f 保存部
6g 比較部
6h 関心領域特定部
6i マーキング部
6j 教師データ生成部
6k 発病予測部
6m 位置演算部
6n 拡大位置表示部
6p 画像合成部
6q 展開画像生成部
6r 観察状態評価部
7 学習済みモデル生成装置
7a 学習部
11 内視鏡システム
13 制御装置
16 プロセッサ(画像処理装置)
21 内視鏡システム
23 制御装置
26 プロセッサ(画像処理装置)
31 内視鏡システム
33 制御装置
36 プロセッサ(画像処理装置)
41 内視鏡システム
43 制御装置
46 プロセッサ(画像処理装置)
60 記憶部
70 記憶部
D1 参照用データ
D2 過去データ
D3 教師データ
D4 学習済みモデル
D5 参照用データ
D6 断片拡大画像
D7 拡大画像
D7 合成拡大画像
D8 断片画像
D9 3次元合成画像
D10 2次元展開画像
F 光ファイバ
R1 第1関心領域
R2 領域
Claims (5)
- 観察対象を撮影または描出した第1医用画像を取得する第1取得ステップと、
前記第1医用画像の特徴量を抽出する第1抽出ステップと、
前記第1医用画像に病変部を含む第1関心領域を設定する第1設定ステップと、
前記第1医用画像の撮影時期よりも前に前記観察対象を撮影または描出した第2医用画像を取得する第2取得ステップと、
前記第2医用画像の特徴量を抽出する第2抽出ステップと、
前記第1医用画像の特徴量と前記第2医用画像の特徴量とを比較する比較ステップと、
前記比較結果に基づいて、第2医用画像における第1関心領域に対応する第2関心領域を特定する関心領域特定ステップと、
前記関心領域特定ステップで特定された前記第2関心領域を前記第2医用画像に付加して、機械学習のための教師データを生成する教師データ生成ステップと、
を備え、
前記第1医用画像および前記第2医用画像は、前記観察対象を内視鏡で撮影した内視鏡画像であり、
前記第2関心領域は前記病変部を含まない、教師データ生成方法。 - 前記特徴量は、前記観察対象の血管、リンパ管、腺管、柔毛または粘膜のパターンである、請求項1に記載の教師データ生成方法。
- 前記第1抽出ステップの前に、前記第1医用画像の不明瞭な部分を補正する第1補正ステップと、
前記第2抽出ステップの前に、前記第2医用画像の不明瞭な部分を補正する第2補正ステップと、
をさらに備えた、請求項1または2に記載の教師データ生成方法。 - 請求項1~3のいずれかに記載の教師データ生成方法によって生成された教師データを用いて機械学習を行い、
未知の観察対象を内視鏡で撮影した内視鏡画像を入力とし、前記未知の観察対象における前記病変の発生に関する発病予測情報を出力とする学習済みモデルを生成する、学習済みモデル生成方法。 - 被検者の観察対象の内視鏡画像を取得する第3取得ステップと、
請求項4に記載の学習済みモデル生成方法によって生成された学習済みモデルに、前記第3取得ステップで取得された内視鏡画像を入力して、前記被検者の観察対象における前記病変の発生に関する発病予測情報を取得する発病予測ステップと、
を備えた発病予測方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019195362A JP7441452B2 (ja) | 2019-10-28 | 2019-10-28 | 教師データ生成方法、学習済みモデル生成方法、および発病予測方法 |
PCT/JP2020/038592 WO2021075418A1 (ja) | 2019-10-18 | 2020-10-13 | 画像処理方法、教師データ生成方法、学習済みモデル生成方法、発病予測方法、画像処理装置、画像処理プログラム、およびそのプログラムを記録した記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019195362A JP7441452B2 (ja) | 2019-10-28 | 2019-10-28 | 教師データ生成方法、学習済みモデル生成方法、および発病予測方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021065606A JP2021065606A (ja) | 2021-04-30 |
JP7441452B2 true JP7441452B2 (ja) | 2024-03-01 |
Family
ID=75636123
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019195362A Active JP7441452B2 (ja) | 2019-10-18 | 2019-10-28 | 教師データ生成方法、学習済みモデル生成方法、および発病予測方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7441452B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2023090090A1 (ja) * | 2021-11-22 | 2023-05-25 | ||
WO2023242891A1 (ja) * | 2022-06-13 | 2023-12-21 | 日本電気株式会社 | オブジェクト検出装置、学習装置、オブジェクト検出方法、学習方法、オブジェクト検出プログラム及び学習プログラム |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002517836A (ja) | 1998-06-05 | 2002-06-18 | アーチ・デベロップメント・コーポレーション | 乳癌の危険性のコンピュータによる評価方法およびシステム |
WO2011061940A1 (ja) | 2009-11-18 | 2011-05-26 | パナソニック株式会社 | 画像処理方法および画像処理装置 |
JP2015139657A (ja) | 2014-01-30 | 2015-08-03 | 富士フイルム株式会社 | プロセッサ装置、内視鏡システム、及び内視鏡システムの作動方法 |
JP2018029880A (ja) | 2016-08-26 | 2018-03-01 | キヤノンメディカルシステムズ株式会社 | 医用画像処理装置および内視鏡装置 |
WO2019198637A1 (ja) | 2018-04-13 | 2019-10-17 | 富士フイルム株式会社 | 画像処理装置、内視鏡システム、及び画像処理方法 |
-
2019
- 2019-10-28 JP JP2019195362A patent/JP7441452B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002517836A (ja) | 1998-06-05 | 2002-06-18 | アーチ・デベロップメント・コーポレーション | 乳癌の危険性のコンピュータによる評価方法およびシステム |
WO2011061940A1 (ja) | 2009-11-18 | 2011-05-26 | パナソニック株式会社 | 画像処理方法および画像処理装置 |
JP2015139657A (ja) | 2014-01-30 | 2015-08-03 | 富士フイルム株式会社 | プロセッサ装置、内視鏡システム、及び内視鏡システムの作動方法 |
JP2018029880A (ja) | 2016-08-26 | 2018-03-01 | キヤノンメディカルシステムズ株式会社 | 医用画像処理装置および内視鏡装置 |
WO2019198637A1 (ja) | 2018-04-13 | 2019-10-17 | 富士フイルム株式会社 | 画像処理装置、内視鏡システム、及び画像処理方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2021065606A (ja) | 2021-04-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2021075418A1 (ja) | 画像処理方法、教師データ生成方法、学習済みモデル生成方法、発病予測方法、画像処理装置、画像処理プログラム、およびそのプログラムを記録した記録媒体 | |
JP7335552B2 (ja) | 画像診断支援装置、学習済みモデル、画像診断支援装置の作動方法および画像診断支援プログラム | |
JP2010279539A (ja) | 診断支援装置および方法並びにプログラム。 | |
JP2014527837A (ja) | 体系的に英数字コード化された内視鏡検査および内視鏡位置決めシステム | |
KR20170055526A (ko) | 방광의 진단 맵핑을 위한 방법 및 시스템 | |
JP2005169116A (ja) | 融合画像表示方法 | |
US20230281968A1 (en) | Recording Medium, Method for Generating Learning Model, Surgical Support Device and Information Processing Method | |
US8666135B2 (en) | Image processing apparatus | |
WO2020188682A1 (ja) | 診断支援装置、診断支援方法及びプログラム | |
US20230301503A1 (en) | Artificial intelligence-based gastroscopic image analysis method | |
JP7441452B2 (ja) | 教師データ生成方法、学習済みモデル生成方法、および発病予測方法 | |
JPH11104072A (ja) | 医療支援システム | |
JP4686279B2 (ja) | 医用診断装置及び診断支援装置 | |
JP7457415B2 (ja) | コンピュータプログラム、学習モデルの生成方法、及び支援装置 | |
KR20210016171A (ko) | 의료영상을 이용한 질환정보 제공 방법 | |
JP2008054763A (ja) | 医療画像診断装置 | |
US20220202284A1 (en) | Endoscope processor, training device, information processing method, training method and program | |
KR102393661B1 (ko) | 다중 영상 내시경 시스템, 그 영상 제공 방법, 및 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체 | |
JP7497930B2 (ja) | 臨床記録データ生成方法及び装置 | |
EP4223203A1 (en) | Image processing device, endoscope system, method for operating image processing device, and program for image processing device | |
Igarashi et al. | Computer‐based endoscopic image‐processing technology for endourology and laparoscopic surgery | |
CN116724334A (zh) | 计算机程序、学习模型的生成方法、以及手术辅助装置 | |
JP2021065293A (ja) | 画像処理方法、画像処理装置、画像処理プログラム、教師データ生成方法、教師データ生成装置、教師データ生成プログラム、学習済みモデル生成方法、学習済みモデル生成装置、診断支援方法、診断支援装置、診断支援プログラム、およびそれらのプログラムを記録した記録媒体 | |
JP7533905B2 (ja) | 大腸内視鏡観察支援装置、作動方法、及びプログラム | |
JP7561382B2 (ja) | 大腸内視鏡観察支援装置、作動方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20201125 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221017 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231010 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231031 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240109 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240207 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7441452 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |