JP7292685B2 - 高頻度変異型癌の判別システム、プログラム及び方法 - Google Patents
高頻度変異型癌の判別システム、プログラム及び方法 Download PDFInfo
- Publication number
- JP7292685B2 JP7292685B2 JP2020500447A JP2020500447A JP7292685B2 JP 7292685 B2 JP7292685 B2 JP 7292685B2 JP 2020500447 A JP2020500447 A JP 2020500447A JP 2020500447 A JP2020500447 A JP 2020500447A JP 7292685 B2 JP7292685 B2 JP 7292685B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- cancer
- unit
- pathological section
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 206010028980 Neoplasm Diseases 0.000 title claims description 200
- 201000011510 cancer Diseases 0.000 title claims description 188
- 238000000034 method Methods 0.000 title claims description 35
- 238000012545 processing Methods 0.000 claims description 68
- 230000001575 pathological effect Effects 0.000 claims description 52
- 238000010801 machine learning Methods 0.000 claims description 47
- 238000009826 distribution Methods 0.000 claims description 16
- 230000006870 function Effects 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 12
- 229940076838 Immune checkpoint inhibitor Drugs 0.000 claims description 6
- 108091008026 Inhibitory immune checkpoint proteins Proteins 0.000 claims description 6
- 102000037984 Inhibitory immune checkpoint proteins Human genes 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 239000012274 immune-checkpoint protein inhibitor Substances 0.000 claims description 6
- 238000010186 staining Methods 0.000 claims description 5
- 238000012744 immunostaining Methods 0.000 claims description 3
- 238000007447 staining method Methods 0.000 claims 1
- 238000013528 artificial neural network Methods 0.000 description 22
- 238000004364 calculation method Methods 0.000 description 17
- 210000001519 tissue Anatomy 0.000 description 12
- 238000010586 diagram Methods 0.000 description 9
- 206010009944 Colon cancer Diseases 0.000 description 7
- 230000001506 immunosuppresive effect Effects 0.000 description 7
- 230000035772 mutation Effects 0.000 description 7
- 230000007246 mechanism Effects 0.000 description 6
- 102100040678 Programmed cell death protein 1 Human genes 0.000 description 5
- 230000004913 activation Effects 0.000 description 5
- WZUVPPKBWHMQCE-UHFFFAOYSA-N Haematoxylin Chemical compound C12=CC(O)=C(O)C=C2CC2(O)C1C1=CC=C(O)C(O)=C1OC2 WZUVPPKBWHMQCE-UHFFFAOYSA-N 0.000 description 4
- 101710089372 Programmed cell death protein 1 Proteins 0.000 description 4
- 210000001744 T-lymphocyte Anatomy 0.000 description 4
- 239000000427 antigen Substances 0.000 description 4
- 108091007433 antigens Proteins 0.000 description 4
- 102000036639 antigens Human genes 0.000 description 4
- 208000029742 colonic neoplasm Diseases 0.000 description 4
- 239000003446 ligand Substances 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 208000001333 Colorectal Neoplasms Diseases 0.000 description 3
- 102000037982 Immune checkpoint proteins Human genes 0.000 description 3
- 108091008036 Immune checkpoint proteins Proteins 0.000 description 3
- 208000005718 Stomach Neoplasms Diseases 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000004043 dyeing Methods 0.000 description 3
- 206010017758 gastric cancer Diseases 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 230000033607 mismatch repair Effects 0.000 description 3
- 230000037361 pathway Effects 0.000 description 3
- 201000011549 stomach cancer Diseases 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 206010069754 Acquired gene mutation Diseases 0.000 description 2
- 206010006187 Breast cancer Diseases 0.000 description 2
- 208000026310 Breast neoplasm Diseases 0.000 description 2
- 229940045513 CTLA4 antagonist Drugs 0.000 description 2
- 230000004543 DNA replication Effects 0.000 description 2
- 101150062460 DNM1 gene Proteins 0.000 description 2
- 101150003850 DNM2 gene Proteins 0.000 description 2
- 208000000461 Esophageal Neoplasms Diseases 0.000 description 2
- 206010058467 Lung neoplasm malignant Diseases 0.000 description 2
- 208000032818 Microsatellite Instability Diseases 0.000 description 2
- 206010030155 Oesophageal carcinoma Diseases 0.000 description 2
- 208000002495 Uterine Neoplasms Diseases 0.000 description 2
- 239000002246 antineoplastic agent Substances 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- YQGOJNYOYNNSMM-UHFFFAOYSA-N eosin Chemical compound [Na+].OC(=O)C1=CC=CC=C1C1=C2C=C(Br)C(=O)C(Br)=C2OC2=C(Br)C(O)=C(Br)C=C21 YQGOJNYOYNNSMM-UHFFFAOYSA-N 0.000 description 2
- 201000004101 esophageal cancer Diseases 0.000 description 2
- 238000012252 genetic analysis Methods 0.000 description 2
- 201000010536 head and neck cancer Diseases 0.000 description 2
- 208000014829 head and neck neoplasm Diseases 0.000 description 2
- 210000000987 immune system Anatomy 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 201000005202 lung cancer Diseases 0.000 description 2
- 208000020816 lung neoplasm Diseases 0.000 description 2
- 201000001441 melanoma Diseases 0.000 description 2
- 229960003301 nivolumab Drugs 0.000 description 2
- 230000007170 pathology Effects 0.000 description 2
- 108090000623 proteins and genes Proteins 0.000 description 2
- 230000019491 signal transduction Effects 0.000 description 2
- 230000037439 somatic mutation Effects 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 238000002560 therapeutic procedure Methods 0.000 description 2
- 206010046766 uterine cancer Diseases 0.000 description 2
- 206010061424 Anal cancer Diseases 0.000 description 1
- 208000007860 Anus Neoplasms Diseases 0.000 description 1
- 206010073360 Appendix cancer Diseases 0.000 description 1
- 102100029822 B- and T-lymphocyte attenuator Human genes 0.000 description 1
- 206010004593 Bile duct cancer Diseases 0.000 description 1
- 206010005003 Bladder cancer Diseases 0.000 description 1
- 208000003174 Brain Neoplasms Diseases 0.000 description 1
- 108010021064 CTLA-4 Antigen Proteins 0.000 description 1
- 102000008203 CTLA-4 Antigen Human genes 0.000 description 1
- 101100463133 Caenorhabditis elegans pdl-1 gene Proteins 0.000 description 1
- 102100039498 Cytotoxic T-lymphocyte protein 4 Human genes 0.000 description 1
- 102100028849 DNA mismatch repair protein Mlh3 Human genes 0.000 description 1
- 102100034157 DNA mismatch repair protein Msh2 Human genes 0.000 description 1
- 102100037700 DNA mismatch repair protein Msh3 Human genes 0.000 description 1
- 102100021147 DNA mismatch repair protein Msh6 Human genes 0.000 description 1
- 101150068127 DNM3 gene Proteins 0.000 description 1
- 206010061825 Duodenal neoplasm Diseases 0.000 description 1
- 108090000790 Enzymes Proteins 0.000 description 1
- 102000004190 Enzymes Human genes 0.000 description 1
- 208000022072 Gallbladder Neoplasms Diseases 0.000 description 1
- 102100034458 Hepatitis A virus cellular receptor 2 Human genes 0.000 description 1
- 101710083479 Hepatitis A virus cellular receptor 2 homolog Proteins 0.000 description 1
- 101000864344 Homo sapiens B- and T-lymphocyte attenuator Proteins 0.000 description 1
- 101000889276 Homo sapiens Cytotoxic T-lymphocyte protein 4 Proteins 0.000 description 1
- 101000577867 Homo sapiens DNA mismatch repair protein Mlh3 Proteins 0.000 description 1
- 101001134036 Homo sapiens DNA mismatch repair protein Msh2 Proteins 0.000 description 1
- 101001027762 Homo sapiens DNA mismatch repair protein Msh3 Proteins 0.000 description 1
- 101000968658 Homo sapiens DNA mismatch repair protein Msh6 Proteins 0.000 description 1
- 101000914514 Homo sapiens T-cell-specific surface glycoprotein CD28 Proteins 0.000 description 1
- 101000666896 Homo sapiens V-type immunoglobulin domain-containing suppressor of T-cell activation Proteins 0.000 description 1
- 206010062016 Immunosuppression Diseases 0.000 description 1
- 102000002698 KIR Receptors Human genes 0.000 description 1
- 108010043610 KIR Receptors Proteins 0.000 description 1
- 208000008839 Kidney Neoplasms Diseases 0.000 description 1
- 102000017578 LAG3 Human genes 0.000 description 1
- 101150030213 Lag3 gene Proteins 0.000 description 1
- 101150110531 MLH1 gene Proteins 0.000 description 1
- 229910015837 MSH2 Inorganic materials 0.000 description 1
- 208000032271 Malignant tumor of penis Diseases 0.000 description 1
- 241000500121 Mirax Species 0.000 description 1
- 108010074346 Mismatch Repair Endonuclease PMS2 Proteins 0.000 description 1
- 102100037480 Mismatch repair endonuclease PMS2 Human genes 0.000 description 1
- 108010026664 MutL Protein Homolog 1 Proteins 0.000 description 1
- 108091028043 Nucleic acid sequence Proteins 0.000 description 1
- 240000007594 Oryza sativa Species 0.000 description 1
- 235000007164 Oryza sativa Nutrition 0.000 description 1
- 206010033128 Ovarian cancer Diseases 0.000 description 1
- 206010061535 Ovarian neoplasm Diseases 0.000 description 1
- 206010061902 Pancreatic neoplasm Diseases 0.000 description 1
- 208000002471 Penile Neoplasms Diseases 0.000 description 1
- 206010034299 Penile cancer Diseases 0.000 description 1
- 206010060862 Prostate cancer Diseases 0.000 description 1
- 208000000236 Prostatic Neoplasms Diseases 0.000 description 1
- 208000015634 Rectal Neoplasms Diseases 0.000 description 1
- 206010038389 Renal cancer Diseases 0.000 description 1
- 208000000453 Skin Neoplasms Diseases 0.000 description 1
- 206010054184 Small intestine carcinoma Diseases 0.000 description 1
- 229940126547 T-cell immunoglobulin mucin-3 Drugs 0.000 description 1
- 102100027213 T-cell-specific surface glycoprotein CD28 Human genes 0.000 description 1
- 208000024313 Testicular Neoplasms Diseases 0.000 description 1
- 206010057644 Testis cancer Diseases 0.000 description 1
- 208000023915 Ureteral Neoplasms Diseases 0.000 description 1
- 206010046392 Ureteric cancer Diseases 0.000 description 1
- 208000007097 Urinary Bladder Neoplasms Diseases 0.000 description 1
- 102100038282 V-type immunoglobulin domain-containing suppressor of T-cell activation Human genes 0.000 description 1
- 206010047741 Vulval cancer Diseases 0.000 description 1
- 208000004354 Vulvar Neoplasms Diseases 0.000 description 1
- 210000000612 antigen-presenting cell Anatomy 0.000 description 1
- 201000011165 anus cancer Diseases 0.000 description 1
- 208000021780 appendiceal neoplasm Diseases 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 208000026900 bile duct neoplasm Diseases 0.000 description 1
- 238000002619 cancer immunotherapy Methods 0.000 description 1
- 208000006990 cholangiocarcinoma Diseases 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 208000035250 cutaneous malignant susceptibility to 1 melanoma Diseases 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000012850 discrimination method Methods 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 201000000312 duodenum cancer Diseases 0.000 description 1
- 229950009791 durvalumab Drugs 0.000 description 1
- 230000017188 evasion or tolerance of host immune response Effects 0.000 description 1
- IJJVMEJXYNJXOJ-UHFFFAOYSA-N fluquinconazole Chemical compound C=1C=C(Cl)C=C(Cl)C=1N1C(=O)C2=CC(F)=CC=C2N=C1N1C=NC=N1 IJJVMEJXYNJXOJ-UHFFFAOYSA-N 0.000 description 1
- 201000010175 gallbladder cancer Diseases 0.000 description 1
- 238000012268 genome sequencing Methods 0.000 description 1
- 208000005017 glioblastoma Diseases 0.000 description 1
- 229940126546 immune checkpoint molecule Drugs 0.000 description 1
- 230000036737 immune function Effects 0.000 description 1
- 230000028993 immune response Effects 0.000 description 1
- 230000000899 immune system response Effects 0.000 description 1
- 239000003112 inhibitor Substances 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 229960005386 ipilimumab Drugs 0.000 description 1
- 201000010982 kidney cancer Diseases 0.000 description 1
- 201000007270 liver cancer Diseases 0.000 description 1
- 208000014018 liver neoplasm Diseases 0.000 description 1
- 230000003211 malignant effect Effects 0.000 description 1
- 208000015486 malignant pancreatic neoplasm Diseases 0.000 description 1
- 230000011987 methylation Effects 0.000 description 1
- 238000007069 methylation reaction Methods 0.000 description 1
- 201000002528 pancreatic cancer Diseases 0.000 description 1
- 208000008443 pancreatic carcinoma Diseases 0.000 description 1
- 238000010827 pathological analysis Methods 0.000 description 1
- 229960002621 pembrolizumab Drugs 0.000 description 1
- 229950010773 pidilizumab Drugs 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 108020003175 receptors Proteins 0.000 description 1
- 102000005962 receptors Human genes 0.000 description 1
- 206010038038 rectal cancer Diseases 0.000 description 1
- 201000001275 rectum cancer Diseases 0.000 description 1
- 235000009566 rice Nutrition 0.000 description 1
- 201000000849 skin cancer Diseases 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000011425 standardization method Methods 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 201000003120 testicular cancer Diseases 0.000 description 1
- 229950007217 tremelimumab Drugs 0.000 description 1
- 230000005760 tumorsuppression Effects 0.000 description 1
- 201000005112 urinary bladder cancer Diseases 0.000 description 1
- 206010046885 vaginal cancer Diseases 0.000 description 1
- 208000013139 vaginal neoplasm Diseases 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 201000005102 vulva cancer Diseases 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N1/00—Sampling; Preparing specimens for investigation
- G01N1/28—Preparing specimens for investigation including physical details of (bio-)chemical methods covered elsewhere, e.g. G01N33/50, C12Q
- G01N1/30—Staining; Impregnating ; Fixation; Dehydration; Multistep processes for preparing samples of tissue, cell or nucleic acid material and the like for analysis
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/15—Medicinal preparations ; Physical properties thereof, e.g. dissolubility
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
- G01N33/483—Physical analysis of biological material
- G01N33/4833—Physical analysis of biological material of solid biological material, e.g. tissue samples, cell cultures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/698—Matching; Classification
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N1/00—Sampling; Preparing specimens for investigation
- G01N1/28—Preparing specimens for investigation including physical details of (bio-)chemical methods covered elsewhere, e.g. G01N33/50, C12Q
- G01N1/30—Staining; Impregnating ; Fixation; Dehydration; Multistep processes for preparing samples of tissue, cell or nucleic acid material and the like for analysis
- G01N2001/302—Stain compositions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30028—Colon; Small intestine
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Biochemistry (AREA)
- Pathology (AREA)
- Immunology (AREA)
- Analytical Chemistry (AREA)
- Food Science & Technology (AREA)
- Medicinal Chemistry (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Hematology (AREA)
- Biophysics (AREA)
- Urology & Nephrology (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Optics & Photonics (AREA)
- Pharmacology & Pharmacy (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Investigating Or Analysing Biological Materials (AREA)
Description
好ましくは、前記病理切片の染色方法が、ヘマトキシリン・エオシン染色である。
好ましくは、前記入力部は、非癌画像データをさらに入力可能に構成され、前記非癌画像データは、癌の病理切片ではない画像データであり、前記保持部は、前記非癌画像データをさらに保持可能に構成され、前記機械学習実行部は、前記保持部により保持された非癌画像データを教師データとし、癌の病理切片の画像データであるか否かを判別する判別モデルをさらに生成可能に構成され、前記判別部は、第3画像データが癌の画像データであるか否かをさらに判別可能に構成される。
好ましくは、画像処理部を備え、前記画像処理部は、第1画像データ及び第2画像データおよび非癌画像データの少なくとも1つに対し、ピクセル毎におけるRGBの各色を、第1画像データ及び第2画像データまたは非癌画像データ全体の色分布に基づいてCIE表色系におけるZ値に変換するZ値変換処理を実行可能に構成される。
好ましくは、前記画像処理部は、前記入力部に入力される第1画像データ及び第2画像データおよび非癌画像データの少なくとも1つを分割する分割処理を実行可能に構成される。
好ましくは、前記分割処理は、第1画像及び第2画像データの少なくとも一方に対し、同一の病理切片の画像データを分割する分割処理を実行可能に構成される。
好ましくは、前記画像処理部は、分割後の画像において一部の領域が重複するように、前記分割処理を実行する。
好ましくは、前記画像処理部は、前記入力部に入力される第3画像データを分割する分割処理をさらに実行可能に構成される。
好ましくは、前記判別部は、前記第3画像データについて、癌の病理切片の画像データであるか否かを判別し、癌の病理切片であると判別された画像データについて、さらに、高頻度変異型癌であるか否かを判別する。
好ましくは、前記判別部は、癌の病理切片の画像データであると判別された画像データ内における前記高頻度変異型癌であると判別された画像データの比率に基づいて、前記癌が高頻度変異癌であるか否かを判別する。
他の観点によれば、コンピュータを、入力部、保持部、機械学習実行部及び判別部として機能させ、前記入力部は、複数の第1画像データ及び複数の第2画像データを入力可能に構成され、第1画像データは、染色された高頻度変異型癌の病理切片を表す画像データであり、第2画像データは、高頻度変異型癌ではない癌の病理切片であって、第1画像データのもととなるがんの病理切片と同じ染色がされた病理切片を表す画像データであり、前記保持部は、第1画像データ及び第2画像データを保持可能に構成され、前記機械学習実行部は、前記保持部により保持された第1画像データ及び第2画像データを教師データとし、高頻度変異型癌であるか否かを判別する判別モデルを生成可能に構成される、プログラムが提供される。
他の観点によれば、上述の何れか1つに記載のシステムを用いて実行される、高頻度変異型癌の判別方法が提供される。
他の観点によれば、上述の何れか1つに記載のプログラムを用いて実行される、高頻度変異型癌の判別方法が提供される。
好ましくは、免疫チェックポイント阻害剤の有効性を判断する工程を含む。
1.1.高頻度変異型癌であるか否かの判別
以下、図1~図4を用いて、本発明の一実施形態に係るシステム10について説明する。
図1に示すように、システム10は、入力部1、画像処理部2、保持部3、機械学習実行部4及び判別部5を備える。
次に、図2を用いて、本発明の一実施形態に係る高頻度変異型癌であるか否かを判別する判別モデルを生成するフローを説明する。
次に、図3及び図4を用いて、判定モデルを用いて第3画像データが高頻度変異型癌であるか否かを判別する際における第3画像データの流れについて説明する。
次に、図5及び図6を用いて、図4のS13における判定モデルを用いた判別について説明する。なお、本実施形態では、機械学習のアルゴリズムは特に限定されず、ニューラルネットワークや深層学習(ディープラーニング)を利用することができる。以下、説明の簡素化のため、ニューラルネットワークを用いた例について説明する。
次に、図7を用いて、図2のS5~S6における判別モデルの生成について説明する。
図8~図12を用いて、本発明の第2実施形態について説明する。なお、実施形態1と同様の構成および機能については、その説明を繰り返さない。
以上、種々の実施形態について説明したが、本発明は以下の態様でも実施可能である。
入力部、保持部、機械学習実行部及び解析部として機能させ、
前記入力部は、複数の第1画像データ及び複数の第2画像データを入力可能に構成され、
第1画像データは、染色された高頻度変異型癌の病理切片を表す画像データであり、
第2画像データは、高頻度変異型癌ではない病理切片であって、第1画像データのもととなるがんの病理切片と同じ染色がされた病理切片を表す画像データであり、
前記保持部は、第1画像データ及び第2画像データを保持可能に構成され、
前記機械学習実行部は、前記保持部により保持された第1画像データ及び第2画像データを教師データとし、高頻度変異型癌であるか否かを判別する判別モデルを生成可能に構成される、
プログラム。
2,22 :画像処理部
3,23 :保持部
4,24 :機械学習実行部
5,25 :判別部
10,20 :システム
Claims (15)
- 入力部、保持部、機械学習実行部及び判別部を備え、
前記入力部は、複数の第1画像データ、複数の第2画像データ及び複数の第3画像データを入力可能に構成され、
前記第1画像データは、染色された高頻度変異型癌の病理切片を表す画像データであり、
前記第2画像データは、高頻度変異型癌ではない癌の病理切片であって、前記第1画像データのもととなるがんの病理切片と同じ染色がされた病理切片を表す画像データであり、
前記第3画像データは、新たに高頻度変異型癌であるか否かの判別を行うがんの病理切片であって、前記第1画像データのもととなるがんの病理切片と同じ染色がされた病理切片を表す画像データであり、
前記保持部は、前記第1画像データ及び前記第2画像データを保持可能に構成され、
前記機械学習実行部は、前記保持部により保持された前記第1画像データ及び前記第2画像データを教師データとし、高頻度変異型癌であるか否かを判別する判別モデルを生成可能に構成され、
前記判別部は、前記判別モデルに前記第3画像データを入力し、前記第3画像データが高頻度変異型癌であるか否かを判別可能に構成される、
高頻度変異型癌の判別システム(但し、前記病理切片の染色方法が、免疫染色であるものを除く)。 - 前記病理切片の染色方法が、ヘマトキシリン・エオシン染色である、
請求項1に記載のシステム。 - 前記入力部は、非癌画像データをさらに入力可能に構成され、
前記非癌画像データは、癌の病理切片ではない画像データであり、
前記保持部は、前記非癌画像データをさらに保持可能に構成され、
前記機械学習実行部は、前記保持部により保持された前記非癌画像データを教師データとし、癌の病理切片の画像データであるか否かを判別する判別モデルをさらに生成可能に構成され、
前記判別部は、前記第3画像データが癌の画像データであるか否かをさらに判別可能に構成される、
請求項1または請求項2に記載のシステム。 - 画像処理部を備え、
前記画像処理部は、前記第1画像データ、および前記第2画像データの少なくとも1つに対し、ピクセル毎におけるRGBの各色を、前記第1画像データ、または前記第2画像データ全体の色分布に基づいてCIE表色系におけるZ値に変換するZ値変換処理を実行可能に構成される、
請求項1又は請求項2に記載のシステム。 - 画像処理部を備え、
前記画像処理部は、前記第1画像データ、前記第2画像データおよび前記非癌画像データの少なくとも1つに対し、ピクセル毎におけるRGBの各色を、前記第1画像データ、前記第2画像データまたは前記非癌画像データ全体の色分布に基づいてCIE表色系におけるZ値に変換するZ値変換処理を実行可能に構成される、
請求項3に記載のシステム。 - 前記画像処理部は、
前記入力部に入力される前記第1画像データ、および前記第2画像データの少なくとも1つを分割する分割処理を実行可能に構成される、
請求項4に記載のシステム。 - 前記画像処理部は、
前記入力部に入力される前記第1画像データ、前記第2画像データ、および前記非癌画像データの少なくとも1つを分割する分割処理を実行可能に構成される、
請求項5に記載のシステム。 - 前記画像処理部は、
分割後の画像において一部の領域が重複するように、前記分割処理を実行する、請求項6又は請求項7に記載のシステム。 - 前記画像処理部は、
前記入力部に入力される前記第3画像データを分割する分割処理をさらに実行可能に構成される、請求項6~請求項8の何れか1つに記載のシステム。 - 前記判別部は、
前記第3画像データについて、癌の病理切片の画像データであるか否かを判別し、
癌の病理切片であると判別された画像データについて、さらに、高頻度変異型癌であるか否かを判別する、
請求項3、請求項5、及び請求項7のうち何れか1つに記載のシステム。 - 前記判別部は、
癌の病理切片の画像データであると判別された画像データ内における前記高頻度変異型癌であると判別された画像データの比率に基づいて、前記癌が高頻度変異癌であるか否かを判別する、
請求項10に記載のシステム。 - コンピュータを、
入力部、保持部、機械学習実行部及び判別部として機能させ、
前記入力部は、複数の第1画像データ及び複数の第2画像データを入力可能に構成され、
前記第1画像データは、染色された高頻度変異型癌の病理切片を表す画像データであり、
前記第2画像データは、高頻度変異型癌ではない癌の病理切片であって、前記第1画像データのもととなるがんの病理切片と同じ染色がされた病理切片を表す画像データであり、
前記保持部は、前記第1画像データ及び前記第2画像データを保持可能に構成され、
前記機械学習実行部は、前記保持部により保持された前記第1画像データ及び前記第2画像データを教師データとし、高頻度変異型癌であるか否かを判別する判別モデルを生成可能に構成される、
プログラム(但し、前記病理切片の染色方法が、免疫染色であるものを除く)。 - 請求項1~請求項11の何れか1つに記載のシステムを用いて実行される、
高頻度変異型癌の判別方法。 - 請求項12記載のプログラムを用いて実行される、
高頻度変異型癌の判別方法。 - 免疫チェックポイント阻害剤の有効性を判断する工程を含む、
請求項13又は請求項14に記載の判別方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023015100A JP2023058553A (ja) | 2018-02-15 | 2023-02-03 | 高頻度変異型癌の判別システム、プログラム及び方法 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018024784 | 2018-02-15 | ||
JP2018024784 | 2018-02-15 | ||
PCT/JP2019/004499 WO2019159821A1 (ja) | 2018-02-15 | 2019-02-07 | 高頻度変異型癌の判別システム、プログラム及び方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023015100A Division JP2023058553A (ja) | 2018-02-15 | 2023-02-03 | 高頻度変異型癌の判別システム、プログラム及び方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2019159821A1 JPWO2019159821A1 (ja) | 2021-03-04 |
JP7292685B2 true JP7292685B2 (ja) | 2023-06-19 |
Family
ID=67619174
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020500447A Active JP7292685B2 (ja) | 2018-02-15 | 2019-02-07 | 高頻度変異型癌の判別システム、プログラム及び方法 |
JP2023015100A Pending JP2023058553A (ja) | 2018-02-15 | 2023-02-03 | 高頻度変異型癌の判別システム、プログラム及び方法 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023015100A Pending JP2023058553A (ja) | 2018-02-15 | 2023-02-03 | 高頻度変異型癌の判別システム、プログラム及び方法 |
Country Status (6)
Country | Link |
---|---|
US (2) | US11295447B2 (ja) |
EP (2) | EP3754334B1 (ja) |
JP (2) | JP7292685B2 (ja) |
KR (1) | KR20200121318A (ja) |
CN (3) | CN115684568A (ja) |
WO (1) | WO2019159821A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP4134909A4 (en) * | 2020-04-06 | 2024-02-21 | Niigata University | DATA GENERATION DEVICE, DATA GENERATION METHOD AND PROGRAM |
US20230274428A1 (en) * | 2020-10-14 | 2023-08-31 | Genomedia Inc. | Information processing system, information processing method, and program |
WO2023228229A1 (ja) * | 2022-05-23 | 2023-11-30 | 日本電気株式会社 | 画像処理装置、画像処理方法、およびプログラム |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015052581A (ja) | 2013-01-08 | 2015-03-19 | キヤノン株式会社 | 生体組織画像の再構成方法及び装置並びに該生体組織画像を用いた画像表示装置 |
WO2016093090A1 (ja) | 2014-12-09 | 2016-06-16 | コニカミノルタ株式会社 | 画像処理装置及び画像処理プログラム |
WO2017010397A1 (ja) | 2015-07-15 | 2017-01-19 | 国立大学法人大阪大学 | 画像解析装置、画像解析方法、画像解析システム、画像解析プログラム、および記録媒体 |
WO2017037180A1 (en) | 2015-09-02 | 2017-03-09 | Ventana Medical Systems, Inc. | Automated analysis of cellular samples having intermixing of analytically distinct patterns of analyte staining |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4265283B2 (ja) | 2003-05-26 | 2009-05-20 | トヨタ自動車株式会社 | Cngエンジンの燃料性状別制御方法 |
US10839510B2 (en) * | 2015-08-19 | 2020-11-17 | Colorado Seminary, Which Owns And Operates The University Of Denver | Methods and systems for human tissue analysis using shearlet transforms |
US10438096B2 (en) * | 2016-12-27 | 2019-10-08 | Definiens Ag | Identifying and excluding blurred areas of images of stained tissue to improve cancer scoring |
WO2018144044A1 (en) * | 2017-02-03 | 2018-08-09 | Q Bio, Inc. | lTERATIVE MEDICAL TESTING OF BIOLOGICAL SAMPLES |
US11954614B2 (en) * | 2017-02-08 | 2024-04-09 | 10X Genomics, Inc. | Systems and methods for visualizing a pattern in a dataset |
CN107064019B (zh) | 2017-05-18 | 2019-11-26 | 西安交通大学 | 用于无染色病理切片高光谱图像采集及分割的装置及方法 |
JP7198577B2 (ja) * | 2017-11-17 | 2023-01-04 | シスメックス株式会社 | 画像解析方法、装置、プログラムおよび学習済み深層学習アルゴリズムの製造方法 |
WO2019106946A1 (ja) * | 2017-12-01 | 2019-06-06 | ソニー株式会社 | 画像着色装置、画像着色方法、画像学習装置、画像学習方法、プログラム、及び画像着色システム |
-
2019
- 2019-02-07 CN CN202211267904.1A patent/CN115684568A/zh active Pending
- 2019-02-07 WO PCT/JP2019/004499 patent/WO2019159821A1/ja unknown
- 2019-02-07 CN CN201980013657.2A patent/CN111727371B/zh active Active
- 2019-02-07 KR KR1020207025337A patent/KR20200121318A/ko unknown
- 2019-02-07 EP EP19753904.2A patent/EP3754334B1/en active Active
- 2019-02-07 EP EP23173859.2A patent/EP4235594A3/en active Pending
- 2019-02-07 US US16/964,550 patent/US11295447B2/en active Active
- 2019-02-07 JP JP2020500447A patent/JP7292685B2/ja active Active
- 2019-02-07 CN CN202211268488.7A patent/CN115684569A/zh active Pending
-
2022
- 2022-04-04 US US17/713,026 patent/US11869190B2/en active Active
-
2023
- 2023-02-03 JP JP2023015100A patent/JP2023058553A/ja active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015052581A (ja) | 2013-01-08 | 2015-03-19 | キヤノン株式会社 | 生体組織画像の再構成方法及び装置並びに該生体組織画像を用いた画像表示装置 |
WO2016093090A1 (ja) | 2014-12-09 | 2016-06-16 | コニカミノルタ株式会社 | 画像処理装置及び画像処理プログラム |
WO2017010397A1 (ja) | 2015-07-15 | 2017-01-19 | 国立大学法人大阪大学 | 画像解析装置、画像解析方法、画像解析システム、画像解析プログラム、および記録媒体 |
WO2017037180A1 (en) | 2015-09-02 | 2017-03-09 | Ventana Medical Systems, Inc. | Automated analysis of cellular samples having intermixing of analytically distinct patterns of analyte staining |
Non-Patent Citations (4)
Title |
---|
GUEDES, L.B. et al.,MSH2 Loss in Primary Prostate Cancer,Clinical Cancer Research,2017年11月15日,Vol. 23, No. 22,pp. 6863-6874 |
SCHAUMBERG, A. J. et al.,H&E-stained Whole Slide Image Deep Learning Predicts SPOP Mutation State in Prostate Cancer,bioRxiv,2017年03月03日,064279,1-11,[online], [令和4年6月13日検索], <URL: https://doi.org/10.1101/064279> |
TRACEY, L. et al.,Somatic hypermutation signature in B-cell low-grade lymphomas,haematologica,2008年,Vol. 93, No. 8,pp. 1186-1194 |
YUZA, K. et al.,Hypermutation and microsatellite instability in gastrointestinal cancers.,Oncotarget,2017年12月01日,Vol. 8, No. 67,pp. 112103-112115 |
Also Published As
Publication number | Publication date |
---|---|
KR20200121318A (ko) | 2020-10-23 |
CN111727371B (zh) | 2022-11-04 |
WO2019159821A1 (ja) | 2019-08-22 |
EP4235594A3 (en) | 2023-10-25 |
US11295447B2 (en) | 2022-04-05 |
JP2023058553A (ja) | 2023-04-25 |
JPWO2019159821A1 (ja) | 2021-03-04 |
EP3754334A1 (en) | 2020-12-23 |
CN115684569A (zh) | 2023-02-03 |
US11869190B2 (en) | 2024-01-09 |
EP3754334B1 (en) | 2023-06-21 |
CN111727371A (zh) | 2020-09-29 |
EP4235594A2 (en) | 2023-08-30 |
CN115684568A (zh) | 2023-02-03 |
US20210035300A1 (en) | 2021-02-04 |
EP3754334A4 (en) | 2021-04-14 |
US20220301167A1 (en) | 2022-09-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2023058553A (ja) | 高頻度変異型癌の判別システム、プログラム及び方法 | |
Kuntz et al. | Gastrointestinal cancer classification and prognostication from histology using deep learning: Systematic review | |
Kudo et al. | Artificial intelligence system to determine risk of T1 colorectal cancer metastasis to lymph node | |
Catto et al. | The application of artificial intelligence to microarray data: identification of a novel gene signature to identify bladder cancer progression | |
Singh et al. | Hybrid stomach-intestinal chromatin states underlie human Barrett’s metaplasia | |
Klein et al. | Artificial intelligence for solid tumour diagnosis in digital pathology | |
Komisarof et al. | A four gene signature predictive of recurrent prostate cancer | |
Zhang et al. | Artificial intelligence-assisted selection and efficacy prediction of antineoplastic strategies for precision cancer therapy | |
Huang et al. | Prediction of target-drug therapy by identifying gene mutations in lung cancer with histopathological stained image and deep learning techniques | |
Alderman et al. | Categorizing renal oncocytic neoplasms on core needle biopsy: a morphologic and immunophenotypic study of 144 cases with clinical follow-up | |
Weyn et al. | Determination of tumour prognosis based on angiogenesis-related vascular patterns measured by fractal and syntactic structure analysis | |
Ahonen et al. | A high-content image analysis approach for quantitative measurements of chemosensitivity in patient-derived tumor microtissues | |
Joyce et al. | The surgical management of Spitz naevi and atypical spitzoid neoplasms: a review of the literature | |
Hoang et al. | Prediction of cancer treatment response from histopathology images through imputed transcriptomics | |
Arlova et al. | Artificial intelligence-based tumor segmentation in mouse models of lung adenocarcinoma | |
Su et al. | BCR-Net: A deep learning framework to predict breast cancer recurrence from histopathology images | |
Schmauch et al. | Transcriptomic learning for digital pathology | |
Hu et al. | Prediction of clinicopathological features, multi-omics events and prognosis based on digital pathology and deep learning in HR+/HER2− breast cancer | |
Hossain Mollah et al. | β-empirical Bayes inference and model diagnosis of microarray data | |
Kim et al. | Validity of patient-derived xenograft mouse models for lung cancer based on exome sequencing data | |
Manganaro et al. | Consensus clustering methodology to improve molecular stratification of non-small cell lung cancer | |
Bisheshar et al. | Addition of tumor microenvironment immune cell composition to improve the performance of a predictive model for oral squamous cell carcinoma | |
Tong et al. | Learning transcriptional and regulatory dynamics driving cancer cell plasticity using neural ODE-based optimal transport | |
Saber et al. | Radiomics using computed tomography to predict CD73 expression and prognosis of colorectal cancer liver metastases | |
Grau et al. | Interpretable semisupervised classifier for predicting cancer stages |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20200407 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220128 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20220128 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220201 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220308 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220421 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220705 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220901 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20221108 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230203 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20230203 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20230215 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20230221 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230509 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230530 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7292685 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |