JP7380668B2 - 表示制御装置、表示制御システム、表示制御方法及びプログラム - Google Patents
表示制御装置、表示制御システム、表示制御方法及びプログラム Download PDFInfo
- Publication number
- JP7380668B2 JP7380668B2 JP2021203346A JP2021203346A JP7380668B2 JP 7380668 B2 JP7380668 B2 JP 7380668B2 JP 2021203346 A JP2021203346 A JP 2021203346A JP 2021203346 A JP2021203346 A JP 2021203346A JP 7380668 B2 JP7380668 B2 JP 7380668B2
- Authority
- JP
- Japan
- Prior art keywords
- index
- disease
- attribute
- display control
- disease attribute
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 53
- 201000010099 disease Diseases 0.000 claims description 204
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims description 204
- 208000031940 Disease Attributes Diseases 0.000 claims description 146
- 230000003211 malignant effect Effects 0.000 claims description 94
- 238000003745 diagnosis Methods 0.000 claims description 69
- 206010028980 Neoplasm Diseases 0.000 claims description 39
- 201000011510 cancer Diseases 0.000 claims description 37
- 230000036210 malignancy Effects 0.000 claims description 37
- 208000037919 acquired disease Diseases 0.000 claims description 2
- 230000008569 process Effects 0.000 description 43
- 201000001441 melanoma Diseases 0.000 description 39
- 206010004146 Basal cell carcinoma Diseases 0.000 description 29
- 206010027145 Melanocytic naevus Diseases 0.000 description 26
- 208000009077 Pigmented Nevus Diseases 0.000 description 26
- 238000012545 processing Methods 0.000 description 25
- 238000004891 communication Methods 0.000 description 23
- 206010039796 Seborrhoeic keratosis Diseases 0.000 description 19
- 201000003385 seborrheic keratosis Diseases 0.000 description 19
- 230000006870 function Effects 0.000 description 18
- 206010018852 Haematoma Diseases 0.000 description 15
- 238000010586 diagram Methods 0.000 description 12
- 230000004048 modification Effects 0.000 description 10
- 238000012986 modification Methods 0.000 description 10
- 230000035945 sensitivity Effects 0.000 description 10
- 238000004393 prognosis Methods 0.000 description 8
- 208000017520 skin disease Diseases 0.000 description 8
- 238000012360 testing method Methods 0.000 description 8
- 230000003902 lesion Effects 0.000 description 7
- 210000002752 melanocyte Anatomy 0.000 description 7
- 230000003612 virological effect Effects 0.000 description 6
- 208000001126 Keratosis Diseases 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 230000000683 nonmetastatic effect Effects 0.000 description 4
- 241000894006 Bacteria Species 0.000 description 3
- 206010020649 Hyperkeratosis Diseases 0.000 description 3
- 230000001394 metastastic effect Effects 0.000 description 3
- 206010061289 metastatic neoplasm Diseases 0.000 description 3
- 208000032843 Hemorrhage Diseases 0.000 description 2
- 208000003445 Mouth Neoplasms Diseases 0.000 description 2
- 208000007256 Nevus Diseases 0.000 description 2
- 208000025865 Ulcer Diseases 0.000 description 2
- 208000009621 actinic keratosis Diseases 0.000 description 2
- 208000034158 bleeding Diseases 0.000 description 2
- 230000000740 bleeding effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 208000012987 lip and oral cavity carcinoma Diseases 0.000 description 2
- 210000003491 skin Anatomy 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 231100000397 ulcer Toxicity 0.000 description 2
- 241000282472 Canis lupus familiaris Species 0.000 description 1
- 241000284156 Clerodendrum quadriloculare Species 0.000 description 1
- 241000282326 Felis catus Species 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 206010027476 Metastases Diseases 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 206010039792 Seborrhoea Diseases 0.000 description 1
- 208000000453 Skin Neoplasms Diseases 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 208000030381 cutaneous melanoma Diseases 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 208000027866 inflammatory disease Diseases 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000009401 metastasis Effects 0.000 description 1
- 210000000214 mouth Anatomy 0.000 description 1
- 208000008742 seborrheic dermatitis Diseases 0.000 description 1
- 208000020352 skin basal cell carcinoma Diseases 0.000 description 1
- 201000000849 skin cancer Diseases 0.000 description 1
- 201000003708 skin melanoma Diseases 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/53—Querying
- G06F16/538—Presentation of query results
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/55—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30088—Skin; Dermal
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biomedical Technology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Pathology (AREA)
- General Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Library & Information Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Description
類似画像を表示する装置として、例えば、特許文献1には、画像データベースに登録されている画像の中から、クエリ画像と類似する類似画像を抽出し、クエリ画像の周囲に類似画像を配置するとともに、クエリ画像と類似画像間を連結表示した検索結果を表示手段に提示する画像検索装置等が記載されている。
また、診断を支援するために、患部の良性/悪性を判定する技術も開発されてきている。例えば、非特許文献1には、皮膚疾患の良性/悪性の度合いを1軸の情報で視覚的に提供する診断支援装置が記載されている。
また、非特許文献1に記載の診断支援装置は、診断対象部分の良性/悪性の度合いを視覚的に把握できる情報を提供するが、良性/悪性の度合いしか把握できず、診断対象部分の疾患の属性情報を把握しにくいという課題があった。
診断対象部分の疾患の属性が悪性である可能性を表す悪性指標と、前記診断対象部分の疾患の属性が所定の第1疾患属性である可能性を表す第1疾患属性指標と、前記診断対象部分の疾患の属性が良性である可能性を表す良性指標と、前記診断対象部分の疾患の属性が前記第1疾患属性とは異なる第2疾患属性である可能性を表す第2疾患属性指標と、を取得する取得手段と、
前記取得された悪性指標、前記取得された第1疾患属性指標、前記取得された良性指標及び前記取得された第2疾患属性指標とを互いに関連づけて表示部に表示させる表示制御手段と、を備え、
前記第1疾患属性指標及び第2疾患属性指標は、前記良性指標及び前記悪性指標に共通して関連付けられ前記表示部に表示される指標である。
本発明の実施形態1に係る類似画像表示装置100は、クエリ画像に対する類似画像検索の結果得られた類似画像を、所定のカテゴリ毎に集めて、クエリ画像との類似度に基づいてカテゴリ内に配置する。そして、その類似画像が集まって配置されたカテゴリを、所定の軸で定義されたn次元空間内に配置して表示することにより、類似画像間の関係性をわかりやすく表示する。このような表示を行うための仕組みについて、以下に説明する。
上述の実施形態1では、類似画像表示処理において、図3のような表示を行っていたが、さらに類似の関係性を分かり易くする変形例1について図6を参照して説明する。
‐各カテゴリの領域に描画する円の背景を、中心を濃く、外側になるほど薄く描画する。例えば図6に示されるように、色素性母斑のカテゴリ円311のカテゴリの領域に描画する円の背景に、中心側から同心円状のグラフィック図形311a、311b、311c、311dを表示している。なお、図6では濃さを各カテゴリ円の大きさに応じて2~4段階で変化させているが、このような段階を設けずにスムーズに(グラデーションで)変化させてもよい。
‐クエリ画像から各カテゴリの中心の画像までを接続線で接続する。
‐接続線の太さはその接続線が接続しているカテゴリの中心に配置される類似画像(そのカテゴリにおいてクエリ画像と最も類似する類似画像)とクエリ画像との類似度が高いほど太くする。例えば色素性母斑のカテゴリ円311への接続線321の太さはメラノーマのカテゴリ円312への接続線322より太い。(なお、接続線の太さは、中心の画像に限らず、所定の画像(例えばそのカテゴリでクエリ画像との類似度がn番目(nは1以上そのカテゴリに分類された類似画像の個数以下の整数)に高い画像、最も低い画像、類似度順に並べた時に真ん中にくる画像等)とクエリ画像との類似度に応じて所定の太さ(例えば類似度が高ければ太く、類似度が低ければ細く)で表示してもよい。)
‐接続線321,322,323,324,325の途中には位置決定部13が各カテゴリの位置を決定する際に用いる属性の情報を表示する。例えば、メラノーマのカテゴリにおいては悪性332、メラノサイト系334という属性の情報を表示している。
‐上記のような接続線321,322,323,324,325により、各カテゴリを示す領域は、クエリ画像を根ノードとする木構造を介して、葉ノードとして接続される。つまり、クエリ画像を根ノードとし、各カテゴリを示す領域を葉ノードとして、各カテゴリを示す領域に対応するカテゴリの属性に基づいた接続線が根ノードから葉ノードに接続した木構造により、類似画像等が表示されることになる。そして、各カテゴリに接続される接続線321,322,323,324,325の内部ノードとして該カテゴリの属性の情報を示す属性名(良性331、悪性332、メラノサイト系333,334、非メラノサイト系335,336等)が表示される。
‐属性の情報は、特に注目して欲しい場合には大きく表示する。(例えば、皮膚の疾患の画像データを対象として類似画像表示を行う場合に、悪性の類似画像の方が良性の類似画像より多い場合には、属性の情報のうち悪性332を大きく表示する。なお、図6では良性の類似画像の方が多いため、悪性332は良性331と同じ大きさで表示されている。)
‐各類似画像は、小さい円で囲って表示するが、その小さい円の線の太さはその類似画像とクエリ画像との類似度が高いほど太くする。例えば、血腫・血管腫のカテゴリ円314の中心に配置されている類似画像を囲う小さい円3141の線の太さは、その周辺に配置されている類似画像を囲う小さい円3142の線の太さより太い。
‐各カテゴリ円311,312,313,314,315がn種類の属性に従ってn次元空間に配置されることによって、ユーザは直感的にクエリ画像の性質を把握することができる。
‐各カテゴリ円311,312,313,314,315がそのカテゴリに分類された件数(検索件数)の多いほど大きく表示されることによって、ユーザは検索件数を直感的に把握することができる。
‐各カテゴリへの接続線321,322,323,324,325の太さが、そのカテゴリの中心に配置される類似画像(そのカテゴリにおいてクエリ画像と最も類似する類似画像)とクエリ画像との類似度が高いほど太く表示されることによって、ユーザはクエリ画像に最も類似する類似画像の配置場所を直感的に把握することができる。
‐各カテゴリの領域に描画されるカテゴリ円の背景が、中心を濃く、外側になるほど薄く描画されることによって、円中心部側の症例の重要度が高いことをユーザに視覚的に認識させることができる。
上述の実施形態1では、画像表示制御部15が類似画像検索結果をカテゴリ毎に同心円状にまとめて配置しているが、これに限られず、放射状、楕円形状、四角形状、等でもよい。例えば、四角形状に配置すると、図7に示すように、よりコンパクトに表示することができ、検索結果が多い場合等でも全ての類似画像を一度に一覧性よく表示することができる。図7に示す例では、画像表示制御部15は、各カテゴリの四角形351,352,353,354,355の大きさをそのカテゴリに分類された類似画像の個数が多いほど大きくし、その四角形内に左上からクエリ画像300との類似度が高い順に右に類似画像を並べ、右端に来たら、左端に戻って一段下から類似画像を並べて表示している。
本発明の実施形態2に係る表示制御装置101は、クエリ画像に写っている診断対象部分の疾患の属性(例えば「良性/悪性」、「メラノサイト系/非メラノサイト系」等)を各座標軸に対応させて、疾患が各属性に関係する可能性を表す指標を、疾患の属性数を次元数とする空間にプロットして表示する。このような表示を行うことにより、表示制御装置101は、診断対象部分の疾患の属性情報を把握しやすくする。なお、実施形態2では、診断対象部分の疾患が人の皮膚疾患である場合を例にして説明するが、診断対象部分(疾患)としては、他に人の子宮(子宮頸がん)や口腔(口腔がん)、人以外の動物(犬猫)の皮膚(皮膚がん)や口腔(口腔がん)等、撮影画像に基づいて診断する様々な部分(疾患)があり得る。
‐疾患リスクに応じて変化させる(メラノサイト系(メラノーマ等)の方が、非メラノサイト系(基底細胞癌等)よりも転移可能性が格段に高く、予後リスクが上がるので、疾患の属性がメラノサイト系である確率が高い領域において、リスク境界線を下げる。)
‐診断対象部分のサイズに応じて上下させる(サイズが大きくなると予後リスクが上がるので、リスク境界線を下げる。)
‐診断対象部分の病変深度に応じて上下させる(診断対象部分の色による判定等の画像処理によって病変深度を推定し、病変深度が深くなると予後リスクが上がるので、リスク境界線を下げる。)
‐診断対象部分としての潰瘍のサイズ、診断対象部分における出血している領域のサイズに応じて、上下させる(潰瘍、出血があり、またその領域が大きいほど予後リスクが上がるので、リスク境界線を下げる。)
本発明の実施形態3に係る表示制御装置102は、クエリ画像に写っている診断対象部分の疾患の属性を、診断対象部分の疾患が所定の疾患である確率と共に、クエリ画像を根ノードとする木構造で表示する。このような表示を行うことにより、表示制御装置102は、診断対象部分の疾患の属性情報を把握しやすくする。
本発明の実施形態4に係る表示制御装置103は、実施形態3に係る表示制御装置102の木構造の表示に加えて、クエリ画像に類似する画像を各確率円の周囲に表示する。このような表示を行うことにより、表示制御装置103は、診断対象部分の疾患の属性情報を把握しやすくするとともに、類似画像間の関係性をよりわかりやすく表示する。
クエリ画像に対する類似画像検索の結果得られた類似画像を取得する類似画像取得手段と、
前記類似画像取得手段が取得した類似画像を分類する複数のカテゴリを設定するカテゴリ設定手段と、
2以上の所定の次元数の次元の空間における、前記カテゴリ設定手段が設定した各カテゴリを示す領域であるカテゴリ領域の位置を示す座標を、前記次元数の種類の属性に従って決定する位置決定手段と、
前記類似画像取得手段が取得した類似画像を前記カテゴリ設定手段が設定した複数のカテゴリのいずれかに分類する分類手段と、
前記分類手段で各カテゴリに分類された前記類似画像を、前記位置決定手段で決定された座標で示される位置に位置する前記カテゴリ領域の内部に配置して、表示部に表示させる画像表示制御手段と、
を備える類似画像表示制御装置。
前記画像表示制御手段は、前記類似画像を、前記クエリ画像との類似度に基づいて、前記カテゴリ領域の内部に配置して表示させる、
付記1に記載の類似画像表示制御装置。
前記画像表示制御手段は、前記カテゴリ領域を、前記カテゴリ領域に対応するカテゴリに分類された類似画像が多いほど、大きな円で表示させる、
付記1又は2に記載の類似画像表示制御装置。
前記画像表示制御手段は、前記カテゴリ領域を示す円の円周の線を、前記カテゴリ領域に対応するカテゴリに分類された類似画像のうち前記クエリ画像に最も類似する類似画像のクエリ画像との類似度が高いほど太く表示させる、
付記3に記載の類似画像表示制御装置。
前記画像表示制御手段は、前記類似画像を、前記カテゴリ領域内に同心円状に配置して表示させる、
付記3又は4に記載の類似画像表示制御装置。
前記画像表示制御手段は、前記類似画像を、前記クエリ画像との類似度が高いほど前記カテゴリ領域の中心に近い位置に配置して表示させる、
付記5に記載の類似画像表示制御装置。
前記画像表示制御手段は、前記同心円状に配置して表示された類似画像の背景に同心円状のグラフィック図形を表示させる、
付記5又は6に記載の類似画像表示制御装置。
前記位置決定手段は、前記属性のそれぞれを前記空間の各座標軸に対応させて、前記カテゴリ領域の位置を示す座標を前記空間の該カテゴリの前記属性の属性値に応じた座標に決定する、
付記1から7のいずれか1つに記載の類似画像表示制御装置。
前記画像表示制御手段は、前記カテゴリ領域に、前記カテゴリ領域に対応するカテゴリの属性に基づいた接続線を接続して表示させる、
付記1から8のいずれか1つに記載の類似画像表示制御装置。
前記画像表示制御手段は、前記クエリ画像を根ノードとし、前記決定された座標で示される位置に位置する前記カテゴリ領域を葉ノードとして、前記カテゴリ領域に対応するカテゴリの属性に基づいた接続線を前記根ノードから前記葉ノードに接続した木構造により、前記類似画像を表示部に表示させ、前記接続線の内部ノードとして前記カテゴリの属性の情報を示す属性名を表示させる、
付記1から8のいずれか1つに記載の類似画像表示制御装置。
前記画像表示制御手段は、前記分類手段で前記カテゴリ領域に対応するカテゴリに分類された複数の類似画像のうちの所定の類似画像のクエリ画像との類似度に応じて、前記類似画像が分類された前記カテゴリに対応する前記カテゴリ領域に接続された前記接続線の太さを、前記表示部に所定の太さで表示させる、
付記9又は10に記載の類似画像表示制御装置。
前記画像表示制御手段は、前記類似画像のうちユーザに選択された1または複数の類似画像と前記クエリ画像とを前記表示部に拡大表示させる、
付記1から11のいずれか1つに記載の類似画像表示制御装置。
前記カテゴリは、皮膚の疾患名である、
付記1から12のいずれか1つに記載の類似画像表示制御装置。
前記属性は、良性/悪性及びメラノサイト系/非メラノサイト系の2種類である、
付記13に記載の類似画像表示制御装置。
類似画像表示制御装置と表示部とを備える類似画像表示制御システムであって、
前記類似画像表示制御装置は、
クエリ画像に対する類似画像検索の結果得られた類似画像を取得する類似画像取得手段と、
前記類似画像取得手段が取得した類似画像を分類する複数のカテゴリを設定するカテゴリ設定手段と、
2以上の所定の次元数の次元の空間における、前記カテゴリ設定手段が設定した各カテゴリを示す領域であるカテゴリ領域の位置を示す座標を、前記次元数の種類の属性に従って決定する位置決定手段と、
前記類似画像取得手段が取得した類似画像を前記カテゴリ設定手段が設定した複数のカテゴリのいずれかに分類する分類手段と、
前記分類手段で各カテゴリに分類された前記類似画像を、前記位置決定手段で決定された座標で示される位置に位置する前記カテゴリ領域の内部に配置して、前記表示部に表示させる画像表示制御手段と、
を備える、
類似画像表示制御システム。
クエリ画像に対する類似画像検索の結果得られた類似画像を取得する類似画像取得ステップと、
前記類似画像取得ステップで取得した類似画像を複数のカテゴリのいずれかに分類する分類ステップと、
2以上の所定の次元数の次元の空間における、前記カテゴリを示す領域であるカテゴリ領域の位置を示す座標を、前記次元数の種類の属性に従って決定するとともに、前記分類ステップで各カテゴリに分類された前記類似画像を、前記決定された座標で示される位置に位置する前記カテゴリ領域の内部に配置して、表示部に表示させる画像表示制御ステップと、
を含む類似画像表示制御方法。
コンピュータに、
クエリ画像に対する類似画像検索の結果得られた類似画像を取得する類似画像取得ステップ、
前記類似画像取得ステップで取得した類似画像を複数のカテゴリのいずれかに分類する分類ステップ、及び、
2以上の所定の次元数の次元の空間における、前記カテゴリを示す領域であるカテゴリ領域の位置を示す座標を、前記次元数の種類の属性に従って決定するとともに、前記分類ステップで各カテゴリに分類された前記類似画像を、前記決定された座標で示される位置に位置する前記カテゴリ領域の内部に配置して、表示部に表示させる画像表示制御ステップ、
を実行させるためのプログラム。
診断対象部分の疾患の属性が悪性である可能性を表す悪性指標と、前記診断対象部分の疾患の属性が所定の第1疾患属性である可能性を表す第1疾患属性指標と、を取得する取得手段と、
前記取得された悪性指標及び前記取得された第1疾患属性指標を、互いに関連づけて表示部に表示させる表示制御手段と、
を備える表示制御装置。
疾患の属性が悪性であり、かつ、前記疾患の属性が前記第1疾患属性である場合における前記疾患のリスクが高いか否かを表すリスク指標を取得するリスク取得手段をさらに備え、
前記表示制御手段は、前記取得されたリスク指標を、前記取得された悪性指標及び前記取得された第1疾患属性指標と関連づけて前記表示部に表示させる、
付記18に記載の表示制御装置。
前記取得手段は、前記診断対象部分の疾患の属性が良性である可能性を表す良性指標と、前記診断対象部分の疾患の属性が前記第1疾患属性とは異なる第2疾患属性である可能性を表す第2疾患属性指標と、をさらに取得し、
前記表示制御手段は、前記取得された悪性指標、前記取得された第1疾患属性指標、前記取得された良性指標及び前記取得された第2疾患属性指標を、互いに関連づけて前記表示部に表示させる、
付記18に記載の表示制御装置。
前記診断対象部分の疾患のリスクが高いか否かを表すリスク指標を取得する疾患リスク取得手段をさらに備え、
前記表示制御手段は、前記取得されたリスク指標を、前記取得された悪性指標、前記取得された第1疾患属性指標、前記取得された良性指標及び前記取得された第2疾患属性指標と、互いに関連づけて表示部に表示させる、
付記20に記載の表示制御装置。
疾患に関する情報を表示する位置の座標を決定する位置決定手段をさらに備え、
前記取得手段は、前記診断対象部分の疾患が所定の疾患である可能性を表す疾患指標をさらに取得し、
前記表示制御手段は、クエリ画像を根ノードとし、前記決定された座標で示される位置に位置する前記取得された疾患指標に基づく大きさの確率円を葉ノードとして、前記診断対象部分の疾患の属性に基づいた接続線を前記根ノードから前記葉ノードに接続した木構造により、前記取得された各指標を互いに関連づけて前記表示部に表示させる、
付記20又は21に記載の表示制御装置。
前記第1疾患属性がメラノサイト系であり、前記第2疾患属性が非メラノサイト系である、
付記20から22のいずれか1つに記載の表示制御装置。
前記診断対象部分の疾患が各属性に関係する確率を出力する識別器をさらに備え、
前記取得手段は、前記出力された各属性に関係する確率を前記各属性の指標として取得する、
付記18から23のいずれか1つに記載の表示制御装置。
表示制御装置と表示部とを備える表示制御システムであって、
前記表示制御装置は、
診断対象部分の疾患の属性が悪性である可能性を表す悪性指標と、前記診断対象部分の疾患の属性が所定の第1疾患属性である可能性を表す第1疾患属性指標と、を取得する取得手段と、
前記取得された悪性指標及び前記取得された第1疾患属性指標を、互いに関連づけて前記表示部に表示させる表示制御手段と、
を備える、
表示制御システム。
診断対象部分の疾患の属性が悪性である可能性を表す悪性指標と、前記診断対象部分の疾患の属性が所定の第1疾患属性である可能性を表す第1疾患属性指標と、を取得する取得ステップと、
前記取得された悪性指標及び前記取得された第1疾患属性指標を、互いに関連づけて表示部に表示させる表示制御ステップと、
を備える表示制御方法。
コンピュータに、
診断対象部分の疾患の属性が悪性である可能性を表す悪性指標と、前記診断対象部分の疾患の属性が所定の第1疾患属性である可能性を表す第1疾患属性指標と、を取得する取得ステップ、並びに、
前記取得された悪性指標及び前記取得された第1疾患属性指標を、互いに関連づけて表示部に表示させる表示制御ステップ、
を実行させるためのプログラム。
Claims (10)
- 診断対象部分の疾患の属性が悪性である可能性を表す悪性指標と、前記診断対象部分の疾患の属性が所定の第1疾患属性である可能性を表す第1疾患属性指標と、前記診断対象部分の疾患の属性が良性である可能性を表す良性指標と、前記診断対象部分の疾患の属性が前記第1疾患属性とは異なる第2疾患属性である可能性を表す第2疾患属性指標と、を取得する取得手段と、
前記取得された悪性指標、前記取得された第1疾患属性指標、前記取得された良性指標及び前記取得された第2疾患属性指標とを互いに関連づけて表示部に表示させる表示制御手段と、を備え、
前記第1疾患属性指標及び第2疾患属性指標は、前記良性指標及び前記悪性指標に共通して関連付けられ前記表示部に表示される指標である、
表示制御装置。 - 前記表示制御手段は、
前記悪性指標及び前記良性指標を第1の座標軸上の情報とし、且つ、前記第1疾患属性指標及び前記第2疾患属性指標を第2の座標軸上の情報とする2次元座標による表示となるように、前記悪性指標、前記第1疾患属性指標、前記良性指標及び前記第2疾患属性指標の関係を前記表示部に表示させる、
請求項1に記載の表示制御装置。 - 疾患の属性が悪性であり、かつ、前記疾患の属性が前記第1疾患属性である場合における前記疾患のリスクが高いか否かを表すリスク指標を取得するリスク取得手段をさらに備え、
前記表示制御手段は、前記取得されたリスク指標を、前記取得された悪性指標及び前記
取得された第1疾患属性指標と関連づけて前記表示部に表示させる、
請求項1又は2に記載の表示制御装置。 - 前記診断対象部分の疾患のリスクが高いか否かを表すリスク指標を取得する疾患リスク取得手段をさらに備え、
前記表示制御手段は、前記取得されたリスク指標を、前記取得された悪性指標、前記取得された第1疾患属性指標、前記取得された良性指標及び前記取得された第2疾患属性指標と、互いに関連づけて表示部に表示させる、
請求項1から3のいずれか1項に記載の表示制御装置。 - 疾患に関する情報を表示する位置の座標を決定する位置決定手段をさらに備え、
前記取得手段は、前記診断対象部分の疾患が所定の疾患である可能性を表す疾患指標をさらに取得し、
前記表示制御手段は、クエリ画像を根ノードとし、前記決定された座標で示される位置に位置する前記取得された疾患指標に基づく大きさの確率円を葉ノードとして、前記診断対象部分の疾患の属性に基づいた接続線を前記根ノードから前記葉ノードに接続した木構造により、前記取得された各指標を互いに関連づけて前記表示部に表示させる、
請求項1から4のいずれか1項に記載の表示制御装置。 - 前記第1疾患属性がメラノサイト系であり、前記第2疾患属性が非メラノサイト系である、
請求項1から5のいずれか1項に記載の表示制御装置。 - 前記診断対象部分の疾患が各属性に関係する確率を出力する識別器をさらに備え、
前記取得手段は、前記出力された各属性に関係する確率を前記各属性の指標として取得する、
請求項1から6のいずれか1項に記載の表示制御装置。 - 表示制御装置と表示部とを備える表示制御システムであって、
前記表示制御装置は、
診断対象部分の疾患の属性が悪性である可能性を表す悪性指標と、前記診断対象部分の疾患の属性が所定の第1疾患属性である可能性を表す第1疾患属性指標と、前記診断対象部分の疾患の属性が良性である可能性を表す良性指標と、前記診断対象部分の疾患の属性が前記第1疾患属性とは異なる第2疾患属性である可能性を表す第2疾患属性指標と、を取得する取得手段と、
前記取得された悪性指標、前記取得された第1疾患属性指標、前記取得された良性指標及び前記取得された第2疾患属性指標とを、互いに関連づけて前記表示部に表示させる表示制御手段と、
を備え、
前記第1疾患属性指標及び第2疾患属性指標は、前記良性指標及び前記悪性指標に共通して関連付けられ前記表示部に表示される指標である、
表示制御システム。 - 表示制御装置が実行する表示制御方法であって、
診断対象部分の疾患の属性が悪性である可能性を表す悪性指標と、前記診断対象部分の疾患の属性が所定の第1疾患属性である可能性を表す第1疾患属性指標と、前記診断対象部分の疾患の属性が良性である可能性を表す良性指標と、前記診断対象部分の疾患の属性が前記第1疾患属性とは異なる第2疾患属性である可能性を表す第2疾患属性指標とを取得する取得ステップと、
前記取得された悪性指標、前記取得された第1疾患属性指標、前記取得された良性指標及び前記取得された第2疾患属性指標とを互いに関連づけて表示部に表示させる表示制御ステップと、
を含み、
前記第1疾患属性指標及び第2疾患属性指標は、前記良性指標及び前記悪性指標に共通して関連付けられ前記表示部に表示される指標である、
表示制御方法。 - コンピュータに、
診断対象部分の疾患の属性が悪性である可能性を表す悪性指標と、前記診断対象部分の疾患の属性が所定の第1疾患属性である可能性を表す第1疾患属性指標と、前記診断対象部分の疾患の属性が良性である可能性を表す良性指標と、前記診断対象部分の疾患の属性が前記第1疾患属性とは異なる第2疾患属性である可能性を表す第2疾患属性指標とを取得する取得ステップ、並びに、
前記取得された悪性指標、前記取得された第1疾患属性指標、前記取得された良性指標及び前記取得された第2疾患属性指標とを互いに関連づけて表示部に表示させる表示制御ステップ、
を実行させ、
前記第1疾患属性指標及び第2疾患属性指標は、前記良性指標及び前記悪性指標に共通して関連付けられ前記表示部に表示される指標である、
プログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018158048 | 2018-08-27 | ||
JP2018158048 | 2018-08-27 | ||
JP2019122644A JP7176486B2 (ja) | 2018-08-27 | 2019-07-01 | 類似画像表示制御装置、類似画像表示制御システム、類似画像表示制御方法及びプログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019122644A Division JP7176486B2 (ja) | 2018-08-27 | 2019-07-01 | 類似画像表示制御装置、類似画像表示制御システム、類似画像表示制御方法及びプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2022033975A JP2022033975A (ja) | 2022-03-02 |
JP2022033975A5 JP2022033975A5 (ja) | 2022-06-22 |
JP7380668B2 true JP7380668B2 (ja) | 2023-11-15 |
Family
ID=69586492
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021203346A Active JP7380668B2 (ja) | 2018-08-27 | 2021-12-15 | 表示制御装置、表示制御システム、表示制御方法及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20200066396A1 (ja) |
JP (1) | JP7380668B2 (ja) |
CN (2) | CN110867241B (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11301273B2 (en) * | 2020-03-11 | 2022-04-12 | Atlassian Pty Ltd. | Computer user interface for a virtual workspace having multiple application portals displaying context-related content |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001299740A (ja) | 2000-02-16 | 2001-10-30 | Fuji Photo Film Co Ltd | 異常陰影検出処理システム |
JP2004135868A (ja) | 2002-10-17 | 2004-05-13 | Fuji Photo Film Co Ltd | 異常陰影候補検出処理システム |
JP2004254742A (ja) | 2003-02-24 | 2004-09-16 | Konica Minolta Holdings Inc | 医用画像処理装置及び悪性度の判定方法 |
JP2015518197A (ja) | 2012-03-21 | 2015-06-25 | コーニンクレッカ フィリップス エヌ ヴェ | 医用イメージングと生検データとを統合する臨床ワークステーション及びこれを使用する方法 |
WO2018104458A1 (fr) | 2016-12-08 | 2018-06-14 | Koelis | Dispositif de visualisation d'un organe interne d'un patient ainsi qu'un procede de visualisation associe |
Family Cites Families (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10326286A (ja) * | 1997-05-27 | 1998-12-08 | Mitsubishi Electric Corp | 類似検索装置及び類似検索プログラムを記録した記録媒体 |
JP2000112991A (ja) * | 1998-10-08 | 2000-04-21 | Canon Inc | 情報検索装置、情報検索方法及び記憶媒体 |
JP2004005364A (ja) * | 2002-04-03 | 2004-01-08 | Fuji Photo Film Co Ltd | 類似画像検索システム |
US7293007B2 (en) * | 2004-04-29 | 2007-11-06 | Microsoft Corporation | Method and system for identifying image relatedness using link and page layout analysis |
US20060101072A1 (en) * | 2004-10-21 | 2006-05-11 | International Business Machines Corproation | System and method for interpreting scan data |
JP4353259B2 (ja) * | 2007-02-22 | 2009-10-28 | ソニー株式会社 | 情報処理装置、画像表示装置、および、これらにおける制御方法ならびに当該方法をコンピュータに実行させるプログラム |
JP5128161B2 (ja) * | 2007-03-30 | 2013-01-23 | 富士フイルム株式会社 | 画像診断支援装置及びシステム |
JP5098559B2 (ja) * | 2007-10-11 | 2012-12-12 | 富士ゼロックス株式会社 | 類似画像検索装置、及び類似画像検索プログラム |
JP5159242B2 (ja) * | 2007-10-18 | 2013-03-06 | キヤノン株式会社 | 診断支援装置、診断支援装置の制御方法、およびそのプログラム |
US20100158332A1 (en) * | 2008-12-22 | 2010-06-24 | Dan Rico | Method and system of automated detection of lesions in medical images |
JP5199939B2 (ja) * | 2009-04-15 | 2013-05-15 | ヤフー株式会社 | 画像検索装置、画像検索方法及びプログラム |
US8352465B1 (en) * | 2009-09-03 | 2013-01-08 | Google Inc. | Grouping of image search results |
US20120232918A1 (en) * | 2010-11-05 | 2012-09-13 | Mack Jonathan F | Electronic data capture, documentation, and clinical decision support system |
JP5408241B2 (ja) * | 2011-12-21 | 2014-02-05 | キヤノンマーケティングジャパン株式会社 | 情報処理装置、情報処理方法、プログラム |
US20140237377A1 (en) * | 2012-11-15 | 2014-08-21 | Oliver Robert Meissner | Graphical user interface methods to determine and depict relative popularity of internet offerings |
JP6058595B2 (ja) * | 2013-07-31 | 2017-01-11 | 富士フイルム株式会社 | 画像検索装置、画像検索方法、プログラムおよび記録媒体 |
CN103838864B (zh) * | 2014-03-20 | 2017-02-22 | 北京工业大学 | 一种视觉显著性与短语相结合的图像检索方法 |
US10127246B2 (en) * | 2016-08-16 | 2018-11-13 | Microsoft Technology Licensing, Llc | Automatic grouping based handling of similar photos |
AU2017204494B2 (en) * | 2016-09-01 | 2019-06-13 | Casio Computer Co., Ltd. | Diagnosis assisting device, image processing method in diagnosis assisting device, and non-transitory storage medium having stored therein program |
CN106874687A (zh) * | 2017-03-03 | 2017-06-20 | 深圳大学 | 病理切片图像智能分类方法及装置 |
US11379516B2 (en) * | 2018-03-29 | 2022-07-05 | Google Llc | Similar medical image search |
US10810075B2 (en) * | 2018-04-23 | 2020-10-20 | EMC IP Holding Company | Generating a social graph from file metadata |
EP3871232A4 (en) * | 2018-10-22 | 2022-07-06 | The Jackson Laboratory | METHOD AND APPARATUS FOR PHENOLIC DRIVEN CLINICAL GENOMICS USING A LIKELIHOOD RATIO PARADIGM |
-
2019
- 2019-08-23 CN CN201910785443.9A patent/CN110867241B/zh active Active
- 2019-08-23 CN CN202311474685.9A patent/CN117438053A/zh active Pending
- 2019-08-26 US US16/550,899 patent/US20200066396A1/en active Pending
-
2021
- 2021-12-15 JP JP2021203346A patent/JP7380668B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001299740A (ja) | 2000-02-16 | 2001-10-30 | Fuji Photo Film Co Ltd | 異常陰影検出処理システム |
JP2004135868A (ja) | 2002-10-17 | 2004-05-13 | Fuji Photo Film Co Ltd | 異常陰影候補検出処理システム |
JP2004254742A (ja) | 2003-02-24 | 2004-09-16 | Konica Minolta Holdings Inc | 医用画像処理装置及び悪性度の判定方法 |
JP2015518197A (ja) | 2012-03-21 | 2015-06-25 | コーニンクレッカ フィリップス エヌ ヴェ | 医用イメージングと生検データとを統合する臨床ワークステーション及びこれを使用する方法 |
WO2018104458A1 (fr) | 2016-12-08 | 2018-06-14 | Koelis | Dispositif de visualisation d'un organe interne d'un patient ainsi qu'un procede de visualisation associe |
Also Published As
Publication number | Publication date |
---|---|
CN110867241A (zh) | 2020-03-06 |
US20200066396A1 (en) | 2020-02-27 |
CN110867241B (zh) | 2023-11-03 |
JP2022033975A (ja) | 2022-03-02 |
CN117438053A (zh) | 2024-01-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Goyal et al. | Artificial intelligence-based image classification methods for diagnosis of skin cancer: Challenges and opportunities | |
US20200320336A1 (en) | Control method and recording medium | |
Yang et al. | Clinical skin lesion diagnosis using representations inspired by dermatologist criteria | |
JP5054252B1 (ja) | 類似症例検索装置、類似症例検索方法、類似症例検索装置の作動方法およびプログラム | |
US11776692B2 (en) | Training data collection apparatus, training data collection method, program, training system, trained model, and endoscopic image processing apparatus | |
US8442280B2 (en) | Method and system for intelligent qualitative and quantitative analysis of digital radiography softcopy reading | |
CN111936989A (zh) | 相似医学图像搜索 | |
JP5618787B2 (ja) | レポート作成支援装置及びその作成支援方法、並びにプログラム | |
US10261681B2 (en) | Method for displaying a medical image and a plurality of similar medical images obtained from a case search system | |
US20140101080A1 (en) | Apparatus and method of diagnosis using diagnostic models | |
WO2014103664A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP7496561B2 (ja) | 特徴量抽出装置、特徴量抽出方法及びプログラム | |
Kumar et al. | An improved Gabor wavelet transform and rough K-means clustering algorithm for MRI brain tumor image segmentation | |
EP3478164B1 (en) | Classifying hormone receptor status of malignant tumorous tissue from breast thermographic images | |
CN112529834A (zh) | 病理图像模式在3d图像数据中的空间分布 | |
JP2019212296A (ja) | 医用情報処理装置、方法及びプログラム | |
JP2010000133A (ja) | 画像表示装置、画像表示方法及びプログラム | |
JP7380668B2 (ja) | 表示制御装置、表示制御システム、表示制御方法及びプログラム | |
Boulahia et al. | Att2ResNet: A deep attention‐based approach for melanoma skin cancer classification | |
CN115867936A (zh) | 处理电子图像以产生组织图可视化的系统和方法 | |
JP7176486B2 (ja) | 類似画像表示制御装置、類似画像表示制御システム、類似画像表示制御方法及びプログラム | |
CN115690486A (zh) | 识别图像中病灶方法、装置、设备及存储介质 | |
CN109685798A (zh) | 一种确定有效医学图像的方法及装置 | |
JP7130107B2 (ja) | 領域特定装置、方法およびプログラム、学習装置、方法およびプログラム、並びに識別器 | |
Ghosh et al. | EMD-Based Binary Classification of Mammograms |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220614 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220614 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230509 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230523 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230721 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231003 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231016 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7380668 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |