JP7301653B2 - 情報処理装置、情報処理方法およびプログラム - Google Patents

情報処理装置、情報処理方法およびプログラム Download PDF

Info

Publication number
JP7301653B2
JP7301653B2 JP2019132264A JP2019132264A JP7301653B2 JP 7301653 B2 JP7301653 B2 JP 7301653B2 JP 2019132264 A JP2019132264 A JP 2019132264A JP 2019132264 A JP2019132264 A JP 2019132264A JP 7301653 B2 JP7301653 B2 JP 7301653B2
Authority
JP
Japan
Prior art keywords
medical data
classifier
information processing
likelihood
class
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019132264A
Other languages
English (en)
Other versions
JP2021018495A (ja
Inventor
徹 菊地
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2019132264A priority Critical patent/JP7301653B2/ja
Priority to US16/928,891 priority patent/US11657099B2/en
Publication of JP2021018495A publication Critical patent/JP2021018495A/ja
Application granted granted Critical
Publication of JP7301653B2 publication Critical patent/JP7301653B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/906Clustering; Classification
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computed tomography [CT]
    • A61B6/032Transmission computed tomography [CT]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28Databases characterised by their database models, e.g. relational or object models
    • G06F16/284Relational databases
    • G06F16/285Clustering or classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2193Validation; Performance evaluation; Active pattern learning techniques based on specific statistical tests
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/04Inference or reasoning models
    • G06N5/048Fuzzy inferencing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00ICT specially adapted for the handling or processing of medical references
    • G16H70/20ICT specially adapted for the handling or processing of medical references relating to practices or guidelines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Public Health (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Optics & Photonics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Veterinary Medicine (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioethics (AREA)
  • Mathematical Physics (AREA)
  • Automation & Control Theory (AREA)
  • Pulmonology (AREA)

Description

本発明は、分類器への入力データを評価する情報処理装置、情報処理方法およびプログラムに関する。
医用画像を解析し、医師に読影の助けとなる情報を提示するコンピュータ支援診断(Computer Aided Diagnosis:CAD)システムが知られている。医用画像から鑑別診断の候補となる診断名を分類し提示するCADシステムには、医用データと正解の診断名(正解ラベル)を対とした教師データを用いて分類器に機械学習させることにより実現されるものがある。解こうとしている問題に対して教師データの数が十分でない場合は、機械学習に基づく分類器に十分な学習をさせることができないことがある。
特許文献1で開示されたCADシステムは、検査部位やモダリティといった医用データの属性に応じて肺結節などの異常を検出するための異常検出手段を選択する。ここで、異常検出手段により異常検出できない種類の医用データが指定された場合、該医用データに対して異常検出が不可である旨の情報を出力する。
特許文献2で開示されたCADシステムは、異常検出処理システムによる病変検出等の支援結果と、当該支援結果を医師が訂正した後の訂正結果とを夫々に対応付けて保存し、当該システムによる支援処理の性能の定量評価を行う。
特許第3085724号公報 特許第4104036号公報
しかしながら、特許文献1に開示の技術では、分類器の学習に用いた教師データの属性と入力データの属性とが互いに同一であっても分類器が十分に学習できていない特徴を有するような医用データを評価することは困難である。
また、特許文献2における技術では、医師による訂正結果を用いて、分類器の性能を評価することはできても、分類器が十分に学習できていない特徴を有する医用データの評価をすることが困難であるという課題があった。
本発明に係る情報処理装置は、以下の構成を備える。すなわち、医用データをクラス分類する第一の分類器を用いて、正解ラベルが付与された第一の医用データに対するクラス尤度を取得する尤度取得部と、尤度取得部により取得したクラス尤度と、正解ラベルに対応するクラスとに基づいて乖離の程度を評価する第一の評価部とを備える。さらに第一の評価部による乖離の程度が所定の基準を満たすか否かを判別する判別部と、第一の医用データの内、所定の基準を満たす第二の医用データに基づいて、第二の医用データと分類対象の第三の医用データとの類似性を評価する第二の評価部と、を備える。
本発明によれば、分類器が十分に学習できていない特徴を有する医用データに対して評価をすることが可能となる。
実施形態1及び2の情報処理装置を含む情報処理システムのシステム構成図 実施形態1及び2の情報処理装置のハードウェア構成図 実施形態1及び2の医用画像DBの構成を示す概念図 実施形態1の情報処理装置の機能ブロック図 実施形態1の情報処理装置の表示画面の例 実施形態1の情報処理装置の処理のフロー図 実施形態1の変形例2の情報処理装置の表示画面の例 実施形態2の情報処理装置の機能ブロック図 実施形態2の情報処理装置の表示画面の例 実施形態2の情報処理装置の処理のフロー図
以下、添付の図面を参照して、本発明の実施形態に基づいて発明の詳細を説明する。尚、特に断らない限り、他の実施形態等で説明した項目については、同一の番号を付し、その説明を省略するものとする。また、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
<実施形態1>
実施形態1では、胸部X線CT(Computed Tomography)画像上の肺結節影に対する診断名の分類を行うCADシステムである情報処理装置について説明する。本実施形態の情報処理装置は、分類器によるクラス尤度と正解(正解ラベル)との乖離を評価し、当該乖離に基づいて判別したデータと、処理対象となるデータとの類似性を評価し、結果をユーザに通知する。ここで、クラス尤度とは機械学習に基づく分類器による分類において、各クラスに割り振られる確度のことである。クラスは、分類器による分類対象を指し、例えば診断名である。ユーザは、当該通知に基づき、処理を続けるか否かを選択できる。
(システム構成)
図1は、本実施形態の情報処理装置を含む情報処理システムのシステム構成図である。
図1において、情報処理システムは、医用画像データベース(以降、医用画像DBと呼ぶ)102、情報処理装置101、LAN(Local Area Network)103から構成される。
医用画像DB 102は、CT装置など医用画像の撮像装置で撮影された医用画像と、その医用画像の診断名とを含む医用データを記憶する。また、医用データを、LAN 103を介して検索、取得するための既知のデータベース機能を提供する。医用画像DB 102に記憶される医用データの構成については図3を用いて説明する。
(ハードウェア構成)
図2は、本実施形態の情報処理装置101のハードウェア構成図である。
図2において、記憶媒体201は、OS(Operating System)や本実施形態に係る各種処理を行うための処理プログラム、各種情報を記憶するHDD(Hard Disk Drive)等の記憶媒体である。ROM(Read Only Memory)202はBIOS(Basic Input Output System)等、ハードウェアを初期化しOSを起動するためのプログラムを記憶する。CPU(Central Processing Unit)203はBIOSやOS、処理プログラムを実行する際の演算処理を行う。RAM(Random Access Memory)204は、CPU 203がプログラムを実行する際の情報を一時記憶する。LANインタフェース205は、IEEE(Institute of Electrical and Electronics Engineers)802.3ab等の規格に対応し、LAN 103を介して通信を行うためのインタフェースである。207は表示画面を表示するディプレイであり、206はディスプレイ207に表示する画面情報を信号に変換し出力するディスプレイインタフェースである。209はキー入力を行うキーボード、210は画面上の座標位置を指定及びボタン操作の入力を行うマウス、208はキーボード209及びマウス210からの信号を受信するための入力インタフェースである。211は、各ブロックが通信を行うための内部バスである。
(医用データの構成)
図3は、医用画像DB 102に記憶される医用データの構成を示す概念図である。
図3において、医用画像DB 102に記憶される医用データは、第1の医用データセット310と第3の医用データセット320から構成される。第1の医用データセット310は分類器の検証に用いる医用データセットである。第1の医用データセット310は複数の第1の医用データ311-i(i=1,...,N1)から成り、第1の医用データ311-i(i=1,...,N1)はそれぞれ患者情報301、診断名302、画像303等の情報から構成される。ここで、患者情報301は、患者ID、患者の氏名、年齢、性別など、患者に関する情報である。診断名302は、画像303に関する診断名であり、例えば本実施形態のおいては「原発」、「転移」、「良性」の3種類である。ここで、「原発」とは原発性肺癌、「転移」とは転移性肺癌、「良性」とは良性結節を指す。画像303は、CT画像から抽出した、肺結節を含む三次元の部分領域画像である。第3の医用データセット320は情報処理装置101によって分類を行う医用データセット(分類対象の医用データセット)である。第3の医用データセット320は複数の第3の医用データ321-i(i=1,...,N3)から成り、第3の医用データ321-i(i=1,...,N3)は、患者情報301、画像群304から構成される。ここで、画像群304は、CT装置によって1回の撮影で得られる画像であり、複数の断面の画像(以降、スライス画像と呼ぶ)から構成される。
尚、診断名302は、「悪性」、「良性」であっても、原発、転移、良性を更に細分化した診断名でもよい。また、画像303は、CT画像と肺結節を含む三次元の部分領域を示す座標情報との組み合わせでもよい。尚、第1の医用データ311-i、第3の医用データ321-iには上述した以外の情報を含んでいてもよい。
(機能ブロック)
図4は、本実施形態の情報処理装置101の機能ブロック図である。
図4において、情報処理装置101は、診断名をクラス分類する分類器401(第1の分類器)、分類器によるクラスへの存在確率を示す尤度(クラス尤度)を取得する尤度取得部402、クラス尤度と正解との乖離を評価する第1の評価部403から構成される。また当該乖離が所定の基準を満たすか否かを判別する判別部404、当該乖離が所定の基準を満たす医用データセットである第2の医用データセット405を有する。さらに第2の医用データセット405に基づいて第3の医用データ(分類対象の医用データ)を評価する第2の評価部(第2の分類器)406、通知部407から構成される。
分類器401(第1の分類器)は、例えば第1の医用データを構成する画像303における肺結節の部分領域画像が入力されると当該画像に対応した診断名(クラス)に分類する。分類器401(第1の分類器)は診断名の分類結果として、入力された画像がどのクラスに分類されるかをクラス尤度により示す。すなわち、分類器401は分類結果として、「原発」である尤度、「転移」である尤度、「良性」である尤度を出力する。具体的には、分類器401は学習用の医用データセットを用いて機械学習したCNN(Convolutional Neural Network)である。即ち、分類器401が分類するクラスは、診断名を含むクラスであることを特徴とする。
尤度取得部402は、医用画像DB 102から取得した第1の医用データセット310を構成する画像303を、分類器401(第1の分類器)へ入力し、分類器401による分類結果であるクラス尤度を取得する。具体的には、分類器401による分類結果はCNNの最終層からの出力であり、「原発」、「転移」、「良性」に対応する3つのノードの出力値にSoftmaxと呼ばれる演算を施した値を取得する。
第1の評価部403は、尤度取得部402で取得した第1の医用データセット310を構成する第1の医用データ311-i(i=1,...,N1)に対するクラスへのクラス尤度と正解ラベルに対応するクラスとの乖離の程度を評価する。具体的には、第1の評価部403は正解に該当するクラスについては、分類器401の分類結果のうち正解ラベルに対応するクラスへの尤度と1.0の差の絶対値を算出する。正解ラベルとは、ここでは医用データに対応する診断名のことを指す。そして正解ラベルに対応するクラス以外のクラス分類について、第1の評価部403は、正解クラスへのクラス尤度を除いたクラスの内、最も高い尤度を持つクラス尤度と0.0の差の絶対値を算出する。そして正解クラスへの尤度差と、正解クラス以外への尤度差の和をとって評価値とする。例えば、診断名(正解ラベル)が「原発」の場合のクラスの正解を(1.0,0.0,0.0)と表記する。また、分類結果(クラス尤度)において「原発」である尤度が0.8、「転移」である尤度が0.2、「良性」である尤度が0.0を(0.8,0.2,0.0)と表記する。前記分類結果に基づいて第1の評価部403によりクラス尤度(0.8,0.2,0.0)と正解(1.0,0.0,0.0)との乖離を評価すると、|0.8-1.0|+|0.2-0.0|=0.4となる。同様に、クラス尤度が(0.8,0.1,0.1)の場合の乖離は0.3となる。また、クラス尤度(0.6,0.4,0.0)の場合は0.8、クラス尤度(0.6,0.2,0.2)の場合は0.6となる。従って、分類結果が正解と一致する「原発」であっても、「原発」に対する尤度が低く、「原発」以外で最も高い尤度が高い場合には乖離が大きくなる。同様に、クラス尤度(0.3,0.7,0.0)の場合は1.4、クラス尤度(0.3,0.35,0.35)の場合は1.05、クラス尤度(0.1,0.9,0.0)の場合は1.8、クラス尤度(0.1,0.45,0.45)の場合は1.35となる。従って、分類結果(クラス尤度)が正解ラベルの「原発」と異なる場合であっても、「原発」に対する尤度が高く、「原発」以外で最も高い尤度が低い場合には乖離が小さくなる。すなわち、本実施形態で評価する乖離とは、単なる正解率や正解と分類する尤度とは異なり、正解の程度と不正解の程度を総合して評価することによって得られるものである。即ち、第一の評価部403は、乖離の程度をクラス尤度のうち、正解ラベルに対応するクラスと、対応しないクラスとの尤度に基づいて評価をすることを特徴とする。尚、第1の評価部403による評価値は、本形態のみに限定されず、例えば、分類器401による正解ラベルに対応するクラスと、1.0との差の絶対値に、正解ラベルに対応するクラス以外のクラスの尤度と0.0の差を加算した値を評価値として算出してもよい。つまり、第1の評価部403によって算出される評価値はあくまで、正解と、分類器401による分類結果の乖離を判別できれば形態は問わない。
判別部404は、第1の評価部403の評価結果(評価値)に基づいて、第1の医用データセット310の第1の医用データ311-i(i=1,...,N1)から、所定の基準を満たすか否かを判別する。所定の基準を超える医用データは第2の医用データセット405となる。ここで、所定の基準とは予め定義された固定値であり、例えば、前記乖離の値が1.2以上である。この場合、クラス尤度が(0.3,0.35,0.35)や(0.25,0.375,0.375)となるデータは乖離が各々1.05、1.125となる。故に正解が「原発」で分類結果(クラス尤度)が異なるデータであっても、所定の基準を満たす第2の医用データとはならない。逆に、クラス尤度が(0.3,0.5,0.2)のデータの場合は乖離が1.2、クラス尤度が(0.25,0.45,0.3)のデータの場合も乖離が1.2となるため所定の基準を満たす。よって、第1の医用データセット310から第1の評価部403によって所定の基準を満たしているデータセットである第2の医用データセット405とされる。なお所定の基準を設定する設定部(不図示)が別途設けられてもよいし、ユーザによってGUI等を介して所定の基準値の入力を受け付けてもよい。
第2の評価部(第2の分類器)406は、第2の医用データセット405を構成する画像データと第3の医用データセット320のシリーズ画像304から抽出された肺結節の部分領域画像データとの類似性を評価する。即ち、第2の評価部(第2の分類器)406は、第2の医用データと第3の医用データとの類似性を評価することを特徴とする。本構成によると、分類対象の医用データである第3の医用データに対して、分類する特徴を分類器401が学習できている場合には、第2の医用データとの類似性が低くなる。一方で分類器401が分類する特徴を学習できていない場合には第2の医用データとの類似性が高くなる。即ち、類似性を評価することで、分類器401が分類するための特徴を学習できているデータかどうかを判定できる。
肺結節の部分領域画像は、図5で説明する表示画面上での操作に基づき抽出される。類似性は、第2の医用データセット405のデータであるか否かのラベル(クラス)を付与した教師データに基づいて作成された分類器によって評価される。教師データは、第1の医用データセットのうち、第2の医用データセットであるものと、そうでないものをそれぞれラベルづけした二値のクラス分類用のデータセットとなる。即ち、第1の医用データセット310を構成する画像303に対して第2の医用データセット405のデータであるか否かのラベル(クラス)を付与したデータを教師データとして機械学習した第2の分類器により類似性の評価をする。第2の分類器は例えばCNNである。CNNから出力される第2の医用データセットを示すラベルに対応する尤度を類似性とする(以降、類似性と呼ぶ)。即ち、第2の評価部406は、第2の医用データであるか否かをクラスとして分類する尤度を算出する第2の分類器に基づいて評価をすることを特徴とする。
通知部407は、第2の評価部406による評価結果に基づく情報を通知する。具体的には、第2の医用データセットのデータとの類似性を表示画面に表示する。表示画面については図5を用いて説明する。
即ち、本実施形態に記載の情報処置装置101は、医用データをクラス分類する第一の分類器401を用いて、正解ラベルが付与された第一の医用データに対するクラス尤度を取得する尤度取得部402を有する。また尤度取得部402により取得したクラス尤度と、正解ラベルに対応するクラスとに基づいて乖離の程度を評価する第一の評価部403を有する。さらに第一の評価部403による乖離の程度が所定の基準を満たすか否かを判別する判別部804を有する。そして、第一の医用データの内、所定の基準を満たす第二の医用データ405に基づいて、第二の医用データ405と分類対象の第三の医用データ320との類似性を評価する第二の評価部とを有する。
(表示画面)
図5は、本実施形態の情報処理装置101の表示画面の一例を示す図である。
図5において、表示画面500は、ディスプレイ207に表示されるユーザインタフェース画面である。表示画面500は、患者情報表示領域501、画像表示領域502、診断支援ボタン504から構成される。また、図5において、503は肺結節部分領域、505は通知部407により表示される通知領域である。
患者情報表示領域501には、第3の医用データ321-i(i=1,...,N3)の患者情報301の情報を表示する。図5では、患者氏名が「下丸子 太郎」、患者IDが「pat0123456」、年齢が「75歳」、性別が「男」の場合の表示例を示している。
画像表示領域502には、第3の医用データ321-i(i=1,...,N3)のシリーズ画像304を表示する。画像表示領域502では、表示するシリーズ画像のスライス送りやWL(Window Level)/WW(Window Width)と呼ばれる階調表示条件の変更など表示の変更ができる。
肺結節部分領域503の指定は例えばユーザが画像表示領域502でマウスをドラッグする操作により行われ、マウスのクリックで解除される。ドラッグに合わせて結節部分領域503がスライス画像上に表示され、表示中のスライス画像を中心として、同じ奥行きを持つ3次元領域(立方体)が指定される。尚、部分領域の指定は、ユーザの操作によってのみ指定されるものに限定されず、例えば他の画像処理手段では部分領域の指定が行われてもよいし、画像領域中から部分領域を抽出するように設計された機械学習に基づくモデルにより指定されても構わない。
診断支援ボタン504は、肺結節部分領域503の画像から診断名の分類を行うためのボタンであり、診断支援ボタン504をマウスでクリックすると、情報処理装置101は肺結節部分領域503の画像を抽出し、抽出した画像から診断名の分類を行う。
通知領域505は、肺結節部分領域503の画像と、第2の医用データセットの画像との類似性に基づく情報が表示される。具体的には、例えばポップアップ表示されるウインドウであり、類似性を表示すると共に、処理を実施するか中止するかを指定する指定手段を備える。即ち通知部407は類似性を通知することを特徴とする。
(処理フロー)
図6は、本実施形態の情報処理装置101の医用データの分類結果を通知するまでのフロー図である。
本処理は、情報処理装置101の起動後に、ユーザからの指示に基づき実行される。ユーザは処理の実行を指示する際に、処理の対象とする第3の医用データ(分類対象の医用データ)321-i(i=1,...,N3)を指定する。
ステップS601で、尤度取得部402は、医用画像DB 102から、指定された第1の医用データセット310を読み出す。
ステップS602で、尤度取得部402は、ステップS601で読み出した第1の医用データセット310を構成する画像303を分類器401に入力し、分類器401からの分類結果としてクラスへの分類の尤度を取得する。
ステップS603で、第1の評価部403は、尤度取得部402で取得したクラスへの分類の尤度と第1の医用データセット310の診断名302に基づき、クラスへの分類の尤度と正解の乖離の程度を評価する。
ステップS604で、判別部404は、第1の評価部403で評価した乖離の程度と所定の基準に基づき、第1の医用データセット310の第1の医用データ311-i(i=1,...,N1)を判別する。所定の基準とは例えば予め定義された固定値である。具体的には、第1の医用データから乖離の程度が所定の基準を満たす医用データを第2の医用データセットとし、乖離の程度が所定未満である場合には、第2の医用データセットではないとする。
ユーザインタフェース制御部(CPU203)は、ステップS605で、本処理の実行時に指定された第3の医用データ321-i(i=1,...,N3)を読み出し、ステップS606で、図5に一例を示した表示画面500を表示する。また、ステップ607では、ユーザによる操作に基づき指定された肺結節部分領域503の画像を抽出する。
ステップS608で、第2の評価部406は、ステップS607で抽出した画像と第2の医用データセット405の画像との類似性を評価する。第2の評価部406は、第1の医用データのうち、第2の医用データであるか否かをラベルとして付与したデータを教師データとして機械学習した第2の分類器である二値分類モデルによって評価を行う。
ステップS609で、通知部407は、ステップS608での評価結果に基づき、表示画面500上に通知領域505を表示する。尚、通知領域505は、ステップS608での評価結果が所定の値を超える場合のみ通知部407によって表示されてもよい。
ユーザインタフェース制御部(CPU203)は、ステップS610で、通知領域505の中止ボタンのクリックの有無を判別し、中止ボタンがクリックされた場合(S610のYes)、ステップS613に進む。また、中止ボタンがクリックされず実施ボタンがクリックされた場合(S610のNo)、ステップS611に進む。更に、情報処理装置101は、ステップS611で、分類器401を用いて、ステップS607で抽出した画像の分類を行い、分類の結果を表示画面500上に表示する。ステップS613では、終了操作の有無を判別し、終了操作が行われない場合は(S613のNo)ステップS607から処理を繰り返し、終了操作が行われた場合は(S613のYes)、処理を終了する。
以上説明したように、本実施形態によれば、情報処理装置101は第1の評価部403において分類器401による分類の尤度と正解との乖離の程度を評価する。そして当該乖離の程度に基づいて判別部404により基準を満たすか否かを判別することにより、第2の医用データセットが取得される。そして分類対象の医用データである第3の医用データとの類似性を第2の評価部406が評価し、通知部407を介して結果をユーザに通知する。本構成により、分類器が分類対象の画像に対して十分に学習ができていないデータであるか否かをユーザが認識できる。また、ユーザは、当該通知に基づき、処理を続けるか否かを選択できる。これにより、処理対象となるデータが、分類器401にとって不得意なデータである場合に、ユーザは、分類器401による分類の結果の信頼性が低いものであることを予め認知する事が可能となる。さらにユーザは分類の結果の信頼性が低いと予想される場合には、当該分類処理の中止をあらかじめ選択することが可能となる。なお、S601~S604までの構成は、分類対象データに対して第2の医用データセットか否かを分類する第2の分類器を作成するための工程である。故に、学習があらかじめなされた分類器が用いられる場合や、他の情報処理装置で別途当該処理を行って作成された分類器を用いる場合には、S605から処理を実行しても構わない。
(実施形態1の変形例1)
実施形態1の第1の評価部403は、分類部401による分類結果と正解との乖離を、正解のクラスに該当するクラスについては、正解ラベルに対応するクラスへのクラス尤度と1.0の差の絶対値を算出する。第1の評価部403は、さらに正解以外のクラスへの分類について、正解以外のクラスの内、最も高い尤度を持つクラスのクラス尤度と0.0の差の絶対値を算出し、正解クラスへの尤度差と、正解クラス以外への尤度差の和を算出することにより評価した。一方、実施形態1の変形例1に対応する第1の評価部403は、正解のクラスに対応するクラス尤度から正解以外のクラスで最も高い尤度を有するクラス尤度を減ずることにより乖離の程度の評価(評価値の算出)を行う。本評価値の算出方法を適用した場合に、第1の評価部403によって算出される評価値のうち、最も小さい乖離の値は1.0であり、最も大きい乖離の値は-1.0となる。また、判別部404は、所定の基準として例えば、-0.2以下を第2の医用データセットのデータと判別する。
尚、第1の評価部403は、所定の基準は分類数に基づき決定されてもよい。具体的には、乖離の値が分類数の逆数からどの程度下回るかで第2の医用データセットのデータか否かを判別する。例えば3分類の場合、1/3=0.33・・より約5%下回る0.3135以下の場合に第2の医用データセットのデータであると判別する。本変形例により、クラス分類の対象となるクラス数を考慮した評価が可能となる。
(実施形態1の変形例2)
実施形態1の通知部407は、分類処理の開始前に通知領域505を表示し、ユーザに処理の実行と中止を選択させたが、図7(a)に示すように、分類処理後に分類結果と共に類似性を表示してもよい。また、図7(b)に示すように、第二の評価部406が、類似性が所定の値を超える場合には、分類器401(第1の分類器)による分類処理を実行しないよう制御し、通知部407が、処理を実行しなかった旨を、類似性と共に表示しても良い。即ち、第2の評価部406は類似性に基づいて、第3の医用データを第1の分類器への入力データとするか否かを決定する。
図7(a)の701は、本変形例の通知領域の一例である。701では、「原発」である尤度が83%、「転移」である尤度が12%、「良性」である尤度が5%という分類結果と共に、第2の医用データセット(画面例では「不得意データ」と記載)との類似性が95%である旨を表示する。
図7(b)の702も、本変形例の通知領域の一例である。702は、第2の医用データセット(画面例では「不得意データ」と記載)との類似性が95%であり、90%を超えるため分類の処理を実行しなかった旨を表示する。また、ユーザによる確認のボタンも表示する。尚、確認ボタンを表示せずに、一定時間表示後自動的に当該通知領域のウインドウを閉じても良い。
本変形例によれば、類似性が所定の値を超える場合に、ユーザが処理の実行の実施と中止を指示する操作が不要となる。
<実施形態2>
実施形態2では、実施形態1と同様に、胸部X線CT画像上の肺結節影に関する診断推論を行うCADシステムである情報処理装置について説明する。
実施形態1では、判別部404が分類器によるクラス尤度と正解ラベルに対応するクラスとの乖離の程度を評価する。そして当該乖離の程度に基づいて所定の基準を満たす医用データ(第2の医用データセット)と、処理対象となるデータ(第3の医用データセット)との類似性を評価し、結果をユーザに通知した。本実施形態では、判別部804の判別結果に基づき、分類器401とは異なる第3の分類器802を用いて分類処理を実行する。ここで第3の分類器は機械学習に基づく分類器である。また、本形態における情報処理装置101は、第2の評価部406の評価結果に基づき、分類器401(以降、第1の分類器と呼ぶ)と第3の分類器802を切り替えて分類処理を行う。
尚、本実施形態に係る情報処理装置のシステム構成、ハードウェア構成、医用画像DB 102の構成は実施形態1と同様であるため説明を省略する。
図8は、本実施形態の情報処理装置の機能ブロック図である。図8において、801は学習部、802は第3の分類器、803は切替部である。
学習部801は、第1の医用データセットの中で、判別部804により第2の医用データセットであると判別された画像303について、それらの診断名302を正解ラベル(クラス)として機械学習に基づいた第3の分類器の作成を行う。即ち、第2の医用データ405における診断名をラベルとした教師データに基づいて分類をする第3の分類器802を有することを特徴とする。
切替部803は、第2の評価部406の評価結果に基づき、第3の医用データセット320から抽出した画像を、第1の分類器401で分類するのか第3の分類器802で分類するのかの切り替えを行う。具体的には、第3の医用データと第2の医用データセットのデータとの類似性が所定の基準(例えば、0.5以上)を満たすようであれば第3の分類器802、基準値を満たさない場合には第1の分類器401により分類を行う。即ち第2の評価部406は、分類器401による類似性に基づいて、第3の医用データを第3の分類器への入力データとするか否かを決定することを特徴とする。さらに第2の評価部406による類似性に基づいて、第3の医用データを入力する分類器を切り替える切替部803を有することを特徴とする。
図9は、本実施形態の情報処理装置の表示画面の例である。
図9において、通知領域901は通知部407による通知領域の一例である。本実施形態の通知領域901には、分類器の分類結果と共に、第3の分類器(表示画面例では「分類器3」と記載)を使用した旨の通知が表示される。即ち、通知部407は第3の医用データ(分類対象の医用データ)を分類した分類器を通知することを特徴とする。
図10は、本実施形態の情報処理装置の処理のフロー図である。
本実施形態の処理では、ステップS604に続きステップS1001を実行する。ステップS1001で、学習部801は、判別部804の判別結果に基づき、第2の医用データセットのデータと判別されるデータを教師データとして、診断名302を分類する第3の分類器802の機械学習を行う。
ステップS608に続くステップS1002で、切替部803は、ステップS608で算出した類似性が所定値以上であるか否かを評価する。類似性が所定値以上の場合(S1002のYes)、ステップS1003で、第3の分類器802を用いて、ステップS607で抽出された画像の分類処理を行う。所定値以上でない場合(S1002のNo)、ステップS611で、第1の分類器401を用いて分類処理を行う。
ステップS1004で、通知部407は、表示画面500の通知領域901に使用した分類器を表示する。
以上説明したように、本実施形態によれば、情報処理装置101は判別部804の判別結果に基づき、第1の分類器401とは異なる第3の分類器802を機械学習する。そして第2の評価部406の評価結果に基づき、第1の分類器401と第3の分類器802を切り替えて分類処理を行う。これにより、分類器が学習できていないデータを適切に評価することが可能となると共に、第1の分類器401が不得意なデータを分けて第3の分類器802で分類することで、分類精度の向上が期待できる。
(実施形態3の変形例1)
実施形態2の学習部801は、第1の医用データセットの中で、判別部804により第2の医用データセットであると判別されたデータについて、それらの診断名302を正解ラベルとして第3の分類器802の機械学習を行った。本変形例では、学習部801は、第1の医用データセットの中で、第2の評価部406の評価結果である類似性が所定の値を超えるデータについて、それらの診断名302を正解ラベルとして第3の分類器802の機械学習を行う。
本変形例によれば、判別部804により第2の医用データセットであると判別されたデータの中で、第2の評価部406で類似性が低いと判別されてしまうデータは、第3の分類器802の学習に用いないよう動作する。第2の評価部406で類似性が低いと判別されるデータは、切替部803により第3の分類器802で分類処理されることがないため、第3の分類器802にとってはノイズとなる。そのようなデータを教師データから除外することで、第2の分類器802の精度向上が期待できる。
401 (第1の)分類器
402 尤度取得部
403 第1の評価部
404 判別部
406 第2の評価部

Claims (14)

  1. 医用データをクラス分類する第一の分類器を用いて、正解ラベルが付与された第一の医用データに対するクラス尤度を取得する尤度取得部と、
    前記尤度取得部により取得した前記クラス尤度と、前記正解ラベルに対応するクラスとに基づいて乖離の程度を評価する第一の評価部と、
    前記第一の評価部による前記乖離の程度が所定の基準を満たすか否かを判別する判別部と、
    前記第一の医用データの内、前記所定の基準を満たす第二の医用データに基づいて、該第二の医用データと分類対象の第三の医用データとの類似性を評価する第二の評価部と、
    を有することを特徴とする情報処理装置。
  2. 前記第二の評価部は、前記第二の医用データであるか否かを分類する第二の分類器に基づいて評価をすることを特徴とする請求項1に記載の情報処理装置。
  3. 前記第二の評価部による評価結果に基づいた通知をする通知部をさらに有することを特徴とする請求項1または2に記載の情報処理装置。
  4. 前記第二の医用データにおける診断名を正解ラベルとした教師データに基づいて分類をする第三の分類器を有することを特徴とする請求項1乃至3のいずれか一項に記載の情報処理装置。
  5. 前記第二の評価部は、前記類似性に基づいて、前記分類対象の第三の医用データを、前記第三の分類器への入力データとするか否かを決定すること特徴とする請求項4に記載の情報処理装置。
  6. 前記第二の評価部は、前記類似性に基づいて、前記分類対象の医用データを前記第一の分類器への入力データとするか否かを決定することを特徴とする請求項1乃至5のいずれか一項に記載の情報処理装置。
  7. 前記類似性に基づいて、前記分類対象の医用データを入力する分類器を切り替える切替部を有することを特徴とする請求項4または5に記載の情報処理装置。
  8. 前記第一の分類器におけるクラスが診断名を含むクラスであることを特徴とする請求項1に記載の情報処理装置。
  9. 前記通知部は前記分類対象の医用データを分類した分類器を通知することを特徴とする請求項3に記載の情報処理装置。
  10. 前記通知部は、前記類似性を通知することを特徴とする請求項3に記載の情報処理装置。
  11. 前記第一の評価部は、前記乖離の程度を前記クラス尤度のうち、正解ラベルに対応するクラスの尤度と、対応しないクラスとの尤度とに基づいて評価をすることを特徴とする請求項1に記載の情報処理装置。
  12. 前記分類対象の医用データを前記第三の分類器によって分類するか否かを指定する指定手段を有することを特徴とする請求項4に記載の情報処理装置。
  13. 医用データをクラス分類する第一の分類器を用いて、正解ラベルが付与された第一の医用データに対するクラス尤度を取得する尤度取得ステップと、
    前記尤度取得ステップにより取得した前記クラス尤度と、前記正解ラベルに対応するクラスとに基づいて乖離の程度を評価する第一の評価ステップと、
    前記第一の評価ステップによる前記乖離の程度が所定の基準を満たすか否かを判別する判別ステップと、
    前記第一の医用データの内、前記所定の基準を満たす第二の医用データに基づいて、分類対象の第三の医用データとの類似性を評価する第二の評価ステップと、
    を有することを特徴とする情報処理方法。
  14. 請求項13に記載の情報処理方法をコンピュータに実行させるためのプログラム。
JP2019132264A 2019-07-17 2019-07-17 情報処理装置、情報処理方法およびプログラム Active JP7301653B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019132264A JP7301653B2 (ja) 2019-07-17 2019-07-17 情報処理装置、情報処理方法およびプログラム
US16/928,891 US11657099B2 (en) 2019-07-17 2020-07-14 Information processing apparatus evaluating similarity between medical data, information processing method, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019132264A JP7301653B2 (ja) 2019-07-17 2019-07-17 情報処理装置、情報処理方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2021018495A JP2021018495A (ja) 2021-02-15
JP7301653B2 true JP7301653B2 (ja) 2023-07-03

Family

ID=74346265

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019132264A Active JP7301653B2 (ja) 2019-07-17 2019-07-17 情報処理装置、情報処理方法およびプログラム

Country Status (2)

Country Link
US (1) US11657099B2 (ja)
JP (1) JP7301653B2 (ja)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019023801A (ja) 2017-07-24 2019-02-14 日本電信電話株式会社 画像認識装置、画像認識方法、及び画像認識プログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3085724B2 (ja) 1991-05-10 2000-09-11 株式会社東芝 医用診断支援システム
JP4104036B2 (ja) 1999-01-22 2008-06-18 富士フイルム株式会社 異常陰影検出処理方法およびシステム
AU2014318499B2 (en) * 2013-09-16 2019-05-16 Biodesix, Inc Classifier generation method using combination of mini-classifiers with regularization and uses thereof
US11227689B2 (en) * 2018-10-09 2022-01-18 Ferrum Health, Inc Systems and methods for verifying medical diagnoses

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019023801A (ja) 2017-07-24 2019-02-14 日本電信電話株式会社 画像認識装置、画像認識方法、及び画像認識プログラム

Also Published As

Publication number Publication date
US20210020310A1 (en) 2021-01-21
JP2021018495A (ja) 2021-02-15
US11657099B2 (en) 2023-05-23

Similar Documents

Publication Publication Date Title
Ozdemir et al. A 3D probabilistic deep learning system for detection and diagnosis of lung cancer using low-dose CT scans
Ye et al. Explainable AI for COVID-19 CT classifiers: an initial comparison study
Faghani et al. Mitigating bias in radiology machine learning: 3. Performance metrics
Blanc et al. Artificial intelligence solution to classify pulmonary nodules on CT
Shaukat et al. Computer-aided detection of lung nodules: a review
Dasanayaka et al. Deep learning methods for screening pulmonary tuberculosis using chest X-rays
Ghayvat et al. AI-enabled radiologist in the loop: novel AI-based framework to augment radiologist performance for COVID-19 chest CT medical image annotation and classification from pneumonia
US10706534B2 (en) Method and apparatus for classifying a data point in imaging data
Ye et al. Robust weakly supervised learning for COVID-19 recognition using multi-center CT images
Choukroun et al. Mammogram Classification and Abnormality Detection from Nonlocal Labels using Deep Multiple Instance Neural Network.
WO2019107177A1 (en) Information processing apparatus, information processing system, information processing method, and program
US20100266173A1 (en) Computer-aided detection (cad) of a disease
JP2023513894A (ja) 内視鏡疾患の自動評価
Korfiatis et al. Automated artificial intelligence model trained on a large data set can detect pancreas cancer on diagnostic computed tomography scans as well as visually occult preinvasive cancer on prediagnostic computed tomography scans
Cruz-Bernal et al. Analysis of the cluster prominence feature for detecting calcifications in mammograms
JP2019045929A (ja) 情報処理装置、情報処理方法、及びプログラム
Ge et al. Evaluation of various open-set medical imaging tasks with deep neural networks
JP7301653B2 (ja) 情報処理装置、情報処理方法およびプログラム
Ramasamy et al. A hybridized channel selection approach with deep convolutional neural network for effective ovarian cancer prediction in periodic acid‐Schiff‐stained images
Çallı et al. Explainable emphysema detection on chest radiographs with deep learning
Cazzolato et al. dp-breath: Heat maps and probabilistic classification assisting the analysis of abnormal lung regions
US11263481B1 (en) Automated contrast phase based medical image selection/exclusion
JP7362338B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP7406885B2 (ja) 情報処理装置、情報処理方法およびプログラム
Moosavi et al. Segmentation and classification of lungs CT-scan for detecting COVID-19 abnormalities by deep learning technique: U-Net model

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220712

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230516

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230523

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230621

R151 Written notification of patent or utility model registration

Ref document number: 7301653

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151