JP6957214B2 - 情報処理装置、情報処理システム、情報処理方法及びプログラム - Google Patents

情報処理装置、情報処理システム、情報処理方法及びプログラム Download PDF

Info

Publication number
JP6957214B2
JP6957214B2 JP2017111068A JP2017111068A JP6957214B2 JP 6957214 B2 JP6957214 B2 JP 6957214B2 JP 2017111068 A JP2017111068 A JP 2017111068A JP 2017111068 A JP2017111068 A JP 2017111068A JP 6957214 B2 JP6957214 B2 JP 6957214B2
Authority
JP
Japan
Prior art keywords
information
image
finding
case
learning data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017111068A
Other languages
English (en)
Other versions
JP2018206082A (ja
Inventor
菊地 徹
佐藤 清秀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2017111068A priority Critical patent/JP6957214B2/ja
Priority to PCT/JP2018/020472 priority patent/WO2018225578A1/ja
Publication of JP2018206082A publication Critical patent/JP2018206082A/ja
Priority to US16/700,939 priority patent/US12027267B2/en
Application granted granted Critical
Publication of JP6957214B2 publication Critical patent/JP6957214B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N99/00Subject matter not provided for in other groups of this subclass
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Epidemiology (AREA)
  • Data Mining & Analysis (AREA)
  • Primary Health Care (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Description

本発明は、情報処理装置、情報処理システム、情報処理方法及びプログラムに関する。
診断や治療に際して医療従事者が多くの情報を考慮して判断を下すために、コンピュータにより支援を行うための各種のシステムが提案されている。特許文献1には、患者の疾患名及びその疾患に係る所見を含む電子文書から、疾患名に係る所見を構成する所見記述要素を、当該所見記述要素を含む電子文書の時系列上の出現頻度に基づいて抽出することが開示されている。
特開2009−93582号公報
一つの電子文書に含まれない所見記述要素を抽出することはできず、抽出されなかった要素を含む学習用データを取得することはできない。
本発明の実施形態に係る情報処理装置は、患者の症例の特徴に関する情報であって、前記患者を診断することにより取得された情報である第1の情報を含む症例情報を取得する第1の取得手段と、前記症例情報を解析することにより、前記患者の前記症例に関する情報であって、前記診断において取得されなかった情報である第2の情報を取得する第2の取得手段と、前記第1の情報と前記第2の情報とに基づいて、機械学習のための学習用データを取得する第3の取得手段と、を有することを特徴とする。
診断において得られた情報と、診断において取得されなかった情報とに基づいて機械学習のための学習用データを取得することにより、機械学習をより精度よく行うことができる。
本発明の実施形態に係る情報処理装置を含むシステムの構成の一例を示す図である。 本発明の実施形態に係る情報処理装置のハードウェア構成の一例を示す図である。 本発明の実施形態に係る情報処理装置の機能構成の一例を示す図である。 本発明の実施形態に係る情報処理装置により取得される情報の構成の一例を示す図である。 本発明の実施形態に係る情報処理装置により行われる処理の一例を示すフローチャートである。 第1の実施形態に係る情報処理装置により行われる処理の一例を示すフローチャートである。 第2の実施形態に係る情報処理装置により行われる処理の一例を示すフローチャートである。 第3の実施形態に係る情報処理装置により行われる処理の一例を示すフローチャートである。 第4の実施形態に係る情報処理装置により取得される情報の構成の一例を示す図である。 第4の実施形態に係る情報処理装置により行われる処理の一例を示すフローチャートである。 第5の実施形態に係る情報処理装置により行われる処理の一例を示すフローチャートである。
以下、図面を参照して本発明の実施形態を説明する。
[第1の実施形態]
診断において得られた情報を計算機で解析し、医師の判断の補助となる情報を提示するコンピュータ支援診断(Computer Aided Diagnosis:CAD)システムが知られている。診断において得られた情報とは、たとえば患者に対する検査や問診、観察により医師が得た所見や、当該患者の医用画像や、当該医用画像を観察することにより医師が得た所見といった情報である。患者に対する検査や問診、観察により医師が得た所見には、患者の年齢や性別といった情報や、検査で得られた検査値や、病理診断の結果や、既往歴、主訴、医師または複数の医師の合議により決定された診断名といった情報を含む。医用画像を観察することにより医師が得た所見は、当該医用画像に描出された組織や病変の特徴に関する情報である。以下では、医用画像を観察することにより医師が得た所見を画像所見と称する。
CADシステムにおいて、過去の診断で得られた情報を用いた機械学習により、新しい症例における診断名等の推論を行う場合がある。機械学習において学習に用いられるデータの質は、推論の精度に関連する可能性がある。ここで学習に用いられるデータの質とは、情報の量や正確さである。すなわち、CADシステムのための機械学習において用いられるデータは、情報を豊富に含み、かつ正確な情報を含むことが好ましい。以下では、機械学習において用いられるデータを学習用データと称する。第1の実施形態に係る情報処理装置101は、質の高い学習用データを用いてCADシステムの機械学習を行えるようにすることを目的とする。
以下では情報処理装置101が、患者を被検体として撮像された、胸部のX線CT(Computed Tomography)画像の画像所見に基づいて胸部の疾患に関する推論を行うCAD装置102の学習用データを取得する場合を例に説明する。情報処理装置101は、学習用データとするために取得された過去の症例に付与されている画像所見と、当該症例の医用画像を解析することにより当該症例で取得されていなかった画像所見とを取得する。
(システム構成)
図1は、第1の実施形態に係る情報処理装置を含む情報処理システムの構成の一例を示す図である。情報処理システムは、情報処理装置101、CAD装置102、医用画像データベース(以降、データベースを単にDBと称する。)103、読影レポートDB104、電子カルテDB105、LAN(Local Area Network)106を含む。
情報処理装置101は、医用画像DB103や読影レポートDB104、電子カルテDB105から取得した情報に基づいて、CAD装置102における機械学習のための学習用データを取得する。情報処理装置101はたとえばコンピュータである。学習用データは、CAD装置102で機械学習を行う推論器の入力値と正解となる出力値のセットである。学習用データの一例を、図4(e)を用いて後述する。
CAD装置102は、情報処理装置101において取得された学習用データを用いた機械学習により、新たな症例と関連する疾患を推論する。CAD装置102はたとえばコンピュータである。CAD装置102はたとえば、医用画像に基づいて疾患名を推論し、医師の診断を支援するための情報を医師に提示する。より具体的には、CAD装置102はたとえば、入力された医用画像を解析することにより画像所見を取得し、画像所見と疾患名との関係を学習した推論器を用いて、画像所見から疾患名を推論する。第1の実施形態においては、医師が医用画像上で指定した肺結節を解析した画像所見に基づいて、指定された肺結節が肺癌(原発癌)によるものであるか、転移癌によるものであるか、良性結節であるかのそれぞれの確率を推論器により推論する場合を例に説明する。CAD装置102は、推論の根拠となる画像所見と推論の結果とを共に医師に提示してもよい。
医用画像DB103は、CT装置など各種の撮像装置で撮影された医用画像を、LAN106を介して撮像装置から取得して保存する。また医用画像DB103は、保存された医用情報を検索、取得するための機能を提供する。医用画像はたとえば、DICOM(Digigal Imaging and Communications in Medicine)形式の画像である。医用画像DB103はたとえばPACS(Picture Archiving and Communication System)である。
読影レポートDB104は、読影レポート情報を、LAN106を介して医師が用いるクライアント装置(不図示)から取得して保存する。また読影レポートDB104は、保存された読影レポート情報を検索、取得するための機能を提供する。ここで読影レポート情報とは、たとえば医師が医用画像を観察することにより得た画像所見や、当該画像所見から医師が導き出した疾患に関する情報を記載したレポートである。読影レポート情報の一例を、図4(b)を用いて後述する。
電子カルテDB105は、電子カルテ情報を、LAN106を介して医師が用いるクライアント装置(不図示)から取得して保存する。また電子カルテDB105は、保存された電子カルテ情報を検索、取得するための機能を提供する。ここで電子カルテ情報は、たとえば医師が患者の診療を行う際に問診や検査で得られた情報を記載した診療記録である。電子カルテ情報の一例を、図4(c)を用いて後述する。
CAD装置102と、CAD装置102で用いる学習用データを取得する情報処理装置101とを別の装置とする例を説明したが、本発明はこれに限らない。たとえばCAD装置102と情報処理装置101とは、同じ一つの装置で実現されてもよいし、CAD装置102の機能と情報処理装置101の機能とを実現するための、複数の装置で構成されるシステムで実現されてもよい。
(ハードウェア構成)
図2は、第1の実施形態に係る情報処理装置101のハードウェア構成の一例を示す図である。情報処理装置101は、ROM(Read Only Memory)201、CPU(Central Processing Unit)202、RAM(Random Access Memory)203、記憶媒体204、LANインタフェース205、バス206を含む。
ROM201はBIOS(Basic Input Output System)等、ハードウェアを初期化しOSを起動するためのプログラムを記憶する。
CPU202は、BIOSやOS、処理プログラムを実行する際の演算処理を行う。
RAM203は、CPU202がプログラムを実行する際の情報を一時記憶する。
記憶媒体204は、OS(Operating System)や第1の実施形態に係る処理を行うためのプログラム、情報を記憶する。記憶媒体204は、たとえばHDD(Hard Disk Drive)やSSD(Solid State Drive)である。
LANインタフェース205は、IEEE(Institute of Electrical and Electronics Engineers)802.3ab等の規格に対応し、LAN106を介して通信を行うためのインタフェースである。
バス206は、情報処理装置101の内部バスである。
情報処理装置101はさらにGPUを含んでいてもよい。特に情報処理装置101の機能とCAD装置102の機能とを一つの装置あるいは一つのシステムとして実現する場合に、GPUにより推論を行ってもよい。
CPU202やGPUは、プロセッサの一例である。また、ROM201やRAM203や記憶媒体204はメモリの一例である。情報処理装置101は複数のプロセッサを有していてもよい。第1の実施形態においては、情報処理装置101のプロセッサがメモリに格納されているプログラムを実行することにより、情報処理装置10の機能が実現される。また、情報処理装置101は特定の処理を専用に行うCPUやGPU、ASIC(Application Specific Integrated Circuit)を有していても良い。情報処理装置101は特定の処理あるいは全ての処理をプログラムしたFPGA(Field−Programmable Gate Array)を有していてもよい。情報処理装置101は記憶媒体204として複数の構成を有していてもよい。情報処理装置101はLANインタフェース205といった通信のための構成を複数有していてもよい。
情報処理装置101は、ユーザが情報処理装置101に情報を入力するための操作部(不図示)と、情報処理装置101がユーザに情報を提示するための表示部(不図示)と接続されていてもよい。操作部(不図示)はたとえばキーボードやマウス等である。表示部(不図示)は情報処理装置101からの制御に基づいて、情報を表示する。表示部(不図示)は、情報処理装置101からの制御に基づいて、ユーザの指示を受け付けるためのインタフェースを提供する。表示部(不図示)は、たとえば液晶ディスプレイである。なお、操作部(不図示)と表示部(不図示)とはタッチパネルディスプレイとして統合されていてもよい。
(機能構成)
図3は、第1の実施形態に係る情報処理装置101の機能構成の一例を示す図である。情報処理装置101は、画像取得部301、画像所見取得部302、確定診断取得部303、画像解析部304、学習用データ取得部305、学習用データDB306、機械学習部307から構成される。
画像取得部301は、医用画像DB103から医用画像を取得する。画像取得部301は、ユーザの指示する医用画像を取得してもよいし、後述する画像所見取得部302が取得した読影レポートや電子カルテに記載された情報に基づいて特定される医用画像を取得してもよい。読影レポートや電子カルテに記載された情報に基づいて特定される医用画像とは、たとえば読影レポートや電子カルテに添付された医用情報や、読影レポートや電子カルテに記載された検査IDに対応する検査で撮像された医用情報である。より具体的には画像取得部301は、図4(d)に例示する読影レポートの検査ID423に基づいて、医用画像DB103から検査ID423と対応する検査の医用画像情報411−i(i=1,2,・・・)を検索し、取得する。
画像所見取得部302は、推論の対象となる症例に関して、診断された情報を取得する。ここでは、画像所見取得部302は読影レポートや電子カルテに記載された情報を取得し、当該症例において診断された画像所見の情報を取得する場合を例に説明する。たとえば画像所見取得部302は、図4(d)に例示する読影レポートの本文425の内容に基づき、推論の対象である肺結節に関する症例の読影レポート421−i(i=1,2,・・・)を読影レポートDB104から検索する。画像所見取得部302は、取得した読影レポート情報421−iから、画像所見、部位、患者ID、検査IDといった情報を抽出する。また画像所見取得部302は、読影レポートや電子カルテの記載において当該症例に関する代表画像や画像における病変の位置といった情報が保持されている場合には、それらの情報を抽出する。以下では、画像所見取得部302により取得された画像所見を第1の画像所見と称する。第1の画像所見は、第1の情報の一例である。また、画像所見取得部302は第1の取得手段の一例である。
確定診断取得部303は、患者の診断された症例に関して、確定した疾患名を示す確定診断の情報を取得する。確定診断取得部303は、たとえば画像所見取得部302が取得した読影レポート情報421−iに記載された患者ID422に対応する患者の電子カルテ情報431−i(i=1,2,・・・)を電子カルテDB105から検索して取得する。確定診断取得部303は、電子カルテ情報431−iから確定診断437を抽出する。
画像解析部304は、画像取得部301が取得した医用画像を解析することにより、当該医用画像に描出されている特徴を示す画像所見を取得する。特に、当該医用画像に描出されている疾患の特徴を示す画像所見を取得する。画像解析部304により取得された情報の一例を、図4(d)に例示する。以下では、画像解析部304により取得された画像所見を、第2の画像所見と称する。第2の画像所見は、第2の情報の一例である。画像解析部304は、第2の取得手段の一例である。
学習用データ取得部305は、CAD装置102の機械学習に用いるための学習用データを取得する。学習用データ取得部305は、画像所見取得部302により取得された第1の画像所見と、画像解析部304により取得された第2の画像所見とに基づいて学習用データ451−i(i=1,2,・・・)を取得する。学習用データ取得部305は、さらに確定診断取得部303により取得された確定診断に基づいて学習用データ451−iを取得する。学習用データ取得部305は、取得した学習用データ451−iを学習用データDB306に保存する。学習用データ取得部305は、機械学習のための学習用データを取得する第3の取得手段の一例である。
学習用データDB306は、学習用データ取得部305により取得された学習用データ451−iを保存する。また学習用データDBは、保存された学習用データを検索、取得するための機能を提供する。学習用データDB306はCAD装置102に含まれていてもよく、情報処理装置101とCAD装置102と接続された外部のDBとして実現されてもよい。
機械学習部307は、学習用データDB306の学習用データ451−iを用いて、CAD装置102が用いる推論器の機械学習を行う。機械学習部307はCAD装置102に含まれていてもよく、学習用データDB306に含まれていてもよい。
(情報の構成)
図4(a)〜(e)は情報処理装置101により取得される情報の構成の一例をそれぞれ示す図である。
図4(a)は、医用画像DBに保存される情報410の構成の一例を示す図である。情報410は、1つ以上の医用画像情報411−1、411−2、・・・から構成される。医用画像情報411−i(i=1,2,・・・)は、たとえば1回の撮影で得られる画像情報であり、医用画像が3次元画像である場合には当該医用画像は1つ以上のスライス画像情報412−1、412−2、・・・から構成される。スライス画像情報412−i(i=1,2,・・・)はそれぞれ1つの断面の画像情報であり、ヘッダ情報413と画素情報419から構成される。ヘッダ情報413は、患者ID414、検査ID415、検査日時416、シリーズID417、スライス位置418といった情報を含む。患者ID414は患者を一意に識別する情報であり、検査ID415は検査を一意に識別する情報であり、検査日時416は検査が実施された日時である。また、シリーズID417は、医用画像情報411−i(i=1,2,・・・)を一意に識別する情報であり、スライス位置418は、断面の位置であり、所定の基準点からの体軸方向の相対距離となる。なお、医用画像が3次元画像であり複数のスライス画像情報412−iで構成される場合、それぞれのスライス画像で共通するヘッダ情報413についてはたとえばスライス画像情報412−1にのみ含まれていてもよい。画素情報419は、たとえば、512×512個の画素値からなり、各画素値はグレースケール(1チャネル)で12ビットとなる。
図4(b)は、読影レポートDB104に保存される情報420の構成の一例を示す図である。情報420は、1つ以上の読影レポート情報421−1、421−2、・・・から構成される。読影レポート情報421−i(i=1,2,・・・)は患者ID422、検査ID423、検査日時424、本文425、貼付画像426の各情報を含む。本文425には画像診断の内容がたとえば自然文で記載され、図4の例では「○○に××を認めます。大きさは△△で、形状は□□です。◎◎を疑います。」と記載されている。ここで、「○○」は部位、「××」は病変、「△△」や「□□」は画像所見、「◎◎」は画像診断の結果を示す字句である。ここで字句とは、文中にある文字あるいは文字列をいい、文中において意味を表す単位である。貼付画像426は、たとえば読影レポートを記載した医師が、本文425に記載した内容を表すと考える画像を代表画像として読影レポートに貼り付けた医用画像に関する情報である。貼付画像426はたとえば、スライス画像情報412−i(i=1,2,・・・)の画素情報419を8ビットのビットマップ形式等に変換した画像の情報である。なお、貼付画像426はスライス画像情報412−i(i=1,2,・・・)やビットマップ形式等に変換された他の画像情報へのリンク情報でもよい。情報420は、「インプレッション」などと呼ばれる本文425の内容を要約した情報(不図示)を含んでいてもよい。また情報420は、本文425又はそのほかの情報(不図示)の少なくともいずれかに、読影した医用画像中における病変の位置や領域を示す情報を含んでいてもよい。
図4(c)は、電子カルテDB105に保存される情報430の構成の一例を示す図である。情報430は、1つ以上の電子カルテ情報431−1、431−2、・・・から構成される。電子カルテ情報431−i(i=1,2,・・・)は、患者ID432、診療日時433、本文434、処置・処方435、検査436、確定診断437の各情報を含む。診療日時433は診療を行った日時、本文434は診療の内容、処置・処方435は治療行為や投薬の内容、検査436は画像診断、血液検査、病理検査などの検査の内容をそれぞれ示す。確定診断437は病理検査の結果などに基づいて医師が最終的に診断した疾患名を示す情報である。
図4(d)は、画像解析部304により取得された第2の画像所見を含む情報440の構成の一例を示す図である。情報440は、画像解析部304が学習用の症例毎に生成する所見取得結果情報441−1、441−2、・・・から構成される。所見取得結果情報441−i(i=1,2,・・・)は、病変442、部位443、画像所見群444の各情報を含む。画像所見群444は、1つ以上の画像所見から構成される。それぞれの画像所見は、画像所見の項目(以下、画像所見項目または所見項目と称する。)と、その項目の値によって構成される。画像所見項目は、たとえば、大きさ445、形状446、石灰化濃度比447などである。大きさ445は、たとえば肺結節の長径を表す項目であり、たとえば、「大」、「中」、「小」の3段階の値をとる。形状446は、たとえば肺結節の形状を表す項目であり、たとえば、「球形」、「類球形」、「分葉状」などの状態を値としてとる。また、石灰化濃度比447は、たとえば肺結節内の画素の中で石灰化の画素値を取る画素が占める割合を表す項目であり、たとえば、「高」、「中」、「低」、「なし」の4段階の値をとる。所見項目の値は、数値であってもよい。数値は、連続値でも離散値でもよく、範囲であってもよい。なお、画像所見項目の種類や値は上述した例に限られるものではない。
図4(e)は、学習用データDB306に保存される情報450の構成の一例を示す図である。学習用データDB306に保存される情報450は、1つ以上の学習用データ451−1、451−2、・・・から構成される。学習用データ451−i(i=1,2,・・・)は、病変452、部位453、画像所見群454、確定診断458の各情報を含む。ここで、画像所見群454は、前述の画像所見群444と同様の構成であるとする。
(一連の処理)
図5は、第1の実施形態に係る情報処理装置101により行われる処理の一例を示すフローチャートである。以下では、読影レポートDB104から取得した情報に基づいて第1の画像所見を取得し、電子カルテDB105から取得した情報に基づいて確定診断を取得し、医用画像DB103から取得した医用画像を解析することにより第2の画像所見を取得し、第1の画像所見と第2の画像所見とに基づいて学習用データを取得する処理の例を説明する。
ステップS501において、画像所見取得部302は読影レポートDB104に保存された症例から、推論対象に関する症例を取得し、その画像所見、すなわち第1の画像所見を取得する。たとえば、CAD装置102において肺結節の診断推論を行う場合には、当該推論のための機械学習の学習用データの候補として、読影レポートDB104から肺結節の診断を行っている読影レポートを検索して取得する。具体的には画像所見取得部302は、読影レポート情報の本文に「肺結節」をキーワードとして含む読影レポートを読影レポートDB104から検索する。画像所見取得部302は、読影レポート情報421−i(i=1,2,・・・)の本文425に対して形態素解析や構文解析といった処理を施すことにより、当該症例の第1の画像所見を取得する。
なお所見項目の中には、読影レポートに記載しないことが、当該所見項目に関する画像所見が存在しないことを暗黙的に意味する項目がある。そのような所見項目を予め定義し、当該所見項目に関する記載がレポートから取得できない場合に、画像所見取得部302は当該所見項目に関して「なし」という値を取得することとしてもよい。
ステップS502において、確定診断取得部303は、ステップS501で取得したそれぞれの症例に関して最終的に診断された疾患名を示す情報を取得する。ここでは、確定診断取得部303は、当該症例に関する情報を電子カルテDB105から検索し、確定診断437を取得する。たとえば確定診断取得部303は、ステップS501で取得した読影レポート情報421−iの患者ID422の値をキーとして、当該患者の電子カルテ情報431−i(i=1,2,・・・)を検索する。確定診断取得部303は、電子カルテ情報431−iの所定のフィールドを読み出すことにより、当該症例の確定診断437を取得する。あるいは、確定診断取得部303は電子カルテ情報431−iに記載された情報に対して形態素解析や構文解析といった処理を施すことにより、当該症例の疾患名を取得してもよい。
ステップ503において、画像取得部301は、ステップS501で取得したそれぞれの症例に対応する医用画像情報411−i(i=1,2,・・・)を医用画像DB103から取得する。たとえば画像取得部301は、ステップS501で取得した読影レポート情報421−iに記載された検査ID423の値をキーとして、当該症例の医用画像情報411−iを医用画像DB103から検索する。
以上のステップS501乃至ステップS503までの処理により、情報処理装置101は、患者の診断された既存のデータから、症例の医用画像と、幾つかの所見項目に関する第1の画像所見と、最終的に診断された疾患名の情報である確定診断とを取得する。
ステップS504において、画像解析部304は、ステップS503で取得された医用画像情報411−iから、画像解析により画像所見、すなわち第2の画像所見を取得する。具体的には、画像解析部304は読影レポートに記載された病変の画像上での位置を、以下の手順で特定する。読影レポート情報421−iが病変の位置を示す情報を保持している場合には、画像解析部304はその値を医用画像における病変の位置とする。読影レポート情報421−iが代表画像の情報を保持している場合には、画像解析部304は3次元画像中で代表画像と類似する画像を検索し、代表画像との類似度の高いスライス画像のスライス位置を特定する。そして画像解析部304は、特定されたスライス画像に対して肺結節の検出処理を行い、当該スライス画像上における病変位置を検出する。読影レポート情報421−iが病変の位置を示す情報を保持しておらず、かつ代表画像の情報を保持していない場合には、画像解析部304は3次元画像の全てのスライス画像または読影レポート情報421−iに記載されたそのほかの情報に基づいて特定されるスライス画像に対して、肺結節の検出処理を行い、病変位置を検出する。
病変の位置が検出されると、画像解析部304は、その病変の位置の近傍の3次元画像に画像解析処理を施すことで、第2の画像所見を取得する。たとえば画像解析部304はそれぞれの画像所見を、病変の3次元画像と個々の画像所見との関係を予め機械学習させたCNN(Convolutional Neural Network)を用いて取得する。なお、画像解析部304が取得する第2の画像所見の所見項目は、肺結節の診断における全ての所見項目である必要はない。たとえば、画像解析によって一定以上の信頼度(正答率)で取得可能な所見項目を予め定義しておいて、画像解析部304はそれらの所見項目に関してのみ第2の画像所見の取得を行うようにしてもよい。
ステップS505において、学習用データ取得部305は、ステップS501で取得した第1の画像所見と、ステップS504で取得した第2の画像所見とに基づいて、学習用データ451−iを取得する。学習用データ取得部305はさらに、ステップS502で取得した確定診断に基づいて学習用データ451−iを取得する。学習用データ取得部305は、学習用データ451−iを学習用データDB306に保存する。ステップS505における学習用データ取得の処理の詳細は図6を用いて後述する。
ステップS506において、機械学習部307は、学習用データDB306に保存された学習用データ451−iを用いて、CAD装置102で用いる推論器の機械学習を行う。第1の実施形態で説明している例においては、機械学習部307は、入力データである画像所見を推論器に入力した際の推論結果である疾患名と、正解データである確定診断(疾患名)との一致率が最大となるように、推論器のパラメータを調整する。
図6は、学習用データ取得部305がステップS505で行う、学習用データを取得する処理の一例を示すフローチャートである。学習用データを取得する処理が開始されると、ステップS601からステップS607までの処理が繰り返される。この繰り返し処理において、対象としているi番目(i=1,2,・・・)の症例の画像所見項目のそれぞれに対して、ステップS601からステップS605までの処理を繰り返す。
ステップS601乃至ステップS607、及びステップS611は、学習用データの候補である少なくとも一つの症例のそれぞれに関して行われる処理であり、ステップS501で取得された症例の全てに対して行われる繰り返し処理である。
ステップS602乃至ステップS605、及びステップS611は、i番目の症例に含まれる少なくとも一つの所見項目のそれぞれに関して行われる処理であり、当該少なくとも一つの所見項目の全てに対して行われる繰り返し処理である。
ステップS603において、学習用データ取得部305は、i番目の症例の第1の画像所見がステップS501で取得されたか否かを判定する。取得された場合はステップS604に進み、取得されなかった場合はステップS611に進む。
ステップS604において、学習用データ取得部305は、ステップS501で取得された第1の画像所見を学習用データ451−iの画像所見群454に加える。
ステップS611において、学習用データ取得部305は、ステップS504で取得された第2の画像所見を学習用データ451−iの画像所見群454に加える。なお、ステップS602乃至ステップS605のループにおいて対象としている所見項目が第2の画像所見を取得しない所見項目の場合には、ステップS611の処理をスキップする。
ステップS602乃至ステップS605、及びステップS611の繰り返し処理が全ての所見項目で終了すると、ステップS606に進む。
ステップS606の処理において、学習用データ取得部305は、ステップS502で取得した確定診断を学習用データ451−iの確定診断458に加える。
ステップS601乃至ステップS607、及びステップS611の繰り返し処理が全ての症例に対して完了すると、図6に示す処理が終了する。
第1の実施形態に係る情報処理装置101によれば、第1の画像所見と第2の画像所見とに基づいて学習用データを取得することができる。特に、既存のデータに入力されている第1の画像所見に不足があった場合において、画像解析により取得された第2の画像所見で不足を補うことができる。第1の画像所見と第2の画像所見とに基づいて学習用データを取得し、それを機械学習に用いることで、CAD装置102における推論の精度を向上させることができる。特に、第1の画像所見の不足があった場合において、当該不足のためにCAD装置102における推論の精度が低下することを防ぐことができる。
[第1の実施形態の変形例1]
学習用データの候補として用いる既存のデータを取得する方法は、上述した例に限らない。たとえば、症例の医用画像と、幾つかの所見項目に関する第1の画像所見と、最終的に診断された疾患名(確定診断)とを取得できる方法であれば、一つのデータからこれらの情報を取得してもよいし、対応する複数の情報からこれらの情報を取得してもよいし、いかなる方法でこれらの情報を取得してもよい。
たとえば、画像所見取得部302が読影レポート情報から第1の画像所見を取得する場合を例に説明したが、画像所見取得部302は電子カルテ情報から第1の画像所見を取得してもよいし、他の症例データベース(不図示)から情報を読み出して第1の画像所見を取得してもよいし、表示部(不図示)にユーザが第1の画像所見を入力するためのインタフェースを表示させ、ユーザが入力した情報を第1の画像所見として取得してもよい。
また、画像所見取得部302は、読影レポート情報が構造化されている場合、所定のフィールドから画像所見など必要な情報を取得してもよい。ここで、構造化された読影レポートとは、読影レポートとして記載されるべき項目とその内容とが予め定められた形式で記載されており、項目と当該項目の内容(すなわち当該項目の値)とが明示的に対応づけられている読影レポートである。構造化された読影レポートは、入力された項目間の関係性を示す情報が付与されていてもよい。構造化された読影レポートは、DICOM(Digital Imaging and Communications in Medicine)において規定されるSR(Structured Report)のように、予め定義されたコードにより読影レポートの構造や読影レポート内の情報の関連が表されてもよい。
また、確定診断取得部303は、最終的に診断された疾患名である確定診断を、病理検査の結果など、電子カルテ情報に付随する他の情報から取得してもよい。確定診断取得部303は、確定診断が本文中に自然文で記載されている場合は、形態素解析技術と構文解析技術、医療系の辞書を用いて取得してもよい。医師が診断する疾患名に関する情報が複数存在する場合には、その情報源に関する優先順位を予め定めておいてもよい。たとえば、確定診断取得部303が病理検査の結果に基づいて診断された疾患名を優先して確定診断として取得するようにしてもよい。また、確定診断取得部303は、電子カルテや読影レポートの内容から取得した情報の継時的な変化から確定診断を判定してもよい。たとえば確定診断取得部303は、肺結節のサイズが所定の期間で変化した度合いに応じて予め定められている疾患名を確定診断として取得してもよい。
[第1の実施形態の変形例2]
ステップS504で画像解析部304が第2の画像所見を取得する手法は、上述の例に限らない。たとえば、画像解析部304は画像特徴量に基づいて、SVM(Support Vector Machine)やランダムフォレストといった機械学習の手法を用いて第2の画像所見を取得してもよい。
また、画像解析部304が事前に機械学習を行った分類器を用いて第2の画像所見を取得する場合を例に説明したが、画像解析部304は画像特徴量に基づくルールベース処理により第2の画像所見を取得してもよい。また、画像所見に変換可能な画像特徴量が予め設計されている場合には、画像解析部304は当該設計に基づいて画像特徴量から第2の画像所見を取得してもよい。画像解析部304は、第2の画像所見の取得方法をその所見項目ごとに適切な方法を用いてもよい。
[第1の実施形態の変形例3]
ステップS504において、画像解析部304は画像解析により取得できる全ての画像所見項目についての第2の画像所見を取得する場合を例に説明したが、本発明はこれに限らない。たとえば画像解析部304は、値が不足していても機械学習への影響が少ない所見項目についての第2の画像所見は取得しなくてもよい。また,画像解析部304は、ステップS501で第1の画像所見が取得できなかった所見項目に対応する第2の画像所見のみを取得してもよい。
[第2の実施形態]
第2の実施形態では、第1の実施形態と同様に、肺結節影に関する診断推論を行うCAD装置102の学習用データを取得する情報処理装置101について説明する。第2の実施形態に係る情報処理装置101は、第1の画像所見と第2の画像所見とに基づいて学習用データを選択する。特に、第1の画像所見と第2の画像所見とでその内容が異なる場合に情報処理装置101は、当該症例は学習用データとして信頼性の低い症例であると判定し、学習用データとして当該症例を選択しない。
第2の実施形態に係る情報処理装置101を含むシステム構成、情報処理装置101のハードウェア構成、機能構成、情報処理装置101により取得される各種の情報の構成、及び情報処理装置101により行われる処理はそれぞれ、図1、図2、図3、図4、図5を用いて説明した第1の実施形態と同様であるため、上述した説明を援用することによりここでの詳しい説明を省略する。また、特に断らない限り、第1の実施形態で説明した項目については、同一の番号を付すこととする。
図7は、図5に示すステップS505で学習用データ取得部305が学習用データを取得する処理の一例を示すフローチャートである。
ステップS601乃至ステップS607、及びステップS701乃至ステップS721は、学習用データの候補である少なくとも一つの症例のそれぞれに関して行われる処理であり、ステップS501で取得された症例の全てに対して行われる繰り返し処理である。
ステップS701乃至ステップS721は、i番目の症例において取得された第1の画像所見のそれぞれに関して行われる処理であり、当該取得された第1の画像所見の所見項目の全てに対して行われる繰り返し処理である。
ステップS701において学習用データ取得部305は、ステップS501で取得した第1の画像所見とステップS504で取得した第2の画像所見とに基づいて、第1の画像所見を学習用データとして用いるか否かを判定する。具体的には、学習用データ取得部305は、第1の画像所見と第2の画像所見との比較に基づいて、第1の画像所見が学習用データとして妥当であるか否かを判定する。この観点において、学習用データ取得部305は判定手段の一例である。
たとえば学習用データ取得部305は、第1の画像所見と第2の画像所見との一致度が所定の基準を超えている場合には、第1の画像所見を学習用データとして用いると判定する。二つの画像所見の一致度は、たとえば画像所見の同義語、類義語、包含関係を定義したシソーラス辞書を用いて判定される。所定の基準は所見項目ごとに設定されてもよい。またたとえば、所定の基準をユーザが第2の画像所見の信頼性に基づいて予め設定してもよい。たとえば、第2の画像所見の信頼性が高い所見項目については一致度の基準を高く設定し、信頼性が低い所見項目については一致度の基準を低く設定できる。第2の画像所見の信頼性は、たとえば、正しいと考えられる所見が既にわかっている症例の医用画像を解析して得られた第2の画像所見の正答率等に基づいて評価される。なお、第2の画像所見を取得しない所見項目や、第2の画像所見の信頼性が所定値未満の所見項目については、ステップS701における判定を行わずに、ステップS702に処理を進めてもよい。第1の画像所見を学習用データに用いると判定された場合にはステップS702に進み、第1の画像所見を学習用データに用いないと判定された場合にはステップS711に進む。
ステップS711において学習用データ取得部305は、当該ループにおいて処理の対象である症例を、診断推論の学習用データとして用いないように制御する。具体的には、学習用データ取得部305は当該症例を学習用データ451−i(i=1,2,・・・)に追加しない。
ステップS702において学習用データ取得部305は、ステップS501で取得された第1の画像所見を学習用データ451−iの画像所見群454に追加する。なお、学習用データ取得部305は、第2の画像所見の信頼性が所定値以上の所見項目については、第1の画像所見の代わりに第2の画像所見を学習用データに追加してもよい。
なお、第2の実施形態では、第1の画像所見と第2の画像所見との一致度に基づいて第1の画像所見を学習用データとして用いるか否かを判定する場合を例に説明したが、たとえば一致度に応じて当該症例の学習の重みを設定して第1の画像所見と第2の画像所見とを学習用データに用いてもよい。
第2の実施形態に係る情報処理装置101によれば、読影レポートや電子カルテ等に記載された情報と、医用画像を解析することにより取得された情報とに基づいて、学習用データとして用いる情報を選択的に取得することができる。具体的には、情報処理装置101は第1の画像所見と、第2の画像所見との一致度に基づいて、ある症例の情報を学習用データとして用いるか否かを判別して選択することができる。これにより、たとえば読影レポートに誤記等を含む症例や、読影レポートから情報を取得できなかった症例等を学習用データとして用いないように制御することができる。学習用データとして用いるか否かを判定することにより、当該学習用データを用いた機械学習によるCADの推論精度を向上することができる。
[第3の実施形態]
第3の実施形態では、第1の実施形態と同様に、肺結節影に関する診断推論を行うCAD装置102の学習用データを取得する情報処理装置101について説明する。第3の実施形態に係る情報処理装置101は、第1の画像所見と第2の画像所見とに基づいて学習用データを選択する。特に、第1の画像所見をデータベースから取得できなかった場合には、情報処理装置101は当該症例の医用画像から取得した第2の画像所見を学習用データとして用いる。
第3の実施形態に係る情報処理装置101を含むシステム構成、情報処理装置101のハードウェア構成、機能構成、情報処理装置101により取得される各種の情報の構成、及び情報処理装置101により行われる処理はそれぞれ、図1、図2、図3、図4、図5を用いて説明した第1の実施形態と同様であるため、上述した説明を援用することによりここでの詳しい説明を省略する。また、特に断らない限り、第1の実施形態で説明した項目については、同一の番号を付すこととする。
図8は、図5に示すステップS505で学習用データ取得部305が学習用データを取得する処理の一例を示すフローチャートである。
ステップS601乃至ステップS607、及びステップS701乃至ステップS711は、学習用データの候補である少なくとも一つの症例のそれぞれに関して行われる処理であり、ステップS501で取得された症例の全てに対して行われる繰り返し処理である。
ステップS701乃至ステップS711は、i番目の症例において取得された第1の画像所見のそれぞれに関して行われる処理であり、所見項目の全てに対して行われる繰り返し処理である。
学習用データ取得部305は、i番目の症例の第1の画像所見が取得できたか否かを判定し(ステップS603)、第1の画像所見が取得できなかった場合(ステップS603でNo)、当該症例の医用画像を解析して取得した第2の画像所見を学習用データとして用いる(ステップS611)。一方、第1の画像所見が取得できた場合(ステップS603でYes)、学習用データ取得部305は当該第1の画像所見を学習用データとして用いるか否かを判定し(ステップS701)、当該第1の画像所見を学習用データとして用いると判定された場合には当該第1の画像所見又は第2の画像所見の何れか一方を学習用データとして用いる(ステップS702)。当該第1の画像所見を学習用データとして用いないと判定された場合(ステップS701でNo)、学習用データ取得部305はi番目の症例を学習用データとして用いない(ステップS711)。i番目の症例を学習用データとして用いる場合、学習用データ取得部305は当該症例の診断された疾患名である確定診断を学習用データに追加し、学習用データDB306に保存する(ステップS606)。
なお、第3の実施形態では、第1の画像所見と第2の画像所見とに基づいて第1の画像所見を学習用データに用いるか否かを判定する場合を例に説明したが、判定された結果に応じて当該症例の学習の重みを設定し、第1の画像所見と第2の画像所見とを学習に用いてもよい。
第3の実施形態に係る情報処理装置101によれば、第1の画像所見と第2の画像所見とに基づいて学習用データを取得することができる。特に、既存のデータに入力されている第1の画像所見に不足があった場合において、画像解析により取得された第2の画像所見で不足を補うことができる。また、読影レポートや電子カルテ等に記載された情報と、医用画像を解析することにより取得された情報とに基づいて、学習用データとして用いる情報を選択的に取得することができる。これにより、情報処理装置101により取得された学習用データを用いた機械学習によるCADの推論精度を向上することができる。
[第4の実施形態]
第4の実施形態では、第1の実施形態と同様に、肺結節影に関する診断推論を行うCAD装置102の学習用データを取得する情報処理装置101について説明する。第4の実施形態に係る情報処理装置101は、ある所見項目に関する画像所見が読影レポート等の情報から取得できなかった場合に、その所見項目の重要度に応じて、当該症例の画像から取得した画像所見を用いるか、当該症例を学習対象から除外するかを切り替える。
第4の実施形態に係る情報処理装置101を含むシステム構成、情報処理装置101のハードウェア構成、機能構成、情報処理装置101により取得される各種の情報の構成、及び情報処理装置101により行われる処理はそれぞれ、図1、図2、図3、図4、図5を用いて説明した第1の実施形態と同様であるため、上述した説明を援用することによりここでの詳しい説明を省略する。また、特に断らない限り、第1の実施形態で説明した項目については、同一の番号を付すこととする。
第4の実施形態に係る情報処理装置101の学習用データ取得部305は、重要度取得部(不図示)を備える。重要度取得部(不図示)は、図9に例示する所見項目重要度定義情報群900(以下、情報群900と称する。)といった、所見項目ごとに予め定義された情報に基づいて、所見項目の重要度を判定する。
図9は、情報群900の構成の一例を示す図である。情報群900は、1つ以上の所見項目重要度定義情報(以下、定義情報と称する。)901−1、901−2、・・・を含む。定義情報901−i(i=1,2,・・・)は、診断902、所見項目重要度群(以下、重要度群と称する。)903の各情報を含む。重要度群903は、病変904、大きさ重要度905、形状重要度906、石灰化濃度比重要度907、散布巣重要度908、・・・といった、それぞれの所見項目に対する重要度を示す各情報を含む。たとえばそれぞれの重要度を示す情報は予め定義された「高」、「中」、「低」の何れかの値を取る。重要度を示す情報は、ユーザが所定の範囲内で指定する任意の値であってもよいし、重要であるか否かを2値で表してもよい。たとえば重要度を示す情報は「5」、「4」、「3」、「2」、「1」、「0」の6値などの離散値のいずれかの値であってもよいし、「0.0」から「1.0」までの範囲における任意の実数値などの連続値であってもよい。
図10は、図5に示すステップS505で学習用データ取得部305が学習用データを取得する処理の一例を示すフローチャートである。
ステップS601乃至ステップS611、ステップS711、及びステップS1001乃至ステップS1002は、学習用データの候補である少なくとも一つの症例のそれぞれに関して行われる処理であり、ステップS501で取得された症例の全てに対して行われる繰り返し処理である。
ステップS602乃至ステップS605、ステップS611、ステップS711、及びステップS1001乃至ステップS1002は、i番目の症例において取得された第1の画像所見のそれぞれに関して行われる処理であり、所見項目の全てに対して行われる繰り返し処理である。
学習用データ取得部305は、i番目の症例の第1の画像所見が取得できたか否かを判定する(ステップS603)。第1の画像所見が取得できなかった場合、ステップS1001に進む。
ステップS1001において重要度取得部(不図示)は、情報群900を参照して画像所見の所見項目に対して予め定義されている重要度を示す情報である重要度Rを取得する。
ステップS1002において重要度取得部(不図示)は、当該所見項目の重要度が高いか否かを判定する。具体的には、重要度取得部(不図示)はたとえば重要度Rの値が「高」であるか否かを判定する。重要度Rが「高」の場合、学習用データ取得部305はi番目の症例を学習用データとして用いない(ステップS711)。一方、重要度Rが「高」でない場合(S1002のNo)、当該症例の医用画像を解析して取得した第2の画像所見を学習用データとして用いる(ステップS611)。
i番目の症例を学習用データとして用いる場合、学習用データ取得部305は当該症例の診断された疾患名である確定診断を学習用データに追加し、学習用データDB306に保存する(ステップS606)。
なお、上述の例では図9に例示した情報群900を予め定めておく場合を例に説明したが、疾患名を推論した結果に応じて情報群900を予め定め、また更新してもよい。たとえば、ユーザまたは重要度取得部(不図示)またはCAD装置102またはその他の制御部(不図示)は、「肺癌」の症例で且つ「肺癌」と診断推論される複数の症例に対して石灰化濃度比の画像所見のみを「高」、「中」、「低」、「なし」と変えて診断推論を行い、推論結果が「肺癌」以外に変化した症例の割合に基づき石灰化濃度比の重要度Rを決定してもよい。たとえば変化した症例の割合が30%未満なら「低」、30%以上で70%未満ならば「中」、70%以上ならば「高」とする。すなわち、前記割合が70%以上の場合は、所見取得における誤差が診断推論の学習に与える影響が大きいと仮定し、上述のステップS1002とステップS711の処理において、取得した症例を学習には用いないよう制御される。新規の症例に対してCAD装置102で行われた結果に基づいて情報群900が更新されてもよい。たとえば、新規の症例において入力されているある所見項目の値を「Null」に置き換えて推論を行った場合に、推論される疾患名が変化したり、所定の基準以上に疾患名に対する推論確率が変化したりする所見項目の重要度が高く設定されるようにしてもよい。
また、第4の実施形態では、重要度Rを診断毎に定義する例を説明したが、重要度Rは所見項目毎に定義されてもよいし、症状など診断に関わる他の臨床情報に対応付けて定義されてもよい。また、ステップS1002で重要度Rが「0」である場合のように、すなわち画像所見の値が当該診断の推論と独立であることが明らかな場合は、画像所見の値が空であっても、任意の値であってもよい。
第4の実施形態に係る情報処理装置101によれば、第1の画像所見と第2の画像所見とに基づいて学習用データを取得することができる。特に情報処理装置101は、既存のデータに入力されている第1の画像所見に不足があった場合において、画像解析により取得された第2の画像所見で不足を補うことができる。また情報処理装置101は、重要度が高い所見項目に不足がある場合にはその症例を学習用データとして用いないようにすることができる。これにより、CAD装置102の推論で用いられる機械学習を精度よく行うことができる。
[第5の実施形態]
第5の実施形態では、第1の実施形態と同様に、肺結節影に関する診断推論を行うCAD装置102の学習用データを取得する情報処理装置101について説明する。第5の実施形態に係る情報処理装置101は、医用画像を解析することにより得られた第2の画像所見に関する確信度に応じて、第1の画像所見と第2の画像所見とを用いて学習用データを取得する。
第5の実施形態に係る情報処理装置101を含むシステム構成、情報処理装置101のハードウェア構成、機能構成、情報処理装置101により取得される各種の情報の構成、及び情報処理装置101により行われる処理はそれぞれ、図1、図2、図3、図4、図5を用いて説明した第1の実施形態と同様であるため、上述した説明を援用することによりここでの詳しい説明を省略する。また、特に断らない限り、第1の実施形態で説明した項目については、同一の番号を付すこととする。
第5の実施形態に係る情報処理装置101の学習用データ取得部305は、重要度取得部(不図示)と確信度取得部(不図示)とを備える。確信度取得部(不図示)は、画像所見取得部304で取得された第2の画像所見がどの程度確かであるのかを示す確信度Cを取得する。
図11は、図5に示すステップS505で学習用データ取得部305が学習用データを取得する処理の一例を示すフローチャートである。
ステップS601乃至ステップS611、ステップS701乃至ステップS711、ステップS1001、及びステップS1101乃至ステップS1131は、学習用データの候補である少なくとも一つの症例のそれぞれに関して行われる処理であり、ステップS501で取得された症例の全てに対して行われる繰り返し処理である。
ステップS602乃至ステップS605、ステップS611、ステップS701乃至ステップS702、及びステップS1121乃至ステップS1131は、i番目の症例において取得された第1の画像所見のそれぞれに関して行われる処理であり、所見項目の全てに対して行われる繰り返し処理である。
ステップS1101の処理において、確信度取得部(不図示)は、ステップS504で取得された第2の画像所見の取得の確信度Cを判定する。確信度Cはたとえば、画像所見取得部304で用いる分類器が出力する分類の確率に基づき取得される値であり、ここでは、CNNの出力層で用いられるsoftmax関数の出力値に基づくこととする。たとえば確信度Cは、softmax関数の出力値が0.5未満ならば「低」、0.5以上で0.8未満ならば「中」、0.8以上ならば「高」とする。
重要度取得部(不図示)はステップS1101で確信度Cを取得した所見項目に関する重要度Rを取得する(ステップS1001)。学習用データ取得部305は、当該所見項目に関して第1の画像所見が取得できたか否かを判定し(ステップS603)、第1の画像所見を取得できなかった場合(S603でNo)、ステップS1131に進む。
ステップS1131において学習用データ取得部305は、重要度Rと確信度Cとに応じて第2の画像所見を学習用データとして用いるか否かを判定する。具体的には、学習用データ取得部305はたとえば、重要度Rが「高」であり且つ確信度Cが「高」である、又は、重要度Rが「中」以下且つ確信度Cが「中」以上であるか否かを判定する。ステップS1131の判定結果が真の場合(S1131でYes)、当該症例の医用画像を解析して取得した第2の画像所見を学習用データとして用いる(ステップS611)。一方、ステップS1131の判定結果が偽の場合(S1131でNo)、学習用データ取得部305はi番目の症例を学習用データとして用いない(ステップS711)。
ステップS603において第1の画像所見を取得できたと判定された場合、学習用データ取得部305は第1の画像所見を学習用データとして用いるか否かを判定する(ステップS701)。第1の画像所見を学習用データとして用いないと判定された場合(ステップS701でNo)、ステップS1121に進む。
ステップS1121において学習用データ取得部305が行う判定に関する処理はステップS1131における判定に関する処理と同様である。上述した説明を援用することによりここでの詳しい説明を省略する。ステップS1121の判定結果が真の場合(S1121でYes)、当該症例の医用画像を解析して取得した第2の画像所見を学習用データとして用いる(ステップS611)。一方、ステップS1121の判定結果が偽の場合(S1121でNo)、学習用データ取得部305は、ステップS501で取得された第1の画像所見を学習用データ451−iの画像所見群454に加える(ステップS604)。
i番目の症例に関してすべての所見項目について上述の処理を完了し、i番目の症例を学習用データとして用いる場合、学習用データ取得部305は当該症例の診断された疾患名である確定診断を学習用データに追加し、学習用データDB306に保存する(ステップS606)。
なお、画像所見取得部304の分類器が機械学習により取得された場合、確信度取得部(不図示)は第2の画像所見が取得された医用画像と当該分類器の機械学習に用いられた医用画像との類似性が高い場合に、当該第2の画像所見の所見項目に関して高い確信度Cを取得してもよい。また確信度取得部(不図示)は、大きさや濃度など画像から得られる定量値に対応する所見項目に関して、高い確信度Cを取得してもよい。また確信度取得部(不図示)は、予め所見項目毎に設定された確信度を取得してもよい。また確信度取得部(不図示)は、正解となる画像所見が既知である症例における、画像解析で得られた画像所見の正答率に基づいて確信度Cを取得してもよい。
第5の実施形態に係る情報処理装置101によれば、第1の画像所見と第2の画像所見とに基づいて学習用データを取得することができる。特に情報処理装置101は、既存のデータに入力されている第1の画像所見に不足があった場合において、画像解析により取得された第2の画像所見で不足を補うことができる。また情報処理装置101は、第1の画像所見を取得できず、それに対応する第2の画像所見の確信度が高くない場合には、当該症例を学習用データとして用いないようにすることができる。また情報処理装置101は、第1の画像所見を取得でき、第2の画像所見の確信度Cが高くない場合については第1の画像所見を学習用データとして用いるようにすることができる。また情報処理装置101は、所見項目の重要度が高い場合には、画像解析の確信度が高い症例を選択的に学習用データとして用いるようにすることができる。これにより、CAD装置102の推論で用いられる機械学習を精度よく行うことができる。
[変形例]
上述の実施形態においてCAD装置102が肺結節と胸部の疾患とに関する推論を行う場合を例に説明したが、本発明はこれに限らない。たとえばCAD装置102は肺結節以外の他の部位や他の疾患に関する推論を行う装置であってもよい。またCAD装置102は、疾患に関する推論に限られず、治療方針や類似症例に関する推論を行う装置であってもよい。
上述の実施形態において、たとえば読影レポートから取得した第1の画像所見と、医用画像の画像特徴量に基づいて取得した第2の画像所見とに基づいて学習用データを取得する場合を例に説明したが、本発明はこれに限らない。CAD装置102は医用画像の画像特徴量を入力として当該医用画像に描出される病態の疾患名を推論する構成であってもよい。その場合CAD装置102の推論器の学習用データとなる症例は画像所見に加えて、または画像所見に代えて画像特徴量を含んでいてもよい。
CAD装置102が画像特徴量を入力として疾患名を推論する構成である場合に、情報処理装置101が学習用データを取得する例を説明する。情報処理装置101は過去に疾患名が診断された症例に含まれる医用画像を解析することにより第1の画像特徴量を取得する。ここで第1の画像特徴量は第1の情報の一例である。しかしながら、解析の対象として情報処理装置101に入力された医用画像の状態により第1の画像特徴量を適切に把握できない場合が考えられる。ここで医用画像の状態とはたとえば、医用画像の画質や大きさ、医用画像が描出する被検体の範囲である。たとえば情報処理装置101に入力された医用情報が被検体の肺を含まないために、肺結節に関する推論を行うための画像特徴量を取得できない場合がある。情報処理装置101は上述の実施形態と同様の思想により、たとえば第1の画像特徴量の値や、画像特徴量の種類に関して予め定められている重要度に基づいて第1の画像特徴量を学習用データとして用いるか否かを選択する。第1の画像特徴量を学習用データとして用いない場合に、情報処理装置101は第2の画像特徴量を取得する。ここで第2の画像特徴量は第2の情報の一例である。情報処理装置101はたとえば、第1の画像特徴量と対応する種類の画像特徴量を取得するのに適切な状態に当該医用画像を加工したり、当該加工の程度を第1の画像特徴量の取得時よりも強めたりしたうえで再度解析を行い、取得された画像特徴量を第2の画像特徴量とする。別の例では、情報処理装置101は第1の画像特徴量と対応する種類の画像特徴量を、第1の画像特徴量を取得したのとは異なるアルゴリズムにより取得し第2の画像特徴量とする。
CAD装置102が画像特徴量を入力として疾患名を推論する構成である場合にも、情報処理装置101は上述の第1の実施形態乃至第5の実施形態と同様にして第1の情報と第2の情報とに基づいて学習用データを取得することができる。情報処理装置101またはCAD装置102の少なくともいずれかに、CAD装置102に入力された症例に対する疾患名の推論の根拠をユーザに提示する提示部(不図示)を備えていてもよい。また、CAD装置102に入力された医用画像の画像特徴量を画像所見に変換する変換部(不図示)を情報処理装置101またはCAD装置102に備えてもよい。提示部(不図示)は、変換部(不図示)により画像特徴量から画像所見に変換された情報を推論の根拠としてユーザに提示してもよい。
上述の実施形態のように第1の情報と第2の情報とを比較する場合であって、第1の情報と第2の情報とがともに画像特徴量である場合には、上述の比較の例に加えて、さらに画像特徴量に関する疫学データやビッグデータを利用して比較してもよい。たとえば、ある症例において患者の年齢や性別や既往歴といった情報から画像特徴量の値の範囲を定め、情報処理装置101は当該範囲に基づいて第1の情報と第2の情報とのいずれか学習用データとして適切かを判定してもよい。
上述の実施形態においては読影レポートといった情報から取得された第1の画像所見(第1の情報)と、医用画像を解析することにより取得された第2の画像所見(第2の情報)とに基づいて学習用データを取得する場合を例に説明したが、本発明はこれに限らない。たとえば、第1の情報と第2の情報との少なくともいずれか一方は、読影レポートや電子カルテといった情報に含まれる、画像所見以外の情報であってもよい。読影レポートや電子カルテといった情報に含まれる画像所見以外の情報とは、たとえば患者の年齢や性別といった情報である。また、第1の画像所見と第2の画像所見とに加えて、さらに当該画像所見以外の情報に基づいて学習用データを取得してもよい。たとえば学習用データ取得部305は、患者の年齢や性別に鑑みて信頼度が低いと考えられる第1の情報又は第2の情報を学習用データとして用いないようにしてもよい。
また、学習用データ取得部305は同一の患者の複数の時点で取得された複数の情報に基づいて、第1の情報や第2の情報を学習用データとして用いるか否かを判定してもよい。すなわち情報処理装置101は、特定の患者の時系列情報と、第1の情報と第2の情報とに基づいて学習用データを取得してもよい。学習用データ取得部305は既知の症例の時系列情報と、学習用データの候補となる症例の時系列情報とを取得する。たとえば所見項目「大きさ」に関して、既知の症例の時系列情報に鑑みて肺結節の大きさが大きくなる可能性が高い場合を例に考える。情報処理装置101は学習用データの候補となる症例に関して取得された「大きさ」の画像所見を、当該候補の症例において取得された画像所見(第1の情報及び第2の情報)と、当該候補の症例において過去に取得された画像所見とを比較する。当該候補の症例において取得された画像所見が過去の画像所見よりも肺結節が小さくなっていることを示している場合には、当該候補の症例において取得された画像所見の妥当性を低く判定する。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(たとえば、ASIC)によっても実現可能である。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
上述の各実施形態における情報処理装置は、単体の装置として実現してもよいし、複数の装置を互いに通信可能に組合せて上述の処理を実行する形態としてもよく、いずれも本発明の実施形態に含まれる。共通のサーバ装置あるいはサーバ群で、上述の処理を実行することとしてもよい。情報処理装置および情報処理システムを構成する複数の装置は所定の通信レートで通信可能であればよく、また同一の施設内あるいは同一の国に存在することを要しない。
本発明の実施形態には、前述した実施形態の機能を実現するソフトウェアのプログラムを、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータが該供給されたプログラムのコードを読みだして実行するという形態を含む。
したがって、実施形態に係る処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明の実施形態の一つである。また、コンピュータが読みだしたプログラムに含まれる指示に基づき、コンピュータで稼働しているOSなどが、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。
上述の実施形態を適宜組み合わせた形態も、本発明の実施形態に含まれる。

Claims (10)

  1. 患者の症例の特徴に関する情報であって、前記患者を診断することにより得られた情報である症例情報を取得する第1の取得手段と、
    前記症例情報を解析することにより、前記患者の症例に関する情報である第2の情報を取得する第2の取得手段と、
    前記症例情報に含まれる情報である第1の情報と、前記第1の情報の項目に関して前記取得された前記第2の情報との一致度に基づいて、前記症例情報を機械学習のための学習用データとして用いるか否かを判定する判定手段と、
    を有することを特徴とする情報処理装置。
  2. 前記判定手段は、前記第1の情報と、前記第1の情報の項目に関して前記取得された前記第2の情報とが異なる場合に、前記症例情報を前記学習用データとして用いないと判定することを特徴とする請求項に記載の情報処理装置。
  3. 前記判定手段は、前記第1の情報の項目に関して前記取得された前記第2の情報の信頼性に基づいて、前記第1の情報と前記第2の情報の何れを前記学習用データとして用いるかを判定することを特徴とする請求項1または2のいずれか1項に記載の情報処理装置。
  4. 前記判定手段は、前記第1の情報の項目の診断における重要度に基づいて、前記症例情報を前記学習用データとして用いるか否かを判定することを特徴とする請求項1乃至請求項のいずれか1項に記載の情報処理装置。
  5. 前記判定手段により前記症例情報を前記学習用データとして用いると判定された場合に、前記症例情報を前記学習用データとして取得する第3の取得手段をさらに有することを特徴とする請求項1乃至請求項のいずれか1項に記載の情報処理装置。
  6. 前記判定手段は、前記第1の情報と前記第2の情報との一致度を、同義語と類義語と包含関係とのうち、少なくともひとつを定義した辞書を用いて判定することを特徴とする請求項1乃至請求項5のいずれか1項に記載の情報処理装置。
  7. 前記第1の情報および前記第2の情報は、画像所見であることを特徴とする請求項1乃至請求項6のいずれか1項に記載の情報処理装置。
  8. 患者の症例の特徴に関する情報であって、前記患者を診断することにより得られた情報である症例情報を取得する第1の取得手段と、
    前記症例情報を解析することにより、前記患者の症例に関する情報である第2の情報を取得する第2の取得手段と、
    前記症例情報に含まれる情報である第1の情報と、前記第1の情報の項目に関して前記取得された前記第2の情報との一致度に基づいて、前記症例情報を機械学習のための学習用データとして用いるか否かを判定する判定手段と、
    を有することを特徴とする情報処理システム。
  9. 患者の症例の特徴に関する情報であって、前記患者を診断することにより得られた情報である症例情報を取得する第一の取得工程と、
    前記症例情報を解析することにより、前記患者の症例に関する情報である第二の情報を取得する第二の取得工程と、
    前記症例情報に含まれる情報である第1の情報と、前記第1の情報の項目に関して前記取得された前記第2の情報との一致度に基づいて、前記症例情報を機械学習のための学習用データとして用いるか否かを判定する工程と、
    を有することを特徴とする計算機が実行する情報処理方法。
  10. 請求項9に記載の情報処理方法をコンピュータに実行させるためのプログラム。
JP2017111068A 2017-06-05 2017-06-05 情報処理装置、情報処理システム、情報処理方法及びプログラム Active JP6957214B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017111068A JP6957214B2 (ja) 2017-06-05 2017-06-05 情報処理装置、情報処理システム、情報処理方法及びプログラム
PCT/JP2018/020472 WO2018225578A1 (ja) 2017-06-05 2018-05-29 情報処理装置、情報処理システム、情報処理方法及びプログラム
US16/700,939 US12027267B2 (en) 2017-06-05 2019-12-02 Information processing apparatus, information processing system, information processing method, and non-transitory computer-readable storage medium for computer-aided diagnosis

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017111068A JP6957214B2 (ja) 2017-06-05 2017-06-05 情報処理装置、情報処理システム、情報処理方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2018206082A JP2018206082A (ja) 2018-12-27
JP6957214B2 true JP6957214B2 (ja) 2021-11-02

Family

ID=64566660

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017111068A Active JP6957214B2 (ja) 2017-06-05 2017-06-05 情報処理装置、情報処理システム、情報処理方法及びプログラム

Country Status (3)

Country Link
US (1) US12027267B2 (ja)
JP (1) JP6957214B2 (ja)
WO (1) WO2018225578A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6818424B2 (ja) * 2016-04-13 2021-01-20 キヤノン株式会社 診断支援装置、情報処理方法、診断支援システム及びプログラム
JP7178910B2 (ja) * 2019-01-16 2022-11-28 キヤノンメディカルシステムズ株式会社 情報処理装置、医用画像処理装置、およびプログラム
EP3916645A4 (en) * 2019-01-25 2022-10-12 Tohoku University SIGNAL PROCESSING METHOD, SIGNAL PROCESSING DEVICE AND SIGNAL PROCESSING PROGRAM
WO2020241857A1 (ja) * 2019-05-31 2020-12-03 富士フイルム株式会社 医療文書作成装置、方法およびプログラム、学習装置、方法およびプログラム、並びに学習済みモデル
JP7370735B2 (ja) * 2019-06-06 2023-10-30 キヤノン株式会社 情報処理装置、方法、及びプログラム
US20230142100A1 (en) * 2020-02-20 2023-05-11 Nec Corporation Inspection assistance apparatus, inspection assistance method, and computer readable recording medium
WO2021177357A1 (ja) * 2020-03-03 2021-09-10 富士フイルム株式会社 情報処理装置、情報処理方法及び情報処理プログラム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7490085B2 (en) * 2002-12-18 2009-02-10 Ge Medical Systems Global Technology Company, Llc Computer-assisted data processing system and method incorporating automated learning
JP2009037565A (ja) * 2007-08-03 2009-02-19 Kyushu Institute Of Technology ベクトル量子化装置及び方法
JP2009093582A (ja) 2007-10-12 2009-04-30 Fuji Xerox Co Ltd 所見分析装置
US20100135552A1 (en) * 2008-11-28 2010-06-03 David Leib Medical Imaging with Accessible Computer Assisted Detection
US10643750B2 (en) * 2013-03-15 2020-05-05 Humana Inc. System and method for determining veracity of patient diagnoses within one or more electronic health records
CN106462655B (zh) * 2013-11-13 2019-04-05 皇家飞利浦有限公司 临床诊断支持网络、系统及方法
US10331852B2 (en) * 2014-01-17 2019-06-25 Arterys Inc. Medical imaging and efficient sharing of medical imaging information
US9959486B2 (en) * 2014-10-20 2018-05-01 Siemens Healthcare Gmbh Voxel-level machine learning with or without cloud-based support in medical imaging
EP3043318B1 (en) * 2015-01-08 2019-03-13 Imbio Analysis of medical images and creation of a report
US9846938B2 (en) * 2015-06-01 2017-12-19 Virtual Radiologic Corporation Medical evaluation machine learning workflows and processes
US10311566B2 (en) * 2015-06-12 2019-06-04 International Business Machines Corporation Methods and systems for automatically determining image characteristics serving as a basis for a diagnosis associated with an image study type
US10265040B2 (en) * 2015-07-13 2019-04-23 Scott Anderson Middlebrooks Method and apparatus for adaptive computer-aided diagnosis
JPWO2017017722A1 (ja) * 2015-07-24 2018-05-24 オリンパス株式会社 処理装置、処理方法及びプログラム
WO2017022908A1 (ko) * 2015-08-04 2017-02-09 재단법인 아산사회복지재단 심층신경망을 이용한 골 연령 산출방법 및 프로그램
US10176408B2 (en) * 2015-08-14 2019-01-08 Elucid Bioimaging Inc. Systems and methods for analyzing pathologies utilizing quantitative imaging
DE102015217429A1 (de) * 2015-09-11 2017-03-16 Siemens Healthcare Gmbh Diagnosesystem und Diagnoseverfahren
US20210065900A1 (en) * 2018-02-09 2021-03-04 Robert Edwin Douglas Radiologist assisted machine learning

Also Published As

Publication number Publication date
US20200105414A1 (en) 2020-04-02
WO2018225578A1 (ja) 2018-12-13
US12027267B2 (en) 2024-07-02
JP2018206082A (ja) 2018-12-27

Similar Documents

Publication Publication Date Title
JP6957214B2 (ja) 情報処理装置、情報処理システム、情報処理方法及びプログラム
Quer et al. Machine learning and the future of cardiovascular care: JACC state-of-the-art review
US11037070B2 (en) Diagnostic test planning using machine learning techniques
JP5582707B2 (ja) 医療意志決定支援装置及びその制御方法
CN111225614B (zh) 诊断辅助装置及信息处理方法
US20110202486A1 (en) Healthcare Information Technology System for Predicting Development of Cardiovascular Conditions
JP6818424B2 (ja) 診断支援装置、情報処理方法、診断支援システム及びプログラム
US11875897B2 (en) Medical image processing apparatus, method, and program, and diagnosis support apparatus, method, and program
JP2023503610A (ja) 医療スキャン映像の相互位置合わせおよびそれとともに使用する方法
JP7013145B2 (ja) 情報処理装置、情報処理システム、情報処理装置の作動方法及びプログラム
Mazzanti et al. Imaging, health record, and artificial intelligence: hype or hope?
Gao et al. Chest X-ray image analysis and classification for COVID-19 pneumonia detection using Deep CNN
US11626209B2 (en) Diagnosis support apparatus, diagnosis support system, diagnosis support method, and non-transitory storage medium
JP7170000B2 (ja) 学習システム、方法及びプログラム
JP7058988B2 (ja) 情報処理装置、情報処理方法およびプログラム
Rios et al. Handling missing values in machine learning to predict patient-specific risk of adverse cardiac events: Insights from REFINE SPECT registry
WO2021157705A1 (ja) 文書作成支援装置、方法およびプログラム
WO2019193982A1 (ja) 医療文書作成支援装置、医療文書作成支援方法、及び医療文書作成支援プログラム
KR20210014893A (ko) 의료용 인공 신경망 기반 행잉 프로토콜을 제공하는 의료 영상 판독 지원 장치 및 방법
Pan et al. Unsupervised machine learning identifies predictive progression markers of IPF
JP2023504026A (ja) 医用イメージング・システムにおける自動式プロトコル指定
US20240193932A1 (en) Information processing apparatus, method, and program
WO2021167018A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
JPWO2019208130A1 (ja) 医療文書作成支援装置、方法およびプログラム、学習済みモデル、並びに学習装置、方法およびプログラム
JP6827245B1 (ja) Aiを用いる診断装置、学習データ生成装置、データ要求装置、診断システム、及び、プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210302

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210423

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210907

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211006

R151 Written notification of patent or utility model registration

Ref document number: 6957214

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151