JP7387573B2 - 情報処理システム、情報処理装置、情報処理方法及びプログラム - Google Patents

情報処理システム、情報処理装置、情報処理方法及びプログラム Download PDF

Info

Publication number
JP7387573B2
JP7387573B2 JP2020169032A JP2020169032A JP7387573B2 JP 7387573 B2 JP7387573 B2 JP 7387573B2 JP 2020169032 A JP2020169032 A JP 2020169032A JP 2020169032 A JP2020169032 A JP 2020169032A JP 7387573 B2 JP7387573 B2 JP 7387573B2
Authority
JP
Japan
Prior art keywords
inference
trained
trained model
information processing
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020169032A
Other languages
English (en)
Other versions
JP2022061192A (ja
Inventor
孝太郎 梅澤
竜太 植田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2020169032A priority Critical patent/JP7387573B2/ja
Priority to US17/493,362 priority patent/US20220108124A1/en
Publication of JP2022061192A publication Critical patent/JP2022061192A/ja
Priority to JP2023194422A priority patent/JP2024009090A/ja
Application granted granted Critical
Publication of JP7387573B2 publication Critical patent/JP7387573B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0004—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by the type of physiological signal transmitted
    • A61B5/0013—Medical image data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/285—Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/40—Software arrangements specially adapted for pattern recognition, e.g. user interfaces or toolboxes therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/87—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using selection of the recognition techniques, e.g. of a classifier in a multiple classifier system
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Pathology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Evolutionary Computation (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • General Physics & Mathematics (AREA)
  • Physiology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Psychiatry (AREA)
  • Mathematical Physics (AREA)
  • Fuzzy Systems (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Computing Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Software Systems (AREA)

Description

本発明は、複数の学習済みモデルを用いて推論を行う情報処理システム、情報処理装置、情報処理方法及びプログラムに関する。
医用撮像装置において取得された医用データを解析し、医師に診断支援情報を提示するコンピュータ支援診断（Ｃｏｍｐｕｔｅｒ Ａｉｄｅｄ Ｄｉａｇｎｏｓｉｓ：ＣＡＤ）システムが知られている。ＣＡＤシステムは、医用データの内、例えば医用画像データに対して機械学習技術を適用し、診断支援情報を出力する。
特許文献１には、機械学習に基づく解析の信頼性を高めるため、異なる撮影方法および異なる信号処理の少なくとも一方の実行により、被検者に関する複数の加工医用信号を取得し、複数の加工医用信号のそれぞれに対して複数の学習済みモデルを用いて推論を行うことが開示されている。
特開２０２０－４２８１０号公報
特許文献１では、階層関係にある複数の学習済みモデルの選択について開示されていない。
そこで、本発明は、階層関係にある複数の学習済みモデルの選択を行うことができる情報処理システム、情報処理装置、情報処理方法及びプログラムを提供することを目的とする。
本発明の目的を達成するために、本発明に係る情報処理装置は、医用画像データを第一のクラス階層に属するクラスに分類する第一の学習済みモデルと、該医用画像データを該第一のクラス階層より下位のクラス階層である第二のクラス階層に属するクラスに分類する第二の学習済みモデルと、を含む複数の学習済みモデルを記憶する記憶部と、ユーザによる推論に関する情報を取得する取得部と、取得部によって取得された推論に関する情報に基づいて、階層関係にある複数の学習済みモデルを選択する選択部と、選択部によって選択された複数の学習済みモデルを通知する通知部と、を備える。
本発明によれば、階層関係にある複数の学習済みモデルを選択することができる。
本発明の情報処理システムの構成を示す図。 本発明の情報処理装置の構成を示す図。 本発明の実施形態１に係る情報処理装置における記憶部の構成を示す図。 本発明の実施形態１に係る学習済みモデルの選択フローを説明する図。 本発明の実施形態１に係る学習済みモデルの推論フローを説明する図。 本発明の実施形態２に係る情報処理装置における記憶部の構成を示す図。 本発明の実施形態２に係る学習済みモデルの選択フローを説明する図。 本発明の実施形態４に係る情報処理装置における記憶部の構成を示す図。
以下、添付図面を参照して本発明の好適な実施形態について説明する。
［第一の実施形態］
図１は、本発明の情報処理システムの構成を示す。
本発明の情報処理システムは、被検者に関する医用データを取得する医用撮像装置１００と、情報端末１１０と、ネットワーク１２０と、情報処理装置１３０とからなる。情報端末１１０は、一つの情報端末でもよく、複数の情報端末でもよい。
情報端末１１０には、操作部１１２と表示部１１４が接続されている。操作部１１２は、操作者からの各種指示を受け付け、情報端末１１０及び医用撮像装置１００に対して、各種指示を伝達する。操作部１１２は、例えば、マウス、キーボード、ボタン、パネルスイッチ、フットスイッチ、トラックボール、ジョイスティックなどからなる。表示部１１４は、操作部１１２における各種指示を入力するためのＧＵＩを表示したり、医用撮像装置１００において取得された医用データに基づく画像データを表示したりする。
図１では、情報端末１１０に対して、操作部１１２と表示部１１４が別体として設けられているが、情報端末１１０は、操作部１１２と表示部１１４の機能を内部に有していてもよい。
医用撮像装置１００は、Ｘ線ＣＴ（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）装置、ＭＲＩ（Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ Ｉｍａｇｉｎｇ）装置、超音波診断装置などの被検者の医用データを取得する装置である。
Ｘ線ＣＴ装置は、Ｘ線源とＸ線検出器を備えている。Ｘ線源とＸ線検出器とを被検者の周りで回転させながら、Ｘ線源からＸ線を被検者に照射してＸ線検出器で検出したデータを投影することによってＣＴデータを生成する。
ＭＲＩ装置は、静磁場内に載置された被検者に対して所定の磁場を発生させ、取得されたデータに対してフーリエ変換することによってＭＲＩデータを生成する。
超音波診断装置は、被検者に対して超音波を送信し、被検者からの反射波である超音波を受信して超音波データを生成する。
医用撮像装置１００によって生成される医用データ（ＣＴデータ、ＭＲＩデータ、超音波データなど）は、三次元データ（ボリュームデータ）、二次元データである。医用データは、例えば、被検者に関する画像データである。画像データには、生データも含まれる。医用画像データは、複数のフレームデータからなる動画像データであってもよい。また、医用データには、医用画像データを用いて各種計測を行った計測データも含まれる。
医用撮像装置１００は、情報端末１１０に接続されている。情報端末１１０は、ＰＣ端末、スマートフォンなどの携帯電話、ノート端末、タブレット端末などである。情報端末１１０は、被検者情報を設定することもでき、医用撮像装置１００から取得される医用データと被検者情報を関連付けることができる。情報端末１１０は、医用撮像装置１００から取得される医用データ、計測データの各種データを表示することもできる。
情報端末１１０及び情報処理装置１３０は、ネットワーク１２０に接続されている。ネットワーク１２０は、病院外の通信ネットワーク、例えば、無線通信（Ｗｉ－Ｆｉ）、インターネット、無線基地局、プロバイダ、通信回線などを含む。また、ネットワーク１２０は、病院内の通信ネットワークであるイントラネットなどを含んでいてもよい。情報端末１１０は、ネットワーク１２０により、情報処理装置１３０と通信することができる。情報端末１１０は、医用データ（医用画像データを含む）や、推論に関する情報、モデルの選択情報等を情報処理装置１３０に伝達することができる。情報処理装置１３０は、医用データ（医用画像データを含む）を用いて推論を行った推論結果を情報端末１１０に伝達することができる。
図２は、本発明の情報処理装置１３０の構成を示す。情報処理装置１３０は、医用画像データを用いて教師データを生成する教師データ生成部２００と、教師データ生成部２００において生成された教師データを用いて、医用画像データに関する学習を行う学習部２０２を有する。また情報処理装置１３０は学習部２０２において生成された学習済みモデルをクラス階層と対応づけて記憶する記憶部２０４と、学習済みモデルを用いて推論を行う推論部２０６を備えている。さらに情報処理装置１３０は、推論に関する情報を取得する取得部２０８と、取得部２０８によって取得された推論に関する情報に基づいて、階層関係にある複数の学習済みモデルを選択する選択部２１０と、選択部２１０によって選択された複数の学習済みモデルを通知する通知部２１２を備えている。
情報処理装置１３０の構成要素（機能）は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などのプロセッサが、メモリに記憶されたプログラム（ソフトウェア）を実行することにより実現される。
情報処理装置１３０は、プロセッサとメモリを内部に有している。プロセッサは、メモリに記憶されたプログラムに従って、情報処理装置１３０の各処理を実行することができ、教師データ生成部２００、学習部２０２、記憶部２０４、推論部２０６、取得部２０８、選択部２１０、通知部２１２などとして機能させることができる。
なお、取得部２０８が取得する推論に関する情報は、例えば推論対象である医用画像データ、推論目的、クラスを示す情報のうち少なくとも一つである。
教師データ生成部２００は、ネットワーク１２０に接続されており、医用画像データ、計測データなどを含む医用データを取得することができる。教師データ生成部２００は、医用画像データを用いて教師データを生成する。教師データ生成部２００によって生成される教師データは、ニューラルネットワークが行う推論のタスクや分類の対象に応じて決定される。
ニューラルネットワークが行う推論のタスクとしては、医用画像データのクラスを分類する分類タスクや、医用画像データのどの位置に何が写り込んでいるかを検出する検出のタスク、医用画像データから対象の領域を抽出するセグメンテーションのタスク等が挙げられる。
分類のタスクを行うニューラルネットワークを学習する際には、教師データ生成部２００は、医用画像データと、医用画像データに写り込んでいる対象を示すラベルである正解ラベルとを対にした教師データを生成する。
一方、ニューラルネットワークによって検出のタスクを行う場合には、教師データ生成部２００は、医用画像データと、医用画像データに対して、医用画像データに写り込んでいる対象の位置を示すＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）と対象を示すラベルである正解ラベルを付与した正解画像とを対にした教師データを生成する。
ニューラルネットワークによって行うタスクがセグメンテーションの場合には、教師データ生成部２００は、医用画像データと、医用画像データに対して、医用画像データに写り込んでいる対象の画素の位置情報と、対象を示すラベルである正解ラベルを付与した正解画像とを対にした教師データを生成する。
例えば、情報端末１１０から取得された医用画像データから、病変の有無、病変の種類及び領域をセグメンテーションするタスクを行うニューラルネットワークに学習させる場合には、教師データ生成部２００は、病変領域を有する医用画像データと、医用画像データに対して病変の種類を示す正解ラベルの情報と該病変の画素の位置情報と付与した正解画像とを対にした教師データを生成する。
また、教師データ生成部２００は、学習部２０２で学習を行うニューラルネットワークに応じて、医用データの前処理を行ってもよい。例えば、ニューラルネットワークによる推論の対象が医用画像データである場合には、取得した医用画像データに対して、ノイズ除去や、フィルタ処理、画像の切り出し、解像度の変更等の処理を行う。推論の対象が文章等の自然言語であった場合には、形態素解析を行い、ベクトル変換技術を適用する等、ニューラルネットワークの推論の対象と、タスクに応じて、教師データ生成部２００は処理対象のデータの前処理を行う。
なお、図２では、教師データ生成部２００は、情報処理装置１３０の内部に有している形態を示したが、情報端末１１０は、教師データ生成部２００を内部に有していてもよい。つまり、教師データ生成部２００は、情報端末１１０の構成として保有されていてもよい。例えば、上述したような教師データを情報端末１１０で生成した後に、ネットワーク１２０を介して、情報処理装置１３０の学習部２０２によって推論器の学習を行ってもよい。
学習部２０２は、教師データ生成部２００と接続されている。学習部２０２は、ニューラルネットワークを用いて、医用画像データを教師データと対応づけて学習することにより学習済みモデルを生成する。ここで、学習済みモデルは、学習処理を所定基準まで実施することにより決定されたパラメータと該パラメータに対応するモデルの情報とを示す。なお、学習済みモデルは、転移学習として他のモデルの学習に用いられても、該学習済みモデルに対してさらに学習処理が実行されてもよい。
ニューラルネットワークには、複数の層が含まれる。ニューラルネットワークの中でも、特にディープラーニング技術の一種であるＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）において、図示はしないが、入力層と出力層との間に複数の中間層を有している。複数の中間層は、畳み込み層、プーリング層、アップサンプリング層、合成層がある。畳み込み層は、入力値群に対して畳み込み処理を行う層である。畳み込み層では、入力された医用画像データの畳み込みを行い、医用画像データの特徴を抽出する。
プーリング層は、入力値群を間引いたり、合成したりすることによって、出力値群の数を入力値群の数よりも少なくする処理を行う層である。アップサンプリング層は、入力値群を複製したり、入力値群から補間した値を追加したりすることによって、出力値群の数を入力値群の数よりも多くする処理を行う層である。合成層は、ある層の出力値群や医用画像データを構成する画素値群といった値群を、複数のソースから入力し、それらを連結したり、加算したりして合成する処理を行う層である。中間層の数は、学習内容に応じて、随時変更することができる。
記憶部２０４は、学習部２０２に接続されている。記憶部２０４は、複数のクラス階層と、複数のクラス階層のそれぞれに対応する学習済みモデルを記憶している。クラス階層は、学習済みモデルが分類するクラスに対応しており、例えば第一のクラス階層は臓器領域を分類するクラス、第二のクラス階層は特定の領域内から異常を検出するクラスである。記憶部２０４においてクラス階層に属するクラスを分類する学習済みモデルが該クラス階層に対応付けられて記憶されている。また第一のクラス階層に対応する学習済みモデルのうち、例えば肺野領域を特定する学習済みモデルと、第二のクラス階層に対応する学習済みモデルのうち、肺野領域から異常部位を検出する学習済みモデルは、階層の関係として定義する関係にある。 階層の関係とは、学習済みモデルによって推論するフローを示しており、例えばＣＴ画像が入力されると、ＣＴ画像から肺野領域を推論する第一の学習済みモデルを適用し、推論された肺野領域から第二の学習済みモデルが異常領域を推論するフローを、記憶部２０４は階層の関係として記憶している。
記憶部２０４が記憶する学習済みモデルは、例えば医用画像データにおける臓器領域や病変領域を検出や抽出するように学習された学習済みモデルである。ここで、学習済みモデルは、例えば、ニューラルネットワークを用いて生成されたものであるが、ニューラルネットワーク技術の中でもディープラーニング技術の一つであるＣＮＮやＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）やＣＮＮやＲＮＮを派生させたモデル以外にも、サポートベクターマシンやロジスティック回帰、ランダムフォレスト等の他の機械学習技術を用いてもよいし、ルールベースに基づく手法を用いてもよい。
推論部２０６は、取得部２０８から医用画像データ、計測データなどを含む医用データを取得することができる。推論部２０６は、記憶部２０４に接続されており、記憶部２０４に記憶された学習済みモデルのうち、後述する選択部２１０によって選択された学習済みモデルを用いて推論を行うことができる。推論部２０６は、例えば医用画像データにおける病変の種類及び領域を抽出するように学習された学習済みモデルを用いて、新たに生成された医用画像データに対して推論を行う。新たに生成された医用画像データに病変がある場合、推論部２０６は、病変の種類及び領域を出力することができる。また、選択部２１０によって階層関係にある複数の学習済みモデルが選択された場合には、階層関係にある複数の学習済みモデルのうち、より上位の学習済みモデルを用いて、推論部２０６は推論処理を実施し、該推論結果に基づく入力を用いて、より下位の学習済みモデルを用いて推論処理を実施する。即ち、推論部２０６は選択された階層関係にある複数の学習済みモデルを用いて推論を行う。
図３は、本発明の記憶部２０４の構成を示す。記憶部２０４は、学習部２０２において学習された複数の学習済みモデルと付帯情報をクラス階層に対応付けて記憶する。クラス階層は、学習済みモデルが推論するクラスに対応しており、クラス階層に属するクラスに分類する学習済みモデルが、該クラス階層に対応付けられて記憶されている。クラスが上位になるほど、医用撮像装置１００によって取得された医用画像データに対して早い段階で推論されるべきクラス階層であり、クラスが下位になるほど該医用画像データに対して後の段階で推論されるべきクラス階層である。上位のクラス階層に対応する学習済みモデルを用いて推論部２０６が推論処理を実行することによって、より下位のクラス階層に対応する学習済みモデルによる推論性能が向上する。また下位のクラス階層に対応する学習済みモデルを補助する働きとして、例えば臓器領域の抽出や、ノイズの削減等が上位のクラス階層に対応する学習済みモデルによる推論処理が実行される。ここで記憶部２０４は、例えば第一のクラス階層３０１と第二のクラス階層３０２から構成され、例えば第一のクラス階層３０１は臓器領域を推論するクラス、第二のクラス階層３０２は、特定の領域から異常を推論するクラスに対応している。なおクラス階層は、３つ以上のクラス階層から構成されていてもよい。記憶部２０４における複数のクラス階層を構成する各クラス階層には、各クラス階層に対応するクラスを推論する学習済みモデルが複数記憶されている。
記憶部２０４における第一のクラス階層３０１には、第１の学習済みモデル３１０と、第１の学習済みモデル３１０に対して第一の付帯情報３３０が付与されて記憶されている。また記憶部２０４における第一のクラス階層３０１には第２の学習済みモデル３１２と、第２の学習済みモデルに対して第二の付帯情報３３２が付与されて記憶されている。
記憶部２０４における第二のクラス階層３０２には、第２－１の学習済みモデル３１４に対して第２－１の付帯情報３３４、第２－２の学習済みモデル３１６に対して第２－２の付帯情報３３６、第２－３の学習済みモデル３１８に対して第２－３の付帯情報３３８、第２－４の学習済みモデル３２０に対して第２－４の付帯情報３２４が付与されて記憶されている。
ここで、第一のクラス階層３０１における第１の学習済みモデル３１０と、第２のクラス階層３０２における第２－１の学習済みモデル３１４および第２－２の学習済みモデル３１６は階層関係にある。ここでは階層関係を模式的に線で繋いで示している。また第一のクラス階層３０１における第２の学習済みモデル３１２は、第二のクラス階層における第２－３の学習済みモデル３１８および第２－４の学習済みモデル３２０と階層関係にある。階層関係とは、例えば医用画像データに対して実行する複数の推論フローに対応している。例えば、第一の推論と、第一の推論を受けて第二の推論を行ってアウトプットを得るフローに対しては、第一の推論を行う学習済みモデルと、第二の推論を行う学習済みモデルを階層関係として記憶部２０４は記憶している。なお、ここでは簡便のために階層関係を線で示したが、例えば学習済みモデルのそれぞれに付帯する付帯情報が、階層関係として第一の推論の後に実施する第二の推論を行う学習済みモデルを示す情報を記憶している。また、より上位のクラス階層に対応する学習済みモデルに付帯する付帯情報が、より下位のクラス階層に対応する学習済みモデルを示す情報を記憶している場合以外にも、より下位のクラス階層に対応する学習済みモデルに付帯する付帯情報が、より上位のクラス階層に対応する学習済みモデルを示す情報を記憶していてもよい。また、上位のクラス階層に対応する学習済みモデルに付帯する付帯情報と、下位のクラス階層に対応する学習済みモデルに付帯する付帯情報が、互いのモデルを指す情報を双方向に記憶していてもよい。
記憶部２０４が複数のクラス階層に対応付けて複数の学習済みモデルを記憶し、複数の学習済みモデル間の階層関係を記憶することによって、後述する選択部２１０による階層関係にある学習済みモデルを選択することができ、ユーザによるモデル選定や、選定された複数のモデルに対するアウトプットとインプットを入力する手間を削減することができる。なお、図３では、６つの学習済みモデルを付帯情報とともに記憶部２０４に記憶する形態を示したが、記憶部２０４は、７つ以上の学習済みモデルを付帯情報とともに記憶することもできる。また、複数の学習済みモデルのそれぞれは、推論するタスク、分類対象を示すクラス、モデル構造、教師データのいずれか一つが異なっているものする。また各学習済みモデルに付与される付帯情報に基づいてそれぞれの学習済みモデルを指定したり、学習済みモデルを特定したりすることができる。さらに付帯情報に基づいて、階層関係にある学習済みモデルをさらに指定、特定できる。
推論部２０６は、情報端末１１０からの入力に応じて選択部２１０によって付与情報に基づいて適切な学習済みモデルを選択し、選択された学習済みモデルを用いて、情報端末１１０から取得される推論対象のデータに対して推論処理を実行する。
推論部２０６は、例えば医用画像データにおける病変領域や臓器領域を抽出するように学習された学習済みモデルを用いて、推論対象の医用画像データに対して推論を行う。推論部２０６は階層関係にある複数の学習済みモデルが選択部２１０によって選択された場合には、より上位のクラス階層に対応する学習済みモデルによって推論をし、該推論による推論結果に基づく入力をより下位のクラス階層に対応する学習済みモデルによって推論を行う。推論部２０６は上位のクラス階層に対応する学習済みモデルによって推論処理をし、該学習済みモデルと階層関係にあるより下位のクラス階層に対応する学習済みモデルによって推論処理を実行することで、出力される推論処理の精度が向上する。
推論部２０６は、選択部２１０によって選択された階層関係にある複数の学習済みモデルのそれぞれの推論結果を通知部２１２によって通知させてもよいし、最も下位に対応する学習済みモデルによる推論結果を通知部２１２によって通知してもよい。
取得部２０８は、情報端末１１０より推論に関する情報を取得する。推論に関する情報は、例えば推論対象の医用画像データや、推論目的、クラスを示す情報のすくなくとも一つを含む情報である。ユーザは、例えば情報端末１１０を操作して、推論対象の医用画像データを送信すると、取得部２０８は送信された推論に関する情報を取得し、取得した情報を選択部２１０に送信する。取得部２０８は、取得された推論に関する情報に不足があった場合には、追加の情報の送信をユーザに促す通知を通知部２１２を介して実施させる。また、取得部２０８は、学習済みモデルの選択情報を取得してもよい。取得された選択情報に応じて、選択部２１０は学習済みモデルを選択し、選択された学習済みモデルを用いて推論部２０６によって推論をする。選択情報は、例えば情報端末１１０の操作部１１２を介してユーザによって入力される。
選択部２１０は、取得部２０８が取得した推論に関する情報に基づいて、記憶部２０４から階層関係にある複数の学習済みモデルを推論部２０６によって推論を行うための学習済みモデルとして選択する。
例えば取得部２０８が取得をした推論に関する情報が医用画像データであった場合には、選択部２１０は、複数のクラス階層のそれぞれに対応する学習済みモデルとの適合度を算出し、適合度に応じて階層関係にある複数の学習済みモデルを選択する。適合度の算出は、例えば、クラス階層に対応するクラスに対応する対象物が、対象の医用画像データに存在する確率を、学習済みのモデルにより取得してもよい。また適合度は、他の検出手法によって検出されてもよい。また例えば、各クラス階層に対応する学習済みモデルの教師データとの類似度により適合度を算出してもよい。選択部２１０は、適合度を算出し、算出された適合度が所定の値よりも大きいクラス階層に対応する学習済みモデルから、学習済みモデルを選択する。選択部２１０は、適合度が所定の値よりも大きい学習済みモデルのうち、最も下位の階層に対応する学習済みモデルを選択し、また選択した学習済みモデルの付帯情報から、階層の関係にあるより上位の階層に対応する学習済みモデルを選択する。またクラス階層が３つ以上ある場合には、階層の関係に応じて３つ以上の学習済みモデルが選択される。なお、選択部２１０による選択はこれにかぎらず、適合度が最も高いモデルを含むように階層関係にある複数の学習済みモデルが選択されてもよい。
また選択部２１０は、適合度が所定の値よりも大きい学習済みモデルのうち、最も上位のクラス階層に対応する学習済みモデルを選択してもよい。選択部２１０は、選択した最も上位のクラス階層に対応する学習済みモデルの付帯情報からより下位のクラスに対応する学習済みモデルを選択する。またクラス階層が３つ以上ある場合には、階層の関係に応じて３つ以上の学習済みモデルが選択される。
また取得部２０８が取得をした推論に関する情報が推論目的やクラスの情報であった場合には、選択部２１０は、推論目的や、クラスの情報と、記憶部２０４のクラス階層との適合度を算出する。適合度は例えば、推論目的やクラスの情報のベクトルと、クラス階層を構成するクラスのベクトルとの類似度を適合度とする。もしくは、推論目的やクラスの情報のベクトルを入力として、学習済みモデルが推論処理を行った尤度を適合度としてもよい。
さらに取得部２０８が取得した情報が、推論目的やクラスの情報および、医用画像データであった場合に、選択部２１０はまず上述の方法によって推論目的やクラスの情報から適合度を算出する。次に選択部２１０は、医用画像データに対して上述の方法によって適合度を算出する。最後に選択部２１０は、両適合度に基づく適合度に基づいて、上述の方法によって階層関係にある複数の学習済みモデルを選択する。なお、選択部２１０は、両適合度のそれぞれを所定の値と比較して学習済みモデルを選択してもよいし、両適合度を合算や乗算によって組み合わせることによって算出される適合度を所定の値と比較することにより、学習済みモデルを選択してもよい。選択部２１０によって階層関係にある複数の学習済みモデルが選択されると選択された学習済みモデルに関する情報を通知部２１２に送信する。
通知部２１２による通知の後、もしくは前に取得部２０８が例えば情報端末１１０から、ユーザによるモデルの選択情報を取得した場合には、選択部２１０は、選択情報に基づいて階層関係にある複数の学習済みモデルを選択する。
通知部２１２は、選択部２１０によって選択された学習済みモデルの情報の通知を行う。通知部２１２による通知は、情報処理装置１３０とネットワーク１２０を介して接続可能な情報端末１１０である。また通知部２１２は、推論部２０６による推論結果を情報端末に通知する。
即ち、本実施形態における情報処理装置１３０は、医用画像データを第一のクラス階層に属するクラスに分類する第一の学習済みモデルと、該医用画像データを該第一のクラス階層より下位のクラス階層である第二のクラス階層に属するクラスに分類する第二の学習済みモデルと、を含む複数の学習済みモデルを記憶する記憶部２０４と、推論に関する情報を取得する取得部２０８と、取得部２０８によって取得された推論に関する情報に基づいて、階層関係にある複数の学習済みモデルを選択する選択部２１０と、選択部２１０によって選択された複数の学習済みモデルを通知する通知部を備える。よって、複数の学習済みモデルから階層関係にある複数の学習済みモデルを選択することができ、ユーザによる複数の学習済みモデルからの学習済みモデルの選定や、選定された複数の学習済みモデルに対するアウトプットとインプットを入力する手間を削減することができる。
以下、図４を用いて推論に関する情報から、選択部２１０が推論を行う学習済みモデルを選択するまでのフローについて説明する。
ステップＳ４００において、取得部２０８は、推論に関する情報を取得する。取得部２０８によって推論に関する情報が取得されると、ステップＳ４０１へと進み、推論に関する情報が取得されなかった場合には、本処理を終了する。
ステップＳ４０１において、選択部２１０は、上述の方法のいずれかによって各クラス階層との適合度を算出し、算出された適合度が所定の値より大きいか否かを判定する。選択部２１０によって算出された適合度が所定の値より大きい場合には、ステップＳ４０２へと進む。選択部２１０によって算出された適合度が所定の値以下の場合には、本処理を終了する。
ステップＳ４０２において、選択部２１０は、所定の値より大きいと判定された学習済みモデルが２つ以上あるか否かを判定する。選択部２１０は、所定の値より大きいと判定された学習済みモデルが２つ以上の場合には、ステップＳ４０３に進み、２つ未満の場合にはステップＳ４０６へ進む。
ステップＳ４０３において、選択部２１０は、複数の学習済みモデルが階層関係にあるかを判定する。選択部２１０による該判定は、２つ以上の学習済みモデルのそれぞれに付帯する付帯情報を参照することで判定される。選択部２１０によって階層関係にある学習済みモデルがないと判定された場合には、ステップＳ４０４へ進み、階層関係にある学習済みモデルがあると判定された場合には、ステップＳ４０５へと進む。
ステップＳ４０４において、選択部２１０は、複数の学習済みモデルのうち、最も適合度の高い学習済みモデル推論部２０６によって推論を行う学習済みモデルとして選択をする。
ステップＳ４０５において、階層関係にある複数の学習済みモデルを、推論部２０６によって推論を行う学習済みモデルとして選択をする。
ステップＳ４０６において、通知部２１２は、選択部２１０によって選択された学習済みモデルを通知する。
次に、図５を用いて、選択部２１０によって選択された学習済みモデルを用いて、推論部２０６が推論する際のフローについて説明する。
ステップＳ５００において選択部２１０によって学習済みモデルが選択されるとステップＳ５０１に進み、モデルが選択されていない場合には、本処理を終了する。
ステップＳ５０１において、推論部２０６は、選択部２１０によって選択された学習済みモデルが２つ以上か否かを判定し、学習済みモデルが２つ未満の場合はステップＳ５０２へ進み、学習済みモデルが２つ以上の場合はステップＳ５０３へと進む。
ステップＳ５０２において、推論部２０６は、選択部２１０によって選択された学習済みモデルを用いて、医用画像データに対して推論処理を実行する。学習済みモデルによる推論処理が実施されると、推論結果を通知部２１２に送信し、ステップＳ５０６へと進む。
ステップＳ５０３において、推論部２０６は、２つ以上の学習済みモデルが階層関係にあるか否かを判定し、階層関係にない場合にはステップＳ５０４へと進み、階層関係にある場合には、ステップＳ５０５へと進む。
ステップＳ５０４において、推論部２０６は、２つ以上の階層関係でない学習済みモデルのそれぞれを用いて推論処理を実行する。学習済みモデルによる推論処理が実施されると、推論結果を通知部２１２に送信し、ステップＳ５０６へと進む。
ステップＳ５０５において、推論部２０６は、階層関係にある複数の学習済みモデルのうち、より上位のクラス階層に対応する学習済みモデルから順に推論処理を実行する。選択された学習済みモデルが、第一のクラス階層３０１に対応する第１の学習済みモデル３１０と、第二のクラス階層３０２に対応する第２－１の学習済みモデル３１４であった場合について説明する。推論部２０６は、第１の学習済みモデル３１０を医用画像データに適用し推論処理を実行し、第一の推論結果を取得する。次に、推論部２０６は、第２－１の学習済みモデル３１４に対して第１の学習済みモデル３１０による第一の推論結果に基づく入力をし、推論処理を行い第二の推論結果を取得する。学習済みモデルによる推論処理が実施されると、推論結果を通知部２１２に送信し、ステップＳ５０６へと進む。
ステップＳ５０６において、通知部２１２は、選択部２１０によって選択された学習済みモデルによる推論結果を通知する。通知部２１２における通知は例えば情報処理装置１３０に対してネットワーク１２０を介して通信可能な情報端末１１０である。なお、通知部２１２による通知は、推論を所望するユーザに通知できれば、例えば情報処理装置１３０に備えついている表示部（不図示）や、情報処理装置１３０に対してユーザがアクセスすることで確認がされてもよい。
本実施形態における情報処理装置１３０によって、複数の学習済みモデルから階層の関係にある複数の学習済みモデルを選択することができ、また選択された階層関係にある複数の学習済みモデルによる推論処理を実行することができる。
（変形例）
上述の実施形態において、選択部２１０は、推論に関する情報とクラス階層との適合度を算出し、適合度が所定の値よりも大きい学習済みモデルから、推論部２０６による推論処理を行う学習済みモデルを選択することを説明した。
ここでは、選択部２１０はさらに選択部２１０によって選択された階層関係にある複数の学習済みモデルの最も下位もしくは、最も上位のクラス階層に対応する学習済みモデルが、さらに上位もしくは下位のクラス階層に対応する学習済みモデルと階層関係にある場合に、選択部２１０は、該学習済みモデルを推奨する学習済みモデルとして選択をし、通知部２１２は、該学習済みモデルの選択を推奨する通知を行ってもよい。
［第二の実施形態］
上述の実施形態において選択部２１０は、推論に関する情報とクラス階層に対応するクラスとの適合度を算出し、該適合度が所定の値よりも大きい学習済みモデルのうち、最も下位もしくは最も上位のクラス階層に対応する学習済みモデルを選択することを説明した。本実施形態においては、選択部２１０は適合度が所定の値よりも大きい学習済みモデルのうち、最も上位のクラス階層に対応する学習済みモデルと、最も下位のクラス階層に対応する学習済みモデルと、該最も上位のクラス階層と、該最も下位のクラス階層との間に他のクラス階層が記憶部２０４に記憶されている場合には、間の他のクラス階層からもさらに学習済みモデルを選択する。以下、図６を用いて本実施形態について説明をする。
記憶部２０４は、さらに第Ｎのクラス階層６０３を有する。Ｎは３以上の自然数であり、クラス階層の数に応じて設定される。
ここでは、簡便のためにＮ＝３として説明をする。本実施形態において選択部２１０は、適合度が所定の値よりも大きい学習済みモデルのうち、最も上位のクラス階層に対応する学習済みモデルを選択し、さらに、最も下位のクラス階層に対応する学習済みモデルを選択する。選択部２１０によって選択された両学習済みモデルが階層関係にある場合（すくなくとも一方の学習済みモデルの付帯情報から探索可能である場合）であって、両モデルが対応するクラス階層の間に異なるクラス階層がある場合には、間にある異なるクラス階層に対応する学習済みモデルのうち、階層関係にある学習済みモデルをさらに推論部２０６によって推論を行う学習済みモデルとして選択をする。例えば選択部２１０によって、適合度が所定の値よりも大きい学習済みモデルのうち、最も上位のクラス階層に対応する学習済みモデルとして、第１の学習済みモデル３１０が選択され、最も下位のクラス階層に対応する学習済みモデルとして、第Ｎ－１の学習済みモデル６１４が選択された場合について説明する。選択部２１０は、第１の学習済みモデル３１０と、第Ｎ－１の学習済みモデル６１４とが階層関係にあるかを判定する。選択部２１０によって階層関係にあると判定され、且つ第１の学習済みモデル３１０に対応する第一のクラス階層３０１と、第Ｎ－１の学習済みモデル６１４に対応する第Ｎのクラス階層の間に他のクラス階層があるかを判定する。該他のクラス階層がある場合には、間にある異なるクラス階層に対応する学習済みモデルのうち、第１の学習済みモデル３１０と、第Ｎ－１の学習済みモデル６１４と階層の関係にある学習済みモデルをさらに選択する。
図７を用いて本実施形態のフローを説明する。選択部２１０は、ステップＳ７００において、算出した適合度が所定値より大きく、かつ階層関係にある学習済みモデルの対応する最も上位のクラスと最も下位のクラスとのクラス階層間に他の階層があるか否かを判定する。選択部２１０による判定の結果、他の階層がないと判定された場合には、上述したステップＳ４０５へ進む。選択部２１０によって、他の階層があると判定された場合には、ステップＳ７０２へ進む。
ステップＳ７０２において、選択部２１０は、他の階層に対応する学習済みモデルのうち、最も上位のクラスに対応する学習済みモデルと、最も下位のクラスに対応する学習済みモデルと階層関係にある（付帯情報から探索可能である）学習済みモデルをさらに選択する。なお、階層関係とは、第１の学習済みモデル３１０と、第２－１の学習済みモデル３１４のように直接的に階層関係を有しているもの以外にも、第１の学習済みモデル３１４と、第Ｎ－１の学習済みモデル６１４が、例えばいずれかの付帯情報から探索可能であれば、両学習済みモデルは階層関係にあるものとして定義される。
本実施形態における情報処理装置１０３により、選択部２１０が複数の学習済みモデルから、適切な学習済みモデルを選択する際の範囲を規定することができ、故にユーザによる複数の学習済みモデルからの学習済みモデルの選定や、選定された複数の学習済みモデルに対するアウトプットとインプットを入力する手間を削減することができる。
［第三の実施形態］
上述までの実施形態は、階層関係にある複数の学習済みモデルが選択部２１０によって選択される構成について説明をしたが、本実施形態では、選択部２１０によって階層関係にある複数の学習済みモデルが複数選択される場合について説明をする。
選択部２１０によって、例えば図３の第１の学習済みモデル３１０と、第１の学習済みモデル３１０と階層関係にある第２－１の学習済みモデル３１４を第一の候補、第２の学習済みモデル３１２と、第２の学習済みモデル３１２と階層関係にある第２－３の学習済みモデル３１８を第二の候補として選択した場合について説明をする。選択部２１０によって複数の候補が選択された場合には、選択部２１０はさらに複数の候補の適合度を比較する。選択部２１０による適合度の比較は、例えば、最も高い適合度を有するクラスを分類する学習済みモデルを有する候補を推論部２０６によって推論をする学習済みモデルとして選択する。もしくは、候補内の学習済みモデルのそれぞれの適合度を合算した値の大きい候補を選択することが挙げられる。また選択部２１０による複数の候補間の適合度の差が小さい場合には、両候補からいずれかの候補の選択を推奨する通知を通知部２１２が行う。
本実施形態により、医用画像データに対して推論を行う複数の階層関係にある複数の学習済みモデルが候補として選択された場合にも、適切な階層関係にある複数の学習済みモデルを選択することができる。
［第四の実施形態］
本実施形態ではさらに、所定の値よりも大きい学習済みモデルの中から選択された最も下位の階層に対応する学習済みモデルが、複数の学習済みモデルと階層関係にある学習済みモデルであった場合における選択部２１０による学習済みモデルの選択について説明をする。
ここでは図８を用いて、実施形態４に係る記憶部２０４は、第一のクラス階層８０１と、第二のクラス階層８０２を記憶している。第一のクラス階層８０１には、第１の学習済みモデル８１０と、第１の学習済みモデル８１０に付帯する第１の付帯情報８３０、第２の学習済みモデル８１２と第２の学習済みモデル８１２に付帯する第２の付帯情報８３２とを記憶している。また第二のクラス階層８０２は、さらに第１の学習済みモデル８１０および第二の学習済みモデル８１２と階層関係にある第２－２の学習済みモデル８１６と、第２－２の学習済みモデルに付帯する第２－２の付帯情報８３６を記憶している。
選択部２１０による選択処理によって、算出された適合度が所定値より大きく、階層関係にある学習済みモデルとして、第１の学習済みモデル８１０と第２－２の学習済みモデル８１６の第一候補、第２の学習済みモデル８１２と第２－２の学習済みモデルの第二の候補が選択されたとする。
複数の候補が選択された場合には、複数の候補のそれぞれの適合度の合算値を比較することで適切な候補を選択する。また、図６で説明をしたクラス階層のように記憶部２０４が３つ以上のクラス階層を記憶している場合で、複数の学習済みモデルと階層関係にある学習済みモデルが候補に含まれる場合には、選択部２１０は該学習済みモデルを含む複数の候補について適合度を比較して、階層関係にある複数の学習済みモデルを選択する。
該実施形態によって、複数の階層関係にある複数の学習済みモデルが候補として選択された場合にも、適切な階層関係にある複数の学習済みモデルを選択することができる。
（その他の変形例）
上記実施例の機能を実現するコンピュータプログラムを、ネットワーク又は記憶媒体（図示しない。）を介してコンピュータに供給し、当該コンピュータプログラムを実行させることができる。上述した情報処理方法をコンピュータに実行させるためのコンピュータプログラムである。つまり、コンピュータプログラムは、コンピュータで情報処理装置の機能を実現するためのプログラムである。記憶媒体は、当該コンピュータプログラムを記憶している。
１３０ 情報処理装置
２０４ 記憶部
２０６ 推論部
２０８ 取得部
２１０ 選択部
２１２ 通知部

Claims (18)

  1. 医用画像データを第一のクラス階層に属するクラスに分類する第一の学習済みモデルと、該医用画像データを該第一のクラス階層より下位のクラス階層である第二のクラス階層に属するクラスに分類する第二の学習済みモデルと、を含む複数の学習済みモデルを記憶する記憶部と、
    推論に関する情報を取得する取得部と、
    前記取得部によって取得された推論に関する情報に基づいて、階層関係にある複数の学習済みモデルを選択する選択部と、
    前記選択部によって選択された前記複数の学習済みモデルを通知する通知部と、
    を有することを特徴とする情報処理装置。
  2. 前記推論に関する情報が、推論対象、推論目的、クラスを示す情報のうち、すくなくともひとつであることを特徴とする請求項１に記載の情報処理装置。
  3. 前記選択部によって選択された前記階層関係にある複数の学習済みモデルを用いて推論を行う推論部を有することを特徴とする請求項１または２に記載の情報処理装置。
  4. 前記推論部は、前記選択部によって選択された前記階層関係にある複数の学習済みモデルのうち、より上位の階層に属するクラスに分類する学習済みモデルから、順に推論を行うことを特徴とする請求項３に記載の情報処理装置。
  5. 前記選択部は、前記推論に関する情報から、各クラス階層に対応する学習済みモデルとの適合度を算出し、算出された適合度に応じて前記複数の学習済みモデルを選択することを特徴とする請求項１乃至４のいずれか一項に記載の情報処理装置。
  6. 前記選択部は、前記各クラス階層に対応する学習済みモデルとの適合度が所定値より大きい学習済みモデルから複数の学習済みモデルを選択することを特徴とする請求項５に記載の情報処理装置。
  7. 前記選択部は、前記各クラス階層に対応する学習済みモデルとの適合度が所定値より大きい学習済みモデルのうち、最も下位のクラス階層に対応する学習済みモデルと、該最も下位のクラス階層に対応する学習済みモデルと前記階層関係にあるより上位のクラス階層にある学習済みモデルを選択することを特徴とする請求項６に記載の情報処理装置。
  8. 前記選択部は、前記各クラス階層に対応する学習済みモデルとの適合度が所定値より大きい学習済みモデルのうち、最も上位のクラス階層に対応する学習済みモデルと、該最も上位のクラス階層に対応する学習済みモデルと前記階層の関係にあるより下位のクラス階層に対応する学習済みモデルを選択することを特徴とする請求項６または７に記載の情報処理装置。
  9. 前記選択部は、前記各階層に対応する学習済みモデルとの適合度が所定値より大きい学習済みモデルのうち、最も上位の階層に対応する学習済みモデルと、最も下位の階層に対応する学習済みモデルを選択し、該最も上位の階層と該最も下位の階層との間に階層がある場合には、該階層に対応する学習済みモデルをさらに選択することを特徴とする請求項６乃至８のいずれか一項に記載の情報処理装置。
  10. 前記取得部は、さらに前記学習済みモデルの選択情報を取得し、
    前記選択情報に基づいて、階層関係にある複数の学習済みモデルを選択することを特徴とする請求項１乃至９のいずれか一項に記載の情報処理装置。
  11. 前記選択部は、前記第一のクラス階層に対応するクラスと、前記第二のクラス階層に対応するクラスとを分類するクラスとして有する学習済みモデルを用いて前記適合度を算出することを特徴とする請求項５に記載の情報処理装置。
  12. 推論に関する情報を取得する取得ステップと、
    前記取得ステップによって取得された推論に関する情報に基づいて、医用画像データを第一のクラス階層に属するクラスに分類する第一の学習済みモデルと、該医用画像データを該第一のクラス階層より下位のクラス階層である第二のクラス階層に属するクラスに分類する第二の学習済みモデルと、を含む複数の学習済みモデルを記憶する記憶部から、階層関係にある複数の学習済みモデルを選択する選択ステップと、
    前記選択ステップによって選択された前記複数の学習済みモデルを通知する通知ステップと、
    を有することを特徴とする情報処理方法。
  13. 選択ステップによって選択された前記階層関係にある複数の学習済みモデルのうち、より上位の階層に属するクラスに分類する学習済みモデルから、順に推論を行う推論ステップをさらに有することを特徴とする請求項１２に記載の情報処理方法。
  14. 請求項１２または１３に記載の情報処理方法をコンピュータに実行させるためのプログラム。
  15. 医用画像データを第一のクラス階層に属するクラスに分類する第一の学習済みモデルと、該医用画像データを該第一のクラス階層より下位のクラス階層である第二のクラス階層に属するクラスに分類する第二の学習済みモデルと、を含む複数の学習済みモデルを記憶する記憶部を有する情報処理装置と、該情報処理装置とネットワークを介して通信可能な情報端末とを備える情報処理システムであって、
    前記情報処理装置は、
    推論に関する情報を取得する取得部と、
    前記取得部によって取得された推論に関する情報に基づいて、階層関係にある複数の学習済みモデルを選択する選択部と、
    前記選択部によって選択された前記複数の学習済みモデルを前記情報端末に対して通知する通知部と、
    を有することを特徴とする情報処理システム。
  16. 前記情報端末は、前記通知部によって通知された複数の学習済みモデルを表示する表示部と、
    前記通知された複数の学習済みモデルに基づいて、推論を行う学習済みモデルを選択する操作を行う操作部と、をさらに有することを特徴とする請求項１５に記載の情報処理システム。
  17. 前記情報処理装置における前記取得部は、前記操作部によって選択された学習済みモデルの選択情報を取得し、前記選択情報に基づいて階層関係にある複数の学習済みモデルを選択することを特徴とする請求項１６に記載の情報処理システム。
  18. 前記情報処理装置は、選択された前記階層関係にある複数の学習済みモデルを用いて推論を行う推論部をさらに有し、
    前記推論部は、選択された前記階層関係にある複数の学習済みモデルのうち、より上位の階層に属するクラスに分類する学習済みモデルから、順に推論を行うことを特徴とする請求項１５乃至１７のいずれか一項に記載の情報処理システム。
JP2020169032A 2020-10-06 2020-10-06 情報処理システム、情報処理装置、情報処理方法及びプログラム Active JP7387573B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020169032A JP7387573B2 (ja) 2020-10-06 2020-10-06 情報処理システム、情報処理装置、情報処理方法及びプログラム
US17/493,362 US20220108124A1 (en) 2020-10-06 2021-10-04 Information processing system, information processing apparatus, information processing method, and non-transitory storage medium
JP2023194422A JP2024009090A (ja) 2020-10-06 2023-11-15 情報処理システム、情報処理装置、情報処理方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020169032A JP7387573B2 (ja) 2020-10-06 2020-10-06 情報処理システム、情報処理装置、情報処理方法及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023194422A Division JP2024009090A (ja) 2020-10-06 2023-11-15 情報処理システム、情報処理装置、情報処理方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2022061192A JP2022061192A (ja) 2022-04-18
JP7387573B2 true JP7387573B2 (ja) 2023-11-28

Family

ID=80931425

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020169032A Active JP7387573B2 (ja) 2020-10-06 2020-10-06 情報処理システム、情報処理装置、情報処理方法及びプログラム
JP2023194422A Pending JP2024009090A (ja) 2020-10-06 2023-11-15 情報処理システム、情報処理装置、情報処理方法及びプログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023194422A Pending JP2024009090A (ja) 2020-10-06 2023-11-15 情報処理システム、情報処理装置、情報処理方法及びプログラム

Country Status (2)

Country Link
US (1) US20220108124A1 (ja)
JP (2) JP7387573B2 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016151639A1 (ja) 2015-03-26 2016-09-29 日本電気株式会社 人数予測システム、人数予測方法および人数予測プログラム
JP2019075159A (ja) 2014-03-28 2019-05-16 日本電気株式会社 学習モデル選択システム、学習モデル選択方法およびプログラム
JP2020068881A (ja) 2018-10-29 2020-05-07 富士フイルム株式会社 情報処理装置、情報処理方法、及びプログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10679753B2 (en) * 2017-02-20 2020-06-09 General Electric Company Methods and systems for hierarchical machine learning models for medical imaging
WO2019200404A2 (en) * 2018-04-13 2019-10-17 Grail, Inc. Multi-assay prediction model for cancer detection
US10635939B2 (en) * 2018-07-06 2020-04-28 Capital One Services, Llc System, method, and computer-accessible medium for evaluating multi-dimensional synthetic data using integrated variants analysis
JP7246912B2 (ja) * 2018-12-18 2023-03-28 キヤノンメディカルシステムズ株式会社 医用情報処理装置及び医用情報処理システム
US11250569B2 (en) * 2019-11-04 2022-02-15 GE Precision Healthcare LLC Systems and methods for functional imaging follow-up evaluation using deep neural network
US10963788B1 (en) * 2019-12-05 2021-03-30 Sas Institute Inc. Analytic system for interactive graphical model selection
US11521372B2 (en) * 2020-03-20 2022-12-06 Accenture Global Solutions Limited Utilizing machine learning models, position based extraction, and automated data labeling to process image-based documents
US11379978B2 (en) * 2020-07-14 2022-07-05 Canon Medical Systems Corporation Model training apparatus and method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019075159A (ja) 2014-03-28 2019-05-16 日本電気株式会社 学習モデル選択システム、学習モデル選択方法およびプログラム
WO2016151639A1 (ja) 2015-03-26 2016-09-29 日本電気株式会社 人数予測システム、人数予測方法および人数予測プログラム
JP2020068881A (ja) 2018-10-29 2020-05-07 富士フイルム株式会社 情報処理装置、情報処理方法、及びプログラム

Also Published As

Publication number Publication date
JP2024009090A (ja) 2024-01-19
US20220108124A1 (en) 2022-04-07
JP2022061192A (ja) 2022-04-18

Similar Documents

Publication Publication Date Title
Nazir et al. Survey of explainable artificial intelligence techniques for biomedical imaging with deep neural networks
US10452957B2 (en) Image classification apparatus, method, and program
US20190311477A1 (en) Computer aided diagnosis (cad) apparatus and method
WO2019103912A2 (en) Content based image retrieval for lesion analysis
US10733727B2 (en) Application of deep learning for medical imaging evaluation
EP3629898A1 (en) Automated lesion detection, segmentation, and longitudinal identification
US20170004619A1 (en) System and method for automatic pulmonary embolism detection
JP2021002338A (ja) 画像セグメンテーション及び識別のための方法及びシステム
CN106408610A (zh) 用边缘空间深度神经网络进行解剖对象检测的方法和系统
JP2022553906A (ja) 疾患検出モデルを開発するためのシステム、方法、プログラム
EP3893198A1 (en) Method and system for computer aided detection of abnormalities in image data
US20190035075A1 (en) Method and apparatus for classifying a data point in imaging data
Imran et al. Fast and automatic segmentation of pulmonary lobes from chest CT using a progressive dense V-network
Farhangi et al. Automatic lung nodule detection in thoracic CT scans using dilated slice‐wise convolutions
Pham et al. Chest x-rays abnormalities localization and classification using an ensemble framework of deep convolutional neural networks
Alsadoon et al. DFCV: a framework for evaluation deep learning in early detection and classification of lung cancer
JP7387573B2 (ja) 情報処理システム、情報処理装置、情報処理方法及びプログラム
Yang et al. 3D multi‐view squeeze‐and‐excitation convolutional neural network for lung nodule classification
CN111436212A (zh) 用于医学成像评估的深度学习的应用
AU2019204365B1 (en) Method and System for Image Segmentation and Identification
Fonseca et al. Tuberculosis Detection in Chest Radiography: A Combined Approach of Local Binary Pattern Features and Monarch Butterfly Optimization Algorithm
JP2022061191A (ja) 情報処理装置、情報処理方法、プログラム及び情報処理システム
JP2022070462A (ja) 情報処理システム、情報処理装置、情報処理方法及びプログラム
JP2023019699A (ja) 情報処理システム、情報処理方法、情報端末及びプログラム
EP4339961A1 (en) Methods and systems for providing a template data structure for a medical report

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230323

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20230323

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230606

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230728

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231017

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231115

R151 Written notification of patent or utility model registration

Ref document number: 7387573

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151