JP7370735B2 - 情報処理装置、方法、及びプログラム - Google Patents

情報処理装置、方法、及びプログラム Download PDF

Info

Publication number
JP7370735B2
JP7370735B2 JP2019106573A JP2019106573A JP7370735B2 JP 7370735 B2 JP7370735 B2 JP 7370735B2 JP 2019106573 A JP2019106573 A JP 2019106573A JP 2019106573 A JP2019106573 A JP 2019106573A JP 7370735 B2 JP7370735 B2 JP 7370735B2
Authority
JP
Japan
Prior art keywords
reliability
image
inference
image data
interpretation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019106573A
Other languages
English (en)
Other versions
JP2020201606A (ja
Inventor
孝太郎 梅澤
清秀 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2019106573A priority Critical patent/JP7370735B2/ja
Priority to US16/890,836 priority patent/US20200388395A1/en
Publication of JP2020201606A publication Critical patent/JP2020201606A/ja
Application granted granted Critical
Publication of JP7370735B2 publication Critical patent/JP7370735B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06398—Performance of employee with respect to a job function
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06311—Scheduling, planning or task assignment for a person or group
    • G06Q10/063114—Status monitoring or status determination for a person or group
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/20—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management or administration of healthcare resources or facilities, e.g. managing hospital staff or surgery rooms
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • General Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Biomedical Technology (AREA)
  • Educational Administration (AREA)
  • Data Mining & Analysis (AREA)
  • Development Economics (AREA)
  • Quality & Reliability (AREA)
  • Software Systems (AREA)
  • Tourism & Hospitality (AREA)
  • Game Theory and Decision Science (AREA)
  • Radiology & Medical Imaging (AREA)
  • Operations Research (AREA)
  • Marketing (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)

Description

推論結果によって読影人数を決定する情報処理装置、方法、及びプログラムに関する。
医療の分野において、医師は、様々なモダリティ（撮像装置）により撮像された医用画像データを用いて診断を行う。撮像装置には、例えば超音波診断装置や光音響撮像装置（以下、ＰＡＴ（Ｐｈｏｔｏ Ａｃｏｕｓｔｉｃ Ｔｏｍｏｇｒａｐｈｙ）装置と呼ぶ）磁気共鳴映像装置（以下、ＭＲＩ（Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ Ｉｍａｇｉｎｇ）装置と呼ぶ）がある。また、撮像装置として他にもコンピュータ断層撮像装置（以下、Ｘ線ＣＴ（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）装置と呼ぶ）、光干渉断層計（以下、ＯＣＴ（Ｏｐｔｉｃａｌ Ｃｏｈｅｒｅｎｃｅ Ｔｏｍｏｇｒａｐｈｙ）装置と呼ぶ）等が利用されている。撮像装置の高性能化と撮影回数の増加により、医師が読影すべき医用画像データに対して読影する医師のリソースが不足しているという現状がある。
読影に係る医師のリソース不足に対して、コンピュータによって医師のワークフローを支援する技術の開発が盛んに行われている。特許文献１には、医用画像データを読影する際に病変疑い領域の推論結果の確信度を算出する式の調整を簡便に行えるようにすることで、読影医にかかる負担を軽減する技術が記載されている。また、特許文献２には、医師の特性と病変の識別難易度に応じて読影の分担先を決定する技術が記載されている。
特開２０１７－２２５５４２号公報 特開２００２－３２９１９０号公報
しかしながら、特許文献１や特許文献２に記載されている方法は、読影する人数が事前に決定されているものであり、変更することは考慮されていない。
本発明は上述した課題を解決するためになされたものであり、推論の信頼度に基づいて医用画像データを読影する人数を決定する仕組みを提供することを目的とする。
本発明に係る情報処理装置は、医用画像データを取得する取得部と、前記取得部により取得された前記医用画像データに対して推論を行う推論部と、前記推論部による推論結果に基づいて信頼度を算出する信頼度算出部と、前記信頼度に基づいて、前記医用画像データを読影する人数を決定する読影人数決定部と、を備えることを特徴とする。
本発明によれば、推論の信頼度に基づいて医用画像データを読影する人数を決定する仕組みを提供することができる。
第１の実施形態に係る医用画像データ表示システムの構成を示す模式図。 第１の実施形態に係る読影人数決定部の構成を示す構成図。 第１の実施形態に係る信頼度と読影担当者の熟練度および読影人数の関係図。 第１の実施形態に係る信頼度と読影難易度および読影人数の関係図。 第１の実施形態に係るコンピュータ及びその周辺機器の構成図。 第１の実施形態に係る情報処理装置の処理手順を示すフローチャート。 第２の実施形態に係る情報処理装置の処理手順を示すフローチャート。
以下、本発明の実施の形態について、図面を用いて説明する。同一の構成要素には原則として同一の符号を付して、説明を省略する。
［第１の実施形態］
第１の実施形態における情報処理装置１０は、医用画像データを予め学習しておき、新規に医用画像データを取得した際に、推論部３により当該医用画像データを解析することで推論を行う。そして、信頼度算出部４により、得られた推論結果の信頼度を算出し、前記信頼度に基づいて読影人数決定部５が医用画像データを読影する人数を決定する。本実施形態では、医用画像データとして胸部のＸ線ＣＴ画像を取得し、当該医用画像データ中に肺がんが含まれているか否かを推論し、推論の信頼度が閾値以上の場合に読影人数を１人、閾値以下の場合に読影人数を２人に決定する場合を例に説明する。なお本発明の対象は推論結果に基づいて読影人数を決定するものであれば、読影人数および信頼度の関係は本形態に限定されるものではない。
図１を用いて本実施形態に係る情報処理装置１０の構成を説明する。図１は、情報処理装置１０を含むシステム全体の概略ブロック図である。本実施形態に係る情報処理装置１０は、撮像装置１、撮像装置１により撮像された医用画像データを取得する取得部２、取得部２により取得された医用画像データに対して推論を行う推論部３を有する。また推論部３による推論結果に基づいて信頼度を算出する信頼度算出部４、信頼度算出部４により算出された信頼度に基づいて読影人数を決定する読影人数決定部５を有する。さらに、読影人数決定部５により決定された人数に対応する読影の担当者に対して通知部６は取得部２により取得した医用画像データの通知を医用端末Ａ（図１の７ａ）、医用端末Ｂ（図１の７ｂ）に対して行う。取得部２で取得する医用画像データは、撮像装置１により撮像された医用画像データとする。また、通知部６が通知を行う医用端末は単数でも複数でも問わない。
以下、本実施形態に係る情報装置１０のシステム構成の詳細を説明する。
（撮像装置１）
撮像装置１によって撮像される医用画像データは、胸部のＸ線ＣＴ画像に限らない。例えば、他の部位のＸ線ＣＴ画像、単純Ｘ線画像、シンチグラフィ、ＭＲ画像、ＰＥＴ／ＳＰＥＣＴ画像、超音波画像、血管造影画像、内視鏡画像、サーモグラフィ、顕微鏡検査画像、光超音波画像等であってもよい。また、脳波や脳磁図であったり、生物や動物の生体画像であったり、人体を含む生体の表面をスチルカメラやビデオカメラで撮影した画像等でも対象は問わない。
（取得部２）
取得部２は、推論の対象となる医用画像データを取得する。取得部２が取得する方法としては、入力部（非図示）を有し、操作者がＧＵＩを介して医用画像データファイルを指定して読み込ませてもよいし、病院システム等から送信された撮影オーダを踏まえ、装置が自動で取得してもよい。
さらに取得部２は、操作者が入力した閾値等の情報を取得する、もしくは事前に設定されている閾値等のパラメータを取得したりすることで、取得した情報を後段の推論部３や信頼度算出部４の処理に用いてもよい。なお閾値はユーザにより適宜入力されても、あらかじめ値を定めておいても、その調整のために閾値調整部５１が別途設けられてもよい。つまり、本発明における医用画像データ処理装置は、閾値を調整する閾値調整部５１をさらに備えることを特徴とする。以下より記載の閾値の調整は、当該閾値調整部５１によって処理される構成でも問わない。
なお、プログラムが格納される記憶媒体は、非一過性の記憶媒体である。取得部２は、１つの記憶媒体から構成される場合に限らず、複数の記憶媒体から構成されていてもよい。
（推論部３）
推論部３は、前記取得部２により取得された医用画像データを解析することにより、前記医用画像データに対する推論を行う。推論部３は、入力部２から入力した医用画像データを対象にＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）等の公知の深層ネットワークを用いて推論を行ってもよい。また推論器の学習は新規にネットワークの学習を行うものでも、すでに学習済みの深層ネットワークに基づくものでもよい。またその他メモリ等に保持されている算出式等を利用して推論部３による推論を行ってもよい。
ここで、医用画像データに対する推論とは、入力画像に対して学習済みの深層ネットワークが、対象となる病変を検出することを指す。本実施形態では例えば肺がんを検出するように学習がされた学習済みの深層ネットワークに対して、読影対象の医用画像データを入力する。そして学習済みの深層ネットワークは入力された医用画像データに対してがんの領域を検出する。尚、推論部３の対象は本形態に限らない。例えば、推論部３による推論が医用画像データ中にがんが含まれている局所的な領域を描出したり、医用画像データ中の局所的な領域にがんが含まれている可能性を算出したり、医用画像データにがんが含まれている可能性を算出してもよい。また、がん以外の病変である例えば、肺炎、肺気腫、気胸、ＣＯＰＤ等においても本発明は適用可能であり、また対象部位は肺以外の臓器にも、筋肉や骨等の組織においても実施が可能である。即ち、推論部３は医用画像データに病変が含まれている可能性を推論することを特徴とする。もしくは、推論部３は医用画像データ中の局所的な領域に病変が含まれている可能性を推論することを特徴とする。
（信頼度算出部４）
信頼度算出部４は、前記推論部３による推論結果に基づいて信頼度を算出する。信頼度とは、深層ネットワークにより計算された推論結果がどれくらい信頼できるかを示す指標である。
信頼度には、医用画像データ全体で疾患が含まれているか否かに対する推論結果の信頼度や、選択した局所領域を推論した結果（複数疾患の分類結果等）に対する信頼度や、複数の局所領域を推論した結果に対する信頼度が含まれる。また、信頼度は、複数の局所領域の推論結果の信頼度の平均でも、最小値や最大値をとったものであってもよい。信頼度は、推論結果が多値分類の場合は、推論結果の内、最大値を示すものに対して算出してもよいし、最小値を示すものに対して算出してもよい。もしくは、それぞれの得られた複数の推論結果のうちの信頼度の最大値、もしくは最小値でもよい。
本実施形態では、以下の手順で信頼度を計算する。医用画像データ全体で肺がんが含まれているか否かの２値分類する深層ネットワークを学習する際に、深層ネットワークの出力層をＳｏｆｔｍａｘ関数にする。Ｓｏｆｔｍａｘ関数を出力層に設けることで入力した医用画像データに対して０から１の確率（ここではＳｏｆｔｍａｘ値と呼ぶ）が算出される。２値分類問題においては、Ｓｏｆｔｍａｘ値が０．５（基準値）から離れているほど信頼度が高いと考えられるので、０．５（基準値）からどれだけ離れているか１００分率で定義するとする。つまり、２値分類では信頼度は以下の式１に基づいて算出される。Ｋはクラス数であり、ＳはＳｏｆｔｍａｘ値である。例えば入力される医用画像データに対して得られるＳｏｆｔｍａｘ値が０．９９であれば、その医用画像データに対する推論の信頼度（Ｃ）は｜０．９９－０．５｜×１００÷０．５＝９８％と計算できる。また、一方で入力された医用画像データに対して得られるＳｏｆｔｍａｘ値が０．４５であれば、その医用画像データに対する推論の信頼度（Ｃ）は、｜０．４５－０．５｜×１００÷０．５＝１０％と計算できる。
また、３クラス以上の分類問題においては、Ｋ種類の多値分類の場合は、基準値は１÷Ｋとしても計算でき、ここから信頼度Ｃと入力医用画像データのＳｏｆｔｍａｘ値Ｓに対して以下の式１で同様に算出できる。
Figure 0007370735000001
ここでは、医用画像データの局所領域に対して、病変を肺がん、肺炎、肺気腫、気胸、ＣＯＰＤ等の５種類に分類する場合について述べる。局所領域をまず５値分類するとすると、前記１÷Ｋ＝０．２であり、式１はＳｏｆｔｍａｘ値が０．２以上の場合は０から１００％で定義される。逆にＳｏｆｔｍａｘ値が０．２未満（ここではＳ＝０）の場合は｜０－０．２｜×１００÷（１－０．２）＝２５％となる。尚、信頼度の計算は、上記式によってのみ算出されるものではない。例えば、推論部３による推論結果であるＳｏｆｔｍａｘ値を信頼度としてもよい。また、上記の式１においては、分類問題のクラスが増加するにつれて信頼度の計算においてＳｏｆｔｍａｘ値と比較される基準値が小さな値になる。その場合には、例えば推論結果を構成するそれぞれのクラスへのＳｏｆｔｍａｘ値を比較し、他のクラスとの相対値を信頼度として加味してもよい。また、Ｓｏｆｔｍａｘ値が０．５と比較して大きい場合には、その値を信頼度として設定し、０．５と比較して小さい場合には、０．５とＳｏｆｔｍａｘ値との差分を０．５に加算して信頼度としてもよい。即ち、信頼度算出部４における信頼度は、推論部３による推論結果のうち、Ｓｏｆｔｍａｘ値に基づいて算出されることを特徴とする。
（読影人数決定部５）
読影人数決定部５は、前記信頼度算出部４によって算出された信頼度に基づいて、医用画像データを読影する人数を決定する。
読影人数決定部５が決定する読影人数は、算出した信頼度が設定された閾値よりも大きい場合には、算出した信頼度が設定された閾値よりも小さい場合の読影人数よりも少ない読影人数を割り当てる。一方で算出した信頼度が設定した閾値よりも小さい場合には、算出した信頼度が設定した閾値よりも大きい信頼度の場合の読影人数よりも多い読影人数に決定する。即ち、読影人数決定部５は、すくなくとも前記信頼度および閾値に基づいて読影する人数を決定することを特徴とする。より具体的には、信頼度との比較対象となる閾値は、信頼度に対してＧＵＩ（不図示）上で操作者によって設定されてもよいここでは、図２を用いて読影人数決定部５の構成について説明する。読影人数決定部５は、ユーザによる閾値データや、信頼度算出部４により算出された結果に基づいて、閾値を調整する閾値調整部５１を有する。そして、閾値調整部５１により設定された閾値に基づいて、読影人数算出部５２が読影人数を決定する。なお、読影人数決定部５は、信頼度算出部４によって算出された信頼度を基に、読影人数を決定する機能を保持していれば構造は本形態に限定されるものではない。
操作者が設定する閾値は、信頼度の大小を分離するように設定してもよい。例えば、信頼度が小さい場合は読影人数を２人に、信頼度が大きい場合は読影人数を１人に決定することができる。以下では図３を用いてユーザが閾値を設定する場合について詳述する。
図３は、算出された信頼度と、信頼度に応じた読影人数が対応づけられて記憶されている。ユーザにより閾値を８０％に設定した場合は、例えば信頼度が８０％以上ならば読影人数を１人に、８０％未満ならば読影人数を２人に決定される。さらに、推論部３による推論結果に基づいて算出された信頼度の他にも、例えば他の要因に応じて決定する読影人数を異ならせてもよい。例えば、図３では読影人数決定部４は信頼度の他に読影医の熟練度等の状況に応じて読影人数を変化させる。熟練した（熟練度高）医師が読影を担当する場合には、読影人数決定部は推論部３による信頼度が低くても１人で読影を担当させる。また、他方で熟練度が低い（熟練度低）医師が担当する場合においては、信頼度が高い場合であっても２人で読影を担当させる。熟練度は、客観的な指標で定量的に算出されてもよいし、ユーザによって入力を受け付けてもよい。
また、図４における読影人数決定部５は信頼度の他にさらに読影の難易度によって読影人数を変化させる。本形態では、算出された信頼度に、さらに読影の難易度の高い病変や疾患に関しての情報を加味して、読影人数決定部５が読影人数を決定する。信頼度が高くても、読影に係る難易度が高い場合には、読影人数を２人に決定をし、信頼度が低い場合には、信頼度が低くても、読影人数を１人に決定をする。
上述の図３、図４による信頼度とさらに他の要因による読影人数の決定により、読影者の負担を考慮しながら、ミスを減少させる効果が期待される。即ち、読影人数決定部５は、読影担当者の熟練度および読影の難易度のすくなくとも一方に基づいて読影人数を決定する。また、閾値の調整は、閾値の調整部５１が担ってもよい。なお、本形態は熟練度や、難易度によってのみ読影人数を決定するものに限られない。読影人数決定部５は信頼度と、さらに熟練度および難易度の両者を踏まえて人数を決定してもよいし、他の要因によって人数を決定してもよい。他の要因としては、例えば、対象の病変や疾患の緊急度や進行度等が挙げられる。例えば、信頼度が高くても緊急度が高い場合においては、早期にかつ適切な読影が必要とされることがある。
また、予め、信頼度と、その他の要因の関係性を定めていなくても、例えば熟練度や難易度によって読影人数を決定するための閾値の変更をする構成でもよい。閾値調整部５１によって閾値を変更する例として、例えば、熟練した読影医１人～２人が読影の担当に当たる場合は、閾値を７０％に設定して、７０％以上の場合は１人、７０％未満の場合は２人で読影させるようにする。一方で、若手の読影医１人～２人が読影の担当に当たる場合は、閾値調整部５１は閾値を９０％に設定して、９０％以上の場合は１人、９０％未満の場合は２人で読影させるようにしてもよい。その場合は、コンピュータに読影医の名前を入力することで、あらかじめ設定された閾値が閾値調整部５１により自動で変更されるようにしてもよい。また、熟練度や難易度は定量データとして取得部２によって取得されてもよい。例えば熟練度は対象分野での勤続年数や、エラー率、読影回数などにより決定される。また難易度は、病変や疾患ごとのエラー率などから決定される。このような情報を個々人のＩＤと対応付けて記憶することにより、読影の人数の決定や、決定に係る閾値を変更してもよい。即ち本発明における情報処理装置１０は、医用画像データを取得する取得部２と、取得部により取得された医用画像データに対して推論を行う推論部３を有する。さらに推論部３による推論結果に基づいて信頼度を算出する信頼度算出部４と、信頼度に基づいて、医用画像データを読影する人数を決定する読影人数決定部５とを有することを特徴とする。読影人数決定部５は、決定した人数を後段の通知部６に送信をする。
（通知部６）
ここで、通知部６は読影人数決定部５により決定された読影人数に基づき読影を依頼する読影者を決定する処理や、決定された読影者に対して医用画像データを通知する処理を行う。即ち、本発明における情報処理装置は、読影人数決定部５によって決定された読影人数に基づいて医用画像データの通知をする通知部６をさらに有する。通知部６は読影人数決定部５により決定された読影人数に基づいて、読影の依頼先を決定する。読影の依頼先には、例えば読影者と対応づけられた医用端末Ａ（７ａ）や、医用端末Ｂ（７ｂ）が挙げられる。また通知内容は、信頼度の大きさによって異なっていてもよい。例えば、信頼度が閾値よりも低い場合には特定の読影者に医用画像データを送信し、信頼度が閾値よりも高い場合にはカンファレンス用アプリケーションに医用画像データを送信してもよい。または、信頼度が閾値よりも低い場合に、医用画像データを別のＡＩに送信して推論させることで、その症例の検証を行ったりしてもよい。ここで別のＡＩとは例えば、他の疾患や病変を検出させるために学習させた深層ネットワークでも、深層ネットワークの層数や構造を異ならせたものでも、統計的な手法に基づいて推論するものでもよい。
また、通知部６は、決定した読影人数を不図示の表示部に表示したり報知したりしてもよい。そうすることで、入力医用画像データに対して推論をした結果として、どのような人数になったかの確認や気づきを促してもよい。また、通知部６が通知を行った読影の依頼先のジョブステータスを確認できる構成でもよい。即ち、通知部６は、通知をした読影の担当者の前記医用画像データにおけるジョブステータスをさらに通知することを特徴とする。例えば、送信した医用画像データやファイルが開封されているかの情報、もしくはレポートになんらかのアクションがあったかなどの情報を取得することで、適切な読影の依頼先に漏れのない通知が可能となる。
（医用端末Ａ（７ａ）、医用端末Ｂ（７ｂ））
医用端末Ａや医用端末Ｂは、通知部６によって決定された読影者に対応する端末である。医用端末Ａ（７ａ）は例えば読影担当者Ａに対応し、医用端末Ｂ（７ｂ）は読影担当者Ｂに対応する。医用端末は、通知部６より通知された医用画像データ等を含む情報を受信し、読影者に対して医用画像データを表示する。また、医用端末Ａ（７ａ）や医用端末Ｂ（７ｂ）は、それぞれが独立して存在していても、それぞれが通信可能になっていても構わないし、医用端末は単数でも、複数でもよい。
ここで、情報処理装置１０を構成する取得部２や推論部３、信頼度算出部４、読影人数決定部５、通知部６で用いられている演算回路は、専用に設計されたワークステーションであってもよい。また、それら演算回路の各構成は異なるハードウェアによって構成されてもよい。また、演算回路の少なくとも一部の構成は単一のハードウェアで構成されてもよい。つまり、情報処理装置１０を構成する各部はＣＰＵやＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等のプロセッサ、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）チップ等の演算回路で構成される。これらのユニットは、単一のプロセッサや演算回路から構成されるだけでなく、複数のプロセッサや演算回路から構成されていてもよい。
図５は、取得部２や推論部３、信頼度算出部４、読影人数決定部５、通知部６で用いられている演算回路の具体的な構成例を示す。取得部２や推論部３、信頼度算出部４、読影人数決定部５、通知部６で用いられている演算回路は、ＣＰＵ１０１、ＧＰＵ１０２、ＲＡＭ１０３、ＲＯＭ１０４、外部記憶装置１０５から構成され、これらがシステムバス１００で繋がっている。また、取得部２や推論部３、信頼度算出部４、読影人数決定部５、通知部６には、表示部（不図示）としての液晶ディスプレイ、入力部（不図示）としてのマウス、キーボードが接続されていてもよい。
また、これらの取得部２や推論部３、信頼度算出部４、読影人数決定部５、通知部６は、オンプレミスなシステムとして存在していてもよいし、サーバなどのネットワークやクラウド上でプログラムとして存在して処理を実行してもよい。
なお、情報処理装置１０の各構成はそれぞれ別の装置として構成されてもよいし、一体となった１つの装置として構成されてもよい。また、情報処理装置１０の少なくとも一部の構成が一体となった１つの装置として構成されてもよい。
（読影人数決定フロー）
図６は、信頼度に対して読影人数を決定するための閾値を一つ設定することで、読影人数を１～２人に決定するフローチャートである。ここでは、例えばユーザ等が事前にアプリケーションに定められた信頼度Ｒに対して閾値Ｔ（例えば９５％）を設定し、信頼度Ｒが閾値Ｔ以上の場合は読影人数を１人、閾値Ｔ未満の場合は読影人数を２人とする処理の流れを説明する。本フローチャートは、胸部ＣＴ画像全体から疾患の有無を検出する深層ネットワークに、学習データを学習させた状態から開始する。ステップＳ１において、入力部２は、胸部ＣＴ画像を前記深層ネットワークに入力する。ステップＳ２において、推論部３は、入力医用画像データに対して、例えば胸部ＣＴ画像全体での疾患の有無を推論する。ステップＳ３において、信頼度算出部４は、推論した結果を踏まえて信頼度Ｒを算出する。ステップＳ４において、読影人数決定部５は、算出した信頼度Ｒと閾値Ｔを比較し、読影人数を決定する。具体的には、算出した信頼度Ｒが閾値Ｔ以上の場合は読影人数を１人、閾値Ｔ未満の場合は読影人数を２人に決定する。本実施形態によれば、医用画像データに対する推論部３による推論の信頼度に基づいて、医用画像データを読影する人数を決定することができる。これにより、推論の信頼度が低い場合でも、読影の際の見落としや診断ミスの可能性を低減することができる。
（第１の実施形態の変形例１）
第１の実施形態では、深層ネットワークで推論した結果に対して信頼度を算出し、読影人数を決定したが、深層ネットワークを用いる場合に限られない。例えば、深層ネットワーク以外のＳＶＭ等の機械学習やその他の公知の手法で算出された推論結果に対して信頼度を算出して、読影人数を決定してもよい。
（第１の実施形態の変形例２）
第１の実施形態では肺がんに限定して説明したが、肺がんに限らず、その他のがんや疾患でもよい。
（第１の実施形態の変形例３）
第１の実施形態では、２値分類問題の場合において、Ｓｏｆｔｍａｘ値が０．５からどれだけ離れているかの１００分率で信頼度を定義する場合を例に説明したが、本発明の実施はこれに限らない。例えば、１÷Ｋ（Ｋは分類の数）の値を信頼度の基準値と呼び、入力医用画像データのＳｏｆｔｍａｘ値Ｓが算出された基準値以上か未満かで、以下のように場合分けをして定義してもよい。このように定義すると、Ｓが１÷Ｋ以上でも未満でも、０から１００％の間で信頼度を算出することができる。
Figure 0007370735000002
また、その他の信頼度の計算方法としては、信頼度算出部４は、深層ネットワークによる推論結果に基づいてクラスタリングを行い、その分布を比較することで信頼度を算出することが挙げられる。
まず情報処理装置１０は、入力医用画像データを学習済み深層ネットワークに入力することで分類されるクラスラベル（分類ラベルと呼ぶ）を取得する。推論結果である分類ラベルは、例えばＳｏｆｔｍａｘ値である。学習済みの深層ネットワークは、推論結果として分類対象のクラスのそれぞれに対して、合計が１になるようにＳｏｆｔｍａｘ値を出力する。そして、各クラスへのＳｏｆｔｍａｘ値を比較し、Ｓｏｆｔｍａｘ値が最も高いクラスに対象の医用画像データが分類されると仮定する。次に、信頼度算出部４において、クラス間の距離を用いて、例えば以下のように信頼度を算出する。まず、仮定されたクラスに属する他の医用画像データのそれぞれにおけるＳｏｆｔｍａｘ値のクラス分布から、クラスの重心となるクラス分布を算出する。また、他のクラスにおいて、クラスに属する医用画像データそれぞれのＳｏｆｔｍａｘ値のクラス分布から、クラスの重心となるクラス分布を算出する。そして、仮定されたクラスのＳｏｆｔｍａｘ値の重心となるクラス分布と、他のクラスのＳｏｆｔｍａｘ値の重心となるクラス分布群から、対象の医用画像データのＳｏｆｔｍａｘ値のクラス分布の、全クラスの重心クラス分布間での平均二乗距離を算出する。そこで、仮定された重心クラス分布との平均二乗距離と、次に近い重心クラスとの平均二乗距離を足した値を求める。信頼度は、次に近い重心クラスとの平均二乗距離を前記足した値で除算した値を１００分率で表したものとする。このようにすることで、次に近いクラスとの間で、信頼度を最も厳しい条件で算出することができる。
なお信頼度算出部４は、Ｓｏｆｔｍａｘ値を基にクラスタリングし、他クラスと分類ラベルのクラスと比較して入力医用画像データがどのくらい分類ラベルに近いかを算出し信頼度としてもよい。信頼度算出部４のクラスタリングによる算出方法の例について述べる。まず入力された医用画像データにいちばん近いが分類ラベルのクラスではない他クラスの重心から入力された医用画像データまでの距離Ａと、分類ラベルのクラスの重心と入力された医用画像データまでの距離Ｂを算出する。そして、算出された値より（（１－Ｂ／（Ａ＋Ｂ））－０．５）×１００の値を計算してもよい。ここで、０．５は２クラス間での信頼度の基準値とした。もちろんこの基準値は、クラス数によって変更されてもよいし、定数でもよい。
もしくは、信頼度算出部４は分類ラベルのクラスの重心と入力された医用画像データに一番近い他クラスの重心までの距離Ａと、入力された医用画像データと分類ラベルのクラスの重心までの距離Ｂとを比較する。つまり（（１－Ｂ／Ａ）－０．５）×１００のように、２クラスの重心間との距離の比較から算出してもよい。ここで、０．５は２クラス間での信頼度の基準値とした。
また、信頼度算出部４による信頼度の算出方法として、テストデータや評価データで得られた正解率やその平均値や分散、その他関連する統計値等のあらゆる手法を用いて抽出されてもよい。また、正解率の他、学習エラー率や学習エラー値や、評価データに対するエラー率やテストデータに対するエラー率、Ｌｏｓｓ関数の値や、過学習が起きているか否かというような指標が信頼度算出部４による信頼度の算出に用いられてもよい。さらに、精度や、疾患データ中の検査陽性データ割合である特異度や、非疾患データ中の検査陰性データ割合である感度や、検査陽性データの中での疾患罹患データである陽性反応的中度が用いられることも考えられる。その他にも、検査陰性データの中での非疾患罹患データである陰性反応的中度や、ＲＯＣ曲線やＦＲＯＣ曲線のとある閾値の場合の疾患関連データの値でもよい。例えば、深層ネットワークに医用画像データを学習させた際のテストデータに対する正解率が９０％であった場合は、信頼度算出部４は信頼度を９０％として扱ってもよい。即ち信頼度算出部４は、前記推論部の推論精度に基づいて信頼度を算出することを特徴とする。
その他、信頼度はＪａｃｃａｒｄ係数やＤｉｃｅ係数、Ｓｉｍｐｓｏｎ係数等の演算結果の値であったりしてもよい。ここでＪａｃｃａｒｄ係数Ｊは、集合Ｘと集合Ｙに対して、Ｊ＝｜Ｘ∩Ｙ｜／｜Ｘ∪Ｙ｜で、Ｄｉｃｅ係数Ｄは、Ｄ＝２｜Ｘ∩Ｙ｜／（｜Ｘ｜＋｜Ｙ｜）、Ｓｉｍｐｓｏｎ係数Ｓは、Ｓ＝｜Ｘ∩Ｙ｜／ｍｉｎ（｜Ｘ｜，｜Ｙ｜）であるとする。
（第１の実施形態の変形例４）
信頼度の算出は、信頼度算出部４により、学習済みの深層ネットワークより出力される推論結果であるＳｏｆｔｍａｘ値に基づいて決定されていた。Ｓｏｆｔｍａｘ値は、対象の医用画像データの中に分類の対象となるクラスが存在していると推論器が判断すると、当該クラスにおいて大きな値を示す。本変形例においては、推論部３における深層ネットワークが対象の医用画像データの各画素を対象にＳｏｆｔｍａｘ値を推論する場合について述べる。本構成により、推論部３からの出力は、医用画像データ単位のＳｏｆｔｍａｘ値ではなく、画素のそれぞれがＳｏｆｔｍａｘ値を保有していることになる。この場合においては、信頼度算出部４は医用画像データ全体のＳｏｆｔｍａｘ値の平均をクラスごとに取得し、上述の信頼度算出に用いてもよい。もしくは信頼度算出部４がＳｏｆｔｍａｘ値の大きさに対して閾値を設け、閾値を超えたもしくは超えない画素数もしくは面積を信頼度として加味する構成でもよい。また、各画素におけるＳｏｆｔｍａｘ値の勾配を算出してもよい。本構成により、対象の医用画像データのうち、どの画素が信頼度算出に寄与しているかをユーザが把握できる効果がさらに期待される。
（第１の実施形態の変形例５）
上述までの識別器は、肺癌が存在するか否かを検出する深層ネットワークや、５クラスの分類をする深層ネットワークを例として記載をした。しかしながら、単一の深層ネットワークに対しての推論対象となるクラス数を膨大にし、かつ複数のクラス間で相関関係が希薄な場合は推論結果が十分に得られない場合がある。ゆえに本発明の推論を行う深層ネットワークは、複数存在してもよい。推論部３は例えば複数の疾患や、病変のそれぞれに対応する複数の深層ネットワークから構成され、それぞれの深層ネットワークが推論を実施する。そして、推論結果のそれぞれに基づいて、信頼度を算出し、読影人数決定部５により読影人数を決定してもよい。なお読影人数は、病変のそれぞれに対する信頼度と、医師の熟練度、難易度等により決定されてもよい。例えば、難易度の高い複数の推論が行われた場合には、より多くの読影人数を割り当てることが考えられる。もちろん、深層ネットワークによる推論対象によって読影の依頼先を変更してもよい。
（第１の実施形態の変形例６）
変形例５では、推論部３における複数の深層ネットワークがそれぞれの推論結果を出力する場合について説明した。本変形例においては、複数の深層ネットワークが対象の医用画像データに対してそれぞれ異なる推論結果を示した場合の処理について述べる。例えばＡに対して推論をする深層ネットワークＡと、Ｂに対して推論をする深層ネットワークＢが同一の画像領域に対して、どちらも高いＳｏｆｔｍａｘ値でそれぞれＡ、Ｂであると推論した場合である。ここで同一の画像領域とは、対象の画像領域全体でも、対象の画像領域における一部分において重複領域を有している場合でもよい。
異なる深層ネットワークが、重複領域に対して、異なる推論結果を高いＳｏｆｔｍａｘ値で示した場合においては、信頼度算出部４は、推論結果Ａと推論結果Ｂの共起確率や、類似度をそれぞれの推論結果に乗算して信頼度を算出する。本構成により、深層ネットワークが誤ってＳｏｆｔｍａｘ値を高く出力している場合においても、読影人数を適切に決定することができる。即ち、同一もしくは少なくとも一部に重複領域を有する医用画像データに対して、複数の異なる推論結果が推論された場合に、信頼度算出部４はそれぞれの推論結果の共起確率および類似度のすくなくとも一方に基づいて信頼度を算出することを特徴とする。
（第１の実施形態の変形例７）
深層ネットワークを用いた推論結果におけるＳｏｆｔｍａｘ値の大きさによって、信頼度を算出するのみならず、信頼度の算出においてはＳｏｆｔｍａｘ値の大きさに加え、深層ネットワーク自身の性能を加味してもよい。例えば、正解率が９０％の深層ネットワークが出力したＳｏｆｔｍａｘ値には、その正解率を乗じて信頼度としてもよい。
（第１の実施形態の変形例８）
推論部３が推論した結果に基づいて算出された信頼度が、閾値よりも小さい場合等において、複数人に対して読影の依頼を通知部６が通知をすることになる。通知部６が複数人に対して読影依頼を通知する方法には、いくつかバリエーションが考えられる。例えば複数人に対して並列に読影を依頼する場合である。読影を依頼する人数が例えば２人だった場合、図１の読影担当者Ａに対応する医用端末Ａ（７ａ）、読影担当者Ｂに対応する医用端末Ｂ（７ｂ）に同一の医用画像データを送信し、読影の依頼を行う。通知部６が並列に読影を依頼する場合には、読影の担当者自身が他者によるバイアスを受けることなく読影をすることができる。一方で、並列に読影を担当した担当者（第一の読影担当者および第二の読影担当者）の読影結果が異なっていた場合には、例えば、第三者（第三の読影担当者）にそれぞれの読影結果を踏まえて判断を仰ぐことが考えられる。もしくは、読影者自身が担当した読影結果と異なる読影をした読影結果の情報を通知し、再度読影を依頼する工程が発生することがある。即ち通知部６は、第一の読影担当者の読影結果と、第二の読影担当者の読影結果が異なる場合には、第三の読影担当者に対して、医用画像データおよび第一の読影担当者の読影結果、第二の読影担当者の読影結果を通知することを特徴とする。
他方で、複数の読影の担当者に対してシリアル（階層的）に通知部６が読影を依頼する場合がある。この場合は例えば読影の担当者Ａが読影した結果を踏まえて読影の担当者Ｂが読影をすることで、読影者間に係る手間の削減が期待される。図１を参照して、通知部６は読影を依頼する人数が２人だった場合について述べる。読影者が２人の場合、通知部６は読影担当者Ａ（第一の読影担当者）には医用画像データを通知する。そして、読影担当者Ｂ（第二の読影担当者）には、医用画像データとさらに読影担当者Ａ（第一の読影担当者）の読影結果を通知する。即ち、通知部６は、読影人数決定部５により決定された読影人数が２人以上であった場合に、第一の読影担当者には医用画像データ、第二の読影担当者には、医用画像データとさらに第一の読影担当者の読影結果を通知することを特徴とする。
［第２の実施形態］
第２の実施形態における情報処理装置１０は、医用画像データとして脳ＭＲＩ画像を取得し、当該医用画像データ中に脳腫瘍が含まれているか否かを推論する。本実施形態では、閾値として閾値Ｔ１、閾値Ｔ２（Ｔ１＞Ｔ２）の二つを設定し、推論の信頼度が閾値Ｔ１以上の場合に読影人数を０人、閾値Ｔ２以上閾値Ｔ１未満の場合に１人、閾値Ｔ２未満の場合に２人に決定する場合を例に説明する。
第２の実施形態は、読影人数決定部５および通知部６以外は第１の実施形態と同一であるため、以下、読影人数決定部５および通知部６に関して、第１の実施形態と異なる部分に限定して説明する。
（読影人数決定部５）
読影人数決定部５は、信頼度算出部４が算出した信頼度に基づいて、医用画像データを読影する人数に関する情報を決定する。
本実施形態では、閾値Ｔ１（例えば９５％）と閾値Ｔ２（例えば７５％）の二つの閾値を設定する。そして信頼度Ｒが閾値Ｔ１以上（Ｒ≧Ｔ１）の場合は読影人数を０人、閾値Ｔ２以上Ｔ１未満（Ｔ１＞Ｒ≧Ｔ２）の場合は読影人数を１人、閾値Ｔ２より大きい（Ｔ２＞Ｒ）場合は読影人数を２人に決定する。
なお、信頼度Ｒが高いほど読影人数を少なくする場合に限らず、信頼度と閾値と読影人数の関係は自由に設定してよい。例えば、信頼度Ｒが閾値Ｔ１以上の場合には読影人数を１人、閾値Ｔ２以上Ｔ１未満の場合には読影人数を２人とし、閾値Ｔ２未満の場合には読影人数を０人として他の推論用ＡＩに医用画像データを送信してもよい。これにより、信頼度が閾値Ｔ２未満の場合には、読影せずに他のＡＩに医用画像データを送信して、他のＡＩでの推論結果を参照することができる。
なお、読影人数は３人以上としてもよい。例えば、信頼度ＲがＴ１以上の場合には読影人数を１人、Ｔ２以上Ｔ１未満の場合には読影人数を２人、Ｔ２未満の場合には読影人数を３人に設定してもよい。
（通知部６）
読影人数決定部５により決定された読影人数が０の場合においては、読影の担当者に対して医用画像データを通知しない。即ち、通知部６は読影人数決定部５によって決定された読影人数に基づいて医用画像データを通知しないことを特徴とする。その他の人数が決定された場合の処理については、実施形態１の処理と同様である。
以下、本実施形態における情報処理装置１０の読影人数決定フローを説明する。
（読影人数決定フロー）
図７は、信頼度に対して閾値を二つ設定することで、読影人数を０～２人に決定するフローチャートである。ここでは、事前にアプリケーションに定められた信頼度Ｒに対して二つの閾値Ｔ１（例えば９７％）と閾値Ｔ２（例えば６０％、Ｔ１＞Ｔ２）を設定するものとする。本フローチャートは、脳ＭＲＩ画像全体から疾患の有無を検出する深層ネットワークに、学習データを学習させた状態から開始する。ステップＳ１１において、入力部２は、脳ＭＲＩ画像を前記深層ネットワークに入力する。ステップＳ１２において、推論部３は、入力された医用画像データに対して、脳ＭＲＩ画像全体での疾患の有無を推論する。ステップＳ１３において、信頼度算出部４は、推論した結果を踏まえて信頼度Ｒを算出する。ステップＳ１４において、読影人数決定部５は、算出した信頼度Ｒと二つの閾値を比較し、読影人数を決定する。具体的には、算出した信頼度ＲがＴ１以上の場合は読影人数を０人、Ｔ１未満Ｔ２以上の場合は読影人数を１人、Ｔ２未満の場合は読影人数を２人に決定できる。
本実施形態によれば、医用画像データに対する推論の信頼度に基づいて、医用画像データを読影する人数をより柔軟に決定することができる。これにより、推論の信頼度が低い場合でも、読影の際の見落としや診断ミスの可能性を低減することができる。
（第２の実施形態の変形例１）
第２の実施形態では脳腫瘍に限定して説明したが、脳腫瘍に限らず、その他の疾患でもよい。
（第２の実施形態の変形例２）
第２の実施形態では脳ＭＲＩ画像に限定して説明したが、脳ＭＲＩ画像に限らず、その他の医用画像データでもよい。
（第２の実施形態の変形例３）
第１の実施形態での変形例は、第２の実施形態においても適用されてもよい。
１ 撮像装置
２ 取得部
３ 推論部
４ 信頼度算出部
５ 読影人数決定部
６ 通知部
７ａ 医用端末Ａ
７ｂ 医用端末Ｂ
１０ 情報処理装置

Claims (18)

  1. 医用画像データを取得する取得部と、
    前記取得部により取得された前記医用画像データに対して推論を行う推論部と、
    前記推論部による推論結果に基づいて信頼度を算出する信頼度算出部と、
    前記信頼度に基づいて、前記医用画像データを読影する人数を０人以上に決定する読影人数決定部と、
    前記決定された人数が１人以上である場合に、前記医用画像データを通知し、
    前記決定された人数が０人である場合に、前記医用画像データの通知を行わない通知部と、
    を有することを特徴とする情報処理装置。
  2. 前記信頼度は、前記推論部による推論結果がどのくらい信頼できるかを示す指標に基づいて算出されることを特徴とする請求項１に記載の情報処理装置。
  3. 前記信頼度は、前記推論部による推論結果のうち、Ｓｏｆｔｍａｘ値に基づいて算出されることを特徴とする請求項１または２に記載の情報処理装置。
  4. 前記読影人数決定部は、少なくとも前記信頼度および閾値に基づいて読影する人数を決定することを特徴とする請求項１乃至３のいずれか一項に記載の情報処理装置。
  5. 前記読影人数決定部は、算出した信頼度が前記閾値より小さい場合には、該算出した信頼度が前記閾値よりも大きい場合の読影人数よりも多くの読影人数に決定することを特徴とする請求項４に記載の情報処理装置。
  6. 前記読影人数決定部は、算出した信頼度が前記閾値より大きい場合には、該算出した信頼度が前記閾値よりも小さい場合の読影人数よりも少ない読影人数に決定することを特徴とする請求項４に記載の情報処理装置。
  7. 前記読影人数決定部は、読影担当者の熟練度および読影の難易度の少なくとも一方に基づいて読影人数を決定することを特徴とする請求項１乃至６のいずれか一項に記載の情報処理装置。
  8. 前記閾値を調整する閾値調整部をさらに備えることを特徴とする請求項４に記載の情報処理装置。
  9. 前記閾値調整部は、前記読影担当者の熟練度および前記読影の難易度の少なくとも一方に基づいて閾値を調整することを特徴とする請求項８に記載の情報処理装置。
  10. 前記通知部は通知をした読影の担当者の前記医用画像データにおけるジョブステータスをさらに通知することを特徴とする請求項１乃至７のいずれか一項に記載の情報処理装置。
  11. 同一もしくは少なくとも一部に重複領域を有する医用画像データに対して、複数の異なる推論結果が推論された場合に、信頼度算出部はそれぞれの推論結果の共起確率および類似度の少なくとも一方に基づいて信頼度を算出することを特徴とする請求項１乃至１０のいずれか一項に記載の情報処理装置。
  12. 前記通知部は、読影人数決定部により決定された読影人数が２人以上であった場合に、第一の読影担当者には医用画像データ、第二の読影担当者には、該医用画像データとさらに第一の読影担当者の読影結果を通知することを特徴とする請求項１乃至１１のいずれか一項に記載の情報処理装置。
  13. 前記通知部は、前記決定された読影人数が２人以上であった場合に、第一の読影担当者と第二の読影担当者に対して、前記医用画像データを通知し、
    第一の読影担当者の読影結果と、第二の読影担当者の読影結果が異なる場合には、第三の読影担当者に対して、医用画像データおよび前記第一の読影担当者の読影結果、前記第二の読影担当者の読影結果を通知することを特徴とする請求項１乃至１１のいずれか一項に記載の情報処理装置。
  14. 前記信頼度算出部は、前記推論部の推論精度に基づいて信頼度を算出することを特徴とする請求項１乃至１３のいずれか一項に記載の情報処理装置。
  15. 前記推論部は、前記医用画像データに病変が含まれている可能性を推論することを特徴とする請求項１乃至１４のいずれか一項に記載の情報処理装置。
  16. 前記推論部は、前記医用画像データ中の局所的な領域に病変が含まれている可能性を推論することを特徴とする請求項１乃至１４のいずれか一項に記載の情報処理装置。
  17. 医用画像データを取得する取得ステップと、
    前記取得ステップにより取得された前記医用画像データに対して推論を行う推論ステップと、
    前記推論ステップによる推論結果に基づいて信頼度を算出する信頼度算出ステップと、
    前記信頼度に基づいて、前記医用画像データを読影する人数を０人以上に決定する読影人数決定ステップと、
    前記決定された人数が１人以上である場合に、前記医用画像データを通知し、
    前記決定された人数が０人である場合に、前記医用画像の通知を行わない、通知ステップと、
    を有することを特徴とする情報処理方法。
  18. 請求項１７に記載の情報処理方法をコンピュータに実行させるためのプログラム。
JP2019106573A 2019-06-06 2019-06-06 情報処理装置、方法、及びプログラム Active JP7370735B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019106573A JP7370735B2 (ja) 2019-06-06 2019-06-06 情報処理装置、方法、及びプログラム
US16/890,836 US20200388395A1 (en) 2019-06-06 2020-06-02 Apparatus, method, and non-transitory computer-readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019106573A JP7370735B2 (ja) 2019-06-06 2019-06-06 情報処理装置、方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2020201606A JP2020201606A (ja) 2020-12-17
JP7370735B2 true JP7370735B2 (ja) 2023-10-30

Family

ID=73650793

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019106573A Active JP7370735B2 (ja) 2019-06-06 2019-06-06 情報処理装置、方法、及びプログラム

Country Status (2)

Country Link
US (1) US20200388395A1 (ja)
JP (1) JP7370735B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115496703A (zh) * 2021-06-18 2022-12-20 富联精密电子(天津)有限公司 肺炎区域检测方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004157877A (ja) 2002-11-07 2004-06-03 Toshiba Medical System Co Ltd スケジュール管理システム
JP2017225542A (ja) 2016-06-21 2017-12-28 株式会社日立製作所 画像処理装置、及び方法
JP2018142145A (ja) 2017-02-27 2018-09-13 キヤノンマーケティングジャパン株式会社 遠隔読影システム、その制御方法、及びプログラム
JP2018206082A (ja) 2017-06-05 2018-12-27 キヤノン株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム
WO2019102917A1 (ja) 2017-11-21 2019-05-31 富士フイルム株式会社 読影医決定装置、方法およびプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004157877A (ja) 2002-11-07 2004-06-03 Toshiba Medical System Co Ltd スケジュール管理システム
JP2017225542A (ja) 2016-06-21 2017-12-28 株式会社日立製作所 画像処理装置、及び方法
JP2018142145A (ja) 2017-02-27 2018-09-13 キヤノンマーケティングジャパン株式会社 遠隔読影システム、その制御方法、及びプログラム
JP2018206082A (ja) 2017-06-05 2018-12-27 キヤノン株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム
WO2019102917A1 (ja) 2017-11-21 2019-05-31 富士フイルム株式会社 読影医決定装置、方法およびプログラム

Also Published As

Publication number Publication date
JP2020201606A (ja) 2020-12-17
US20200388395A1 (en) 2020-12-10

Similar Documents

Publication Publication Date Title
US11710233B2 (en) Three-dimensional medical image analysis method and system for identification of vertebral fractures
US10504227B1 (en) Application of deep learning for medical imaging evaluation
Dyer et al. Diagnosis of normal chest radiographs using an autonomous deep-learning algorithm
US20230005151A1 (en) Methods and systems for performing real-time radiology
KR20220151170A (ko) 훈련 데이터에서 누락된 주석을 해결하기 위한 클래스별 손실 함수
JP2022537818A (ja) 機械学習されたモデルを使用して皮膚状態を診断すること
Sangeetha et al. A Combined Image Segmentation and Classification Approach for COVID-19 Infected Lungs.
JP7370735B2 (ja) 情報処理装置、方法、及びプログラム
Ali et al. A deep learning‐based x‐ray imaging diagnosis system for classification of tuberculosis, COVID‐19, and pneumonia traits using evolutionary algorithm
JP7222882B2 (ja) 医用画像評価のためのディープラーニングの応用
EP3813075A1 (en) System and method for automating medical images screening and triage
JP7109345B2 (ja) 優先度判定装置、方法およびプログラム
Suárez-Cuenca et al. Automated detection of pulmonary nodules in CT: false positive reduction by combining multiple classifiers
JP2023515623A (ja) 医学的状態の指標を決定するための技術
de Abreu Vieira et al. Deep learning approach for disease detection in lumbosacral spine radiographs using ConvNet
WO2020227794A1 (pt) Método e sistema automático de análise de imagem de mamografia e método de treinamento de rede neural profunda
Zhang et al. A clinical classification for radiation-less monitoring of scoliosis based on deep learning of back photographs
Ryan et al. Cluster activation mapping with applications to medical imaging
Tsunoyama et al. Automated CT detection of intestinal abnormalities and ischemia for decision making in emergency medicine
Qu et al. Multiple classifier fusion and optimization for automatic focal cortical dysplasia detection on magnetic resonance images
US11508065B2 (en) Methods and systems for detecting acquisition errors in medical images
US20240127431A1 (en) Method and apparatus for providing confidence information on result of artificial intelligence model
Singh Computer Aided Diagnosis for a Sustainable World
Gonzalez et al. Bone Quality Classification of Dual Energy X-ray Absorptiometry Images Using Convolutional Neural Network Models
Potvin et al. Deep learning of chest X‑rays can predict mechanical ventilation outcome in ICU‑admitted COVID‑19 patients

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220512

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230531

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230627

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230810

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230919

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231018

R151 Written notification of patent or utility model registration

Ref document number: 7370735

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151