JP7246912B2 - 医用情報処理装置及び医用情報処理システム - Google Patents

医用情報処理装置及び医用情報処理システム Download PDF

Info

Publication number
JP7246912B2
JP7246912B2 JP2018236589A JP2018236589A JP7246912B2 JP 7246912 B2 JP7246912 B2 JP 7246912B2 JP 2018236589 A JP2018236589 A JP 2018236589A JP 2018236589 A JP2018236589 A JP 2018236589A JP 7246912 B2 JP7246912 B2 JP 7246912B2
Authority
JP
Japan
Prior art keywords
image
medical
image data
trained model
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018236589A
Other languages
English (en)
Other versions
JP2020098488A (ja
Inventor
泰輔 岩村
恵太 三森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Medical Systems Corp
Original Assignee
Canon Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Medical Systems Corp filed Critical Canon Medical Systems Corp
Priority to JP2018236589A priority Critical patent/JP7246912B2/ja
Priority to US16/716,939 priority patent/US11488297B2/en
Publication of JP2020098488A publication Critical patent/JP2020098488A/ja
Application granted granted Critical
Publication of JP7246912B2 publication Critical patent/JP7246912B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

本発明の実施形態は、医用情報処理装置及び医用情報処理システムに関する。
読影においては、検査中に患者から収集された医用画像の他、様々な画像が参考用に用いられる。これにより、読影医は、収集された医用画像のみを用いて読影を行なう場合と比較して、より適切に所見の作成を行なうことができる。このため、医用画像の収集から読影に至るまでのワークフローには、収集された医用画像を表示可能な状態に置くステップの他、参考用の画像を表示可能な状態に置くためのステップが含まれる。
米国特許出願公開第２０１８／０１３７２４４号明細書 米国特許出願公開第２０１７／０２６２５９８号明細書 米国特許出願公開第２０１８／０１４４４６６号明細書
本発明が解決しようとする課題は、医用画像の収集から読影に至るまでのワークフローを改善することである。
実施形態の医用情報処理装置は、評価部と、特定部とを備える。評価部は、医用画像及び当該医用画像に関する検査情報を含む入力情報に基づいて当該医用画像に関連する関連画像及び当該医用画像に基づいて実行される画像処理を特定するように機能付けられた学習済みモデルが前記入力情報に基づいて特定した前記関連画像及び前記画像処理に対して、評価を付与する。特定部は、前記入力情報と前記評価とを、前記学習済みモデルの学習データとして特定する。
図１は、第１の実施形態に係る医用情報処理システムの構成の一例を示すブロック図である。 図２は、第１の実施形態に係る医用情報処理装置の構成の一例を示すブロック図である。 図３は、第１の実施形態に係る医用情報処理装置の構成の一例を示すブロック図である。 図４は、第１の実施形態に係る端末装置の構成の一例を示すブロック図である。 図５は、第１の実施形態に係るワークフローの一例を示す図である。 図６は、第１の実施形態に係る画像表示の一例を示す図である。 図７は、第１の実施形態に係る学習済みモデルについて説明するための図である。 図８は、第１の実施形態に係る評価の一例を示す図である。 図９は、第１の実施形態に係る医用情報処理装置の処理の一連の流れを説明するためのフローチャートである。
以下、図面を参照して、医用情報処理装置及び医用情報処理システムの実施形態について詳細に説明する。
（第１の実施形態）
まず、第１の実施形態について説明する。第１の実施形態では、図１に示す医用情報処理システム１を例として説明する。図１は、第１の実施形態に係る医用情報処理システム１の構成の一例を示すブロック図である。
図１に示すように、第１の実施形態に係る医用情報処理システム１は、医用画像診断装置１０、医用情報処理装置２０、医用情報処理装置３０、医用情報処理装置４０、及び、端末装置５０を備える。医用画像診断装置１０、医用情報処理装置２０、医用情報処理装置３０、医用情報処理装置４０、及び、端末装置５０は、ネットワークＮＷを介して相互に接続される。
医用画像診断装置１０は、患者から医用画像を収集する装置である。なお、データとして処理される画像については、画像データとも記載する。医用画像診断装置１０は、患者から医用画像データを収集し、収集した医用画像データを医用情報処理装置２０又は医用情報処理装置３０に対して出力する。例えば、医用画像診断装置１０は、Ｘ線ＣＴ（Computed Tomography）装置やＸ線診断装置、超音波診断装置、ＳＰＥＣＴ（Single Photon Emission Computed Tomography）装置、ＳＰＥＣＴ装置とＸ線ＣＴ装置とが一体化されたＳＰＥＣＴ－ＣＴ装置等である。なお、図１においては、医用画像診断装置１０を１つのみ示すが、医用情報処理システム１は医用画像診断装置１０を複数備えてもよい。
例えば、医用画像診断装置１０がＸ線ＣＴ装置である場合、医用画像診断装置１０は、患者に対するＣＴスキャンを実行して投影データを収集する。次に、医用画像診断装置１０は、投影データに基づいてＣＴ画像データ（複数の断層画像）を生成する。具体的には、医用画像診断装置１０は、投影データに対してフィルタ補正逆投影法や逐次近似再構成法等を用いた再構成処理を行うことにより、ＣＴ画像データを再構成する。ここで、ＣＴ画像データは、医用画像データの一例である。また、医用画像診断装置１０は、生成したＣＴ画像データを医用情報処理装置２０に対して出力する。
医用情報処理装置２０は、医用画像診断装置１０によって収集された医用画像データを保管する装置である。例えば、医用情報処理装置２０は、ネットワークＮＷを介して、医用画像診断装置１０から医用画像データを収集し、収集した医用画像データを装置内又は装置外に設けられた記憶回路に記憶させる。例えば、医用情報処理装置２０は、サーバ装置等のコンピュータ機器によって実現される。一例を挙げると、医用情報処理装置２０は、ＰＡＣＳ（Picture Archiving and Communication System）における画像サーバである。
また、医用情報処理装置２０は、医用画像診断装置１０から収集した医用画像データに関連する関連画像データを、医用情報処理装置３０から収集する。また、医用情報処理装置２０は、医用画像診断装置１０から収集した医用画像データを、医用情報処理装置４０に対して出力する。また、医用情報処理装置２０は、医用情報処理装置４０による画像処理後の医用画像データを、医用情報処理装置４０から収集する。また、医用情報処理装置２０は、端末装置５０からの要求に応じた画像データを、端末装置５０に対して出力する。なお、医用情報処理装置２０による処理については後述する。
医用情報処理装置３０は、医用画像診断装置１０によって収集された医用画像データを保管する装置である。例えば、医用情報処理装置３０は、ネットワークＮＷを介して、医用画像診断装置１０から医用画像データを収集し、収集した医用画像データを装置内又は装置外に設けられた記憶回路に記憶させる。ここで、医用情報処理装置３０は、医用情報処理装置２０とは異なる種類の医用画像データを保管する。一例を挙げると、医用情報処理装置２０はＣＴ画像データ等の静止画像を保管し、医用情報処理装置３０は超音波画像データ等の動画像を保管する。例えば、医用情報処理装置３０は、サーバ装置等のコンピュータ機器によって実現される。一例を挙げると、医用情報処理装置３０は、ＰＡＣＳにおける画像サーバである。
医用情報処理装置４０は、医用画像診断装置１０によって収集された医用画像データに基づいて、各種の画像処理を実行する。一例を挙げると、医用情報処理装置４０は、ＣＴ画像データ（複数の断層画像）に基づいて３次元画像データを生成し、３次元画像データに基づく２次元画像データを更に生成する。別の例を挙げると、医用情報処理装置４０は、医用画像診断装置１０によって収集された医用画像データに基づく解析処理を実行する。なお、医用情報処理装置４０による画像処理については後述する。
端末装置５０は、読影医に対して、各種の画像データを提示する装置である。端末装置５０は、読影医から受け付けた入力操作に応じて医用情報処理装置２０から画像データを収集し、収集した画像データをディスプレイに表示させる。即ち、医用情報処理装置２０は各種の画像データを表示可能な状態としておき、端末装置５０は、医用情報処理装置２０から収集した画像データをディスプレイに表示させる。例えば、端末装置５０は、読影医に対して、医用画像診断装置１０によって収集された医用画像データを提示する。即ち、読影医は、端末装置５０により医用画像データの読影を行なう。端末装置５０は、例えば、読影医により操作されるパーソナルコンピュータ（ＰＣ：Personal Computer）やタブレット式ＰＣ等によって実現される。
次に、図２を用いて、医用情報処理装置２０の構成について説明する。図２は、第１の実施形態に係る医用情報処理装置２０の構成の一例を示すブロック図である。例えば、医用情報処理装置２０は、図２に示すように、記憶回路２１０と、画像記憶回路２２０と、モデル記憶回路２３０と、処理回路２４０とを備える。
記憶回路２１０は、処理回路２４０によって読み出されて実行される各種機能に対応するプログラムを記憶する。また、画像記憶回路２２０は、各種の画像データを記憶する。例えば、画像記憶回路２２０は、医用画像診断装置１０から収集された医用画像データを記憶する。また、例えば、画像記憶回路２２０は、医用情報処理装置３０から収集された関連画像データを記憶する。また、例えば、画像記憶回路２２０は、医用情報処理装置４０から収集された画像処理後の医用画像データを記憶する。また、モデル記憶回路２３０は、医用画像データ及び検査情報を含む入力情報に基づいて関連画像データ及び画像処理を特定するように機能付けられた学習済みモデルを記憶する。なお、画像記憶回路２２０が記憶する画像データ、及び、モデル記憶回路２３０が記憶する学習済みモデルについては後述する。
記憶回路２１０、画像記憶回路２２０及びモデル記憶回路２３０は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等により実現される。なお、画像記憶回路２２０は、画像記憶部の一例である。また、モデル記憶回路２３０は、モデル記憶部の一例である。
処理回路２４０は、収集機能２４１、評価機能２４２、特定機能２４３、モデル生成機能２４４、制御機能２４５及び出力機能２４６を実行することで、医用情報処理装置２０全体の動作を制御する。ここで、収集機能２４１は、収集部の一例である。また、評価機能２４２は、評価部の一例である。また、特定機能２４３は、特定部の一例である。また、モデル生成機能２４４は、モデル生成部の一例である。また、制御機能２４５は、制御部の一例である。
例えば、処理回路２４０は、収集機能２４１に対応するプログラムを記憶回路２１０から読み出して実行することにより、医用画像診断装置１０から医用画像データを収集する。また、収集機能２４１は、医用情報処理装置３０から、関連画像データを収集する。また、収集機能２４１は、医用情報処理装置４０から、画像処理後の医用画像データを収集する。また、例えば、処理回路２４０は、評価機能２４２に対応するプログラムを記憶回路２１０から読み出して実行することにより、入力情報に基づいて学習済みモデルが特定した関連画像データ及び画像処理に対して、評価を付与する。また、例えば、処理回路２４０は、特定機能２４３に対応するプログラムを記憶回路２１０から読み出して実行することにより、入力情報と評価とを学習データとして特定する。また、例えば、処理回路２４０は、モデル生成機能２４４に対応するプログラムを記憶回路２１０から読み出して実行することにより、学習データに基づいて学習済みモデルを生成し、モデル記憶回路２３０に記憶させる。また、例えば、処理回路２４０は、制御機能２４５に対応するプログラムを記憶回路２１０から読み出して実行することにより、医用画像データ及び検査情報を含む入力情報に基づいて、学習済みモデルに関連画像データ及び画像処理を特定させる。また、例えば、処理回路２４０は、出力機能２４６に対応するプログラムを記憶回路２１０から読み出して実行することにより、画像記憶回路２２０が記憶する画像データのうち端末装置５０からの要求に応じた画像データを、端末装置５０に対して出力する。なお、処理回路２４０による処理については後述する。
図２に示す医用情報処理装置２０においては、各処理機能がコンピュータによって実行可能なプログラムの形態で記憶回路２１０へ記憶されている。処理回路２４０は、記憶回路２１０からプログラムを読み出して実行することで各プログラムに対応する機能を実現するプロセッサである。換言すると、各プログラムを読み出した状態の処理回路２４０は、読み出したプログラムに対応する機能を有することとなる。
なお、図２においては、単一の処理回路２４０にて収集機能２４１、評価機能２４２、特定機能２４３、モデル生成機能２４４、制御機能２４５及び出力機能２４６が実現するものとして説明したが、複数の独立したプロセッサを組み合わせて処理回路２４０を構成し、各プロセッサが各プログラムを実行することにより各処理機能を実現するものとしても構わない。また、処理回路２４０が有する各処理機能は、単一又は複数の処理回路に適宜に分散又は統合されて実現されてもよい。
次に、図３を用いて、医用情報処理装置４０の構成について説明する。図３は、第１の実施形態に係る医用情報処理装置４０の構成の一例を示すブロック図である。例えば、医用情報処理装置４０は、図３に示すように、入力インターフェース４１０と、ディスプレイ４２０と、記憶回路４３０と、画像記憶回路４４０と、処理回路４５０とを備える。
入力インターフェース４１０は、操作者からの各種の入力操作を受け付け、受け付けた入力操作を電気信号に変換して処理回路４５０に出力する。例えば、入力インターフェース４１０は、マウスやキーボード、トラックボール、スイッチ、ボタン、ジョイスティック、操作面へ触れることで入力操作を行なうタッチパッド、表示画面とタッチパッドとが一体化されたタッチスクリーン、光学センサを用いた非接触入力回路、音声入力回路等により実現される。なお、入力インターフェース４１０は、医用情報処理装置４０本体と無線通信可能なタブレット端末等で構成されることにしても構わない。また、入力インターフェース４１０は、マウスやキーボード等の物理的な操作部品を備えるものだけに限られない。例えば、医用情報処理装置４０とは別体に設けられた外部の入力機器から入力操作に対応する電気信号を受け取り、この電気信号を処理回路４５０へ出力する電気信号の処理回路も入力インターフェース４１０の例に含まれる。
ディスプレイ４２０は、各種の情報を表示する。例えば、ディスプレイ４２０は、処理回路４５０による制御の下、医用情報処理装置２０から収集された医用画像や、画像処理機能４５２による画像処理後の医用画像を表示する。また、ディスプレイ４２０は、入力インターフェース４１０を介して操作者から各種指示や各種設定等を受け付けるためのＧＵＩ（Graphical User Interface）を表示する。例えば、ディスプレイ４２０は、液晶ディスプレイやＣＲＴ（Cathode Ray Tube）ディスプレイである。ディスプレイ４２０は、デスクトップ型でもよいし、医用情報処理装置４０本体と無線通信可能なタブレット端末等で構成されることにしても構わない。
記憶回路４３０は、処理回路４５０によって読み出されて実行される各種機能に対応するプログラムを記憶する。また、画像記憶回路４４０は、各種の画像データを記憶する。例えば、画像記憶回路４４０は、医用情報処理装置２０から収集された医用画像データを記憶する。また、例えば、画像記憶回路４４０は、画像処理機能４５２による画像処理後の医用画像データを記憶する。記憶回路４３０及び画像記憶回路４４０は、例えば、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等により実現される。
処理回路４５０は、収集機能４５１、画像処理機能４５２、表示制御機能４５３及び出力機能４５４を実行することで、医用情報処理装置４０全体の動作を制御する。例えば、処理回路４５０は、収集機能４５１に対応するプログラムを記憶回路４３０から読み出して実行することにより、医用情報処理装置２０から医用画像データを収集する。また、例えば、処理回路４５０は、画像処理機能４５２に対応するプログラムを記憶回路４３０から読み出して実行することにより、医用情報処理装置２０から収集された医用画像データに基づいて画像処理を実行する。また、例えば、処理回路４５０は、表示制御機能４５３に対応するプログラムを記憶回路４３０から読み出して実行することにより、医用情報処理装置２０から収集された医用画像データや、画像処理機能４５２による画像処理後の医用画像データを、ディスプレイ４２０に表示させる。また、例えば、処理回路４５０は出力機能４５４に対応するプログラムを記憶回路４３０から読み出して実行することにより、画像処理機能４５２による画像処理後の医用画像データを医用情報処理装置２０に対して出力する。なお、処理回路４５０による処理については後述する。
図３に示す医用情報処理装置４０においては、各処理機能がコンピュータによって実行可能なプログラムの形態で記憶回路４３０へ記憶されている。処理回路４５０は、記憶回路４３０からプログラムを読み出して実行することで各プログラムに対応する機能を実現するプロセッサである。換言すると、各プログラムを読み出した状態の処理回路４５０は、読み出したプログラムに対応する機能を有することとなる。
なお、図３においては、単一の処理回路４５０にて収集機能４５１、画像処理機能４５２、表示制御機能４５３及び出力機能４５４が実現するものとして説明したが、複数の独立したプロセッサを組み合わせて処理回路４５０を構成し、各プロセッサが各プログラムを実行することにより各処理機能を実現するものとしても構わない。また、処理回路４５０が有する各処理機能は、単一又は複数の処理回路に適宜に分散又は統合されて実現されてもよい。
次に、図４を用いて、端末装置５０の構成について説明する。図４は、第１の実施形態に係る端末装置５０の構成の一例を示すブロック図である。例えば、端末装置５０は、図４に示すように、入力インターフェース５１０と、ディスプレイ５２０と、記憶回路５３０と、処理回路５４０とを備える。
入力インターフェース５１０は、操作者からの各種の入力操作を受け付け、受け付けた入力操作を電気信号に変換して処理回路５４０に出力する。例えば、入力インターフェース５１０は、マウスやキーボード、トラックボール、スイッチ、ボタン、ジョイスティック、操作面へ触れることで入力操作を行なうタッチパッド、表示画面とタッチパッドとが一体化されたタッチスクリーン、光学センサを用いた非接触入力回路、音声入力回路等により実現される。
ディスプレイ５２０は、各種の情報を表示する。例えば、ディスプレイ５２０は、処理回路５４０による制御の下、医用情報処理装置２０の画像記憶回路２２０に記憶された各種の画像を表示する。また、ディスプレイ５２０は、入力インターフェース４１０を介して操作者から各種指示や各種設定等を受け付けるためのＧＵＩを表示する。例えば、ディスプレイ５２０は、液晶ディスプレイやＣＲＴディスプレイである。
記憶回路５３０は、処理回路５４０によって読み出されて実行される各種機能に対応するプログラムを記憶する。記憶回路５３０は、例えば、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等により実現される。
処理回路５４０は、制御機能５４１及び表示制御機能５４２を実行することで、端末装置５０全体の動作を制御する。例えば、処理回路５４０は、制御機能５４１に対応するプログラムを記憶回路５３０から読み出して実行することにより、入力インターフェース５１０を介して操作者から受け付けた入力操作に基づいて、端末装置５０全体の動作を制御する。また、例えば、処理回路５４０は、表示制御機能５４２に対応するプログラムを記憶回路５３０から読み出して実行することにより、医用情報処理装置２０の画像記憶回路２２０に記憶された医用画像データをディスプレイ５２０に表示させる。また、表示制御機能５４２は、画像記憶回路２２０に記憶された関連画像データ、及び、画像処理機能４５２による画像処理後の医用画像データをディスプレイ５２０に表示させる。なお、表示制御機能５４２が表示させる画像データについては後述する。
図４に示す端末装置５０においては、各処理機能がコンピュータによって実行可能なプログラムの形態で記憶回路５３０へ記憶されている。処理回路５４０は、記憶回路５３０からプログラムを読み出して実行することで各プログラムに対応する機能を実現するプロセッサである。換言すると、各プログラムを読み出した状態の処理回路５４０は、読み出したプログラムに対応する機能を有することとなる。
なお、図４においては、単一の処理回路５４０にて制御機能５４１及び表示制御機能５４２が実現するものとして説明したが、複数の独立したプロセッサを組み合わせて処理回路５４０を構成し、各プロセッサが各プログラムを実行することにより各処理機能を実現するものとしても構わない。また、処理回路５４０が有する各処理機能は、単一又は複数の処理回路に適宜に分散又は統合されて実現されてもよい。
上記説明において用いた「プロセッサ」という文言は、例えば、ＣＰＵ、ＧＰＵ（Graphics Processing Unit）、あるいは、特定用途向け集積回路（Application Specific Integrated Circuit：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Simple Programmable Logic Device：ＳＰＬＤ）、複合プログラマブル論理デバイス（Complex Programmable Logic Device：ＣＰＬＤ）、及びフィールドプログラマブルゲートアレイ（Field Programmable Gate Array：ＦＰＧＡ））等の回路を意味する。プロセッサは、記憶回路２１０、記憶回路４３０又は記憶回路５３０に保存されたプログラムを読み出し実行することで機能を実現する。
なお、図２、図３及び図４においては、単一の記憶回路２１０、記憶回路４３０又は記憶回路５３０が各処理機能に対応するプログラムを記憶するものとして説明した。しかしながら、複数の記憶回路２１０を分散して配置し、処理回路２４０は、個別の記憶回路２１０から対応するプログラムを読み出す構成としても構わない。同様に、複数の記憶回路４３０を分散して配置し、処理回路４５０は、個別の記憶回路４３０から対応するプログラムを読み出す構成としても構わない。同様に、複数の記憶回路５３０を分散して配置し、処理回路５４０は、個別の記憶回路５３０から対応するプログラムを読み出す構成としても構わない。また、記憶回路２１０、記憶回路４３０又は記憶回路５３０にプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むよう構成しても構わない。この場合、プロセッサは回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。
また、処理回路２４０、処理回路４５０及び処理回路５４０は、ネットワークＮＷを介して接続された外部装置のプロセッサを利用して、機能を実現することとしてもよい。例えば、処理回路２４０は、記憶回路２１０から各機能に対応するプログラムを読み出して実行するとともに、医用情報処理装置２０とネットワークＮＷを介して接続されたサーバ群（クラウド）を計算資源として利用することにより、図２に示す各機能を実現する。
以上、医用情報処理システム１の構成の一例について説明した。かかる構成の下、医用情報処理システム１における医用情報処理装置２０は、医用画像データの収集から読影に至るまでのワークフローを改善する。
ここで、医用画像データの収集から読影に至るまでのワークフローについて、図５を用いて説明する。図５は、第１の実施形態に係るワークフローの一例を示す図である。図５に示す場合、まず、医用画像診断装置１０は、患者から医用画像データＩ１を収集する。次に、医用情報処理装置２０における収集機能２４１は、医用画像診断装置１０から医用画像データＩ１を収集する。例えば、収集機能２４１は、医用画像診断装置１０から出力された医用画像データＩ１を受け付けて、画像記憶回路２２０に記憶させる。
次に、医用情報処理装置２０における収集機能２４１は、医用画像データＩ１に関連する関連画像データＩ２を医用情報処理装置３０から収集する。ここで、関連画像データＩ２は、例えば、医用画像データＩ１と同一患者の画像や、医用画像データＩ１の患者と同一又は類似の症例を有する患者の画像である。
一例を挙げると、医用画像データＩ１が患者Ｐ１から収集された画像である場合において、関連画像データＩ２は、患者Ｐ１から過去に収集された画像である。別の例を挙げると、医用画像データＩ１が患者Ｐ１から収集された画像である場合において、関連画像データＩ２は、患者Ｐ１と同一又は類似の症例を有する患者Ｐ２から収集された画像である。なお、医用画像データＩ１と関連画像データＩ２とは異なる種類の画像データであってもよい。例えば、医用画像データＩ１がＣＴ画像データである場合において、関連画像データＩ２は超音波画像データであってもよい。
例えば、収集機能２４１は、医用情報処理装置２０の操作者（検査技師等）による入力操作に応じて、関連画像データＩ２を収集する。具体的には、操作者は、医用画像データＩ１と同一患者の画像や、医用画像データＩ１の患者と同一又は類似の症例を有する患者の画像等を検索し、医用画像データＩ１の読影において参考になりそうな画像を選択する。そして、収集機能２４１は、選択された画像を関連画像データＩ２として収集し、収集した関連画像データＩ２を画像記憶回路２２０に記憶させる。
また、出力機能２４６は、医用情報処理装置４０に対して、医用画像データＩ１を出力する。ここで、医用情報処理装置４０における収集機能４５１は、出力機能２４６によって出力された医用画像データＩ１を受け付けて、画像記憶回路４４０に記憶させる。即ち、収集機能４５１は、医用情報処理装置２０から医用画像データＩ１を収集する。次に、画像処理機能４５２は、医用画像データＩ１に基づいて、画像処理を実行する。なお、以下では、医用画像データＩ１に基づいて実行される画像処理を、画像処理Ａ１と記載する。
例えば、画像処理機能４５２は、医用情報処理装置４０の操作者（検査技師等）による入力操作に応じて、画像処理Ａ１を実行する。具体的には、操作者は、医用画像データＩ１の読影において参考となる画像が生成されるように、画像処理Ａ１の種類やパラメータを選択する。そして、画像処理機能４５２は、医用画像データＩ１に基づいて、選択された種類やパラメータに応じた画像処理Ａ１を実行する。
一例を挙げると、画像処理機能４５２は、画像処理Ａ１として、２次元の医用画像データＩ１に基づいて３次元画像データを生成し、３次元画像データに基づいて２次元画像データを生成する処理を実行する。以下、医用画像データＩ１がＣＴ画像データ（複数の断層画像）である場合を例として説明する。まず、収集機能４５１は、医用情報処理装置２０から複数の断層画像を収集する。次に、画像処理機能４５２は、複数の断層画像に基づいて、３次元画像データを生成する。例えば、画像処理機能４５２は、複数の断層画像を３次元空間に配置するとともに、断層画像の間の補間処理を行なうことで、３次元画像データを生成する。次に、画像処理機能４５２は、生成した３次元画像データに対する各種レンダリング処理を行なって、２次元画像データを生成する。ここで、レンダリング処理としては、断面再構成法（ＭＰＲ：Multi Planar Reconstruction）により、３次元画像データから任意断面の２次元画像データを再構成する処理がある。また、レンダリング処理としては、ボリュームレンダリング（Volume Rendering）処理や、最大値投影法（ＭＩＰ：Maximum Intensity Projection）により、３次元画像データから３次元の情報を反映した２次元画像データを生成する処理がある。
例えば、画像処理機能４５２は、医用情報処理装置４０の操作者（検査技師等）からの入力操作に応じて３次元画像データから種々の２次元画像データを生成する。また、表示制御機能４５３は、生成された２次元画像データをディスプレイ４２０に表示させる。ここで、操作者は、種々の２次元画像データを参照し、読影用の２次元画像データを選択する。例えば、操作者は、種々の断面の２次元画像データのうち、検査対象部位や病変が特に明瞭に現れている２次元画像データを、読影用の２次元画像データとして選択する。
なお、３次元画像データに基づく読影用の２次元画像データについては、セカンダリキャプチャー（ＳＣ：Secondary Capture）画像とも記載する。３次元画像データについては装置によって表示ができない場合があるものの、ＳＣ画像については、通常、任意の装置において表示が可能である。即ち、３次元画像データについては、３次元画像表示用のアプリケーションを有さない装置において表示ができないものの、２次元画像データであるＳＣ画像については、通常、任意の装置において表示が可能である。
また、画像処理機能４５２は、医用画像データＩ１に基づく３次元画像データとして、フュージョン画像を生成してもよい。例えば、医用画像診断装置１０は、まず、医用画像データＩ１として、複数の相のＣＴ画像データを収集する。一例を挙げると、医用画像診断装置１０は、造影剤を患者の血管内に注入して収集されたＣＴ画像データであって、動脈内の造影剤濃度が最も高くなるタイミングのＣＴ画像データ（以下、第１のＣＴ画像データとする）と、静脈内の造影剤濃度が最も高くなるタイミングのＣＴ画像データ（以下、第２のＣＴ画像データとする）とを収集する。
この場合、収集機能２４１は、医用画像データＩ１として、第１のＣＴ画像データ及び第２のＣＴ画像データを医用画像診断装置１０から収集する。次に、収集機能４５１は、第１のＣＴ画像データ及び第２のＣＴ画像データを医用情報処理装置２０から収集する。次に、画像処理機能４５２は、第１のＣＴ画像データ及び第２のＣＴ画像データに基づいて、フュージョン画像を生成する。
具体的には、画像処理機能４５２は、第１のＣＴ画像データに基づく３次元画像データ（以下、動脈相画像とする）と、第２のＣＴ画像データに基づく３次元画像データ（以下、静脈相画像とする）とを生成する。次に、画像処理機能４５２は、動脈相画像と静脈相画像とを合成することで、フュージョン画像を生成する。次に、画像処理機能４５２は、生成したフュージョン画像に対する各種レンダリング処理を行なって２次元画像データを生成し、操作者から読影用の２次元画像データの選択を受け付ける。即ち、画像処理機能４５２は、フュージョン画像に基づくＳＣ画像を生成する。
別の例を挙げると、画像処理機能４５２は、画像処理Ａ１として、医用画像データＩ１に基づく解析処理を実行する。例えば、画像処理機能４５２は、医用画像データＩ１に基づいて病変の解析を行なう。一例を挙げると、画像処理機能４５２は、医用画像データＩ１に基づいて病変の位置を検出したり、検出した病変の体積や面積、長さ等を測定したりする。
また、例えば、画像処理機能４５２は、医用画像データＩ１に基づく解析処理として、パーフュージョン解析を実行する。一例を挙げると、医用画像診断装置１０は、まず、医用画像データＩ１として、患者の心臓のＳＰＥＣＴ画像データであって、時間的間隔を置いた複数のＳＰＥＣＴ画像データを収集する。次に、収集機能２４１は、複数のＳＰＥＣＴ画像データを医用画像診断装置１０から収集する。次に、収集機能４５１は、複数のＳＰＥＣＴ画像データを医用情報処理装置２０から収集する。次に、画像処理機能４５２は、複数のＳＰＥＣＴ画像データ間の比較に基づいて、患者の心臓の血管における血流動態を求める。例えば、虚血領域においては放射性医薬品の集積が遅くなることから、画像処理機能４５２は、複数のＳＰＥＣＴ画像データの比較において画素値の変化が小さい位置を、虚血領域として特定する。
また、画像処理機能４５２は、解析処理の結果を示す画像を生成する。例えば、画像処理機能４５２は、医用画像データＩ１において検出した病変の位置にマーカを付した画像を生成する。また、例えば、画像処理機能４５２は、医用画像データＩ１において特定した虚血領域にマーカを付した画像を生成する。
次に、医用情報処理装置２０における収集機能２４１は、医用情報処理装置４０から、画像処理Ａ１を施された後の医用画像データＩ１を収集する。なお、以下では、画像処理Ａ１を施された後の医用画像データＩ１を、医用画像データＩ３と記載する。即ち、収集機能２４１は、図５に示すように、医用情報処理装置４０から、医用画像データＩ３を収集する。医用画像データＩ３は、例えば、ＳＣ画像や、解析処理の結果を示す画像である。そして、収集機能２４１は、収集した医用画像データＩ３を、画像記憶回路２２０に記憶させる。
ここで、医用情報処理装置２０における出力機能２４６は、画像記憶回路２２０が記憶する画像データ（医用画像データＩ１、関連画像データＩ２、医用画像データＩ３等）のうち、端末装置５０からの要求に応じた画像データを、端末装置５０に対して出力する。以下、この点について図６を用いて説明する。なお、図６においては、医用画像データＩ１の例として、医用画像データＩ１１ａ及び医用画像データＩ１１ｂについて説明する。また、図６においては、関連画像データＩ２の例として関連画像データＩ２１ａ及び関連画像データＩ２１ｂについて説明する。また、図６においては、医用画像データＩ３の例として医用画像データＩ３１について説明する。図６は、第１の実施形態に係る画像表示の一例を示す図である。
まず、端末装置５０における表示制御機能５４２は、ディスプレイ５２０の領域Ｒ１に、画像記憶回路２２０が記憶する画像データに基づくサムネイルを表示させる。例えば、表示制御機能５４２は、図６に示すように、医用画像データＩ１１ａに基づくサムネイル画像Ｉ１１ａ’、医用画像データＩ１１ｂに基づくサムネイル画像Ｉ１１ｂ’、関連画像データＩ２１ａに基づくサムネイル画像Ｉ２１ａ’、関連画像データＩ２１ｂに基づくサムネイル画像Ｉ２１ｂ’、及び、医用画像データＩ３１に基づくサムネイル画像Ｉ３１’を表示させる。
次に、端末装置５０の操作者（読影医）は、サムネイル表示を参照して、読影に用いる画像を選択する。例えば、読影医は、読影に用いる画像として、医用画像データＩ１１ａ、医用画像データＩ１１ｂ及び関連画像データＩ２１ａを選択する。この場合、表示制御機能５４２は、医用情報処理装置２０の画像記憶回路２２０から、医用画像データＩ１１ａ、医用画像データＩ１１ｂ及び関連画像データＩ２１ａを収集して、ディスプレイ５２０に表示させる。
具体的には、表示制御機能５４２は、医用情報処理装置２０に対して、医用画像データＩ１１ａ、医用画像データＩ１１ｂ及び関連画像データＩ２１ａを要求する。次に、医用情報処理装置２０における出力機能２４６は、要求に応じた画像データ（医用画像データＩ１１ａ、医用画像データＩ１１ｂ及び関連画像データＩ２１ａ）を画像記憶回路２２０から読み出して、端末装置５０に対して出力する。
次に、表示制御機能５４２は、図５に示すように、医用画像データＩ１１ａ、医用画像データＩ１１ｂ及び関連画像データＩ２１ａを表示させる。なお、図５に示す医用画像データＩ１１ａ及び医用画像データＩ１１ｂは、ＣＴ画像データである。また、関連画像データＩ２１ａは、超音波画像データである。読影医は、関連画像データＩ２１ａを参考としつつ、医用画像データＩ１１ａ及び医用画像データＩ１１ｂを読影して、所見の作成を行なう。
上述したように、医用情報処理装置２０によれば、医用画像データＩ１に加えて、関連画像データＩ２や医用画像データＩ３を読影医に提供することが可能である。これにより、読影医は、医用画像データＩ１のみを用いる場合と比較して、より適切に所見を作成することができる。しかしながら、上述したように、関連画像データＩ２の収集及び画像処理Ａ１は医用情報処理装置２０や医用情報処理装置４０の操作者による入力操作に基づいて行われており、医用画像データＩ１の収集から読影に至るまでのワークフローは複雑である。
ここで、医用画像データＩ１の収集から読影に至るまでのワークフローについて、ルールベースによる自動化が考えられる。例えば、「過去３年分の同一患者の画像を関連画像データＩ２として収集する」というように、予めルールを設定しておくことで、医用画像データＩ１の収集から読影に至るまでのワークフローの一部を自動化することができる。しかしながら、このようなルールは症例や患者情報、画像データの種類等に応じてパターン毎に作成する必要があり、ルールの作成は容易でない。更に、作成したルールについても適宜見直しが必要である。例えば、新たな医用画像診断装置１０が導入されたり、検査プロトコルが変更されたり、新たな臨床アプリケーションが開発されて医用情報処理装置４０にて実行可能な画像処理が増えたりする度に、ルールの見直しが必要である。
また、関連画像データＩ２の収集及び医用画像データＩ１に基づく画像処理Ａ１について不足があれば、関連画像データＩ２の収集や画像処理Ａ１を再度行なうこととなり、読影医や検査技師にとっての負担となる。一方で、関連画像データＩ２の収集及び医用画像データＩ１に基づく画像処理を過剰に行なうと、関連画像データＩ２の収集及び画像処理Ａ１に要する時間が長くなることで待ち時間が発生する可能性がある。
そこで、医用情報処理装置２０は、関連画像データ及び画像処理を特定するように機能付けられた学習済みモデルを用いて、医用画像データＩ１の収集から読影に至るまでのワークフローを改善する。以下、医用情報処理装置２０による学習済みモデルの生成、及び、学習済みモデルを用いたワークフローの改善について説明する。
まず、モデル生成機能２４４は、学習済みモデルＭ１を生成して、モデル記憶回路２３０に記憶させる。例えば、モデル生成機能２４４は、過去に実施されたワークフローに基づく教師付き学習により、学習済みモデルＭ１を生成する。
具体的には、モデル生成機能２４４は、まず、過去に実施されたワークフローにおいて、収集機能２４１が医用画像診断装置１０から収集した医用画像データＩ１２と、医用画像データＩ１２に関する検査情報Ｔ１２とを取得する。なお、医用画像データＩ１２は、医用画像データＩ１の一例である。また、検査情報Ｔ１２は、医用画像データＩ１に関する検査情報Ｔ１の一例である。
ここで、検査情報Ｔ１２は、例えば、医用画像データＩ１２の収集時におけるオーダ情報である。即ち、医用画像診断装置１０は、オーダ情報に従って撮像を実行することで、医用画像データＩ１２を収集する。オーダ情報には、例えば、患者情報（患者ＩＤ、氏名、性別、生年月日等）や依頼科、依頼医師、緊急区分、撮像の日時、モダリティ名、撮像方法、検査対象部位などが含まれる。モデル生成機能２４４は、例えば、ネットワークＮＷを介して電子カルテシステムと接続することにより、医用画像データＩ１２の収集時におけるオーダ情報を取得することができる。
別の例を挙げると、検査情報Ｔ１２は、医用画像データＩ１２の付帯情報である。例えば、医用画像データＩ１２がＤＩＣＯＭ（Digital Imaging and Communications in Medicine）形式のデータである場合、医用画像データＩ１２のＤＩＣＯＭタグには、患者情報や依頼科、依頼医師、撮像の日時、モダリティ名、撮像方法、検査対象部位などの付帯情報が記録される。モデル生成機能２４４は、ＤＩＣＯＭタグを参照することにより、医用画像データＩ１２の付帯情報を取得することができる。
また、モデル生成機能２４４は、医用情報処理装置２０の操作者による入力操作に応じて収集された、医用画像データＩ１２に関連する関連画像データＩ２（以下、関連画像データＩ２２とする）を取得する。即ち、モデル生成機能２４４は、操作者が選択した関連画像データＩ２２を取得する。また、モデル生成機能２４４は、医用情報処理装置４０の操作者による入力操作に応じて実行された画像処理Ａ１（以下、画像処理Ａ１２とする）を取得する。即ち、モデル生成機能２４４は、操作者が選択した画像処理Ａ１２の種類やパラメータを取得する。
次に、モデル生成機能２４４は、医用画像データＩ１２及び検査情報Ｔ１２と、関連画像データＩ２２及び画像処理Ａ１２とを学習データとした教師付き学習により、学習済みモデルＭ１を生成する。具体的には、モデル生成機能２４４は、医用画像データＩ１２及び検査情報Ｔ１２を入力側データ、関連画像データＩ２２及び画像処理Ａ１２を出力側データとして、機械学習エンジンに入力する。次に、機械学習エンジンは、入力側データと出力側データとの関係を学習する。例えば、機械学習エンジンは、ディープラーニング（Deep Learning）や、ニューラルネットワーク（Neural Network）、ロジスティック（Logistic）回帰分析、非線形判別分析、サポートベクターマシン（Support Vector Machine：ＳＶＭ）、ランダムフォレスト（Random Forest）、ナイーブベイズ（Naive Bayes）等の各種のアルゴリズムを用いて、入力側データと出力側データとの関係を学習する。そして、モデル生成機能２４４は、生成した学習済みモデルＭ１をモデル記憶回路２３０に記憶させる。
なお、入力側データについては、医用画像データＩ１２及び検査情報Ｔ１２の他、種々の情報を用いることも可能である。例えば、モデル生成機能２４４は、医用画像データＩ１２及び検査情報Ｔ１２の他、読影医の情報や、関連画像データＩ２２を選択した検査技師、画像処理Ａ１２を選択した検査技師等の情報を、入力側データとして用いてもよい。即ち、モデル生成機能２４４は、医用画像データＩ１２及び検査情報Ｔ１２を含む入力情報と、関連画像データＩ２２及び画像処理Ａ１２とを学習データとした教師付き学習により、学習済みモデルＭ１を生成する。これにより、学習済みモデルＭ１は、医用画像データＩ１及び検査情報Ｔ１を含む入力情報に基づいて、関連画像データＩ２及び画像処理Ａ１を特定するように機能付けられる。
また、モデル生成機能２４４が学習済みモデルＭ１を生成する場合について説明したが、学習済みモデルＭ１については、医用情報処理装置２０以外の他の装置が生成してもよい。この場合、モデル生成機能２４４は、ネットワークＮＷを介して学習済みモデルＭ１を取得し、取得した学習済みモデルＭ１をモデル記憶回路２３０に記憶させる。
モデル記憶回路２３０が学習済みモデルＭ１を記憶した後、医用画像診断装置１０によって医用画像データＩ１３が更に収集された場合、収集機能２４１は、医用画像診断装置１０から医用画像データＩ１３を収集して、画像記憶回路２２０に記憶させる。ここで、制御機能２４５は、学習済みモデルＭ１をモデル記憶回路２３０から読み出して、医用画像データＩ１３に関連する関連画像データ（以下、関連画像データＩ２３とする）、及び、医用画像データＩ１３に基づいて実行される画像処理（以下、画像処理Ａ１３とする）を特定させる。なお、医用画像データＩ１３は、医用画像データＩ１の一例である。また、関連画像データＩ２３は、関連画像データＩ２の一例である。また、画像処理Ａ１３は、画像処理Ａ１の一例である。
具体的には、制御機能２４５は、図７に示すように、医用画像データＩ１３、及び、医用画像データＩ１３に関する検査情報Ｔ１３を、学習済みモデルＭ１に対して入力する。なお、制御機能２４５は、医用画像データＩ１３及び検査情報Ｔ１３の他、種々の情報を学習済みモデルＭ１に入力する場合であってもよい。即ち、制御機能２４５は、医用画像データＩ１３及び検査情報Ｔ１３を含む入力情報を学習済みモデルＭ１に対して入力する。これにより、制御機能２４５は、学習済みモデルＭ１に関連画像データＩ２３及び画像処理Ａ１３を特定させる。なお、図７は、第１の実施形態に係る学習済みモデルについて説明するための図である。
次に、収集機能２４１は、学習済みモデルＭ１が特定した関連画像データＩ２３を医用情報処理装置３０から収集して、画像記憶回路２２０に記憶させる。また、出力機能２４６は、医用画像データＩ１３を医用情報処理装置４０に対して出力する。次に、医用情報処理装置４０における画像処理機能４５２は、医用画像データＩ１３に基づいて、学習済みモデルＭ１が特定した画像処理Ａ１３を実行する。次に、収集機能２４１は、画像処理Ａ１３が施された後の医用画像データＩ１３（以下、医用画像データＩ３３とする）を医用情報処理装置４０から収集して、画像記憶回路２２０に記憶させる。なお、医用画像データＩ３３は、医用画像データＩ３の一例である。
次に、端末装置５０における表示制御機能５４２は、収集機能２４１が収集した医用画像データＩ１３をディスプレイ５２０に表示させる。また、表示制御機能５４２は、収集機能２４１が収集した関連画像データＩ２３及び医用画像データＩ３３をディスプレイ５２０に表示させる。具体的には、表示制御機能５４２は、読影医による入力操作に応じて、医用情報処理装置２０に対して画像データを要求する。次に、出力機能２４６は、画像記憶回路２２０が記憶する画像データ（医用画像データＩ１３、関連画像データＩ２３、医用画像データＩ３３等）のうち、要求に応じた画像データを端末装置５０に対して出力する。次に、表示制御機能５４２は、出力機能２４６により出力された画像データを受け付けて、ディスプレイ５２０に表示させる。そして、読影医は、関連画像データＩ２３や医用画像データＩ３３を参考としつつ医用画像データＩ１３を読影し、所見の作成を行なう。
上述したように、医用情報処理装置２０は、学習済みモデルＭ１を用いて関連画像データＩ２３及び画像処理Ａ１３を特定する。即ち、医用情報処理装置２０によれば、関連画像データＩ２３の収集及び医用画像データＩ１３に基づく画像処理Ａ１３を自動化し、医用画像データＩ１３の収集から読影に至るまでのワークフローを単純化することができる。
次に、評価機能２４２は、学習済みモデルＭ１が特定した関連画像データＩ２３及び画像処理Ａ１３に対して、評価を付与する。具体的には、評価機能２４２は、医用画像データＩ１３の読影において、学習済みモデルＭ１が特定した関連画像データＩ２３及び画像処理Ａ１３がどの程度適切なものであったかを示す評価を付与する。
ここで、評価機能２４２による評価の付与について、図８を用いて説明する。図８は、第１の実施形態に係る評価の一例を示す図である。図８に示す「過不足なし」は、医用画像データＩ１３の読影において、関連画像データＩ２３、及び、画像処理Ａ１３に基づく医用画像データＩ３３の各々が使用され、且つ、関連画像データＩ２３及び医用画像データＩ３３の他に使用された画像データがないことを示す。また、「過剰」は、医用画像データＩ１３の読影において、関連画像データＩ２３及び医用画像データＩ３３の他に使用された画像データはなかったものの、関連画像データＩ２３及び医用画像データＩ３３の中に使用されなかった画像データがあることを示す。また、「遅延」は、医用画像データＩ１３の読影において、関連画像データＩ２３及び医用画像データＩ３３を使用するための待ち時間が生じたことを示す。また、「不足」は、関連画像データＩ２３及び医用画像データＩ３３の各々が使用されたものの、関連画像データＩ２３及び医用画像データＩ３３の他に使用された画像データがあったことを示す。
評価機能２４２は、学習済みモデルＭ１が特定した関連画像データＩ２３及び画像処理Ａ１３について、「過不足なし」、「過剰」、「遅延」及び「不足」のいずれに該当するかを判定し、判定の結果に応じた評価を付与する。例えば、「過不足なし」に該当すると判定した場合、評価機能２４２は、関連画像データＩ２３及び画像処理Ａ１３に対して、評価「＋２」を付与する。また、「過剰」に該当すると判定した場合、評価機能２４２は、関連画像データＩ２３及び画像処理Ａ１３に対して、評価「＋１」を付与する。また、「遅延」に該当すると判定した場合、評価機能２４２は、関連画像データＩ２３及び画像処理Ａ１３に対して、評価「－１」を付与する。また、「不足」に該当すると判定した場合、評価機能２４２は、関連画像データＩ２３及び画像処理Ａ１３に対して、評価「－２」を付与する。
一例を挙げると、評価機能２４２は、まず、医用画像データＩ１３の読影において、関連画像データＩ２３及び医用画像データＩ３３の各々が使用されたか否かを判定する。ここで、関連画像データＩ２３及び医用画像データＩ３３の各々が使用されたか否かについては、例えば、端末装置５０にて表示が行われたか否かにより判定することができる。例えば、評価機能２４２は、関連画像データＩ２３及び医用画像データＩ３３のうち、図５の領域Ｒ１にサムネイル表示はされたものの読影医によって選択されなかった画像データについて、医用画像データＩ１３の読影において使用されなかったと判定する。
更に、評価機能２４２は、表示された時間の長さや表示回数を考慮して、関連画像データＩ２３及び医用画像データＩ３３の各々が使用されたか否かを判定してもよい。例えば、評価機能２４２は、図５の領域Ｒ１にサムネイル表示されて読影医により選択された画像データのうち、所定の閾値未満の時間内に選択が取り消された画像データについて、医用画像データＩ１３の読影において使用されなかったと判定する。即ち、評価機能２４２は、表示期間が閾値以下となる画像データについて、医用画像データＩ１３の読影において使用されなかったと判定する。また、例えば、評価機能２４２は、表示回数が閾値以下となる画像データについて、医用画像データＩ１３の読影において使用されなかったと判定する。
更に、評価機能２４２は、読影医の視線方向を考慮して、関連画像データＩ２３及び医用画像データＩ３３の各々が使用されたか否かを判定してもよい。例えば、評価機能２４２は、関連画像データＩ２３及び医用画像データＩ３３のうち端末装置５０にて表示が行われた画像データについて、その画像データが表示されている期間の読影医の視線方向が端末装置５０のディスプレイを向いていなかった場合、その画像データは医用画像データＩ１３の読影において使用されなかったと判定する。
例えば、端末装置５０は視線識別装置を備え、読影医の視線を識別して、読影医の視線がディスプレイ上に位置しているか否かを判定する。なお、視線識別装置は、例えば、読影医を撮影するカメラ等を有した装置である。視線識別装置は、例えば、ディスプレイの表示面と視線との交点を表示面上の２次元座標系における点座標に変換して、処理回路２４０に送信する。
更に、評価機能２４２は、読影医が作成した検査レポートに基づいて、関連画像データＩ２３及び医用画像データＩ３３の各々が使用されたか否かを判定してもよい。具体的には、評価機能２４２は、関連画像データＩ２３及び医用画像データＩ３３のうち、検査レポート中で使用された使用された画像データについて、医用画像データＩ１３の読影において使用されたと判定する。
関連画像データＩ２３及び医用画像データＩ３３の中に、医用画像データＩ１３の読影において使用されなかった画像データがあると判定した場合、評価機能２４２は、関連画像データＩ２３及び医用画像データＩ３３が「過剰」に該当すると判定する。即ち、評価機能２４２は、医用画像データＩ１３の読影において関連画像データＩ２３及び医用画像データＩ３３の各々が使用されたか否かに応じて、関連画像データＩ２３及び画像処理Ａ１３に評価「＋１」を付与する。
また、評価機能２４２は、医用画像データＩ１３の読影において、関連画像データＩ２３及び医用画像データＩ３３の他に使用された画像データがあったか否かを判定する。ここで、関連画像データＩ２３及び医用画像データＩ３３の他に使用された画像データとは、例えば、医用情報処理装置２０の操作者による入力操作に応じて収集された関連画像データＩ２、又は、医用情報処理装置４０の操作者による入力操作に応じた画像処理Ａ１に基づく医用画像データＩ３である。
なお、以下では、医用画像データＩ１３に関連する関連画像データＩ２であって、医用情報処理装置２０の操作者による入力操作に応じて収集される関連画像データＩ２を、関連画像データＩ２３ａと記載する。また、以下では、医用画像データＩ１３に基づく画像処理Ａ１であって、医用情報処理装置４０の操作者による入力操作に応じて実行される画像処理Ａ１を、画像処理Ａ１３ａと記載する。また、以下では、画像処理Ａ１３ａに基づく医用画像データＩ３を、医用画像データＩ３３ａと記載する。
具体的には、まず、読影医は、関連画像データＩ２３及び医用画像データＩ３３を参考としつつ医用画像データＩ１３を読影する。ここで、関連画像データＩ２３の他に参考とするべき関連画像データＩ２があると判断した場合、読影医は、例えば、検査技師に対して関連画像データＩ２の追加収集を依頼する。或いは、読影医は、医用情報処理装置２０を自ら操作して、関連画像データＩ２の追加収集を実施する。そして、収集機能２４１は、検査技師又は読影医による入力操作に応じて、関連画像データＩ２３ａを追加収集し、追加収集した関連画像データＩ２３ａを画像記憶回路２２０に記憶させる。
また、医用画像データＩ３３の他に参考とするべき医用画像データＩ３があると判断した場合、読影医は、例えば、検査技師に対して、医用画像データＩ１３に基づく追加の画像処理Ａ１３ａを依頼する。或いは、読影医は、医用情報処理装置２０を自ら操作して、追加の画像処理Ａ１３ａを実行する。次に、画像処理機能４５２は、検査技師又は読影医による入力操作に応じて、医用画像データＩ１３に基づく画像処理Ａ１３ａを実行する。そして、収集機能２４１は、医用情報処理装置４０から画像処理Ａ１３ａに基づく医用画像データＩ３３ａを収集して、画像記憶回路２２０に記憶させる。
医用画像データＩ１３の読影において関連画像データＩ２３ａや医用画像データＩ３３ａが使用された場合、評価機能２４２は、関連画像データＩ２３及び医用画像データＩ３３の他に使用された画像データがあったと判定する。この場合、評価機能２４２は、関連画像データＩ２３及び医用画像データＩ３３が「不足」に該当すると判定する。即ち、評価機能２４２は、医用画像データＩ１３の読影において関連画像データＩ２３及び医用画像データＩ３３の他に使用された画像データがあるか否かに応じて、関連画像データＩ２３及び画像処理Ａ１３に評価「－２」を付与する。
また、評価機能２４２は、医用画像データＩ１３の読影において、関連画像データＩ２３及び医用画像データＩ３３を使用するための待ち時間が生じたか否かを判定する。ここで、待ち時間とは、読影医が読影を開始しようとした時から、関連画像データＩ２３及び医用画像データＩ３３を使用できるようになるまでの時間である。例えば、待ち時間とは、読影医が読影を行なうために端末装置５０の画像表示アプリケーション（ビューア）を起動した後、図６に示す領域Ｒ１に関連画像データＩ２３及び医用画像データＩ３３が表示されるまでの時間である。
即ち、医用情報処理装置３０から関連画像データＩ２３を収集する際の検索の方法や、画像処理Ａ１３のパラメータ設定によっては、読影医が読影を開始しようとした時点で、関連画像データＩ２３及び医用画像データＩ３３の収集が完了していない可能性がある。この場合、評価機能２４２は、医用画像データＩ１３の読影において関連画像データＩ２３及び医用画像データＩ３３を使用するための待ち時間が生じたと判定し、関連画像データＩ２３及び医用画像データＩ３３が「遅延」に該当すると判定する。即ち、評価機能２４２は、医用画像データＩ１３の読影において関連画像データＩ２３及び医用画像データＩ３３を使用するための待ち時間が生じたか否かに応じて、関連画像データＩ２３及び画像処理Ａ１３に評価「－１」を付与する。
また、医用画像データＩ１３の読影において、関連画像データＩ２３及び医用画像データＩ３３の各々が使用されており、且つ、関連画像データＩ２３及び医用画像データＩ３３の他に使用された画像データがなく、且つ、関連画像データＩ２３及び医用画像データＩ３３を使用するための待ち時間が生じていない場合、評価機能２４２は、関連画像データＩ２３及び医用画像データＩ３３が「過不足なし」に該当すると判定する。そして、評価機能２４２は、関連画像データＩ２３及び画像処理Ａ１３に対して、評価「＋２」を付与する。
なお、図８においては、評価の例として、「＋２」や「＋１」、「－１」、「－２」といった離散値を示したが、実施形態はこれに限定されるものではない。例えば、関連画像データＩ２３及び医用画像データＩ３３が「過剰」に該当すると判定した場合において、評価機能２４２は、医用画像データＩ１３の読影において使用されなかった画像データの数に応じて、評価「＋１」を連続的に増減させてもよい。また、例えば、関連画像データＩ２３及び医用画像データＩ３３が「不足」に該当すると判定した場合において、評価機能２４２は、関連画像データＩ２３及び医用画像データＩ３３の他に使用された画像データ（関連画像データＩ２３ａや医用画像データＩ３３ａ等）の数に応じて、評価「－２」を連続的に増減させてもよい。また、例えば、関連画像データＩ２３及び医用画像データＩ３３が「遅延」に該当すると判定した場合において、評価機能２４２は、生じた待ち時間の長さに応じて、評価「－１」を連続的に増減させてもよい。
また、評価機能２４２は、関連画像データＩ２３及び画像処理Ａ１３に対して、医用画像データＩ１３の読影の結果に基づく評価を更に付与してもよい。具体的には、評価機能２４２は、関連画像データＩ２３及び医用画像データＩ３３を参考とすることで読影医が医用画像データＩ１３を適切に読影することができたか否かに応じて、関連画像データＩ２３及び画像処理Ａ１３に対して評価を付与する。
例えば、読影医は、関連画像データＩ２３及び医用画像データＩ３３を参考としつつ、医用画像データＩ１３を読影して、所見の作成を行なう。ここで、作成された所見については、通常、他の医師等によるダブルチェックが行われ、不備がある場合には読影医に差し戻される。そして、ダブルチェック時に所見の差し戻しがあった場合、評価機能２４２は、読影医が適切に読影をすることができなかったと判定し、関連画像データＩ２３及び画像処理Ａ１３に対して評価「－１」を付与する。
また、作成された所見に誤りがあった場合には、通常、再検査が発生する。そして、再検査が発生した場合、評価機能２４２は、読影医が適切に読影をすることができなかったと判定し、関連画像データＩ２３及び画像処理Ａ１３に対して評価「－１」を付与する。一方で、ダブルチェック時に所見の差し戻しがなく、且つ、再検査が発生しなかった場合、評価機能２４２は、読影医が適切に読影をすることができたと判定し、関連画像データＩ２３及び画像処理Ａ１３に対して評価「＋１」を付与する。
なお、医用画像データＩ１３の読影の結果に基づく評価については、図８に示した評価（「過不足なし」、「過剰」、「遅延」及び「不足」に応じた評価）と合算してもよい。
即ち、評価機能２４２は、「過不足なし」、「過剰」、「遅延」及び「不足」に応じた評価と、読影の結果に基づく評価と合算し、合算した評価を関連画像データＩ２３及び画像処理Ａ１３に対して付与してもよい。
また、上述したように、評価機能２４２は、関連画像データＩ２３及び画像処理Ａ１３の個々に評価を付与するのではなく、関連画像データＩ２３及び画像処理Ａ１３の組み合わせに対して評価を付与する。換言すると、評価機能２４２は、関連画像データＩ２３の収集及び画像処理Ａ１３の実行を含む一連のワークフローに対して評価を付与する。
次に、特定機能２４３は、制御機能２４５が学習済みモデルＭ１に入力した入力情報と、評価機能２４２が関連画像データＩ２３及び画像処理Ａ１３に対して付与した評価とを、後述する学習済みモデルＭ２の学習データとして特定する。次に、モデル生成機能２４４は、特定機能２４３が特定した学習データに基づいて、学習済みモデルＭ２を生成する。具体的には、モデル生成機能２４４は、特定機能２４３が特定した学習データを用いた強化学習により、学習済みモデルＭ２を生成する。
より具体的には、モデル生成機能２４４は、図７に示すように、評価機能２４２が関連画像データＩ２３及び画像処理Ａ１３に対して付与した評価を学習済みモデルＭ１に対して入力する。これにより、学習済みモデルＭ１は、医用画像データＩ１及び検査情報Ｔ１を含む入力情報を入力側データ、関連画像データＩ２及び画像処理Ａ１を出力側データとして、出力側データに付与される評価が最大化されるように、入出力の関係を学習する。即ち、モデル生成機能２４４は、評価機能２４２が関連画像データＩ２３及び画像処理Ａ１３に対して付与した評価を「報酬」とした強化学習により学習済みモデルＭ１を最適化することで、学習済みモデルＭ２を生成する。学習済みモデルＭ２は、学習済みモデルＭ１と同様、医用画像データＩ１及び検査情報Ｔ１を含む入力情報に基づいて関連画像データＩ２及び画像処理Ａ１を特定するように機能付けられる。そして、モデル生成機能２４４は、生成した学習済みモデルＭ２をモデル記憶回路２３０に記憶させる。
モデル記憶回路２３０が学習済みモデルＭ２を記憶した後、医用画像診断装置１０によって医用画像データＩ１４が更に収集された場合、収集機能２４１は、医用画像診断装置１０から医用画像データＩ１４を収集して、画像記憶回路２２０に記憶させる。次に、制御機能２４５は、学習済みモデルＭ２をモデル記憶回路２３０から読み出し、医用画像データＩ１４及び医用画像データＩ１４に関する検査情報Ｔ１４を含む入力情報に基づいて、医用画像データＩ１４に関連する関連画像データ（以下、関連画像データＩ２４とする）、及び、医用画像データＩ１４に基づいて実行される画像処理（以下、画像処理Ａ１４とする）を特定させる。なお、医用画像データＩ１４は、医用画像データＩ１の一例である。また、検査情報Ｔ１４は、検査情報Ｔ１の一例である。また、関連画像データＩ２４は、関連画像データＩ２の一例である。また、画像処理Ａ１４は、画像処理Ａ１の一例である。
次に、収集機能２４１は、学習済みモデルＭ２が特定した関連画像データＩ２４を医用情報処理装置３０から収集して、画像記憶回路２２０に記憶させる。また、出力機能２４６は、医用画像データＩ１４を医用情報処理装置４０に対して出力する。次に、医用情報処理装置４０における画像処理機能４５２は、医用画像データＩ１４に基づいて、学習済みモデルＭ２が特定した画像処理Ａ１４を実行する。次に、収集機能２４１は、画像処理Ａ１４が施された後の医用画像データＩ１４（以下、医用画像データＩ３４とする）を医用情報処理装置４０から収集して、画像記憶回路２２０に記憶させる。なお、医用画像データＩ３４は、医用画像データＩ３の一例である。
次に、端末装置５０における表示制御機能５４２は、収集機能２４１が収集した医用画像データＩ１４をディスプレイ５２０に表示させる。また、表示制御機能５４２は、収集機能２４１が収集した関連画像データＩ２４及び医用画像データＩ３４をディスプレイ５２０に表示させる。具体的には、表示制御機能５４２は、読影医による入力操作に応じて、医用情報処理装置２０に対して画像データを要求する。次に、出力機能２４６は、画像記憶回路２２０が記憶する画像データ（医用画像データＩ１４、関連画像データＩ２４、医用画像データＩ３４等）のうち、要求に応じた画像データを端末装置５０に対して出力する。次に、表示制御機能５４２は、出力機能２４６により出力された画像データを受け付けて、ディスプレイ５２０に表示させる。そして、読影医は、関連画像データＩ２４や医用画像データＩ３４を参考としつつ医用画像データＩ１４を読影し、所見の作成を行なう。
上述したように、医用情報処理装置２０は、学習済みモデルＭ２を用いて関連画像データＩ２４及び画像処理Ａ１４を特定する。即ち、医用情報処理装置２０によれば、関連画像データＩ２４の収集及び医用画像データＩ１４に基づく画像処理Ａ１４を自動化し、医用画像データＩ１４の収集から読影に至るまでのワークフローを単純化することができる。
更に、学習済みモデルＭ２は、医用画像データＩ１及び検査情報Ｔ１を含む入力情報と、関連画像データＩ２及び画像処理Ａ１に対して付与された評価とを学習データとする強化学習により生成される。従って、学習済みモデルＭ２によれば、医用情報処理装置２０は、関連画像データＩ２の収集及び画像処理Ａ１を過剰に行なったり、関連画像データＩ２の収集及び画像処理Ａ１について不足を生じたり、関連画像データＩ２の収集及び画像処理Ａ１のための待ち時間を発生させたりといった事態を回避して、関連画像データＩ２及び医用画像データＩ３を適切に提供することができる。
また、評価機能２４２は、学習済みモデルＭ２が特定した関連画像データＩ２４及び画像処理Ａ１４に対して、評価を付与する。次に、特定機能２４３は、制御機能２４５が学習済みモデルＭ２に入力した入力情報と、評価機能２４２が関連画像データＩ２４及び画像処理Ａ１４に対して付与した評価とを、学習済みモデルＭ２の学習データとして特定する。次に、モデル生成機能２４４は、特定機能２４３が特定した学習データに基づいて、学習済みモデルＭ２を再度生成する。換言すると、モデル生成機能２４４は、医用画像データＩ１の収集から読影に至るまでのワークフローが実施される度に、学習済みモデルＭ２を更新する。これにより、医用情報処理装置２０は、学習済みモデルＭ２の精度を次第に向上させて、関連画像データＩ２及び医用画像データＩ３をより適切に提供することができる。
次に、医用情報処理装置２０による処理の手順の一例を、図９を用いて説明する。図９は、第１の実施形態に係る医用情報処理装置２０の処理の一連の流れを説明するためのフローチャートである。ステップＳ１０１、ステップＳ１０３、ステップＳ１０５及びステップＳ１０６は、収集機能２４１に対応するステップである。ステップＳ１０７は、評価機能２４２に対応するステップである。ステップＳ１０８は、特定機能２４３に対応するステップである。ステップＳ１０９は、モデル生成機能２４４に対応するステップである。ステップＳ１０２は、制御機能２４５に対応するステップである。ステップＳ１０４は、出力機能２４６に対応するステップである。なお、図９においては、学習済みモデルＭ２の例として、学習済みモデルＭ２１及び学習済みモデルＭ２２について説明する。
まず、処理回路２４０は、医用画像診断装置１０から医用画像データＩ１を収集して、画像記憶回路２２０に記憶させる（ステップＳ１０１）。次に、処理回路２４０は、モデル記憶回路２３０に記憶された学習済みモデルＭ２１を読み出し、医用画像データＩ１及び検査情報Ｔ１を含む入力情報に基づいて、医用画像データＩ１に関連する関連画像データＩ２及び医用画像データＩ１に基づいて実行される画像処理Ａ１を特定させる（ステップＳ１０２）。
次に、処理回路２４０は、医用情報処理装置３０から、学習済みモデルＭ２１が特定した関連画像データＩ２を収集する（ステップＳ１０３）。次に、処理回路２４０は、医用情報処理装置４０に対して、医用画像データＩ１を出力する（ステップＳ１０４）。ここで、医用情報処理装置４０における画像処理機能４５２は、医用画像データＩ１に基づいて、学習済みモデルＭ２１が特定した画像処理Ａ１を実行する。また、処理回路２４０は、医用情報処理装置４０から、画像処理Ａ１が施された後の医用画像データＩ１（医用画像データＩ３）を収集する（ステップＳ１０５）。なお、ステップＳ１０３と、ステップＳ１０４及びステップＳ１０５とを行なう順序は任意であり、並行して行なってもよい。
次に、処理回路２４０は、端末装置５０からの要求に応じた画像データを、端末装置５０に対して出力する（ステップＳ１０６）。これにより、端末装置５０における表示制御機能５４２は、医用画像データＩ１や関連画像データＩ２、医用画像データＩ３をディスプレイ５２０に表示させる。また、読影医は、関連画像データＩ２や医用画像データＩ３を参考としつつ医用画像データＩ１を読影し、所見の作成を行なう。
次に、処理回路２４０は、学習済みモデルＭ２１が入力情報に基づいて特定した関連画像データＩ２及び画像処理Ａ１に対して、評価を付与する（ステップＳ１０７）。次に、処理回路２４０は、入力情報と評価とを学習データとして特定する（ステップＳ１０８）。次に、処理回路２４０は、特定した学習データに基づいて、学習済みモデルＭ２２を生成する（ステップＳ１０９）。即ち、処理回路２４０は、学習データに基づいて、学習済みモデルＭ２を更新する。そして、生成した学習済みモデルＭ２２をモデル記憶回路２３０に記憶させた後、処理を終了する。
なお、図９のステップＳ１０２においては、強化学習により生成された学習済みモデルＭ２に基づいて関連画像データＩ２及び画像処理Ａ１を特定する場合について説明した。しかしながら、ステップＳ１０２においては、学習済みモデルＭ２以外の他の学習済みモデルを用いてもよい。例えば、処理回路２４０は、ステップＳ１０２において、教師付き学習により生成された学習済みモデルＭ１に基づいて関連画像データＩ２及び画像処理Ａ１を特定してもよい。
上述したように、第１の実施形態によれば、評価機能２４２は、学習済みモデルＭ１又は学習済みモデルＭ２が入力情報に基づいて特定した関連画像データＩ２及び画像処理Ａ１に対して評価を付与する。また、特定機能２４３は、入力情報と評価とを、学習済みモデルＭ２の学習データとして特定する。従って、第１の実施形態に係る医用情報処理装置２０は、医用画像データＩ１の収集から読影に至るまでのワークフローを改善することができる。
即ち、特定機能２４３が特定した学習データによれば、モデル生成機能２４４は学習済みモデルＭ２を生成し、制御機能２４５は、学習済みモデルＭ２に関連画像データＩ２及び画像処理Ａ１を特定させることができる。ひいては、医用情報処理装置２０は、関連画像データＩ２の収集及び医用画像データＩ１に基づく画像処理Ａ１を自動化し、医用画像データＩ１の収集から読影に至るまでのワークフローを単純化することができる。
また、特定機能２４３が特定した学習データによれば、モデル生成機能２４４は、入力情報と評価とを学習データとする強化学習により、学習済みモデルＭ２を生成することができる。ひいては、医用情報処理装置２０は、学習済みモデルＭ２が特定する関連画像データＩ２及び画像処理Ａ１の精度を向上させ、医用画像データＩ１の読影において、関連画像データＩ２及び医用画像データＩ３を適切に提供することができる。
また、上述したように、第１の実施形態によれば、評価機能２４２は、医用画像データＩ１の読影において、学習済みモデルＭ１又は学習済みモデルＭ２が特定した関連画像データＩ２、及び、学習済みモデルＭ１又は学習済みモデルＭ２が特定した画像処理Ａ１に基づく医用画像データＩ３の各々が使用されたか否かに応じて、評価を付与する。従って、医用情報処理装置２０は、関連画像データＩ２の過剰な収集、及び、過剰な画像処理Ａ１を回避するように学習済みモデルＭ２を学習させて、関連画像データＩ２及び医用画像データＩ３を適切に提供することができる。
また、上述したように、第１の実施形態によれば、評価機能２４２は、医用画像データＩ１の読影において、学習済みモデルＭ１又は学習済みモデルＭ２が特定した関連画像データＩ２、及び、学習済みモデルＭ１又は学習済みモデルＭ２が特定した画像処理Ａ１に基づく医用画像データＩ３の他に使用された画像データがあるか否かに応じて、評価を付与する。従って、医用情報処理装置２０は、関連画像データＩ２の収集及び画像処理Ａ１について不足を生じないように学習済みモデルＭ２を学習させて、関連画像データＩ２及び医用画像データＩ３を適切に提供することができる。
また、上述したように、第１の実施形態によれば、評価機能２４２は、医用画像データＩ１の読影において、学習済みモデルＭ１又は学習済みモデルＭ２が特定した関連画像データＩ２、及び、学習済みモデルＭ１又は学習済みモデルＭ２が特定した画像処理Ａ１に基づく医用画像データＩ３を使用するための待ち時間が生じたか否かに応じて、評価を付与する。従って、医用情報処理装置２０は、読影医に待ち時間が発生しないように学習済みモデルＭ２を学習させて、関連画像データＩ２及び医用画像データＩ３を適切に提供することができる。
（第２の実施形態）
これまで第１の実施形態について説明したが、上述した第１の実施形態以外にも、種々の異なる形態にて実施されてよいものである。
上述した実施形態では、収集機能２４１は、医用情報処理装置３０から関連画像データＩ２を収集するものとして説明した。しかしながら、実施形態はこれに限定されるものではない。例えば、画像記憶回路２２０が複数の階層を有するストレージである場合において、収集機能２４１は、学習済みモデルＭ１又は学習済みモデルＭ２が特定した関連画像データＩ２を、画像記憶回路２２０における低速の階層から収集して、画像記憶回路４４０における高速の階層に記憶させてもよい。
以下、画像記憶回路２２０が、高速の階層Ｈ１と、低速の階層Ｈ２とを有するストレージである場合について説明する。高速の階層Ｈ１は、例えば、ＳＳＤ（Solid State Drive）により実現される。また、低速の階層Ｈ２は、例えば、ＨＤＤ（Hard Disc Drive）により実現される。階層Ｈ１は、階層Ｈ２より高速でデータを入出力することができる。一方で、階層Ｈ２は、データ量当たりのコストが階層Ｈ１よりも安価であり、通常、階層Ｈ１より大容量となるように構成される。
例えば、読影等での使用が予定される画像データについては、階層Ｈ１にて記憶される。例えば、医用画像診断装置１０により患者Ｐ１から医用画像データＩ１が収集された場合、収集機能２４１は、医用画像診断装置１０から医用画像データＩ１を収集して、画像記憶回路２２０における階層Ｈ１に記憶させる。一方、患者Ｐ１から過去に収集された画像データや、患者Ｐ１と異なる患者Ｐ２から過去に収集された画像データについては、階層Ｈ２にて記憶される。ここで、低速の階層Ｈ２にて記憶された画像データを読み出し、端末装置５０にて表示させるためには時間を要する。即ち、端末装置５０を操作する読影医が低速の階層Ｈ２にて記憶された画像データを参照しようとした場合、読影医に待ち時間が生じる場合がある。
そこで、収集機能２４１は、読影医が参照する可能性のある画像データについて、予め、低速の階層Ｈ２から高速の階層Ｈ１に移動させる。即ち、収集機能２４１は、読影医が参照する可能性のある画像データについてプリフェッチ（prefetch）を行なう。具体的には、収集機能２４１は、学習済みモデルＭ１又は学習済みモデルＭ２が特定した関連画像データＩ２を、低速の階層Ｈ２から収集して、高速の階層Ｈ１に記憶させる。これにより、医用情報処理装置２０は、医用画像データＩ１の読影において、関連画像データＩ２を使用するために読影医に待ち時間が生じる事態を回避することができる。
また、上述した実施形態では、医用情報処理装置２０における処理回路２４０が、収集機能２４１、評価機能２４２、特定機能２４３、モデル生成機能２４４、制御機能２４５及び出力機能２４６を有するものとして説明した。しかしながら、これらの機能については、複数の装置に適宜に分散することが可能である。
例えば、医用情報処理システム１は、図示しない医用情報処理装置６０を更に備える。また、医用情報処理装置６０は、図示しない処理回路６１０を備え、処理回路６１０は、モデル生成機能２４４に相当する機能（以下、モデル生成機能６１１とする）を実行する。この場合、評価機能２４２は、学習済みモデルＭ１又は学習済みモデルＭ２が入力情報に基づいて特定した関連画像データＩ２及び画像処理Ａ１に対して評価を付与する。また、特定機能２４３は、入力情報と評価とを、学習済みモデルＭ２の学習データとして特定する。次に、出力機能２４６は、特定機能２４３により特定された学習データを、医用情報処理装置６０に対して出力する。次に、医用情報処理装置６０におけるモデル生成機能６１１は、学習データに基づいて学習済みモデルＭ２を生成し、生成した学習済みモデルＭ２を医用情報処理装置２０に対して出力する。次に、収集機能２４１は、医用画像診断装置１０から医用画像データＩ１を収集する。そして、制御機能２４５は、医用画像データＩ１及び検査情報Ｔ１を含む入力情報に基づいて、モデル生成機能６１１が生成した学習済みモデルＭ２に関連画像データＩ２及び画像処理Ａ１を特定させる。
また、例えば、医用情報処理システム１は、図示しない医用情報処理装置７０を更に備える。また、医用情報処理装置７０は、図示しない処理回路７１０と、モデル記憶回路２３０に相当するモデル記憶回路７２０を備える。また、処理回路７１０は、制御機能２４５に相当する機能（以下、制御機能７１１とする）を実行する。この場合、収集機能２４１は、医用画像診断装置１０から医用画像データＩ１を収集する。次に、出力機能２４６は、医用画像データＩ１及び医用画像データＩ１に関する検査情報Ｔ１を医用情報処理装置７０に対して出力する。次に、医用情報処理装置７０における制御機能７１１は、医用画像データＩ１及び検査情報Ｔ１を含む入力情報に基づいて、モデル記憶回路７２０が記憶する学習済みモデルＭ２に関連画像データＩ２及び画像処理Ａ１を特定させる。そして、収集機能２４１は、学習済みモデルＭ２が特定した関連画像データＩ２を収集して画像記憶回路２２０に記憶させる。また、画像処理機能４５２は、医用画像データＩ１に基づいて、学習済みモデルＭ２が特定した画像処理Ａ１を実行する。
上述した実施形態に係る各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。即ち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。更に、各装置にて行われる各処理機能は、その全部又は任意の一部が、ＣＰＵ及び当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現されうる。
また、上述した実施形態で説明した処理方法は、予め用意されたプログラムをパーソナルコンピュータやワークステーション等のコンピュータで実行することによって実現することができる。このプログラムは、インターネット等のネットワークを介して配布することができる。また、このプログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＭＯ、ＤＶＤ等のコンピュータで読み取り可能な非一過性の記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することもできる。
以上説明した少なくとも１つの実施形態によれば、医用画像の収集から読影に至るまでのワークフローを改善することができる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行なうことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
１ 医用情報処理システム
１０ 医用画像診断装置
２０ 医用情報処理装置
２１０ 記憶回路
２２０ 画像記憶回路
２３０ モデル記憶回路
２４０ 処理回路
２４１ 収集機能
２４２ 評価機能
２４３ 特定機能
２４４ モデル生成機能
２４５ 制御機能
２４６ 出力機能
３０ 医用情報処理装置
４０ 医用情報処理装置
４５０ 処理回路
４５１ 収集機能
４５２ 画像処理機能
４５３ 表示制御機能
４５４ 出力機能
５０ 端末装置
５４０ 処理回路
５４１ 制御機能
５４２ 表示制御機能

Claims (18)

  1. 医用画像及び当該医用画像に関する検査情報を含む入力情報に基づいて当該医用画像に関連する関連画像及び当該医用画像に基づいて実行される画像処理を特定するように機能付けられた学習済みモデルが前記入力情報に基づいて特定した前記関連画像及び前記画像処理に対して、当該関連画像及び当該画像処理がどの程度適切なものであったかを示すスコアを、当該関連画像及び当該画像処理の評価として付与する評価部と、
    前記入力情報と前記評価とを、前記学習済みモデルの学習データとして特定する特定部と
    を備え、
    前記評価部は、前記医用画像の読影において、前記学習済みモデルが特定した前記関連画像、及び、前記学習済みモデルが特定した前記画像処理後の前記医用画像の各々が使用された場合に前記スコアを高い値とするように、前記評価を付与する、医用情報処理装置。
  2. 医用画像及び当該医用画像に関する検査情報を含む入力情報に基づいて当該医用画像に関連する関連画像及び当該医用画像に基づいて実行される画像処理を特定するように機能付けられた学習済みモデルが前記入力情報に基づいて特定した前記関連画像及び前記画像処理に対して、当該関連画像及び当該画像処理がどの程度適切なものであったかを示すスコアを、当該関連画像及び当該画像処理の評価として付与する評価部と、
    前記入力情報と前記評価とを、前記学習済みモデルの学習データとして特定する特定部と
    を備え、
    前記評価部は、前記医用画像の読影において、前記学習済みモデルが特定した前記関連画像、及び、前記学習済みモデルが特定した前記画像処理後の前記医用画像の他に使用された画像がある場合に前記スコアを低い値とするように、前記評価を付与する、医用情報処理装置。
  3. 医用画像及び当該医用画像に関する検査情報を含む入力情報に基づいて当該医用画像に関連する関連画像及び当該医用画像に基づいて実行される画像処理を特定するように機能付けられた学習済みモデルが前記入力情報に基づいて特定した前記関連画像及び前記画像処理に対して、当該関連画像及び当該画像処理がどの程度適切なものであったかを示すスコアを、当該関連画像及び当該画像処理の評価として付与する評価部と、
    前記入力情報と前記評価とを、前記学習済みモデルの学習データとして特定する特定部と
    を備え、
    前記評価部は、前記医用画像の読影において、前記学習済みモデルが特定した前記関連画像、及び、前記学習済みモデルが特定した前記画像処理後の前記医用画像を使用するための待ち時間が生じた場合に前記スコアを低い値とするように、前記評価を付与する、医用情報処理装置。
  4. 前記評価部は、前記学習済みモデルが特定した前記関連画像及び前記画像処理の組み合わせに対して、前記評価を付与する、請求項１～３のいずれか一項に記載の医用情報処理装置。
  5. 前記評価部は、前記医用画像の読影の結果に基づいて前記評価を付与する、請求項１～４のいずれか一項に記載の医用情報処理装置。
  6. 前記学習済みモデルが特定した前記関連画像と、前記学習済みモデルが特定した前記画像処理後の前記医用画像とを収集して画像記憶部に記憶させる収集部を更に備える、請求項１～５のいずれか一項に記載の医用情報処理装置。
  7. 前記画像記憶部は、複数の階層を有するストレージであり、
    前記収集部は、前記学習済みモデルが特定した前記関連画像を、前記画像記憶部における低速の階層から収集して、前記画像記憶部における高速の階層に記憶させる、請求項６に記載の医用情報処理装置。
  8. 前記学習済みモデルを記憶するモデル記憶部と、
    前記入力情報に基づいて、前記学習済みモデルに前記関連画像及び前記画像処理を特定させる制御部とを更に備える、請求項１～７のいずれか一項に記載の医用情報処理装置。
  9. 前記制御部は、前記検査情報として前記医用画像の付帯情報を用いて、前記学習済みモデルに前記関連画像及び前記画像処理を特定させる、請求項８に記載の医用情報処理装置。
  10. 前記制御部は、前記検査情報として前記医用画像の収集時におけるオーダ情報を用いて、前記学習済みモデルに前記関連画像及び前記画像処理を特定させる、請求項８又は９に記載の医用情報処理装置。
  11. 前記制御部は、前記医用画像と同一患者の画像を、前記関連画像として前記学習済みモデルに特定させる、請求項８～１０のいずれか一項に記載の医用情報処理装置。
  12. 前記制御部は、前記医用画像の患者と同一又は類似の症例を有する患者の画像を、前記関連画像として前記学習済みモデルに特定させる、請求項８～１１のいずれか一項に記載の医用情報処理装置。
  13. 前記制御部は、２次元の前記医用画像に基づいて３次元画像を生成し、３次元画像に基づいて２次元画像を生成する処理を、前記画像処理として前記学習済みモデルに特定させる、請求項８～１２のいずれか一項に記載の医用情報処理装置。
  14. 前記制御部は、前記医用画像に基づいて実行される解析処理を、前記画像処理として前記学習済みモデルに特定させる、請求項８～１３のいずれか一項に記載の医用情報処理装置。
  15. 前記学習データに基づいて前記学習済みモデルを生成するモデル生成部を更に備える、請求項１～１４のいずれか一項に記載の医用情報処理装置。
  16. 医用画像及び当該医用画像に関する検査情報を含む入力情報に基づいて当該医用画像に関連する関連画像及び当該医用画像に基づいて実行される画像処理を特定するように機能付けられた学習済みモデルを記憶するモデル記憶部と、
    前記入力情報に基づいて、前記学習済みモデルに前記関連画像及び前記画像処理を特定させる制御部と、
    前記医用画像に基づいて、前記学習済みモデルが特定した前記画像処理を実行する画像処理部と、
    前記学習済みモデルが特定した前記関連画像、及び、前記画像処理部による前記画像処理後の前記医用画像を収集して画像記憶部に記憶させる収集部と、
    前記収集部が収集した前記関連画像及び前記画像処理部による前記画像処理後の前記医用画像を表示させる表示制御部と、
    前記収集部が収集した前記関連画像及び前記画像処理部による前記画像処理に対して、当該関連画像及び当該画像処理がどの程度適切なものであったかを示すスコアを、当該関連画像及び当該画像処理の評価として付与する評価部と、
    前記入力情報と前記評価とを、前記学習済みモデルの学習データとして特定する特定部と
    を備え、
    前記評価部は、前記医用画像の読影において、前記学習済みモデルが特定した前記関連画像、及び、前記学習済みモデルが特定した前記画像処理後の前記医用画像の各々が使用された場合に前記スコアを高い値とするように、前記評価を付与する、医用情報処理システム。
  17. 医用画像及び当該医用画像に関する検査情報を含む入力情報に基づいて当該医用画像に関連する関連画像及び当該医用画像に基づいて実行される画像処理を特定するように機能付けられた学習済みモデルを記憶するモデル記憶部と、
    前記入力情報に基づいて、前記学習済みモデルに前記関連画像及び前記画像処理を特定させる制御部と、
    前記医用画像に基づいて、前記学習済みモデルが特定した前記画像処理を実行する画像処理部と、
    前記学習済みモデルが特定した前記関連画像、及び、前記画像処理部による前記画像処理後の前記医用画像を収集して画像記憶部に記憶させる収集部と、
    前記収集部が収集した前記関連画像及び前記画像処理部による前記画像処理後の前記医用画像を表示させる表示制御部と、
    前記収集部が収集した前記関連画像及び前記画像処理部による前記画像処理に対して、当該関連画像及び当該画像処理がどの程度適切なものであったかを示すスコアを、当該関連画像及び当該画像処理の評価として付与する評価部と、
    前記入力情報と前記評価とを、前記学習済みモデルの学習データとして特定する特定部と
    を備え、
    前記評価部は、前記医用画像の読影において、前記学習済みモデルが特定した前記関連画像、及び、前記学習済みモデルが特定した前記画像処理後の前記医用画像の他に使用された画像がある場合に前記スコアを低い値とするように、前記評価を付与する、医用情報処理システム。
  18. 医用画像及び当該医用画像に関する検査情報を含む入力情報に基づいて当該医用画像に関連する関連画像及び当該医用画像に基づいて実行される画像処理を特定するように機能付けられた学習済みモデルを記憶するモデル記憶部と、
    前記入力情報に基づいて、前記学習済みモデルに前記関連画像及び前記画像処理を特定させる制御部と、
    前記医用画像に基づいて、前記学習済みモデルが特定した前記画像処理を実行する画像処理部と、
    前記学習済みモデルが特定した前記関連画像、及び、前記画像処理部による前記画像処理後の前記医用画像を収集して画像記憶部に記憶させる収集部と、
    前記収集部が収集した前記関連画像及び前記画像処理部による前記画像処理後の前記医用画像を表示させる表示制御部と、
    前記収集部が収集した前記関連画像及び前記画像処理部による前記画像処理に対して、当該関連画像及び当該画像処理がどの程度適切なものであったかを示すスコアを、当該関連画像及び当該画像処理の評価として付与する評価部と、
    前記入力情報と前記評価とを、前記学習済みモデルの学習データとして特定する特定部と
    を備え、
    前記評価部は、前記医用画像の読影において、前記学習済みモデルが特定した前記関連画像、及び、前記学習済みモデルが特定した前記画像処理後の前記医用画像を使用するための待ち時間が生じた場合に前記スコアを低い値とするように、前記評価を付与する、医用情報処理システム。
JP2018236589A 2018-12-18 2018-12-18 医用情報処理装置及び医用情報処理システム Active JP7246912B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018236589A JP7246912B2 (ja) 2018-12-18 2018-12-18 医用情報処理装置及び医用情報処理システム
US16/716,939 US11488297B2 (en) 2018-12-18 2019-12-17 Medical information processing apparatus and medical information processing system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018236589A JP7246912B2 (ja) 2018-12-18 2018-12-18 医用情報処理装置及び医用情報処理システム

Publications (2)

Publication Number Publication Date
JP2020098488A JP2020098488A (ja) 2020-06-25
JP7246912B2 true JP7246912B2 (ja) 2023-03-28

Family

ID=71073688

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018236589A Active JP7246912B2 (ja) 2018-12-18 2018-12-18 医用情報処理装置及び医用情報処理システム

Country Status (2)

Country Link
US (1) US11488297B2 (ja)
JP (1) JP7246912B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111936032B (zh) * 2018-04-13 2024-03-26 富士胶片株式会社 图像处理装置、内窥镜系统及图像处理方法
JP7413011B2 (ja) * 2019-12-27 2024-01-15 キヤノンメディカルシステムズ株式会社 医用情報処理装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009125226A (ja) 2007-11-21 2009-06-11 Ziosoft Inc 画像処理装置、画像処理装置の制御方法、および画像処理装置の制御プログラム
JP2015022440A (ja) 2013-07-17 2015-02-02 株式会社東芝 医用情報提供装置、及び、医療情報通信システム
JP2018121885A (ja) 2017-01-31 2018-08-09 株式会社ニデック 画像処理装置、画像処理システム、および画像処理プログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5725950B2 (ja) 2011-04-12 2015-05-27 株式会社東芝 医用画像表示装置及び医用画像保管システム
JP5972570B2 (ja) * 2011-12-27 2016-08-17 東芝メディカルシステムズ株式会社 医用画像表示装置及び医用画像保管システム
JP6254018B2 (ja) 2014-02-28 2017-12-27 東芝メディカルシステムズ株式会社 医用画像表示装置
JP6598653B2 (ja) 2015-11-25 2019-10-30 キヤノンメディカルシステムズ株式会社 医用情報処理装置及び医用情報処理システム
US9760690B1 (en) * 2016-03-10 2017-09-12 Siemens Healthcare Gmbh Content-based medical image rendering based on machine learning
US10452813B2 (en) * 2016-11-17 2019-10-22 Terarecon, Inc. Medical image identification and interpretation
US10127659B2 (en) * 2016-11-23 2018-11-13 General Electric Company Deep learning medical systems and methods for image acquisition
JP2019169049A (ja) * 2018-03-26 2019-10-03 富士フイルム株式会社 医用画像特定装置、方法およびプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009125226A (ja) 2007-11-21 2009-06-11 Ziosoft Inc 画像処理装置、画像処理装置の制御方法、および画像処理装置の制御プログラム
JP2015022440A (ja) 2013-07-17 2015-02-02 株式会社東芝 医用情報提供装置、及び、医療情報通信システム
JP2018121885A (ja) 2017-01-31 2018-08-09 株式会社ニデック 画像処理装置、画像処理システム、および画像処理プログラム

Also Published As

Publication number Publication date
US11488297B2 (en) 2022-11-01
JP2020098488A (ja) 2020-06-25
US20200193595A1 (en) 2020-06-18

Similar Documents

Publication Publication Date Title
US10818048B2 (en) Advanced medical image processing wizard
US11594002B2 (en) Overlay and manipulation of medical images in a virtual environment
US9690902B2 (en) Image observation apparatus to display medical images from a plurality of apparatus types
JP4786246B2 (ja) 画像処理装置及び画像処理システム
RU2451335C2 (ru) Приложения для эффективной диагностики, зависимые от изображения и контекста, относящиеся к анатомии
US20150265222A1 (en) Medical information processing apparatus, medical image diagnostic apparatus, and medical information processing method
JP2010500093A (ja) 観察のための三次元レンダリングからのデータ集合の選択
CA2975089A1 (en) Touchless advanced image processing and visualization
US11094417B2 (en) Medical information processing apparatus and medical information processing method
US9792261B2 (en) Medical image display apparatus, medical image display method, and recording medium
JP7246912B2 (ja) 医用情報処理装置及び医用情報処理システム
JP3989896B2 (ja) 医用画像処理装置、関心領域抽出方法、ならびに、プログラム
US11756673B2 (en) Medical information processing apparatus and medical information processing method
US20220399107A1 (en) Automated protocoling in medical imaging systems
KR102413695B1 (ko) 병변 검출방법 및 이를 위한 치과영상 처리장치
JP7341686B2 (ja) 医用情報収集装置
JP7323989B2 (ja) コンピュータプログラム、記録媒体、表示装置及び表示方法
US20230143966A1 (en) Image processing apparatus and non-transitory computer readable medium
JP2017196300A (ja) 医用画像表示装置及び表示プログラム
US20230386113A1 (en) Medical image processing apparatus and medical image processing method
US20210272254A1 (en) Image analysis device, analysis function decision method, and analysis function decision program
US20240169671A1 (en) Medical information processing apparatus, medical information processing method, recording medium, and information processing apparatus
JP2022047359A (ja) 医用画像処理装置、医用画像処理システム、及び、医用画像処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210921

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220822

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220906

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221107

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230214

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230315

R150 Certificate of patent or registration of utility model

Ref document number: 7246912

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150