JPWO2019208130A1 - 医療文書作成支援装置、方法およびプログラム、学習済みモデル、並びに学習装置、方法およびプログラム - Google Patents

医療文書作成支援装置、方法およびプログラム、学習済みモデル、並びに学習装置、方法およびプログラム Download PDF

Info

Publication number
JPWO2019208130A1
JPWO2019208130A1 JP2020516163A JP2020516163A JPWO2019208130A1 JP WO2019208130 A1 JPWO2019208130 A1 JP WO2019208130A1 JP 2020516163 A JP2020516163 A JP 2020516163A JP 2020516163 A JP2020516163 A JP 2020516163A JP WO2019208130 A1 JPWO2019208130 A1 JP WO2019208130A1
Authority
JP
Japan
Prior art keywords
medical image
input
feature information
medical
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020516163A
Other languages
English (en)
Other versions
JP7007469B2 (ja
Inventor
佳児 中村
佳児 中村
真之介 平川
真之介 平川
陽平 桃木
陽平 桃木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2019208130A1 publication Critical patent/JPWO2019208130A1/ja
Application granted granted Critical
Publication of JP7007469B2 publication Critical patent/JP7007469B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/55—Rule-based translation
    • G06F40/56—Natural language generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G06T2207/30064—Lung nodule
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Public Health (AREA)
  • Epidemiology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Primary Health Care (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Quality & Reliability (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

特徴情報取得部２２が、第１の医用画像Ｇ１に関する第１の特徴情報Ｃ１、および第１の医用画像Ｇ１とは撮影時期が異なる第２の医用画像Ｇ２に関する第２の特徴情報Ｃ２を取得する。文章作成部２３が、特徴情報取得部２２が生成した第１の特徴情報Ｃ１と第２の特徴情報Ｃ２とを比較して、第１の医用画像Ｇ１および第２の医用画像Ｇ２の間の変化を表す文章を作成する。表示制御部２４が、変化を表す文章を表示部１４に表示する。

Description

本開示は、読影レポート等の医療文書の作成を支援する医療文書作成支援装置、方法およびプログラム、学習済みモデル、並びに学習装置、方法およびプログラムに関する。
近年、ＣＴ(Computed Tomography)装置およびＭＲＩ（Magnetic Resonance Imaging）装置等の医療機器の進歩により、より質の高い高解像度の医用画像を用いての画像診断が可能となってきている。とくに、ＣＴ画像およびＭＲＩ画像等を用いた画像診断により、病変の領域を精度よく特定することができるため、特定した結果に基づいて適切な治療が行われるようになってきている。
また、ディープラーニング等により学習がなされた判別器を用いたＣＡＤ（Computer-Aided Diagnosis）により医用画像を解析して、医用画像に含まれる病変等の領域、位置および体積等を抽出し、これらを解析結果として取得することも行われている。このように、解析処理により生成される解析結果は、患者名、性別、年齢および医用画像を取得したモダリティ等の検査情報と対応づけられて、データベースに保存されて、診断に供される。この際、医用画像を取得した放射線科等の技師が、医用画像に応じた読影医を決定し、医用画像およびＣＡＤによる解析結果が存在することを、決定した読影医に伝えるようにしている。読影医は、自身の読影端末において、配信された医用画像および解析結果を参照して医用画像の読影を行い、読影レポートを作成する。
読影レポート等の医療文書を作成する際には、対象となる医用画像を取得した被検体についての過去の医用画像および過去の読影レポートを参照して比較読影を行い、病変等の変化を読影レポートに記載することが多い。このため、現在の読影レポート（以下、現在レポートと称する）を作成する際に、過去の読影レポート（以下、過去レポートと称する）に記載された所見文等を参照する各種手法が提案されている。例えば、特開２００９−７０２０１号公報には、過去レポートに記載されたコメントをコピーして、過去画像に関連する情報から現在画像に関連する情報を作成し、現在レポート作成用のテンプレートを作成することにより、簡便に読影レポートを作成する手法が提案されている。
一方、読影医は非常に多くの医用画像の読影を行い、かつ読影レポートを作成する。とくに、比較読影を行う場合には、より多くの医用画像および読影レポートを参照する必要がある。このような比較読影の結果を読影レポートに記載する際の読影医の負担を軽減することが望まれている。
本開示は上記事情に鑑みなされたものであり、複数の医用画像の比較結果を含む、医用画像に関する読影レポート等の医療文書を作成する際の、読影医等の操作者の負担を軽減することを目的とする。
本開示による医療文書作成支援装置は、第１の医用画像に関する第１の特徴情報、および第１の医用画像とは撮影時期が異なる第２の医用画像に関する第２の特徴情報を取得する特徴情報取得部と、
第１の特徴情報および第２の特徴情報を比較して、第１の医用画像および第２の医用画像の間の変化を表す文章を作成する文章作成部とを備える。
なお、本開示による医療文書作成支援装置においては、特徴情報取得部は、第１の医用画像に基づく少なくとも１つの所見を表す第１のテキストデータを第１の特徴情報として取得し、第２の医用画像に基づく少なくとも１つの所見を表す第２のテキストデータを第２の特徴情報として取得するものであってもよい。
また、本開示による医療文書作成支援装置においては、特徴情報取得部は、第１の医用画像および第２の医用画像の少なくとも一方を解析して、第１のテキストデータおよび第２のテキストデータを取得するものであってもよい。
また、本開示による医療文書作成支援装置においては、文章作成部は、第１のテキストデータおよび第２のテキストデータに基づいて、変化を表す文章を出力するように機械学習がなされた学習済みモデルを有するものであってもよい。
また、本開示による医療文書作成支援装置においては、学習済みモデルは、第１の医用画像に基づく少なくとも１つの所見および第２の医用画像に基づく少なくとも１つの所見のそれぞれが入力される複数の入力層と、入力層からの出力が入力され、変化を表す文章を出力する複数の出力層とを有し、第１の医用画像に基づく少なくとも１つの所見および第２の医用画像に基づく少なくとも１つの所見の対応関係に基づいて、変化を表す文章を構成する複数の単語を順に出力するように、複数の入力層と複数の出力層との間の重み係数および複数の出力層の間の相互の重み係数が学習されてなるニューラルネットワークにより構成され、第１のテキストデータおよび第２のテキストデータが入力されると、変化を表す文章を出力するようにコンピュータを機能させるものであってもよい。
また、本開示による医療文書作成支援装置においては、特徴情報取得部は、第１の医用画像の特徴量を第１の特徴情報として取得し、第２の医用画像の特徴量を第２の特徴情報として取得するものであってもよい。
また、本開示による医療文書作成支援装置においては、変化を表す文章を表示部に表示する表示制御部をさらに備えるものであってもよい。
本開示による学習済みモデルは、第１の医用画像に基づく少なくとも１つの所見、および第１の医用画像とは撮影時期が異なる第２の医用画像に基づく少なくとも１つの所見のそれぞれが入力される複数の入力層と、入力層からの出力が入力され、第１の医用画像および第２の医用画像の間の変化を表す文章を出力する複数の出力層とを有し、第１の医用画像に基づく少なくとも１つの所見および第２の医用画像に基づく少なくとも１つの所見の対応関係に基づいて、変化を表す文章を構成する複数の単語を順に出力するように、複数の入力層と複数の出力層との間の重み係数が学習されてなるニューラルネットワークにより構成され、第１の医用画像に基づく所見、および第２の医用画像に基づく所見が入力されると、変化を表す文章を出力するようにコンピュータを機能させる。
本開示による学習装置は、第１の医用画像に基づく少なくとも１つの所見、および第１の医用画像とは撮影時期が異なる第２の医用画像に基づく少なくとも１つの所見のそれぞれが入力される複数の入力層と、入力層からの出力が入力され、第１の医用画像および第２の医用画像の間の変化を表す文章を出力する複数の出力層とを有するニューラルネットワークを学習して学習済みモデルを生成する学習装置であって、
第１の医用画像に基づく所見、および第２の医用画像に基づく所見が入力されると、第１の医用画像に基づく少なくとも１つの所見および第２の医用画像に基づく少なくとも１つの所見の対応関係に基づいて、変化を表す文章を構成する複数の単語を順に出力するように、ニューラルネットワークにおける複数の入力層と複数の出力層との間の重み係数を設定するための学習を行う学習部を備える。
本開示による医療文書作成支援方法は、第１の医用画像に関する第１の特徴情報、および第１の医用画像とは撮影時期が異なる第２の医用画像に関する第２の特徴情報を取得し、
第１の特徴情報および第２の特徴情報を比較して、第１の医用画像および第２の医用画像の間の変化を表す文章を作成する。
本開示による学習方法は、第１の医用画像に基づく少なくとも１つの所見、および第１の医用画像とは撮影時期が異なる第２の医用画像に基づく少なくとも１つの所見のそれぞれが入力される複数の入力層と、入力層からの出力が入力され、第１の医用画像および第２の医用画像の間の変化を表す文章を出力する複数の出力層とを有するニューラルネットワークを学習して学習済みモデルを生成する学習方法であって、
第１の医用画像に基づく所見、および第２の医用画像に基づく所見が入力されると、第１の医用画像に基づく少なくとも１つの所見および第２の医用画像に基づく少なくとも１つの所見の対応関係に基づいて、変化を表す文章を構成する複数の単語を順に出力するように、ニューラルネットワークにおける複数の入力層と複数の出力層との間の重み係数を設定するための学習を行う。
なお、本開示による医療文書作成支援方法をコンピュータに実行させるためのプログラムとして提供してもよい。
また、本開示による学習方法をコンピュータに実行させるためのプログラムとして提供してもよい。
本開示による他の医療文書作成支援装置は、コンピュータに実行させるための命令を記憶するメモリと、
記憶された命令を実行するよう構成されたプロセッサとを備え、プロセッサは、
第１の医用画像に関する第１の特徴情報、および第１の医用画像とは撮影時期が異なる第２の医用画像に関する第２の特徴情報を取得し、
第１の特徴情報および第２の特徴情報を比較して、第１の医用画像および第２の医用画像の間の変化を表す文章を作成する処理を実行する。
本開示による他の学習装置は、第１の医用画像に基づく少なくとも１つの所見、および第１の医用画像とは撮影時期が異なる第２の医用画像に基づく少なくとも１つの所見のそれぞれが入力される複数の入力層と、入力層からの出力が入力され、第１の医用画像および第２の医用画像の間の変化を表す文章を出力する複数の出力層とを有するニューラルネットワークを学習して学習済みモデルを生成する学習装置であって、
コンピュータに実行させるための命令を記憶するメモリと、
記憶された命令を実行するよう構成されたプロセッサとを備え、プロセッサは、
第１の医用画像に基づく所見、および第２の医用画像に基づく所見が入力されると、第１の医用画像に基づく少なくとも１つの所見および第２の医用画像に基づく少なくとも１つの所見の対応関係に基づいて、変化を表す文章を構成する複数の単語を順に出力するように、ニューラルネットワークにおける複数の入力層と複数の出力層との間の重み係数を設定するための学習処理を実行する。
本開示によれば、第１の医用画像に関する第１の特徴情報および第１の医用画像とは撮影時期が異なる第２の医用画像に関する第２の特徴情報が取得され、第１の特徴情報および第２の特徴情報が比較されて、第１の医用画像および第２の医用画像の間の変化を表す文章が作成される。このため、とくに比較読影を行う場合における、操作者の医療文書作成の負担を軽減することができ、その結果、操作者は効率よく医療文書を作成することができる。
本開示の実施形態による医療文書作成支援装置を適用した医療情報システムの概略構成を示す図 第１の実施形態による医療文書作成支援装置の概略構成を示す図 特徴情報の例を示す図 リカレントニューラルネットワークの模式的な構成を示す図 第１の実施形態における学習済みモデルによる変化を表す文章の生成を説明するための図 変化を表す文章の表示画面を示す図 第１の実施形態において行われる処理を示すフローチャート 読影レポートからの第１の特徴情報の取得を説明するための図 第２の実施形態による医療文書作成支援装置の概略構成を示す図 第２の実施形態における学習済みモデルによる変化を表す文章の生成を説明するための図
以下、図面を参照して本開示の実施形態について説明する。図１は本開示の実施形態による医療文書作成支援装置、学習済みモデルおよび学習装置を適用した医療情報システムの概略構成を示す図である。図１に示す医療情報システム１は、公知のオーダリングシステムを用いた診療科の医師からの検査オーダに基づいて、被写体の検査対象部位の撮影、撮影により取得された医用画像の保管、読影医による医用画像の読影と読影レポートの作成、および依頼元の診療科の医師による読影レポートの閲覧と読影対象の医用画像の詳細観察とを行うためのシステムである。図１に示すように、医療情報システム１は、複数のモダリティ（撮影装置）２、読影端末である複数の読影ワークステーション（ＷＳ）３、診療科ワークステーション（ＷＳ）４、画像サーバ５、画像データベース６、読影レポートサーバ７、および読影レポートデータベース８が、有線または無線のネットワーク９を介して互いに通信可能な状態で接続されて構成されている。
各機器は、医療情報システム１の構成要素として機能させるためのアプリケーションプログラムがインストールされたコンピュータである。アプリケーションプログラムは、ＤＶＤ（Digital Versatile Disc）あるいはＣＤ−ＲＯＭ（Compact Disc Read Only Memory）等の記録媒体に記録されて配布され、その記録媒体からコンピュータにインストールされる。または、ネットワーク９に接続されたサーバコンピュータの記憶装置、もしくはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じてコンピュータにダウンロードされ、インストールされる。
モダリティ２は、被写体の診断対象となる部位を撮影することにより、診断対象部位を表す医用画像を生成する装置である。具体的には、単純Ｘ線撮影装置、ＣＴ装置、ＭＲＩ装置、およびＰＥＴ（Positron Emission Tomography)装置等である。モダリティ２により生成された医用画像は画像サーバ５に送信され、保存される。
読影ＷＳ３は、本実施形態による医療文書作成支援装置、学習済みモデルおよび学習装置を内包する。読影ＷＳ３の構成については後述する。
診療科ＷＳ４は、診療科の医師が画像の詳細観察、読影レポートの閲覧、および電子カルテの作成等に利用するコンピュータであり、処理装置、ディスプレイ等の表示装置、並びにキーボードおよびマウス等の入力装置により構成される。診療科ＷＳ４では、患者のカルテ（電子カルテ）の作成、画像サーバ５に対する画像の閲覧要求、画像サーバ５から受信した画像の表示、画像中の病変らしき部分の自動検出または強調表示、読影レポートサーバ７に対する読影レポートの閲覧要求、および読影レポートサーバ７から受信した読影レポートの表示等の各処理が、各処理のためのソフトウェアプログラムを実行することにより行われる。
画像サーバ５は、汎用のコンピュータにデータベース管理システム（DataBase Management System: DBMS）の機能を提供するソフトウェアプログラムがインストールされたものである。また、画像サーバ５は画像データベース６が構成されるストレージを備えている。このストレージは、画像サーバ５とデータバスとによって接続されたハードディスク装置であってもよいし、ネットワーク９に接続されているＮＡＳ（Network Attached Storage）およびＳＡＮ（Storage Area Network）に接続されたディスク装置であってもよい。また、画像サーバ５は、モダリティ２からの医用画像の登録要求を受け付けると、その医用画像をデータベース用のフォーマットに整えて画像データベース６に登録する。
画像データベース６には、モダリティ２において取得された医用画像の画像データと付帯情報とが登録される。付帯情報には、例えば、個々の医用画像を識別するための画像ＩＤ、被写体を識別するための患者ＩＤ(identification)、検査を識別するための検査ＩＤ、医用画像毎に割り振られるユニークなＩＤ（ＵＩＤ：unique identification）、医用画像が生成された検査日、検査時刻、医用画像を取得するための検査で使用されたモダリティの種類、患者氏名、年齢、性別等の患者情報、検査部位（撮影部位）、撮影情報（撮影プロトコル、撮影シーケンス、撮像手法、撮影条件、造影剤の使用等）、１回の検査で複数の医用画像を取得したときのシリーズ番号あるいは採取番号等の情報が含まれる。
また、画像サーバ５は、読影ＷＳ３からの閲覧要求をネットワーク９経由で受信すると、画像データベース６に登録されている医用画像を検索し、検索された医用画像を要求元の読影ＷＳ３に送信する。
読影レポートサーバ７には、汎用のコンピュータにデータベース管理システムの機能を提供するソフトウェアプログラムが組み込まれる。読影レポートサーバ７は、読影ＷＳ３からの読影レポートの登録要求を受け付けると、その読影レポートをデータベース用のフォーマットに整えて読影レポートデータベース８に登録する。また、読影レポートの検索要求を受け付けると、その読影レポートを読影レポートデータベース８から検索する。
読影レポートデータベース８には、例えば、読影対象の医用画像を識別する画像ＩＤ、読影を行った画像診断医を識別するための読影医ＩＤ、病変名、病変の位置情報、所見、および所見の確信度等の情報が記録された読影レポートが登録される。
ネットワーク９は、病院内の各種機器を接続する有線または無線のローカルエリアネットワークである。読影ＷＳ３が他の病院あるいは診療所に設置されている場合には、ネットワーク９は、各病院のローカルエリアネットワーク同士をインターネットまたは専用回線で接続した構成としてもよい。いずれの場合にも、ネットワーク９は光ネットワーク等の医用画像の高速転送が実現可能な構成にすることが好ましい。
以下、本実施形態による読影ＷＳ３について詳細に説明する。読影ＷＳ３は、医用画像の読影医が、医用画像の読影および読影レポートの作成に利用するコンピュータであり、処理装置、ディスプレイ等の表示装置、並びにキーボードおよびマウス等の入力装置により構成される。読影ＷＳ３では、画像サーバ５に対する医用画像の閲覧要求、画像サーバ５から受信した医用画像に対する各種画像処理、医用画像の表示、医用画像に対する解析処理、解析結果に基づく医用画像の強調表示、解析結果に基づく読影レポートの作成、読影レポートの作成の支援、読影レポートサーバ７に対する読影レポートの登録要求と閲覧要求、並びに読影レポートサーバ７から受信した読影レポートの表示等の各処理が、各処理のためのソフトウェアプログラムを実行することにより行われる。なお、これらの処理のうち、本実施形態の医療文書作成支援装置、学習済みモデルおよび学習装置が行う処理以外の処理は、周知のソフトウェアプログラムにより行われるため、ここでは詳細な説明は省略する。また、本実施形態の医療文書作成支援装置が行う処理以外の処理を読影ＷＳ３において行わず、別途その処理を行うコンピュータをネットワーク９に接続しておき、読影ＷＳ３からの処理の要求に応じて、そのコンピュータにおいて要求された処理を行うようにしてもよい。
読影ＷＳ３は、本実施形態による医療文書作成支援装置、学習済みモデルおよび学習装置が内包されてなる。このため、読影ＷＳ３には、本実施形態による医療文書作成支援プログラム、学習済みモデルおよび学習プログラムがインストールされてなる。医療文書作成支援プログラム、学習済みモデルおよび学習プログラムは、ＤＶＤあるいはＣＤ−ＲＯＭ等の記録媒体に記録されて配布され、その記録媒体から読影ＷＳ３にインストールされる。または、ネットワークに接続されたサーバコンピュータの記憶装置、もしくはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じて読影ＷＳ３にダウンロードされ、インストールされる。
図２は、医療文書作成支援プログラム、学習済みモデルおよび学習プログラムをインストールすることにより実現される、本開示の第１の実施形態による医療文書作成支援装置の概略構成を示す図である。なお、第１の実施形態においては、医用文書作成支援装置が、学習済みモデルおよび学習装置を内包するものとする。このため、図２には医用文書作成支援装置のみを示す。図２に示すように、医療文書作成支援装置１０は、標準的なコンピュータの構成として、ＣＰＵ（Central Processing Unit）１１、メモリ１２およびストレージ１３を備えている。また、医療文書作成支援装置１０には、液晶ディスプレイ等の表示装置（以下表示部とする）１４、並びにキーボードおよびマウス等の入力装置（以下、入力部とする）１５が接続されている。
ストレージ１３は、ハードディスクまたはＳＳＤ（Solid State Drive）等のストレージデバイスからなる。ストレージ１３には、ネットワーク９を経由して画像サーバ５から取得した、医用画像および医療文書作成支援装置１０の処理に必要な情報を含む各種情報が記憶されている。
また、メモリ１２には、医療文書作成支援プログラム、学習済みモデルおよび学習プログラムが記憶されている。医療文書作成支援プログラムは、ＣＰＵ１１に実行させる処理として、撮影時期が異なる第１の医用画像および第２の医用画像を取得する画像取得処理、第１の医用画像に関する第１の特徴情報、および第２の医用画像に関する第２の特徴情報を取得する特徴情報取得処理、第１の医用画像に関する第１の特徴情報および第２の医用画像に関する第２の特徴情報を比較して、第１の医用画像および第２の医用画像の間の変化を表す文章を作成する文章作成処理、並びに変化を表す文章を表示部１４に表示する表示処理を規定する。また、学習プログラムは、ＣＰＵ１１に実行させる処理として、後述するようにニューラルネットワークを学習して、文章作成部が備える学習済みモデルを生成する学習処理を規定する。
そして、ＣＰＵ１１が医療文書作成支援プログラムに従いこれらの処理を実行することで、コンピュータは、画像取得部２１、特徴情報取得部２２、文章作成部２３および表示制御部２４として機能する。また、ＣＰＵ１１が学習プログラムに従い学習処理を実行することで、コンピュータは、学習部２５として機能する。なお、本実施形態においては、ＣＰＵ１１が医療文書作成支援プログラムおよび学習プログラムによって、各部の機能を実行するようにしたが、ソフトウェアを実行して各種の処理部として機能する汎用的なプロセッサとしては、ＣＰＵ１１の他、ＦＰＧＡ (Field Programmable Gate Array)等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device:ＰＬＤ）を用いることができる。また、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等により、各部の処理を実行するようにしてもよい。
１つの処理部は、これら各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡ、またはＣＰＵとＦＰＧＡの組み合わせ等）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントおよびサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:ＳｏＣ）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（circuitry）である。
画像取得部２１は、同一被検体についての撮影時期が異なる第１の第１の医用画像Ｇ１および第２の医用画像Ｇ２を、それぞれ画像保管サーバ３から取得する。なお、第１および第２の医用画像Ｇ１，Ｇ２が既にストレージ１３に記憶されている場合には、ストレージ１３から第１および第２の医用画像Ｇ１，Ｇ２を取得するようにしてもよい。以降の説明において、第１の医用画像Ｇ１が第２の医用画像Ｇ２よりも撮影時期が前であるものとする。また、医用画像Ｇ１，Ｇ２としては、ＣＴ装置により取得されたＣＴ画像とするが、これに限定されるものではなく、ＭＲＩ画像またはＰＥＴ画像等であってもよい。
特徴情報取得部２２は、第１の医用画像Ｇ１に関する第１の特徴情報Ｃ１、および第２の医用画像Ｇ２に関する第２の特徴情報Ｃ２を取得する。まず、特徴情報取得部２２は、第１および第２の医用画像Ｇ１，Ｇ２を解析することにより、第１および第２の医用画像Ｇ１，Ｇ２に含まれる疾病等に関する解析結果を取得する。このために、特徴情報取得部２２は、第１および第２の医用画像Ｇ１，Ｇ２における各画素（ボクセル）が病変を表すものであるか否か、および病変の種類を判別するように機械学習がなされた判別器を備える。本実施形態においては、判別器は、第１および第２の医用画像Ｇ１，Ｇ２に含まれる複数種類の病変を分類できるようにディープラーニング（深層学習）がなされたニューラルネットワークからなる。特徴情報取得部２２における判別器は、第１および第２の医用画像Ｇ１，Ｇ２が入力されると、第１および第２の医用画像Ｇ１，Ｇ２内の各画素（ボクセル）に対して、複数の病変のそれぞれであることの確率を出力するように学習がなされる。そして判別器は、ある画素について、あらかじめ定められたしきい値を超え、かつ最大の確率となった病変を求め、その画素を求めた病変の画素であると判別する。
なお、判別器は、ディープラーニングがなされたニューラルネットワークの他、例えばサポートベクタマシン（ＳＶＭ(Support Vector Machine)）、畳み込みニューラルネットワーク（ＣＮＮ(Convolutional Neural Network)）、およびリカレントニューラルネットワーク（ＲＮＮ(Recurrent Neural Network)）等からなるものであってもよい。
また、特徴情報取得部２２は、上記判別器による判別結果を用いて、第１の医用画像Ｇ１に関する第１の特徴情報Ｃ１および第２の医用画像Ｇ２に関する第２の特徴情報Ｃ２を取得する。具体的には、第１および第２の医用画像Ｇ１，Ｇ２の所見、すなわち、病変の種類、病変の位置、病変の形状、病変の大きさおよび病変の状態等の少なくとも１つを表すテキストデータを第１および第２の特徴情報Ｃ１，Ｃ２として生成する。例えば、医用画像が肺野を含む場合において、肺野内に病変が発見された場合、特徴情報取得部２２は、所見として、肺野内における病変の位置、種類、大きさおよび状態等の少なくとも１つを含むテキストデータを第１および第２の特徴情報Ｃ１，Ｃ２として生成する。
図３は特徴情報の例を示す図である。図３に示すように第１の医用画像Ｇ１および第２の医用画像Ｇ２は、肺野のＣＴ画像である。そして、第１の医用画像Ｇ１からは「気腔」、「１ｃｍ」、「類円形」、「不明瞭」および「結節」の複数の所見を表すテキストデータが、第１の特徴情報Ｃ１として取得されている。また、第２の医用画像Ｇ２からは「気腔」、「１ｃｍ」、「類円形」、「明瞭」および「結節」の複数の所見を表すテキストデータが、第２の特徴情報Ｃ２として取得されている。
文章作成部２３は、特徴情報取得部２２が生成した第１の特徴情報Ｃ１と第２の特徴情報Ｃ２とを比較して、第１の医用画像Ｇ１と第２の医用画像Ｇ２との間の変化を表す文章を作成する。このために、文章作成部２３は、第１の特徴情報Ｃ１である第１のテキストデータおよび第２の特徴情報Ｃ２である第２のテキストデータに基づいて、変化を表す文章を出力するように機械学習がなされた学習済みモデル３０を有する。学習済みモデル３０の学習は学習部２５により行われる。
第１の実施形態においては、学習済みモデル３０は、入力された２つのテキストデータから２つのテキストデータの間の変化を表す文章を作成するように学習がなされたリカレントニューラルネットワークを学習することにより生成される。図４はリカレントニューラルネットワークの模式的な構成を示す図である。図４に示すようにリカレントニューラルネットワークＲＮＮは、複数の入力層３１および複数の出力層３２を有する。
複数の入力層３１のそれぞれには、第１の特徴情報Ｃ１（すなわち第１のテキストデータ）により表される所見、および第２の特徴情報Ｃ２（すなわち第２のテキストデータ）により表される所見が入力される。複数の出力層３２には、第１層に入力層３１の出力が入力され、複数の出力層３２のそれぞれから、変化を表す文章を構成する単語が順に出力される。第１の実施形態においては、第１の特徴情報Ｃ１により表される所見および第２の特徴情報Ｃ２により表される所見の対応関係に基づいて、変化を表す文章を構成する単語を順に出力するように、リカレントニューラルネットワークＲＮＮにおける複数の入力層３１および複数の出力層３２の間の重み係数、および複数の出力層３２の間の相互の重み係数が、学習部２５により学習される。これにより、学習済みモデル３０が生成される。
図５は学習済みモデル３０による変化を表す文章の生成を説明するための図である。まず、学習済みモデル３０の入力層３１に、第１の特徴情報Ｃ１が入力される。具体的には、「気腔」、「１ｃｍ」、「類円形」、「不明瞭」および「結節」の所見が、それぞれ異なる入力層３１に入力される。また、第２の特徴情報Ｃ２も入力層３１に入力される。具体的には、「気腔」、「１ｃｍ」、「類円形」、「明瞭」および「結節」の所見が、それぞれ異なる入力層３１に入力される。なお、入力される第１および第２の特徴情報Ｃ１，Ｃ２の前後の入力層には、特徴情報の区切りを表す括弧が入力される。
出力層３２の第１層には入力層３１からの出力が入力され、第１の特徴情報Ｃ１と第２の特徴情報Ｃ２との変化を表す文章を構成する単語が、複数の出力層３２のそれぞれから順に出力される。具体的には、複数の出力層３２のそれぞれから、「境界」、「の」、「明瞭」、「さ」、「が」、「増し」、「て」、「い」、「ます」、「。」の文章を構成する単語が順に出力される。そして、単語を出力層３２からの出力順に並べることにより、「境界の明瞭さが増しています。」という、変化を表す文章が作成される。
表示制御部２４は、文章作成部２３が作成した変化を表す文章を表示部１４に表示する。図６は変化を表す文章の表示画面を示す図である。図６に示すように、表示画面４０には、第１の医用画像Ｇ１についての読影レポート４１および第２の医用画像Ｇ２についての読影レポート４２が含まれる。第１の医用画像Ｇ１についての読影レポート４１には、「気腔を有する、１ｃｍ大の類円形で境界不明瞭な結節があります。」の文章４３が含まれる。第２の医用画像Ｇ２についての読影レポート４２には、「気腔を有する、１ｃｍ大の類円形で境界明瞭な結節があります。」の文章４４が含まれる。なお、文章４３，４４は、操作者が第１の特徴情報Ｃ１および第２の特徴情報Ｃ２を参照して入力することにより作成される。しかしながら、医療文書作成支援装置１０に、第１および第２の特徴情報Ｃ１，Ｃ２から文章を作成する学習モデルを別途設け、このような学習モデルにより、第１および第２の特徴Ｃ１，Ｃ２から文章４３，４４を作成するようにしてもよい。
さらに、第２の医用画像Ｇ２についての読影レポート４２には、文章作成部２３が作成した「境界の不明瞭さが増しています。」の変化を表す文章４５が含まれる。
なお、読影レポート４１，４２は、読影ＷＳ３から読影レポートサーバ７に送信され、読影レポートデータベース８に登録される。
次いで、第１の実施形態において行われる処理について説明する。図７は第１の実施形態において行われる処理を示すフローチャートである。読影ＷＳ３に読影対象となる医用画像が入力され、読影レポートの作成の指示が操作者により行われると処理が開始され、画像取得部２１が、撮影時期が異なる第１の医用画像Ｇ１および第２の医用画像Ｇ２を取得する（ステップＳＴ１）。次いで、特徴情報取得部２２が、第１の医用画像Ｇ１に関する第１の特徴情報Ｃ１、および第２の医用画像Ｇ２に関する第２の特徴情報Ｃ２を取得する（ステップＳＴ２）。続いて、文章作成部２３が、特徴情報取得部２２が生成した第１の特徴情報Ｃ１と第２の特徴情報Ｃ２とを比較して、第１の医用画像Ｇ１と第２の医用画像Ｇ２との間の変化を表す文章を作成する（ステップＳＴ３）。そして、表示制御部２４が、変化を表す文章を表示部１４に表示し（ステップＳＴ４）、処理を終了する。
このように、第１の実施形態においては、第１の医用画像Ｇ１に関する第１の特徴情報Ｃ１および第１の医用画像Ｇ１とは撮影時期が異なる第２の医用画像Ｇ２に関する第２の特徴情報Ｃ２を取得し、第１の特徴情報Ｃ１および第２の特徴情報Ｃ２を比較して、第１の医用画像Ｇ１および第２の医用画像Ｇ２の間の変化を表す文章を作成するようにした。このため、とくに比較読影を行う場合における、操作者の読影レポート等の医療文書作成の負担を軽減することができ、その結果、操作者は効率よく医療文書を作成することができる。
なお、上記第１の実施形態においては、特徴情報取得部２２が、第１の医用画像Ｇ１および第２の医用画像Ｇ２を解析して、第１の特徴情報Ｃ１および第２の特徴情報Ｃ２を取得しているが、これに限定されるものではない。例えば、撮影時期が第２の医用画像Ｇ２よりも過去の第１の医用画像Ｇ１については、すでに読影レポートが作成され、読影レポートデータベース８に登録されている。このため、特徴情報取得部２２は、読影レポートサーバ７に対して第１の医用画像Ｇ１について読影レポートが読影レポートデータベース８に登録されているか否かを問い合わせ、登録されている場合には、読影レポートサーバ７を介して読影レポートデータベース８から第１の医用画像Ｇ１の読影レポートを取得する。
この場合、特徴情報取得部２２は、文章から所見を抽出するように学習がなされた所見抽出判別器を備えるものとし、特徴情報取得部２２は、所見抽出判別器におり読影レポートの文章から所見を抽出して第１の特徴情報Ｃ１を取得する。図８は、読影レポートからの第１の特徴情報Ｃ１の取得を説明するための図である。図８に示すように、読影レポートが、「気腔を有する、１ｃｍ大の類円形で境界不明瞭な結節があります。」の文章であったとする。特徴情報取得部２２の所見抽出判別器は、この文章が入力されると、「気腔」、「１ｃｍ」、「類円形」、「不明瞭」および「結節」の所見を抽出することにより、これらの所見を表すテキストデータを第１の特徴情報Ｃ１として取得する。
なお、第２の医用画像Ｇ２についても、読影レポートが読影レポートデータベース８に登録されている場合がある。この場合、特徴情報取得部２２は、読影レポートサーバ７を介して読影レポートデータベース８から第２の医用画像Ｇ２についての読影レポートを取得し、第２の特徴情報Ｃ２を第２の医用画像Ｇ２についての読影レポートから取得すればよい。
また、上記第１の実施形態においては、特徴情報取得部２２が、第１の医用画像Ｇ１および第２の医用画像を解析して第１の特徴情報Ｃ１および第２の特徴情報Ｃ２を取得しているが、これに限定されるものではない。例えば、操作者が第１の医用画像Ｇ１および第２の医用画像Ｇ２を観察し、その結果、入力部１５から入力された所見を、第１の特徴情報Ｃ１および第２の特徴情報Ｃ２として取得するようにしてもよい。
また、上記第１の実施形態においては、第１の特徴情報Ｃ１および第２の特徴情報Ｃ２を、所見を表すテキストデータとしているが、これに限定されるものではない。第１の特徴情報Ｃ１および第２の特徴情報Ｃ２を、第１の医用画像Ｇ１および第２の医用画像Ｇ２の特徴を表す特徴量としてもよい。以下、これを第２の実施形態として説明する。
図９は、本開示の第２の実施形態による医療文書作成支援装置の概略構成を示す図である。なお、図９において図２と同一の構成については同一の参照番号を付与し、詳細な説明は省略する。第２の実施形態による医用文書作成支援装置１０Ａは、第１の実施形態における特徴情報取得部２２、文章作成部２３および学習部２５に代えて、特徴情報取得部５２、文章作成部５３および学習部５５を備えた点が第１の実施形態と異なる。
第２の実施形態における特徴情報取得部５２は、第１の医用画像Ｇ１から第１の医用画像Ｇ１の特徴を表す特徴量を第１の特徴情報Ｃ１として取得する。また、第２の医用画像Ｇ２から第２の医用画像Ｇ２の特徴を表す特徴量を第２の特徴情報Ｃ２として取得する。このために、特徴情報取得部５２は、第１および第２の医用画像Ｇ１，Ｇ２から特徴量を抽出するように機械学習がなされた判別器を備える。第２の実施形態においては、判別器は、第１および第２の医用画像Ｇ１，Ｇ２から特徴量を抽出するようにディープラーニング（深層学習）がなされたニューラルネットワークからなる。なお、判別器には、第１および第２の医用画像Ｇ１，Ｇ２の全領域を入力してもよいが、第１および第２の医用画像Ｇ１，Ｇ２における被写体が含まれる領域のみ、あるいは第１および第２の医用画像Ｇ１，Ｇ２における指定された領域のみを入力するようにしてもよい。
なお、特徴量としては、医用画像における病変の場所、病変のコントラスト、病変の濃度、および病変と他の領域との境界における微分値等の情報のうちの少なくとも１つを用いることができる。第２の実施形態における特徴情報取得部５２が有する判別器は、医用画像の入力によりこれらの情報を特徴量として出力するように学習がなされる。
また、特徴情報取得部５２は１つの判別器のみを有するものとして、第１の医用画像Ｇ１および第２の医用画像Ｇ２から順次第１の特徴情報Ｃ１および第２の特徴情報Ｃ２を取得してもよいが、２つの判別器を有するものとし、第１の医用画像Ｇ１および第２の医用画像Ｇ２から並列に第１の特徴情報Ｃ１および第２の特徴情報Ｃ２を取得してもよい。後者の場合、第１および第２の特徴情報Ｃ１，Ｃ２を取得するための演算時間を短縮することができる。
また、第２の実施形態においても、判別器は、ディープラーニングがなされたニューラルネットワークの他、例えばサポートベクタマシン、畳み込みニューラルネットワーク、およびリカレントニューラルネットワーク等からなるものであってもよい。
第２の実施形態における文章作成部５３は、特徴情報取得部５２が生成した第１の特徴情報Ｃ１と第２の特徴情報Ｃ２とを比較して、第１の医用画像Ｇ１と第２の医用画像Ｇ２との間の変化を表す文章を作成する。このために、文章作成部５３は、第１の特徴情報Ｃ１である第１の特徴量および第２の特徴情報Ｃ２である第２の特徴量に基づいて、変化を表す文章を構成する単語を順に出力するように機械学習がなされた学習済みモデル６０を有する。学習済みモデル６０の学習は学習部５５により行われる。
第２の実施形態においては、学習済みモデル６０は、入力された２つの特徴量から２つの特徴量の間の変化を表す文章を作成するように学習がなされたリカレントニューラルネットワークからなる。図１０は第２の実施形態における学習済みモデルによる変化を表す文章の生成を説明するための図である。図１０に示すようにリカレントニューラルネットワークである学習済みモデル６０は、複数の入力層６１および複数の出力層６２を有する。
複数の入力層６１のそれぞれには、第１の特徴情報Ｃ１により表される特徴量に含まれる情報、および第２の特徴情報Ｃ２により表される特徴量に含まれる情報のそれぞれが入力される。複数の出力層６２には、第１層に入力層６１の出力が入力され、複数の出力層６２のそれぞれから、変化を表す文章を構成する単語が順に出力される。第２の実施形態においては、は、第１の特徴情報Ｃ１により表される特徴量および第２の特徴情報Ｃ２により表される特徴量の対応関係に基づいて、変化を表す文章を構成する単語を順に出力するように、リカレントニューラルネットワークにおける複数の入力層６１および複数の出力層６２の間の重み係数、および複数の出力層６２の間の相互の重み係数が、学習部５５により学習される。これにより、学習済みモデル６０が生成される。
第２の実施形態においては、第１の入力層６１のそれぞれに、第１の特徴情報Ｃ１により表される特徴量に含まれる情報Ｔ１１〜Ｔ１４および第２の特徴情報Ｃ２により表される特徴量に含まれる情報Ｔ２１〜Ｔ２４がされる。なお、入力される特徴情報Ｃ１，Ｃ２の前後の入力層には、特徴情報の区切りを表す括弧が入力される。
出力層６２の第１層には入力層６１の出力が入力され、第１の特徴情報Ｃ１と第２の特徴情報Ｃ２との変化を表す文章を構成する単語が、複数の出力層６２のそれぞれから順に出力される。具体的には、複数の出力層６２のそれぞれから、「境界」、「の」、「明瞭」、「さ」、「が」、「増し」、「て」、「い」、「ます」、「。」の文章を構成する単語が順に出力される。そして、単語を出力層６２からの出力順に並べることにより、「境界の明瞭さが増しています。」という、変化を表す文章が作成される。
このように。第１の特徴情報Ｃ１および第２の特徴情報Ｃ２を、第１の医用画像Ｇ１および第２の医用画像Ｇ２の特徴を表す特徴量とすることによっても、第１の実施形態と同様に、第１の医用画像Ｇ１と第２の医用画像Ｇ２との変化を表す文章を作成することができる。したがって、比較読影を行う場合における、操作者の読影レポート等の医療文書作成の負担を軽減することができ、その結果、操作者は効率よく医療文書を作成することができる。
また、上記各実施形態においては、文章作成部２３，５３が学習済みモデル３０，６０を有し、学習済みモデル３０，６０により変化を表す文章を作成しているが、これに限定されるものではない。例えば、文章作成部２３，５３は、条件式を用いて変化を表す文章を作成するものであってもよい。例えば、第１の実施形態において、入力される第１の特徴情報Ｃ１に含まれる個々の所見と、これらの個々の所見と対応する第２の特徴情報Ｃ２に含まれる個々の所見とを比較して、単語が相違するという条件を満たすか否かを判断し、単語が相違していれば、第１の医用画像Ｇ１と第２の医用画像Ｇ２との間に変化があるものとして、単語の変化を表す情報を生成してもよい。この場合、生成した変化を表す情報を、予め定められた定型文書にはめ込んで、変化を表す文章を生成すればよい。
例えば、上記第１の実施形態のように、第１の特徴情報Ｃ１が、「気腔」、「１ｃｍ」、「類円形」、「不明瞭」および「結節」であり、第２の特徴情報Ｃ２が、「気腔」、「１ｃｍ」、「類円形」、「明瞭」および「結節」であったとする。この場合、対応する単語同士を比較すると、「不明瞭」と「明瞭」とが異なるものとなる。このため、単語の変化を表す情報は「明瞭」となる。ここで、定型文書を「ＸＸさが増しています。」とすれば、「ＸＸ」に「明瞭」をはめ込めば、「明瞭さが増しています。」という変化を表す文章が作成される。このため、学習済みモデルのみならず、このような条件式を用いて、変化を表す文章を作成してもよい。
また、上記各実施形態においては、医用文書作成支援装置１０，１０Ａが学習部２５，５５を備え、医用文書作成支援装置１０，１０Ａにおいてリカレントニューラルネットワークの学習を行って、文章作成部２３，５３における学習済みモデル３０，６０を生成しているが、これに限定されるものではない。例えば、読影ＷＳ３において、医用文書作成支援装置１０，１０Ａとは別個の学習装置を備えるものとし、別個に備えられた学習装置において、リカレントニューラルネットワークの学習を行って、学習済みモデル３０，６０を生成するようにしてもよい。また、読影ＷＳ３とは別個の外部の解析サーバ等において、リカレントニューラルネットワークの学習を行って、学習済みモデル３０，６０を生成するようにしてもよい。この場合、読影ＷＳ３においては、学習済みモデル３０，６０をインストールすることにより、医用文書作成支援装置１０，１０Ａが構成されることとなる。
また、上記各実施形態においては、リカレントニューラルネットワークを学習することにより学習済みモデル３０，６０を生成しているが、これに限定されるものではない、例えば、サポートベクタマシン、および畳み込みニューラルネットワーク等のニューラルネットワークを学習することにより、学習済みモデル３０，６０を生成してもよい。
また、上記第１の実施形態においては、第１および第２の特徴情報Ｃ１，Ｃ２を複数の所見を表すテキストデータとしているが、これに限定されるものではなく、１つの所見を表すテキストデータとしてもよい。例えば、第１の特徴情報Ｃ１を「不明瞭」という１つの所見を表すテキストデータとし、第２の特徴情報Ｃ２を「明瞭」という１つの所見を表すテキストデータとしてもよい。
また、上記第２の実施形態においては、第１および第２の特徴情報Ｃ１，Ｃ２を複数の情報からなる特徴量としているが、これに限定されるものではなく、１つの情報のみを含む特徴量としてもよい。
また、上記第１の実施形態においては、読影ＷＳ３における医療文書作成支援装置１０の特徴情報取得部２２が医用画像を解析しているが、外部の解析サーバ等において、医用画像の解析を行って第１の特徴情報Ｃ１および第２の特徴情報Ｃ２を取得するようにしてもよい。この場合、特徴情報取得部２２は、外部において取得された第１の特徴情報Ｃ１および第２の特徴情報Ｃ２を取得するものとなる。
また、上記各実施形態においては、医療文書として読影レポートを作成する際に、本開示を適用しているが、電子カルテおよび診断レポート等の読影レポート以外の医療文書を作成する場合にも、本開示を適用できることはもちろんである。
１ 医療情報システム
２ モダリティ
３ 読影ワークステーション
４ 診療科ワークステーション
５ 画像サーバ
６ 画像データベース
７ 読影レポートサーバ
８ 読影レポートデータベース
９ ネットワーク
１０，１０Ａ 医療文書作成支援装置
１１ ＣＰＵ
１２ メモリ
１３ ストレージ
１４ 表示部
１５ 入力部
２１ 画像取得部
２２ 特徴情報取得部
２３，５３ 文章作成部
２４ 表示制御部
２５，５５ 学習部
３０，６０ 学習済みモデル
３１，６１ 入力層
３２，６２ 出力層
４０ 表示画面
４１，４２ 読影レポート
４３，４４ 読影レポートの文章
４５ 変化を表す文章
Ｃ１ 第１の特徴情報
Ｃ２ 第２の特徴情報
Ｇ１ 第１の医用画像
Ｇ２ 第２の医用画像
ＲＮＮ リカレントニューラルネットワーク
Ｔ１１〜Ｔ１４，Ｔ２１〜ｔ２４ 情報
画像取得部２１は、同一被検体についての撮影時期が異なる第１の医用画像Ｇ１および第２の医用画像Ｇ２を、それぞれ画像サーバ５から取得する。なお、第１および第２の医用画像Ｇ１，Ｇ２が既にストレージ１３に記憶されている場合には、ストレージ１３から第１および第２の医用画像Ｇ１，Ｇ２を取得するようにしてもよい。以降の説明において、第１の医用画像Ｇ１が第２の医用画像Ｇ２よりも撮影時期が前であるものとする。また、医用画像Ｇ１，Ｇ２としては、ＣＴ装置により取得されたＣＴ画像とするが、これに限定されるものではなく、ＭＲＩ画像またはＰＥＴ画像等であってもよい。
複数の入力層６１のそれぞれには、第１の特徴情報Ｃ１により表される特徴量に含まれる情報、および第２の特徴情報Ｃ２により表される特徴量に含まれる情報のそれぞれが入力される。複数の出力層６２には、第１層に入力層６１の出力が入力され、複数の出力層６２のそれぞれから、変化を表す文章を構成する単語が順に出力される。第２の実施形態においては、第１の特徴情報Ｃ１により表される特徴量および第２の特徴情報Ｃ２により表される特徴量の対応関係に基づいて、変化を表す文章を構成する単語を順に出力するように、リカレントニューラルネットワークにおける複数の入力層６１および複数の出力層６２の間の重み係数、および複数の出力層６２の間の相互の重み係数が、学習部５５により学習される。これにより、学習済みモデル６０が生成される。
第２の実施形態においては、第１の入力層６１のそれぞれに、第１の特徴情報Ｃ１により表される特徴量に含まれる情報Ｔ１１〜Ｔ１４および第２の特徴情報Ｃ２により表される特徴量に含まれる情報Ｔ２１〜Ｔ２４が入力される。なお、入力される特徴情報Ｃ１，Ｃ２の前後の入力層には、特徴情報の区切りを表す括弧が入力される。
このように、第１の特徴情報Ｃ１および第２の特徴情報Ｃ２を、第１の医用画像Ｇ１および第２の医用画像Ｇ２の特徴を表す特徴量とすることによっても、第１の実施形態と同様に、第１の医用画像Ｇ１と第２の医用画像Ｇ２との変化を表す文章を作成することができる。したがって、比較読影を行う場合における、操作者の読影レポート等の医療文書作成の負担を軽減することができ、その結果、操作者は効率よく医療文書を作成することができる。

Claims (13)

  1. 第１の医用画像に関する第１の特徴情報、および前記第１の医用画像とは撮影時期が異なる第２の医用画像に関する第２の特徴情報を取得する特徴情報取得部と、
    前記第１の特徴情報および前記第２の特徴情報を比較して、前記第１の医用画像および前記第２の医用画像の間の変化を表す文章を作成する文章作成部とを備えた医療文書作成支援装置。
  2. 前記特徴情報取得部は、前記第１の医用画像に基づく少なくとも１つの所見を表す第１のテキストデータを前記第１の特徴情報として取得し、前記第２の医用画像に基づく少なくとも１つの所見を表す第２のテキストデータを前記第２の特徴情報として取得する請求項１に記載の医療文書作成支援装置。
  3. 前記特徴情報取得部は、前記第１の医用画像および前記第２の医用画像の少なくとも一方を解析して、前記第１のテキストデータおよび前記第２のテキストデータを取得する請求項２に記載の医療文書作成支援装置。
  4. 前記文章作成部は、前記第１のテキストデータおよび前記第２のテキストデータに基づいて、前記変化を表す文章を出力するように機械学習がなされた学習済みモデルを有する請求項２または３に記載の医療文書作成支援装置。
  5. 前記学習済みモデルは、前記第１の医用画像に基づく少なくとも１つの所見および前記第２の医用画像に基づく少なくとも１つの所見のそれぞれが入力される複数の入力層と、該入力層からの出力が入力され、前記変化を表す文章を出力する複数の出力層とを有し、前記第１の医用画像に基づく少なくとも１つの所見および前記第２の医用画像に基づく少なくとも１つの所見の対応関係に基づいて、前記変化を表す文章を構成する複数の単語を順に出力するように、前記複数の入力層と前記複数の出力層との間の重み係数および前記複数の出力層の間の相互の重み係数が学習されてなるニューラルネットワークにより構成され、前記第１のテキストデータおよび前記第２のテキストデータが入力されると、前記変化を表す文章を出力するようにコンピュータを機能させる請求項４に記載の医療文書作成支援装置。
  6. 前記特徴情報取得部は、前記第１の医用画像の特徴量を前記第１の特徴情報として取得し、前記第２の医用画像の特徴量を前記第２の特徴情報として取得する請求項１に記載の医療文書作成支援装置。
  7. 前記変化を表す文章を表示部に表示する表示制御部をさらに備えた請求項１から６のいずれか１項に記載の医療文書作成支援装置。
  8. 第１の医用画像に基づく少なくとも１つの所見、および前記第１の医用画像とは撮影時期が異なる第２の医用画像に基づく少なくとも１つの所見のそれぞれが入力される複数の入力層と、該入力層からの出力が入力され、前記第１の医用画像および前記第２の医用画像の間の変化を表す文章を出力する複数の出力層とを有し、前記第１の医用画像に基づく少なくとも１つの所見および前記第２の医用画像に基づく少なくとも１つの所見の対応関係に基づいて、前記変化を表す文章を構成する複数の単語を順に出力するように、前記複数の入力層と前記複数の出力層との間の重み係数が学習されてなるニューラルネットワークにより構成され、前記第１の医用画像に基づく所見、および前記第２の医用画像に基づく所見が入力されると、前記変化を表す文章を出力するようにコンピュータを機能させる学習済みモデル。
  9. 第１の医用画像に基づく少なくとも１つの所見、および前記第１の医用画像とは撮影時期が異なる第２の医用画像に基づく少なくとも１つの所見のそれぞれが入力される複数の入力層と、該入力層からの出力が入力され、前記第１の医用画像および前記第２の医用画像の間の変化を表す文章を出力する複数の出力層とを有するニューラルネットワークを学習して学習済みモデルを生成する学習装置であって、
    前記第１の医用画像に基づく所見、および前記第２の医用画像に基づく所見が入力されると、前記第１の医用画像に基づく少なくとも１つの所見および前記第２の医用画像に基づく少なくとも１つの所見の対応関係に基づいて、前記変化を表す文章を構成する複数の単語を順に出力するように、前記ニューラルネットワークにおける前記複数の入力層と前記複数の出力層との間の重み係数を設定するための学習を行う学習部を備えた学習装置。
  10. 第１の医用画像に関する第１の特徴情報、および前記第１の医用画像とは撮影時期が異なる第２の医用画像に関する第２の特徴情報を取得し、
    前記第１の特徴情報および前記第２の特徴情報を比較して、前記第１の医用画像および前記第２の医用画像の間の変化を表す文章を作成する医療文書作成支援方法。
  11. 第１の医用画像に基づく少なくとも１つの所見、および前記第１の医用画像とは撮影時期が異なる第２の医用画像に基づく少なくとも１つの所見のそれぞれが入力される複数の入力層と、該入力層からの出力が入力され、前記第１の医用画像および前記第２の医用画像の間の変化を表す文章を出力する複数の出力層とを有するニューラルネットワークを学習して学習済みモデルを生成する学習方法であって、
    前記第１の医用画像に基づく所見、および前記第２の医用画像に基づく所見が入力されると、前記第１の医用画像に基づく少なくとも１つの所見および前記第２の医用画像に基づく少なくとも１つの所見の対応関係に基づいて、前記変化を表す文章を構成する複数の単語を順に出力するように、前記ニューラルネットワークにおける前記複数の入力層と前記複数の出力層との間の重み係数を設定するための学習を行う学習方法。
  12. 第１の医用画像に関する第１の特徴情報、および前記第１の医用画像とは撮影時期が異なる第２の医用画像に関する第２の特徴情報を取得する手順と、
    前記第１の特徴情報および前記第２の特徴情報を比較して、前記第１の医用画像および前記第２の医用画像の間の変化を表す文章を作成する手順とをコンピュータに実行させる医療文書作成支援プログラム。
  13. 第１の医用画像に基づく少なくとも１つの所見、および前記第１の医用画像とは撮影時期が異なる第２の医用画像に基づく少なくとも１つの所見のそれぞれが入力される複数の入力層と、該入力層からの出力が入力され、前記第１の医用画像および前記第２の医用画像の間の変化を表す文章を出力する複数の出力層とを有するニューラルネットワークを学習して学習済みモデルを生成する処理をコンピュータに実行させる学習プログラムであって、
    前記第１の医用画像に基づく所見、および前記第２の医用画像に基づく所見が入力されると、前記第１の医用画像に基づく少なくとも１つの所見および前記第２の医用画像に基づく少なくとも１つの所見の対応関係に基づいて、前記変化を表す文章を構成する複数の単語を順に出力するように、前記ニューラルネットワークにおける前記複数の入力層と前記複数の出力層との間の重み係数を設定するための学習手順をコンピュータに実行させる学習プログラム。
JP2020516163A 2018-04-24 2019-04-02 医療文書作成支援装置、方法およびプログラム、学習済みモデル、並びに学習装置、方法およびプログラム Active JP7007469B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018083079 2018-04-24
JP2018083079 2018-04-24
PCT/JP2019/014707 WO2019208130A1 (ja) 2018-04-24 2019-04-02 医療文書作成支援装置、方法およびプログラム、学習済みモデル、並びに学習装置、方法およびプログラム

Publications (2)

Publication Number Publication Date
JPWO2019208130A1 true JPWO2019208130A1 (ja) 2021-05-20
JP7007469B2 JP7007469B2 (ja) 2022-01-24

Family

ID=68294072

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020516163A Active JP7007469B2 (ja) 2018-04-24 2019-04-02 医療文書作成支援装置、方法およびプログラム、学習済みモデル、並びに学習装置、方法およびプログラム

Country Status (3)

Country Link
US (1) US11923069B2 (ja)
JP (1) JP7007469B2 (ja)
WO (1) WO2019208130A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021187483A1 (ja) * 2020-03-17 2021-09-23 富士フイルム株式会社 文書作成支援装置、方法およびプログラム
JPWO2022196106A1 (ja) 2021-03-19 2022-09-22

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005148990A (ja) * 2003-11-13 2005-06-09 Konica Minolta Medical & Graphic Inc 医用画像読影システム及び読影レポート作成方法
JP2009082443A (ja) * 2007-09-28 2009-04-23 Canon Inc 診断支援装置及びその制御方法
JP2016133821A (ja) * 2015-01-15 2016-07-25 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
US20160350919A1 (en) * 2015-06-01 2016-12-01 Virtual Radiologic Corporation Medical evaluation machine learning workflows and processes
US20170293725A1 (en) * 2016-04-07 2017-10-12 Siemens Healthcare Gmbh Image analytics question answering

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009070201A (ja) 2007-09-14 2009-04-02 Fujifilm Corp 読影レポート作成システム及び読影レポート作成装置並びに読影レポート作成方法
US20190325300A1 (en) * 2018-04-19 2019-10-24 Siemens Healthcare Gmbh Artificial intelligence querying for radiology reports in medical imaging

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005148990A (ja) * 2003-11-13 2005-06-09 Konica Minolta Medical & Graphic Inc 医用画像読影システム及び読影レポート作成方法
JP2009082443A (ja) * 2007-09-28 2009-04-23 Canon Inc 診断支援装置及びその制御方法
JP2016133821A (ja) * 2015-01-15 2016-07-25 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
US20160350919A1 (en) * 2015-06-01 2016-12-01 Virtual Radiologic Corporation Medical evaluation machine learning workflows and processes
US20170293725A1 (en) * 2016-04-07 2017-10-12 Siemens Healthcare Gmbh Image analytics question answering

Also Published As

Publication number Publication date
US20210035676A1 (en) 2021-02-04
WO2019208130A1 (ja) 2019-10-31
JP7007469B2 (ja) 2022-01-24
US11923069B2 (en) 2024-03-05

Similar Documents

Publication Publication Date Title
JP2019153250A (ja) 医療文書作成支援装置、方法およびプログラム
JP6906462B2 (ja) 医用画像表示装置、方法およびプログラム
US20190295248A1 (en) Medical image specifying apparatus, method, and program
US11093699B2 (en) Medical image processing apparatus, medical image processing method, and medical image processing program
WO2021157705A1 (ja) 文書作成支援装置、方法およびプログラム
JP7102509B2 (ja) 医療文書作成支援装置、医療文書作成支援方法、及び医療文書作成支援プログラム
WO2021112141A1 (ja) 文書作成支援装置、方法およびプログラム
JP7080304B2 (ja) 学習支援装置、学習支援方法、学習支援プログラム、関心領域判別装置、関心領域判別方法、関心領域判別プログラム及び学習済みモデル
US20220392619A1 (en) Information processing apparatus, method, and program
WO2020209382A1 (ja) 医療文書作成装置、方法およびプログラム
US20230005580A1 (en) Document creation support apparatus, method, and program
WO2020202822A1 (ja) 医療文書作成支援装置、方法およびプログラム
JP7237089B2 (ja) 医療文書作成支援装置、方法およびプログラム
US11923069B2 (en) Medical document creation support apparatus, method and program, learned model, and learning apparatus, method and program
WO2021193548A1 (ja) 文書作成支援装置、方法およびプログラム
WO2019193983A1 (ja) 医療文書表示制御装置、医療文書表示制御方法、及び医療文書表示制御プログラム
WO2019102917A1 (ja) 読影医決定装置、方法およびプログラム
WO2021177357A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
WO2022215530A1 (ja) 医用画像装置、医用画像方法、及び医用画像プログラム
WO2022230641A1 (ja) 文書作成支援装置、文書作成支援方法、及び文書作成支援プログラム
US20220076796A1 (en) Medical document creation apparatus, method and program, learning device, method and program, and trained model
WO2021177312A1 (ja) 情報保存装置、方法およびプログラム、並びに解析記録生成装置、方法およびプログラム
JP7376715B2 (ja) 経過予測装置、経過予測装置の作動方法および経過予測プログラム
WO2021172477A1 (ja) 文書作成支援装置、方法およびプログラム
US20230070906A1 (en) Information processing apparatus, method, and program

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201020

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201020

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211026

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211202

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211214

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220106

R150 Certificate of patent or registration of utility model

Ref document number: 7007469

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150