JP7080304B2 - 学習支援装置、学習支援方法、学習支援プログラム、関心領域判別装置、関心領域判別方法、関心領域判別プログラム及び学習済みモデル - Google Patents

Description

本発明は、学習支援装置、学習支援方法、学習支援プログラム、関心領域判別装置、関心領域判別方法、関心領域判別プログラム及び学習済みモデルに関する。

医療分野においては、解剖学的臓器名における領域名称を特定し、病名を診断することが行われている。例えば、特許文献１では、脳などの３次元医療画像に対して、複数の領域を特定することが行われている（領域セグメンテーション）。なお、領域のセグメンテーションとしては、例えば、非特許文献１に示すように、画像を画素レベルで把握するセマンティックセグメンテーションが用いられる場合がある。

特開２０１６－２０２９０４号公報

A Review on Deep Learning Techniques Applied to Semantic Segmentation

解剖学的臓器名、区域名、病名、病状など関心領域の名称とその関心領域の画像とを、ディープラーニングなどの機械学習を用いて、学習させた上で、関心領域の画像から関心領域の名称を判定することが行われつつある。関心領域の名称を正確に判定するためには、ディープラーニングにおいて、目的に沿った大量かつ良質の教師データによる学習が不可欠である。教師データについては、ＰＡＣＳ（Picture Archiving and Communication System）などの医療情報システムに保管されている読影レポートなどの大量のデータから取得することが検討されている。しかしながら、大量のデータの中から教師データに役に立つデータを手動で判別するのは合理的ではない。

本発明は、関心領域の画像から関心領域の名称等を判定するための判別モデルを生成する場合において、関心領域の画像と関心領域の名称とからなる教師データを大量に且つ容易に取得することができる学習支援装置、学習支援方法、学習支援プログラム、関心領域判別装置、関心領域判別方法、関心領域判別プログラム及び学習済みモデルを提供することを目的とする。

上記目的を達成するために、本発明の学習支援装置は、記憶部と、取得部と、登録部と、学習部とを備え、取得部が、読影レポートを解析することにより、１箇所の関心領域に対して複数の関心領域の名称を取得した場合には、学習部が、教師データに加えて、関心領域の位置情報に関する領域位置情報を用いて、複数の関心領域の名称についてそれぞれ学習を行う。記憶部は、画像及び文字情報を含む読影レポートを記憶している。取得部は、読影レポートを解析することにより、画像に含まれる関心領域の画像と文字情報に含まれる関心領域の名称とを取得する。登録部は、取得部により取得した関心領域の画像と関心領域の名称とからなる教師データを登録する。学習部は、登録部に登録された教師データを複数用いて、読影レポートの画像の入力に対して、関心領域の画像及び関心領域の名称を出力する判別モデルを生成するための学習を行う。

読影レポートは、文字情報に含まれる所見情報と、画像に含まれる関心領域の位置情報とを関連付けるリンク情報を有し、取得部は、リンク情報から、関心領域の位置情報を取得することが好ましい。

読影レポートには、関心領域の周囲に付されたアノテーション情報を有し、取得部は、アノテーション情報から、関心領域の位置情報を取得することが好ましい。

取得部は、読影レポートの画像から関心領域を判別する関心領域判別部によって、関心領域の画像及び関心領域の位置情報を取得することが好ましい。

取得部は、関心領域の名称に対して上位概念又は下位概念に対応する上位概念又は下位概念の名称を記憶する階層構造データベースを参照して、関心領域の名称から、上位概念又は下位概念の名称を取得し、学習部は、関心領域の画像と上位概念又は下位概念の名称とからなる教師データを用いて、学習を行うことが好ましい。

取得部は、関心領域の名称に対して互いに類似する複数の類似の名称を予め記憶した類似名称データベースを参照して、複数の類似の名称から、代表の名称を決定し、学習部は、関心領域の画像と代表の名称とからなる教師データを用いて、学習を行うことが好ましい。

取得部は、記憶部に読影レポートが新規に記憶された場合に、関心領域の画像および関心領域の名称を新規に取得し、登録部は、取得部により新規に取得した関心領域の画像と関心領域の名称とからなる新規の教師データを登録し、学習部は、新規の教師データが登録された場合に、新規の教師データを含めた教師データを複数用いて再度学習することにより、更新された判別モデルを生成することが好ましい。

取得部は、新規に記憶された読影レポートと、同一の患者を対象とする過去の読影レポートが記憶部に記憶されている場合、過去の読影レポートの画像と、新規に記憶された読影レポートの画像と、新規に取得した関心領域の画像を位置合わせすることにより、過去の読影レポートの画像に含まれる関心領域の画像を取得し、登録部は、過去の読影レポートに基づき取得した関心領域の画像と、新規に取得した関心領域の名称とからなる過去画像教師データを登録し、学習部は、過去画像教師データが登録された場合に、過去画像教師データを含めた教師データを複数用いて再度学習することにより、更新された判別モデルを生成することが好ましい。

読影レポートには、電子カルテが含まれることが好ましい。

取得部は、関心領域の名称として、解剖学的臓器名、区域名、病名、病状を取得することが好ましい。区域名としては、より具体的には、肺、肝臓、脳の区域名であることが好ましい。

本発明の学習支援方法は、記憶部と、取得部と、登録部と、学習部とを備えた学習支援装置の学習支援方法において、取得部が、読影レポートを解析することにより、画像に含まれる関心領域の画像と文字情報に含まれる関心領域の名称とを取得する取得ステップと、登録部が、取得部により取得した関心領域の画像と関心領域の名称とからなる教師データを登録する登録ステップと、読影レポートの画像の入力に対して、関心領域の画像及び関心領域の名称を出力する判別モデルを生成するための学習を行う学習ステップであって、前記取得部が、前記読影レポートを解析することにより、１箇所の関心領域に対して複数の関心領域の名称を取得した場合には、前記学習部が、前記教師データに加えて、前記関心領域の位置情報に関する領域位置情報を用いて、複数の関心領域の名称についてそれぞれ学習を行う学習ステップとを備えている。

本発明の学習支援プログラムは、コンピュータを、記憶部と、取得部と、登録部と、学習部として機能させ、取得部が、読影レポートを解析することにより、１箇所の関心領域に対して複数の関心領域の名称を取得した場合には、学習部が、教師データに加えて、関心領域の位置情報に関する領域位置情報を用いて、複数の関心領域の名称についてそれぞれ学習を行うための学習支援プログラム。

本発明の関心領域判別装置は、記憶部と、取得部と、登録部と、学習部と、判別部とを備え、取得部が、読影レポートを解析することにより、１箇所の関心領域に対して複数の関心領域の名称を取得した場合には、学習部が、教師データに加えて、関心領域の位置情報に関する領域位置情報を用いて、複数の関心領域の名称についてそれぞれ学習を行う。判別部は、読影レポートの画像が入力された場合、判別モデルを用いて、関心領域の画像及び関心領域の名称を判別する。

本発明の関心領域判別装置の関心領域判別方法は、記憶部と、取得部と、登録部と、学習部と、判別部とを備えた関心領域判別装置において、取得ステップと、登録ステップと、学習ステップと、判別部が、読影レポートの画像が入力された場合、判別モデルを用いて、関心領域の画像及び関心領域の名称を判別する判別ステップとを備えている。

本発明の関心領域判別装置の関心領域判別プログラムは、コンピュータを、記憶部と、
取得部と、登録部と、学習部と、読影レポートの画像が入力された場合、判別モデルを用いて、関心領域の画像及び関心領域の名称を判別する判別部として機能させ、取得部が、読影レポートを解析することにより、１箇所の関心領域に対して複数の関心領域の名称を取得した場合には、学習部が、教師データに加えて、関心領域の位置情報に関する領域位置情報を用いて、複数の関心領域の名称についてそれぞれ学習を行う。

本発明の学習済みモデルは、コンピュータを、記憶部と、取得部と、登録部と、学習部と、読影レポートの画像が入力された場合、判別モデルを用いて、関心領域の画像及び関心領域の名称を判別する判別部として機能させ、取得部が、読影レポートを解析することにより、１箇所の関心領域に対して複数の関心領域の名称を取得した場合には、学習部が、教師データに加えて、関心領域の位置情報に関する領域位置情報を用いて、複数の関心領域の名称についてそれぞれ学習を行う。

本発明によれば、読影レポートから医療分野において学習に必要な教師データを容易に取得し、判別モデルを生成するための学習支援装置および学習支援方法並びに学習支援プログラムを提供することができる。

医療情報システムの概略構成を表す図である。 本発明の学習支援装置の概略構成を表す図である。 肺の各区域を模式的に表した説明図である。 読影レポートから教師データを取得し、学習データを生成する方法を説明する説明図である。 読影レポートから関心領域の名称及び関心領域の位置情報を取得する方法を説明する説明図である。 本発明の学習支援装置および関心領域判別装置の作用を説明するためのフローチャートである。 アノテーション情報から関心領域の位置情報を取得する変形例を説明する説明図である。 領域位置情報を用いて関心領域の位置情報を取得する変形例を説明する説明図である。 類似名称データベースを参照して関心領域の位置情報を取得する変形例を説明する説明図である。 過去の読影レポートをから関心領域の位置情報を取得する変形例を説明する説明図である。 肝臓の各区域を模式的に表した説明図である。

図１において、医療情報システム２は、モダリティ１１と、読影医端末１２と、診療科医端末１３と、画像管理サーバ１４と、画像データベース１５と、読影レポートサーバ１６と、読影レポートデータベース１７と、学習支援装置１８と、オーダ管理サーバ１９とで構成される。これらモダリティ１１、読影医端末１２、診療科医端末１３、画像管理サーバ１４、画像データベース１５、読影レポートサーバ１６、読影レポートデータベース１７、学習支援装置１８およびオーダ管理サーバ１９は、医療施設内に敷設されたＬＡＮ（Local Area Network）等のローカルネットワークであるネットワーク２１を介して通信可能な状態で相互接続されている。なお、読影医端末１２が他の病院あるいは診療所に設置されている場合には、各病院のローカルネットワーク同士をインターネットまたは専用回線で接続した構成としてもよい。

この医療情報システム２は、公知のオーダリングシステムを用いた診療科医からの検査オーダに基づいて、被検体の検査対象部位の撮影および保管、読影医による撮影された画像の読影と読影レポートの作成、および、依頼元の診療科医による読影レポートの閲覧と読影対象の画像の詳細観察を行うためのシステムである。

各機器は、医療情報システム２の構成要素として機能させるためのアプリケーションプログラムがインストールされている。また、アプリケーションプログラムは、ＣＤ－ＲＯＭ等の記録媒体からインストール、または、インターネット等のネットワーク経由で接続されたサーバの記憶装置からダウンロードされた後にインストールされてもよい。

モダリティ１１には、被検体の検査対象部位を撮影することにより、その部位を表す検査画像２２を生成し、その画像にＤＩＣＯＭ（Digital Imaging and Communication in Medicine）規格で規定された付帯情報を付加して出力する装置が含まれる。また、モダリティ１１には、臓器の三次元情報をもつ画像を検査画像２２として撮影する装置が含まれる。具体例としては、ＣＴ（Computed Tomography：コンピュータ断層撮影装置）装置１１Ａ、ＭＲI（magnetic resonance imaging：磁気共鳴画像撮影装置）装置１１Ｂ、ＰＥＴ（Positron Emission Tomography）装置（図示せず）、超音波装置（図示せず）、または、平面Ｘ線検出器（ＦＰＤ：flat panel detector）を用いたＣＲ（Computed Radiography：コンピュータＸ線撮影）装置１１Ｃなどが挙げられる。なお、以下では、モダリティ１１で撮影し、画像を生成する検査対象の臓器として肺を例示する。

読影医端末１２は、放射線科の読影医が画像の読影や読影レポートの作成に利用するコンピュータであり、ＣＰＵ（Central Processing Unit）、主記憶装置、補助記憶装置、入出力インターフェース、通信インターフェース、入力装置、表示装置、および、データバス等の周知のハードウェア構成を備え、周知のオペレーションシステム等がインストールされ、表示装置として１台または複数台の高精細ディスプレイを有している。この読影医端末１２では、画像管理サーバ１４に対する画像の送信要求、画像管理サーバ１４から受信した画像の表示、画像中の病変らしき部分の自動検出および強調表示、および、読影レポート２３の作成と表示等の各処理が、各処理のためのソフトウェアプログラムを実行することにより行われる。また、読影医端末１２は、生成した読影レポート２３を、ネットワーク２１を介して読影レポートサーバ１６に転送し、その読影レポートの読影レポートデータベース１７への登録を要求する。

診療科医端末１３は、診療科の医師が画像の詳細観察や読影レポートの閲覧、および、電子カルテの閲覧および入力等に利用するコンピュータであり、ＣＰＵ、主記憶装置、補助記憶装置、入出力インターフェース、通信インターフェース、入力装置、表示装置、および、データバス等の周知のハードウェア構成を備え、周知のオペレーションシステム等がインストールされ、表示装置として１台または複数台の高精細ディスプレイを有している。この診療科医端末１３では、画像管理サーバ１４に対する画像の閲覧要求、画像管理サーバ１４から受信した画像の表示、画像中の病変らしき部分の自動検出または強調表示、読影レポートサーバ１６に対する読影レポートの閲覧要求、および、読影レポートサーバ１６から受信した読影レポートの表示等の各処理が、各処理のためのソフトウェアプログラムの実行により行われる。

画像管理サーバ１４は、汎用のコンピュータにデータベース管理システム（Data Base Management System：DBMS）の機能を提供するソフトウェアプログラムが組み込まれている。画像管理サーバ１４は、画像データベース１５が構成される大容量ストレージを備えている。このストレージは、画像管理サーバ１４とデータバスによって接続された大容量のハードディスク装置であってもよいし、ネットワーク２１に接続されているＮＡＳ（Network Attached Storage）やＳＡＮ（Storage Area Network）に接続されたディスク装置であってもよい。

画像データベース１５には、複数の患者をモダリティ１１で撮影した検査画像（画像データ）２２と付帯情報が登録される。付帯情報には、例えば、個々の画像を識別するための画像ＩＤ（identification）、被写体を識別するための患者ＩＤ、検査を識別するための検査ＩＤ、検査画像２２ごとに割り振られるユニークなＩＤ（ＵＩＤ：unique identification）、その検査画像２２が生成された検査日、検査時刻、その検査画像を取得するための検査で使用されたモダリティ１１の種類、患者氏名と年齢と性別などの患者情報、検査部位（撮影部位）、撮影条件（造影剤の使用有無または放射線量など）、および、１回の検査で複数の断層画像を取得したときのシリーズ番号などの情報が含まれる。

また、画像管理サーバ１４は、読影医端末１２からの閲覧要求をネットワーク２１経由で受信すると、上述の画像データベース１５に登録されている検査画像を検索し、抽出された検査画像を要求元の読影医端末１２に送信する。

読影レポートサーバ１６は、汎用のコンピュータにデータベース管理システム（DataBase Management System: DBMS）の機能を提供するソフトウェアプログラムが組み込まれ、読影医端末１２からの読影レポート２３の登録要求を受け付けると、その読影レポート２３をデータベース用のフォーマットに整えて読影レポートデータベース１７に登録する。

読影レポートデータベース１７には、例えば、読影対象画像もしくは代表画像を識別する画像ＩＤや、読影を行った読影医を識別するための読影医ＩＤ、病変名、病変の位置情報、所見、所見の確信度といった情報が記録された読影レポート２３が登録される。

オーダ管理サーバ１９は、診療科医端末１３で発行された検査オーダを受け付けて、受け付けた検査オーダを管理する。検査オーダは、例えば、個々の検査オーダを識別するためのオーダＩＤ、当該検査オーダを発行した診療科医端末１３の端末ＩＤまたは診療科医ＩＤ、当該検査オーダによる撮影の対象の患者（以下、対象患者）の患者ＩＤ、経過観察等の検査目的、頭部、胸部等の撮影部位、仰向け、うつ伏せ等の向きといった各種項目を有する。放射線科の検査技師は、オーダ管理サーバ１９で検査オーダの内容を確認し、確認した検査オーダに応じた撮影条件をモダリティ１１に設定して医用画像の撮影を行う。

次に、本発明の関心領域判別装置２５について、図１および図２を用いて説明する。関心領域判別装置２５は、例えば、読影医端末１２に組み込まれ、検査画像２２内における臓器の各区域または病変らしき部分の画像と、臓器の各区域および関心領域の名称を判別する。読影医端末１２は、判別結果に基づき、臓器の各区域の色分け表示、または関心領域の強調表示などを行う。

図２は、関心領域判別装置２５を構成する学習支援装置１８の機能ブロックである。本発明の関心領域判別装置２５は、ネットワーク２１に接続された学習支援装置１８、および読影レポートデータベース１７とともに使用される（図１参照）。なお、読影レポートデータベース１７が本発明の記憶部として機能する。

学習支援装置１８は、汎用のコンピュータで構成され、ＣＰＵ、ＨＤＤ（ｈａｒｄ ｄｉｓｃ ｄｒｉｖｅ）やＳＳＤ（ｓｏｌｉｄ ｓｔａｔｅ ｄｒｉｖｅ）等の主記憶装置、補助記憶装置、入出力インターフェース、通信インターフェース、入力装置、表示装置、および、データバス等の周知のハードウェア構成を備え、周知のオペレーションシステム等がインストールされている。また、通信インターフェースを介して、ネットワーク２１に接続された画像データベース１５、および読影レポートデータベース１７とデータの送受信を行う。

なお、本実施形態では、学習支援装置１８は、読影医端末１２、診療科医端末１３、画像管理サーバ１４、および読影レポートサーバ１６とは独立して設けられているが、これに限らず、これらのサーバ又は端末のいずれか１つに設けてもよい。

図２に示すように、学習支援装置１８は、取得部２６、登録部２７、記憶装置２８、学習部２９、および制御部３１で構成される。

取得部２６は、読影レポート２３を解析することにより、読影レポート２３の検査画像２２に含まれる関心領域の画像と、読影レポート２３の文字情報に含まれる関心領域の名称とを取得する。本実施形態では、関心領域の名称として、肺区域の名称を取得する。

図３に示すように、解剖学的臓器としての肺は、肺葉または肺区域に区分される。右肺ＲＬは、肺葉としての右上葉ＲＵＬ（ｒｉｇｈｔ ｕｐｐｅｒ ｌｏｂｅ）、右中葉ＲＭＬ（ｒｉｇｈｔ ｍｉｄｄｌｅ ｌｏｂｅ）、及び右下葉ＲＬＬ（ｒｉｇｈｔ ｌｏｗｅｒ ｌｏｂｅ）に分けられ、左肺ＬＬは、肺葉としての左上葉ＬＵＬ（ｌｅｆｔ ｕｐｐｅｒ ｌｏｂｅ）、及び左下葉ＬＬＬ（ｌｅｆｔ ｌｏｗｅｒ ｌｏｂｅ）に分けられる。

また、右上葉ＲＵＬは、肺区域としての右肺尖区Ｓ１（以下、右Ｓ１と省略する。以下の肺区域についても同様に省略する。）、右後上葉区Ｓ２、及び右前上葉区Ｓ３に区分される。右中葉ＲＭＬは、肺区域としての右外側中葉区Ｓ４及び右内側中葉区Ｓ５に区分される。右下葉ＲＬＬは、肺区域としての右上葉・下葉区Ｓ６、右内側肺底区Ｓ７、右前肺底区Ｓ８、右外側肺底区Ｓ９、及び右後肺底区Ｓ１０に区分される。

さらに、左上葉ＬＵＬは、肺区域としての左肺尖後区Ｓ１＋２、左前上葉区Ｓ３、左上舌区Ｓ４、及び左下舌区Ｓ５に区分される。左下葉ＬＬＬは、肺区域としての左上葉・下葉区Ｓ６、左前肺底区Ｓ８、左外側肺底区Ｓ９、及び左後肺底区Ｓ１０に区分される。

制御部３１は、取得部２６、登録部２７、及び学習部２９の処理の流れを制御する。取得部２６が、読影レポート２３の検査画像２２に含まれる関心領域の画像と、読影レポート２３の文字情報に含まれる関心領域の名称とを取得する処理について図４および図５を用いて説明する。

読影レポート２３には、読影対象となる検査画像２２と、付帯情報２３Ａと、所見情報２３Ｂと、リンク情報２３Ｃとが含まれる。付帯情報２３Ａは、患者ＩＤ、検査ＩＤ、検査日などの読影対象となる検査画像２２に付帯された文字情報である。所見情報２３Ｂは、読影対象となる検査画像２２を読影した読影医の所見を編集したものであり、読影医端末１２によって入力された文字情報である。リンク情報２３Ｃは、後述するように読影レポート２３をディスプレイに表示する際に用いられるものであり、所見情報２３Ｂと、検査画像２２に含まれる関心領域の位置情報とを関連付けるリンク情報である。

図５は、読影医端末１２又は診療科医端末１３のディスプレイに読影レポート２３を表示する際の表示画面３２の一例である。この例では、上から順に、付帯情報２３Ａが表示される付帯情報表示欄３２Ａと、所見情報２３Ｂが表示される所見欄３２Ｂと、読影対象となる検査画像２２のサムネイル画像が表示される画像表示欄３２Ｃとを有する。

図５に示す例では、所見欄３２Ｂに、「右Ｓ１にφ＝３０ｍｍの境界明瞭な肺結節が認められる。」という所見情報２３Ｂが表示されている。この場合、関心領域の病変名を示す「肺結節」と、関心領域の肺区域名である「右Ｓ１」と、関心領域の直径寸法をしめす「φ＝３０ｍｍ」が強調表示されている。

さらに、本実施形態では、読影レポート２３には、リンク情報２３Ｃが含まれており、このリンク情報２３Ｃは、所見情報２３Ｂのうち、病変名を示す「肺結節」の文言と、検査画像２２に含まれる関心領域の位置情報とを関連付ける。この関心領域の位置情報とは、具体的には、検査画像２２内における関心領域の座標とこの座標を中心とする範囲である。このリンク情報２３Ｃを有することによって、読影医端末１２又は診療科医端末１３を操作し、表示画面３２内で強調表示された「肺結節」を選択すると、関連付けられた関心領域の位置情報に基づく関心領域の画像２２Ａをディスプレイに表示させることができる。図５に示す例では、「肺結節」を選択した場合、検査画像２２のうち、座標（Ｘ，Ｙ，Ｚ）を中心とする直径寸法がφ＝３０ｍｍの関心領域（円で囲んだ部分）を含む範囲を切り出し、リンク情報２３Ｃに含まれる関心領域の位置情報を中心にして拡大した画像３２Ｄが表示される。

図４及び図５に示す例では、取得部２６は、読影レポート２３の所見情報２３Ｂの文字を解析し、肺区域の名称を示す「右Ｓ１」を関心領域の名称として取得するとともに、読影レポート２３のリンク情報２３Ｃから検査画像２２内における関心領域の座標（Ｘ，Ｙ，Ｚ）と、関心領域の直径寸法を示す「φ＝３０ｍｍ」とからなる位置情報を取得する。

登録部２７は、取得部２６により取得した関心領域の画像２２Ａと関心領域の名称とからなる教師データ３３を記憶装置２８に登録する。図４に示す例では、関心領域の画像２２Ａと、肺区域の名称である「右Ｓ１」と、位置情報である座標（Ｘ，Ｙ，Ｚ）および直径φ＝３０ｍｍとからなる教師データ３３を登録する。記憶装置２８は、例えば、学習支援装置１８に設けられたＨＤＤ（ｈａｒｄ ｄｉｓｃ ｄｒｉｖｅ）やＳＳＤ（ｓｏｌｉｄ ｓｔａｔｅ ｄｒｉｖｅ）等の記憶装置の一部でもよいし、ネットワーク２１を介して接続された記憶装置でもよい。

以上のようなプロセスで、登録部２７は、複数の教師データ３３を登録し、記憶装置２８に後述する機械学習等のために、たとえば、所定個数の教師データ３３を登録するまで、または読影レポートデータベース１７に登録された全ての読影レポート２３に基づく教師データ３３を登録するまで、読影レポート２３からの関心領域の画像２２Ａと関心領域の名称の取得、教師データ３３の登録が繰り返される。

学習部２９は、記憶装置２８に登録された教師データ３３を複数用いて、読影レポート２３の検査画像２２の入力に対して、関心領域の画像２２Ａ及び関心領域の名称を出力する判別モデル３４を生成するための学習を行う。具体的には、ディープラーニングなどの機械学習手法を用いて判別モデル３４を生成する。例えば、教師データ３３を複数入力して、機械学習アルゴリズムに、関心領域の位置情報と各ボクセルの特徴量（画素値など）の関係性を学習させておく。具体的には、各ボクセルの特徴量のうち関心領域周辺の特徴量を入力したときに得られる位置情報と、教師データ３３における関心領域の位置情報との誤差が最小になるように、機械学習アルゴリズムで用いる学習用重み付け係数を更新する。

以上のように、学習部２９で生成された判別モデル３４は、関心領域判別装置２５に送信される。関心領域判別装置２５の判別部３５では、読影レポート２３などの検査画像２２が入力された際、判別モデル３４を用いて、検査画像２２内における関心領域の画像２２Ａ及び関心領域の名称を出力する。

判別モデル３４は、上述した機械学習手法を用いて決定された重み付け係数を含むものであり、検査画像２２が入力された場合、関心領域の画像２２Ａ及び関心領域の名称の判別のために、用いられる。

判別部３５は、判別モデル３４を用いて検査画像内における関心領域の画像及び関心領域の名称を判別する。判別部３５は、例えば判別した関心領域の画像３６及び関心領域の名称３７などを関心領域判別装置２５のディスプレイなどに表示させる。

以下、肺の検査画像２２を有する読影レポート２３から判別モデル３４が生成され、関心領域の画像及び関心領域の名称が判別されるプロセスを、図６のフローチャートを用いて説明する。

学習支援装置１８では、まず、肺疾患に関する読影レポート２３を読影レポートデータベース１７から読み出す（Ｓ１０１）。

次に、取得部２６が読影レポート２３の検査画像２２に含まれる関心領域の画像と、読影レポート２３の文字情報に含まれる関心領域の名称とを取得し（Ｓ１０２）、登録部２７が、取得部２６により取得した関心領域の画像と関心領域の名称とからなる教師データ３３を記憶装置２８に登録する（Ｓ１０３）。上述したように、読影レポート２３に「右Ｓ１にφ＝３０ｍｍの境界明瞭な肺結節が認められる。」という所見情報２３Ｂ、リンク情報２３Ｃが含まれている場合は、関心領域の肺区域名である「右Ｓ１」、リンク情報２３Ｃに含まれる関心領域の位置情報を取得する。

そして、機械学習等のための教師データ３３が記憶装置２８に登録されると、学習部２９が、登録された教師データ３３を複数用いて、判別モデル３４を生成するための学習を行う（Ｓ１０４）。生成された判別モデル３４は、関心領域判別装置２５に送信される。

関心領域判別装置２５に新たな検査画像２２が入力された場合（Ｓ１０５でＹＥＳ）、判別部３５は、判別モデル３４を用いて検査画像２２内における関心領域の画像及び関心領域の名称を出力する。例えば、肺区域の色分け表示、または肺区域の名称表示などを行う（Ｓ１０６）。

以上のように、学習支援装置１８は、読影レポート２３から取得した関心領域の画像および関心領域の名称からなる教師データに基づいて学習を行っているので、医療情報システムにおいて、従来から使用されていた読影レポートから教師データを取得可能であり、学習に必要な教師データを容易に取得することができる。さらに、教師データを用いて判別モデル３４を生成可能であり、正しい情報が記録されている読影レポートに基づいて判別モデル３４が生成されているため、判別の精度を容易に向上させることができる。

なお、本実施形態では、関心領域として「右Ｓ１」を出力可能な関心領域判別装置２５を例示しているが、本発明はこれに限定するものではなく、複数の関心領域を同時に判別可能とするもの、すなわち、入力された検査画像内のある範囲のボクセルは「右Ｓ１」であり、別の範囲のボクセルは「右Ｓ２」というように、複数の関心領域を同時に判別可能な判別モデルを作成してもよい。また、このような判別モデルを関心領域判別装置に適用し、複数の関心領域を同時に判別可能としてもよい。

上記実施形態では、読影レポート２３に含まれるリンク情報２３Ｃから、関心領域の位置情報を取得する例を上げたが、本発明はこれに限らず、読影レポート２３が、アノテーション情報を有している場合、取得部２６は、アノテーション情報から、関心領域の位置情報を取得してもよい。アノテーション情報とは、画像データなどに注釈として付与された情報であり、図７に示す例では、アノテーション情報としての矢印３８が検査画像２２に含まれており、この矢印３８は、関心領域の周囲に付されている。この場合、取得部２６は、例えば、検査画像２２内における矢印３８の先端位置の座標を位置情報として取得する。

また、取得部２６は、関心領域判別部を備え、この関心領域判別部により読影レポート２３の検査画像２２から関心領域を判別してもよい。この場合、関心領域判別部の構成としては、上記実施形態の関心領域判別装置２５と同様の構成であり、すなわち、学習生成済みの判別モデル３４を用いて読影レポート２３の検査画像２２から関心領域を判別し、新たな教師データとして登録する構成である。

また、別の変形例として、取得部２６が読影レポート２３を解析することにより、第１の名称と、第１の名称と異なる第２の名称を含む複数の関心領域の名称を取得した場合には、学習部２９は、関心領域の名称として第１の名称を含む第１の教師データと、関心領域の名称として第２の名称を含む第２の教師データとを用いて学習を行う。この場合、例えば、読影レポート２３の中に「右Ｓ１／右Ｓ２に肺結節が認められる・・・」という文字情報から、「右Ｓ１」および「右Ｓ２」という２つの名称を取得した場合、登録部２７は、「右Ｓ１」という名称を用いた教師データ３３と、「右Ｓ２」という名称を用いた教師データ３３をそれぞれ登録する。

学習部２９は、「右Ｓ１」という名称を用いた教師データ３３を入力した場合における関心領域の位置情報の誤差と、「右Ｓ２」という名称を用いた教師データ３３を入力した場合における関心領域の位置情報の誤差の両方が小さくなるように、機械学習アルゴリズムで用いる学習用重み付け係数を更新する。これにより、学習の精度を向上させることができる。

また、取得部２６が読影レポート２３を解析することにより、複数の関心領域の名称を取得した場合には、学習部２９は、教師データ３３に加えて、関心領域の位置情報に関する領域位置情報を用いて、学習を行う構成としてもよい。この場合、図８に示すように、学習部２９は、領域位置情報として、例えば、右Ｓ４は肺の側面に、右Ｓ５は内側に存在するという領域位置情報を予め記憶しておく。そして、取得部２６が読影レポート２３を解析することにより「右Ｓ４」および「右Ｓ５」という２つの名称を取得した場合、学習部２９は、領域位置情報を用いて、関心領域の肺外側面方向の半分を「右Ｓ４」、肺内側面方向の半分を「Ｓ５」として学習させる。

また、取得部２６は、階層構造データベースを参照して上位概念又は下位概念の名称を取得し、学習部２９は、関心領域の画像と上位概念又は下位概念の名称とからなる教師データ３３を用いて、学習を行う構成にしてもよい。階層構造データベースは、例えば、学習支援装置１８に設けられた記憶装置の一部を用いたものでもよいし、ネットワーク２１を介して接続されたデータベースでもよい。階層構造データベースは、関心領域の名称に対して上位概念又は下位概念に対応する上位概念又は下位概念の名称を記憶する。例えば、肺については、肺葉および肺区域の区分などが階層構造データベースに記憶されており、上位概念から下位概念の順に、右肺＞右上葉＞右Ｓ１という階層構造が記憶されている。

この場合、例えば、取得部２６が「右Ｓ１」という名称を取得すると、学習部２９は、階層構造データベースを参照し上位概念の名称である「右上葉」及び「右肺」を取得し、「右Ｓ１」に加えて「右上葉」及び「右肺」という名称についても教師データ３３として上記実施形態と同様の学習を行う。

また、取得部２６は、類似名称データベース３９を参照して、複数の類似の名称から、代表の名称を決定し、学習部２９は、関心領域の画像と代表の名称とからなる教師データ３３を用いて、学習を行う構成としてもよい。図９に示すように、類似名称データベース３９は、例えば、学習支援装置１８に設けられた記憶装置の一部を用いたものでもよいし、ネットワーク２１を介して接続されたデータベースでもよい。類似名称データベース３９は、関心領域の名称に対して互いに類似する複数の類似の名称を予め記憶したデータベースであり、例えば、区域名；「右Ｓ３」および「右肺尖区」という複数の類似の名称が記憶されている。この例では、取得部２６は、代表の名称として「右Ｓ３」に決定し、学習部２９は、関心領域の画像と、名称としての「右Ｓ３」とからなる教師データ３３を用いて、上記実施形態と同様の学習を行う。

また、取得部２６は、読影レポートデータベース１７に読影レポート２３が新規に記憶された場合に、関心領域の画像および関心領域の名称を新規に取得し、登録部２７は、取得部２６により新規に取得した関心領域の画像と関心領域の名称とからなる新規の教師データ３３を登録し、学習部２９は、新規の教師データ３３が登録された場合に、新規の教師データ３３を含めた教師データを複数用いて再度学習することにより、更新された判別モデル３４を生成することが好ましい。これにより、判別モデル３４の判別精度を向上させることができる。

上記実施形態では、読影医が読影医端末１２などにより作成した読影レポート２３を例に上げているが、電子カルテなど、上記実施形態の読影レポート２３と同様の画像と文字情報が含まれたものであればよい。

また、上記実施形態では、読影レポートから関心領域についての情報を取得し、教師データとして登録しているが、これに限らず、関心領域についての情報が含まれていない過去の読影レポートが記憶されている場合、この過去の読影レポートと、新規に記憶された読影レポートを利用して教師データを登録してもよい。この場合、図１０に示すように、取得部２６は、新規に記憶された読影レポート２３と、同一の患者を対象とする過去の読影レポート４３が読影レポートデータベース１７に記憶されている場合、過去の読影レポート４３の検査画像４２と、新規に記憶された読影レポート２３の検査画像２２と、新規に取得した関心領域の画像２２Ａを画像処理等によって位置合わせすることにより、過去の読影レポート４３の検査画像４２に含まれる関心領域の画像４２Ｂを取得する。この場合、取得部２６は、例えば、付帯情報２３Ａ，４３Ａに含まれる患者ＩＤから同一の患者を対象とする読影レポート２３，４３であると判断する。

登録部２７は、過去の読影レポート４３に基づき取得した関心領域の画像４２Ｂと、新規に取得した関心領域の名称とからなる過去画像教師データ４４を登録し、学習部２９は、過去画像教師データ４４が登録された場合に、過去画像教師データ４４を含めた教師データ３３を複数用いて再度学習することにより、更新された判別モデル３４を生成する。これにより、教師データの数をさらに増やすことができるため、判別モデル３４の判別精度を向上させることができる。

また、取得部２６は、関心領域の名称として、解剖学的臓器名、区域名として肺を例に上げているが、これに限らず、図１１に示すように、肝臓の各区域（尾状葉Ｓ１、左葉Ｓ２，Ｓ３，Ｓ４、右葉Ｓ５，Ｓ６，Ｓ７など）について適用してもよいし、脳の各区域について適用してもよい。あるいは、取得部２６は、関心領域として、病名、病状を取得するようにしてもよい。

上記実施形態では、関心領域判別装置２５とは別に学習支援装置１８を設けているが、関心領域判別装置２５に学習支援装置１８が組み込まれるように一体に構成してもよい。

上記各実施形態において、取得部２６、登録部２７、学習部２９、判別部３５といった各種の処理を実行する処理部（processing unit)のハードウェア的な構造は、例えば、上述したように、ソフトウェアプログラムを実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵである。また、ＣＰＵが実現する機能の全部または一部に代えて、各種のプロセッサを使用してもよい。これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。また記憶部のハードウェア的な構造はＨＤＤ（ｈａｒｄ ｄｉｓｃ ｄｒｉｖｅ）やＳＳＤ（ｓｏｌｉｄ ｓｔａｔｅ ｄｒｉｖｅ）等の記憶装置である。

上述の種々の実施形態や種々の変形例を適宜組み合わせることも可能である。また、本発明は、プログラムに加えて、プログラムを記憶する記憶媒体にも及ぶ。

なお、本発明は、読影レポートを用いる医療分野以外の分野においても、適用可能である。文字情報と画像情報が含まれる特定情報であればよく、例えば、文字情報が含まれる写真画像（画像データ）を用いるものや、ＳＮＳ（social networking service）情報を用いるものに適用することができる。
［付記項１］
画像及び文字情報を含む特定情報を記憶する記憶部と、
前記テキスト情報を解析することにより、前記画像に含まれる関心領域の画像と前記文字情報に含まれる前記関心領域の名称とを取得する取得部と、
前記取得部により取得した前記関心領域の画像と前記関心領域の名称とからなる教師データを登録する登録部と、
前記登録部に登録された教師データを用いて、前記特定情報の画像の入力に対して、前記関心領域の画像及び前記関心領域の名称を出力する判別モデルを生成するための学習部とを備えた学習支援装置。
［付記項２］
前記特定情報は、写真画像中に文字情報が含まれているものである。
［付記項３］
前記特定情報は、ＳＮＳ情報である。

２ 医療情報システム
１１ モダリティ
１１Ａ ＣＴ装置
１１Ｂ ＭＲI装置
１１Ｃ ＣＲ装置
１２ 読影医端末
１３ 診療科医端末
１４ 画像管理サーバ
１５ 画像データベース
１６ 読影レポートサーバ
１７ 読影レポートデータベース
１８ 学習支援装置
１９ オーダ管理サーバ
２１ ネットワーク
２２ 検査画像
２２Ａ 画像
２３ 読影レポート
２３Ａ 付帯情報
２３Ｂ 所見情報
２３Ｃ リンク情報
２５ 関心領域判別装置
２６ 取得部
２７ 登録部
２８ 記憶装置
２９ 学習部
３１ 制御部
３２ 表示画面
３２Ａ 付帯情報表示欄
３２Ｂ 所見欄
３２Ｃ 画像表示欄
３２Ｄ 画像
３３ 教師データ
３４ 判別モデル
３５ 判別部
３６ 画像
３７ 名称
３８ 矢印
３９ 類似名称データベース
４２ 検査画像
４２Ｂ 画像
４３ 読影レポート
４３Ａ 付帯情報
４４ 過去画像教師データ

Claims (16)

1. 画像及び文字情報を含む読影レポートを記憶した記憶部と、
   前記読影レポートを解析することにより、前記画像に含まれる関心領域の画像と前記文字情報に含まれる前記関心領域の名称とを取得する取得部と、
   前記取得部により取得した前記関心領域の画像と前記関心領域の名称とからなる教師データを登録する登録部と、
   前記登録部に登録された前記教師データを複数用いて、前記読影レポートの画像の入力に対して、前記関心領域の画像及び前記関心領域の名称を出力する判別モデルを生成するための学習を行う学習部とを備え、
   前記取得部が、前記読影レポートを解析することにより、１箇所の関心領域に対して複数の関心領域の名称を取得した場合には、前記学習部が、前記教師データに加えて、前記関心領域の位置情報に関する領域位置情報を用いて、複数の関心領域の名称についてそれぞれ学習を行う学習支援装置。
2. 前記読影レポートは、前記文字情報に含まれる所見情報と、前記画像に含まれる前記関心領域の位置情報とを関連付けるリンク情報を有し、
   前記取得部は、前記リンク情報から、前記関心領域の位置情報を取得する請求項１記載の学習支援装置。
3. 前記読影レポートには、前記関心領域の周囲に付されたアノテーション情報を有し、
   前記取得部は、前記アノテーション情報から、前記関心領域の位置情報を取得する請求項１記載の学習支援装置。
4. 前記取得部は、前記読影レポートの画像から前記関心領域を判別する関心領域判別部によって、前記関心領域の画像及び前記関心領域の位置情報を取得する請求項１記載の学習支援装置。
5. 前記取得部は、前記関心領域の名称に対して上位概念又は下位概念に対応する上位概念又は下位概念の名称を記憶する階層構造データベースを参照して、前記関心領域の名称から、前記上位概念又は下位概念の名称を取得し、
   前記学習部は、前記関心領域の画像と前記上位概念又は下位概念の名称とからなる教師データを用いて、前記学習を行う請求項１ないし４のいずれか１項記載の学習支援装置。
6. 前記取得部は、前記関心領域の名称に対して互いに類似する複数の類似の名称を予め記憶した類似名称データベースを参照して、前記複数の類似の名称から、代表の名称を決定し、
   前記学習部は、前記関心領域の画像と前記代表の名称とからなる教師データを用いて、前記学習を行う請求項１ないし４のいずれか１項記載の学習支援装置。
7. 前記取得部は、前記記憶部に前記読影レポートが新規に記憶された場合に、前記関心領域の画像および前記関心領域の名称を新規に取得し、
   前記登録部は、前記取得部により新規に取得した前記関心領域の画像と前記関心領域の名称とからなる新規の教師データを登録し、
   前記学習部は、前記新規の教師データが登録された場合に、前記新規の教師データを含めた前記教師データを複数用いて再度学習することにより、更新された前記判別モデルを生成する請求項１ないし６のいずれか１項記載の学習支援装置。
8. 前記取得部は、新規に記憶された前記読影レポートと、同一の患者を対象とする過去の前記読影レポートが前記記憶部に記憶されている場合、過去の前記読影レポートの画像と、新規に記憶された前記読影レポートの画像と、新規に取得した前記関心領域の画像を位置合わせすることにより、過去の前記読影レポートの画像に含まれる前記関心領域の画像を取得し、
   前記登録部は、過去の前記読影レポートに基づき取得した前記関心領域の画像と、新規に取得した前記関心領域の名称とからなる過去画像教師データを登録し、
   前記学習部は、前記過去画像教師データが登録された場合に、前記過去画像教師データを含めた前記教師データを複数用いて再度学習することにより、更新された前記判別モデルを生成する請求項７記載の学習支援装置。
9. 前記読影レポートには、電子カルテが含まれる請求項１ないし８のいずれか１項記載の学習支援装置。
10. 前記取得部は、前記関心領域の名称として、解剖学的臓器名、区域名、病名、病状を取得する請求項１ないし９のいずれか１項記載の学習支援装置。
11. 画像及び文字情報を含む読影レポートを記憶した記憶部と、取得部と、登録部と、学習部とを備えた学習支援装置の学習支援方法において、
    前記取得部が、前記読影レポートを解析することにより、前記画像に含まれる関心領域の画像と前記文字情報に含まれる前記関心領域の名称とを取得する取得ステップと、
    前記登録部が、前記取得部により取得した前記関心領域の画像と前記関心領域の名称とからなる教師データを登録する登録ステップと、
    前記読影レポートの画像の入力に対して、前記関心領域の画像及び前記関心領域の名称を出力する判別モデルを生成するための学習を行う学習ステップであって、前記取得部が、前記読影レポートを解析することにより、１箇所の関心領域に対して複数の関心領域の名称を取得した場合には、前記学習部が、前記教師データに加えて、前記関心領域の位置情報に関する領域位置情報を用いて、複数の関心領域の名称についてそれぞれ学習を行う学習ステップとを備えた学習支援方法。
12. コンピュータを、
    画像及び文字情報を含む読影レポートを記憶した記憶部と、
    前記読影レポートを解析することにより、前記画像に含まれる関心領域の画像と前記文字情報に含まれる前記関心領域の名称とを取得する取得部と、
    前記取得部により取得した前記関心領域の画像と前記関心領域の名称とからなる教師データを登録する登録部と、
    前記登録部に登録された前記教師データを複数用いて、前記読影レポートの画像の入力に対して、前記関心領域の画像及び前記関心領域の名称を出力する判別モデルを生成するための学習を行う学習部として機能させ、
    前記取得部が、前記読影レポートを解析することにより、１箇所の関心領域に対して複数の関心領域の名称を取得した場合には、前記学習部が、前記教師データに加えて、前記関心領域の位置情報に関する領域位置情報を用いて、複数の関心領域の名称についてそれぞれ学習を行うための学習支援プログラム。
13. 画像及び文字情報を含む読影レポートを記憶した記憶部と、
    前記読影レポートを解析することにより、前記画像に含まれる関心領域の画像と前記文字情報に含まれる前記関心領域の名称とを取得する取得部と、
    前記取得部により取得した前記関心領域の画像と前記関心領域の名称とからなる教師データを登録する登録部と、
    前記登録部に登録された前記教師データを複数用いて、前記読影レポートの画像の入力に対して、前記関心領域の画像及び前記関心領域の名称を出力する判別モデルを生成するための学習を行う学習部と、
    前記読影レポートの画像が入力された場合、前記判別モデルを用いて、前記関心領域の画像及び前記関心領域の名称を判別する判別部とを備え、
    前記取得部が、前記読影レポートを解析することにより、１箇所の関心領域に対して複数の関心領域の名称を取得した場合には、前記学習部が、前記教師データに加えて、前記関心領域の位置情報に関する領域位置情報を用いて、複数の関心領域の名称についてそれぞれ学習を行う関心領域判別装置。
14. 画像及び文字情報を含む読影レポートを記憶した記憶部と、取得部と、登録部と、学習部と、判別部とを備えた関心領域判別装置において、
    前記取得部が、前記読影レポートを解析することにより、前記画像に含まれる関心領域の画像と前記文字情報に含まれる前記関心領域の名称とを取得する取得ステップと、
    前記登録部が、前記取得部により取得した前記関心領域の画像と前記関心領域の名称とからなる教師データを登録する登録ステップと、
    前記学習部が、前記教師データを複数用いて、前記読影レポートの画像の入力に対して、前記関心領域の画像及び前記関心領域の名称を出力する判別モデルを生成するための学習を行う学習ステップであって、前記取得部が、前記読影レポートを解析することにより、１箇所の関心領域に対して複数の関心領域の名称を取得した場合には、前記学習部が、前記教師データに加えて、前記関心領域の位置情報に関する領域位置情報を用いて、複数の関心領域の名称についてそれぞれ学習を行う学習ステップと、
    前記判別部が、前記読影レポートの画像が入力された場合、前記判別モデルを用いて、前記関心領域の画像及び前記関心領域の名称を判別する判別ステップとを備えた関心領域判別方法。
15. コンピュータを、
    画像及び文字情報を含む読影レポートを記憶した記憶部と、
    前記読影レポートを解析することにより、前記画像に含まれる関心領域の画像と前記文字情報に含まれる前記関心領域の名称とを取得する取得部と、
    前記取得部により取得した前記関心領域の画像と前記関心領域の名称とからなる教師データを登録する登録部と、
    前記登録部に登録された前記教師データを複数用いて、前記読影レポートの画像の入力に対して、前記関心領域の画像及び前記関心領域の名称を出力する判別モデルを生成するための学習を行う学習部と、
    前記読影レポートの画像が入力された場合、前記判別モデルを用いて、前記関心領域の画像及び前記関心領域の名称を判別する判別部として機能させ、
    前記取得部が、前記読影レポートを解析することにより、１箇所の関心領域に対して複数の関心領域の名称を取得した場合には、前記学習部が、前記教師データに加えて、前記関心領域の位置情報に関する領域位置情報を用いて、複数の関心領域の名称についてそれぞれ学習を行うための関心領域判別プログラム。
16. コンピュータを、
    画像及び文字情報を含む読影レポートを記憶した記憶部と、
    前記読影レポートを解析することにより、前記画像に含まれる関心領域の画像と前記文字情報に含まれる前記関心領域の名称とを取得する取得部と、
    前記取得部により取得した前記関心領域の画像と前記関心領域の名称とからなる教師データを登録する登録部と、
    前記登録部に登録された前記教師データを複数用いて、前記読影レポートの画像の入力に対して、前記関心領域の画像及び前記関心領域の名称を出力する判別モデルを生成するための学習を行う学習部と、
    前記読影レポートの画像が入力された場合、前記判別モデルを用いて、前記関心領域の画像及び前記関心領域の名称を判別する判別部として機能させ、
    前記取得部が、前記読影レポートを解析することにより、１箇所の関心領域に対して複数の関心領域の名称を取得した場合には、前記学習部が、前記教師データに加えて、前記関心領域の位置情報に関する領域位置情報を用いて、複数の関心領域の名称についてそれぞれ学習を行うための学習済みモデル。

Images