JP7299314B2 - 医療文書作成装置、方法およびプログラム、学習装置、方法およびプログラム、並びに学習済みモデル - Google Patents

Description

本開示は、読影レポート等の医療文書を作成する医療文書作成装置、方法およびプログラム、学習装置、方法およびプログラム、並びに学習済みモデルに関する。

近年、ＣＴ(Computed Tomography)装置およびＭＲＩ（Magnetic Resonance Imaging）装置等の医療機器の進歩により、より質の高い高解像度の医用画像を用いての画像診断が可能となってきている。とくに、ＣＴ画像およびＭＲＩ画像等を用いた画像診断により、病変の領域を精度よく特定することができるため、特定した結果に基づいて適切な治療が行われるようになってきている。

また、ディープラーニング等により学習がなされた判別器を用いたＣＡＤ（Computer-Aided Diagnosis）により医用画像を解析して、医用画像に含まれる病変等の領域、位置および体積等を抽出し、これらを解析結果として取得することも行われている。このように、解析処理により生成される解析結果は、患者名、性別、年齢および医用画像を取得したモダリティ等の検査情報と対応づけられて、データベースに保存され、診断に供される。読影医は、自身の読影端末において、配信された医用画像および解析結果を参照して医用画像の読影を行い、読影レポートを作成する。

一方、上述したＣＴ装置およびＭＲＩ装置の高性能化に伴い、読影を行う医用画像の数も増大している。しかしながら、読影医の数は医用画像の数に追いついていないことから、読影医の読影業務の負担を軽減することが望まれている。このため、読影レポート等の医療文書の作成を支援するための各種手法が提案されている。例えば、再公表２００５－１２２００２号公報には、読影レポートにおいて使用する用語および略語の統一を図るために、所見の入力に基づいてテンプレートを特定し、テンプレートを用いて所見から読影レポートを作成する手法が提案されている。また、特開２００８－２５７５６９号公報には、機械学習によって得られた情報に基づく言語処理を文章に対して行い、文章から所見を含む各項目に属する複数の要素を抽出し、複数の要素を関連付けることにより要素関連情報を取得し、各要素が相互に関連付けられた情報の一覧表示を行い、一覧表示に含まれる各項目に対し、複数の要素を所定のレポートモデルに沿ったレポート情報を構成するレポート構成要素として指定して新規なレポートを生成する手法が提案されている。

一方、読影レポート等の医療文書は、医用画像に含まれる異常陰影等の特徴に応じて、表現形式が異なるものとなる。このため、医用画像に含まれる特徴に応じた表現形式の医療文書が作成されることが好ましい。しかしながら、再公表２００５－１２２００２号公報に記載された手法は、テンプレートを用いる手法であるため、画像に含まれる特徴が異なっても画一的な表現の文書しか作成することができない。また、画像に含まれるすべての特徴をテンプレートに当てはめることができない場合がある。また、特開２００８－２５７５６９号公報に記載された手法では、レポートモデルにしたがった表現の読影レポートしか作成することができない。このため、特開２００８－２５７５６９号公報に記載された手法では、画像に含まれる特徴に適した医療文書が作成できない可能性がある。

本開示は上記事情に鑑みなされたものであり、医用画像に含まれる特徴に応じた表現形式の医療文書を作成できるようにすることを目的とする。

本開示による医療文書作成装置は、学習用医用画像の特徴ベクトル、および学習用医療文書を含む学習データを複数用いることにより、対象医用画像の特徴ベクトルおよび対象医用画像の特徴ベクトルを含む特徴情報に応じた表現ベクトルが入力されると、対象医用画像に関する特徴を含む医療文書を出力する学習がなされた学習済みモデルを有する文書作成部と、
複数の学習用医用画像のそれぞれの特徴ベクトルに対応する複数の表現ベクトルを記憶する記憶部とを備え、
文書作成部は、対象医用画像の特徴ベクトルを含む特徴情報が入力されると、特徴情報に応じた少なくとも１つの表現ベクトルを、記憶部に記憶された複数の表現ベクトルから選択し、対象医用画像の特徴ベクトルおよび選択された少なくとも１つの表現ベクトルを学習済みモデルに入力して、対象医用画像に関する特徴を含む少なくとも１つの医療文書を作成する。

「対象医用画像の特徴ベクトルを含む特徴情報」とは、対象医用画像の特徴ベクトルそのものであってもよく、特徴ベクトルに加えて、対象医用画像の付帯情報を含むものであってもよい。付帯情報としては、例えば対象医用画像の読影を行う病院を表す情報、病院内の診療科を表す情報、および読影を行う医師を表す情報等、医療文書の表現に関する特徴を特定可能な情報を用いることができる。

なお、本開示による医療文書作成装置においては、特徴ベクトルは、学習用医用画像および対象医用画像に含まれる異常陰影に関する所見を含むものあってもよい。

また、本開示による医療文書作成装置においては、対象医用画像を解析して特徴ベクトルを生成する解析部をさらに備えるものであってもよい。

また、本開示による医療文書作成装置においては、少なくとも１つの医療文書を表示部に表示する表示制御部をさらに備えるものであってもよい。

また、本開示による医療文書作成装置においては、文書作成部は、特徴情報に応じた複数の表現ベクトルを複数の表現ベクトルから選択して、複数の医療文書を作成し、
表示制御部は、複数の医療文書を表示部に表示するものであってもよい。

また、本開示による医療文書作成装置においては、複数の医療文書からの特定の医療文書の選択の入力を受け付ける入力部をさらに備えるものであってもよい。

また、本開示による医療文書作成装置においては、医療文書の作成に使用された表現ベクトル以外の少なくとも１つの他の表現ベクトルの選択を受け付ける表現ベクトル選択部をさらに備え、
文書作成部は、他の表現ベクトルを用いて医療文書を生成し、
表示制御部は、他の表現ベクトルを用いて医療文書を表示部に表示するものあってもよい。

本開示による学習装置は、学習用医用画像の特徴ベクトル、および学習用医療文書を含む学習データを複数用いることにより、対象医用画像の特徴ベクトルおよび対象医用画像の特徴ベクトルを含む特徴情報に応じた表現ベクトルが入力されると、対象医用画像に関する特徴を含む医療文書を出力するように学習モデルを学習して学習済みモデルを生成する学習部を備える。

なお、本開示による学習装置においては、学習用医療文書および学習用医療文書に対応する学習用医用画像の特徴ベクトルを用いて、学習用医用画像の表現ベクトルを生成する表現ベクトル生成部をさらに備えるものであってもよい。

本開示による学習済みモデルは、学習用医用画像の特徴ベクトル、および学習用医療文書を含む学習データを複数用いることにより、対象医用画像の特徴ベクトルおよび対象医用画像の特徴ベクトルを含む特徴情報に応じた表現ベクトルが入力されると、対象医用画像に関する特徴を含む医療文書を出力する学習がなされてなる。

本開示による医療文書作成方法は、学習用医用画像の特徴ベクトル、および学習用医療文書を含む学習データを複数用いることにより、対象医用画像の特徴ベクトルおよび対象医用画像の特徴ベクトルを含む特徴情報に応じた表現ベクトルが入力されると、対象医用画像に関する特徴を含む医療文書を出力する学習がなされた学習済みモデルを有する文書作成部と、
複数の学習用医用画像のそれぞれの特徴ベクトルに対応する複数の表現ベクトルを記憶する記憶部とを備えた医療文書作成装置における医療文書作成方法であって、
対象医用画像の特徴ベクトルを含む特徴情報が入力されると、特徴情報に応じた少なくとも１つの表現ベクトルを、記憶部に記憶された複数の表現ベクトルから選択し、対象医用画像の特徴ベクトルおよび選択された少なくとも１つの表現ベクトルを学習済みモデルに入力して、対象医用画像に関する特徴を含む少なくとも１つの医療文書を作成する。

本開示による学習方法は、学習用医用画像の特徴ベクトル、および学習用医療文書を含む学習データを複数用いることにより、対象医用画像の特徴ベクトルおよび対象医用画像の特徴ベクトルを含む特徴情報に応じた表現ベクトルが入力されると、対象医用画像に関する特徴を含む医療文書を出力するように学習モデルを学習して学習済みモデルを生成する。

なお、本開示による医療文書作成方法および学習方法をコンピュータに実行させるためのプログラムとして提供してもよい。

本開示による他の医療文書作成装置は、コンピュータに実行させるための命令を記憶するメモリと、
記憶された命令を実行するよう構成されたプロセッサとを備え、プロセッサは、
学習用医用画像の特徴ベクトル、および学習用医療文書を含む学習データを複数用いることにより、対象医用画像の特徴ベクトルおよび対象医用画像の特徴ベクトルを含む特徴情報に応じた表現ベクトルが入力されると、対象医用画像に関する特徴を含む医療文書を出力する学習がなされた学習済みモデルを有する文書作成部として機能し、
文書作成部は、対象医用画像の特徴ベクトルを含む特徴情報が入力されると、特徴情報に応じた少なくとも１つの表現ベクトルを、複数の学習用医用画像のそれぞれの特徴ベクトルに対応する複数の表現ベクトルを記憶する記憶部に記憶された複数の表現ベクトルから選択し、対象医用画像の特徴ベクトルおよび選択された少なくとも１つの表現ベクトルを学習済みモデルに入力して、対象医用画像に関する特徴を含む少なくとも１つの医療文書を作成する処理を実行する。

本開示による他の学習装置は、コンピュータに実行させるための命令を記憶するメモリと、
記憶された命令を実行するよう構成されたプロセッサとを備え、プロセッサは、
学習用医用画像の特徴ベクトル、および学習用医療文書を含む学習データを複数用いることにより、対象医用画像の特徴ベクトルおよび対象医用画像の特徴ベクトルを含む特徴情報に応じた表現ベクトルが入力されると、対象医用画像に関する特徴を含む医療文書を出力するように学習モデルを学習して学習済みモデルを生成する処理を実行する。

本開示によれば、医用画像に含まれる特徴に応じた表現形式の医療文書を作成できる。

本開示の第１の実施形態による医療文書作成装置を適用した医療情報システムの概略構成を示す図 第１の実施形態による医療文書作成装置の概略構成を示す図 所見の項目および各項目についての所見の例を示す図 所見の検出結果を示す図 文書作成部の概略構成を示す図 表現ベクトル生成部が行う処理を示す概略ブロック図 学習用医用画像の特徴ベクトルの例を示す図 学習用医療文書の例を示す図 第１の実施形態における読影レポート表示画面を示す図 第１の実施形態において行われる医療文書作成処理を示すフローチャート 第１の実施形態において行われる学習処理を示すフローチャート 第２の実施形態における読影レポート表示画面を示す図 第３の実施形態における読影レポート表示画面を示す図 表現選択ウィンドウを示す図

以下、図面を参照して本開示の実施形態について説明する。図１は本開示の第１の実施形態による医療文書作成装置を適用した医療情報システムの概略構成を示す図である。図１に示す医療情報システム１は、公知のオーダリングシステムを用いた診療科の医師からの検査オーダに基づいて、被写体の検査対象部位の撮影、撮影により取得された医用画像の保管、読影医による医用画像の読影と読影レポートの作成、および依頼元の診療科の医師による読影レポートの閲覧と読影対象の医用画像の詳細観察とを行うためのシステムである。図１に示すように、医療情報システム１は、複数のモダリティ（撮影装置）２、読影端末である複数の読影ワークステーション（ＷＳ）３、診療科ワークステーション（ＷＳ）４、画像サーバ５、画像データベース６、読影レポートサーバ７、および読影レポートデータベース８が、有線または無線のネットワーク９を介して互いに通信可能な状態で接続されて構成されている。

各機器は、医療情報システム１の構成要素として機能させるためのアプリケーションプログラムがインストールされたコンピュータである。アプリケーションプログラムは、ネットワーク９に接続されたサーバコンピュータの記憶装置、もしくはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じてコンピュータにダウンロードされ、インストールされる。または、ＤＶＤ（Digital Versatile Disc）あるいはＣＤ－ＲＯＭ（Compact Disc Read Only Memory）等の記録媒体に記録されて配布され、その記録媒体からコンピュータにインストールされる。

モダリティ２は、被写体の診断対象となる部位を撮影することにより、診断対象部位を表す医用画像を生成する装置である。具体的には、単純Ｘ線撮影装置、ＣＴ装置、ＭＲＩ装置、およびＰＥＴ（Positron Emission Tomography)装置等である。モダリティ２により生成された医用画像は画像サーバ５に送信され、保存される。

読影ＷＳ３は、本実施形態による医療文書作成装置を内包する。読影ＷＳ３の構成については後述する。

診療科ＷＳ４は、診療科の医師が画像の詳細観察、読影レポートの閲覧、および電子カルテの作成等に利用するコンピュータであり、処理装置、ディスプレイ等の表示装置、並びにキーボードおよびマウス等の入力装置により構成される。診療科ＷＳ４では、患者のカルテ（電子カルテ）の作成、画像サーバ５に対する画像の閲覧要求、画像サーバ５から受信した画像の表示、画像中の病変らしき部分の自動検出または強調表示、読影レポートサーバ７に対する読影レポートの閲覧要求、および読影レポートサーバ７から受信した読影レポートの表示等の各処理が、各処理のためのソフトウェアプログラムを実行することにより行われる。

画像サーバ５は、汎用のコンピュータにデータベース管理システム（DataBase Management System: DBMS）の機能を提供するソフトウェアプログラムがインストールされたものである。また、画像サーバ５は画像データベース６が構成されるストレージを備えている。このストレージは、画像サーバ５とデータバスとによって接続されたハードディスク装置であってもよいし、ネットワーク９に接続されているＮＡＳ（Network Attached Storage）およびＳＡＮ（Storage Area Network）に接続されたディスク装置であってもよい。また、画像サーバ５は、モダリティ２からの医用画像の登録要求を受け付けると、その医用画像をデータベース用のフォーマットに整えて画像データベース６に登録する。

画像データベース６には、モダリティ２において取得された医用画像の画像データと付帯情報とが登録される。付帯情報には、例えば、個々の医用画像を識別するための画像ＩＤ、被写体を識別するための患者ＩＤ(identification)、検査を識別するための検査ＩＤ、医用画像毎に割り振られるユニークなＩＤ（ＵＩＤ：unique identification）、医用画像が生成された検査日、検査時刻、医用画像を取得するための検査で使用されたモダリティの種類、患者氏名、年齢、性別等の患者情報、検査部位（撮影部位）、撮影情報（撮影プロトコル、撮影シーケンス、撮像手法、撮影条件、造影剤の使用等）、１回の検査で複数の医用画像を取得したときのシリーズ番号あるいは採取番号等の情報が含まれる。

また、画像サーバ５は、読影ＷＳ３からの閲覧要求をネットワーク９経由で受信すると、画像データベース６に登録されている医用画像を検索し、検索された医用画像を要求元の読影ＷＳ３に送信する。

読影レポートサーバ７には、コンピュータにデータベース管理システムの機能を提供するソフトウェアプログラムが組み込まれる。読影レポートサーバ７は、読影ＷＳ３からの読影レポートの登録要求を受け付けると、その読影レポートをデータベース用のフォーマットに整えて読影レポートデータベース８に登録する。また、読影レポートの検索要求を受け付けると、その読影レポートを読影レポートデータベース８から検索する。

読影レポートデータベース８には、例えば、読影対象の医用画像を識別する画像ＩＤ、読影を行った画像診断医を識別するための読影医ＩＤ、病変名、病変の位置情報、所見、および所見の確信度等の情報が記録された読影レポートが登録される。

ネットワーク９は、病院内の各種機器を接続する有線または無線のローカルエリアネットワークである。読影ＷＳ３が他の病院あるいは診療所に設置されている場合には、ネットワーク９は、各病院のローカルエリアネットワーク同士をインターネットまたは専用回線で接続した構成としてもよい。

以下、本実施形態による読影ＷＳ３について詳細に説明する。読影ＷＳ３は、医用画像の読影医が、医用画像の読影および読影レポートの作成に利用するコンピュータであり、処理装置、ディスプレイ等の表示装置、並びにキーボードおよびマウス等の入力装置により構成される。読影ＷＳ３では、画像サーバ５に対する医用画像の閲覧要求、画像サーバ５から受信した医用画像に対する各種画像処理、医用画像の表示、医用画像に対する解析処理、解析結果に基づく医用画像の強調表示、解析結果に基づく読影レポートの作成、読影レポートの作成の支援、読影レポートサーバ７に対する読影レポートの登録要求と閲覧要求、並びに読影レポートサーバ７から受信した読影レポートの表示等の各処理が、各処理のためのソフトウェアプログラムを実行することにより行われる。なお、これらの処理のうち、本実施形態の医療文書作成装置が行う処理以外の処理は、周知のソフトウェアプログラムにより行われるため、ここでは詳細な説明は省略する。また、本実施形態の医療文書作成装置が行う処理以外の処理を読影ＷＳ３において行わず、別途その処理を行うコンピュータをネットワーク９に接続しておき、読影ＷＳ３からの処理の要求に応じて、そのコンピュータにおいて要求された処理を行うようにしてもよい。

読影ＷＳ３は、読影レポートを作成するために、第１の実施形態による医療文書作成装置が内包されてなる。また、第１の実施形態による医療文書作成装置は、第１の実施形態による学習装置を内包する。このため、読影ＷＳ３には、第１の実施形態による医療文書作成プログラムおよび学習プログラムがインストールされている。医療文書作成プログラムおよび学習プログラムは、ネットワークに接続されたサーバコンピュータの記憶装置、もしくはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じて読影ＷＳ３にダウンロードされ、インストールされる。または、ＤＶＤあるいはＣＤ－ＲＯＭ等の記録媒体に記録されて配布され、その記録媒体から読影ＷＳ３にインストールされる。

図２は、医療文書作成プログラムおよび学習プログラムをインストールすることにより実現される、本開示の第１の実施形態による医療文書作成装置の概略構成を示す図である。図２に示すように、医療文書作成装置１０は、標準的なコンピュータの構成として、ＣＰＵ（Central Processing Unit）１１、メモリ１２およびストレージ１３を備えている。また、医療文書作成装置１０には、液晶ディスプレイ等の表示装置（以下表示部とする）１４、並びにキーボードおよびマウス等の入力装置（以下、入力部とする）１５が接続されている。

ストレージ１３は、ハードディスクまたはＳＳＤ（Solid State Drive）等のストレージデバイスからなる。ストレージ１３には、ネットワーク９を経由して画像サーバ５から取得した、医用画像および医療文書作成装置１０の処理に必要な情報を含む各種情報が記憶されている。また、後述する複数の表現ベクトルもストレージ１３に記憶されている。なお、ストレージ１３が記憶部に対応する。

また、メモリ１２には、医療文書作成プログラムおよび学習プログラムが記憶されている。医療文書作成プログラムは、ＣＰＵ１１に実行させる処理として、読影レポートを作成する対象となる対象医用画像および後述する学習データ等を取得する情報取得処理、対象医用画像を解析して対象医用画像の特徴ベクトルを生成する解析処理、対象医用画像に関する特徴を含む少なくとも１つの医療文書を作成する文書作成処理、および作成された少なくとも１つの医療文書を表示部１４に表示する表示制御処理を規定する。なお、本実施形態においては、医療文書作成装置１０は、読影レポートを医療文書として作成するものとする。

学習プログラムは、学習用医療文書および学習用医療文書に対応する学習用医用画像の特徴ベクトルを用いて、学習用医用画像の表現ベクトルを生成する表現ベクトル生成処理、並びに後述する学習済みモデルを生成する学習処理を規定する。

そして、ＣＰＵ１１が医療文書作成プログラムに従いこれらの処理を実行することで、コンピュータは、情報取得部２１、解析部２２、文書作成部２３、表示制御部２４、表現ベクトル生成部２５、および学習部２６として機能する。

なお、本実施形態においては、人体の肺を含むＣＴ画像を対象医用画像として使用し、肺結節に関する読影レポートを作成するものとする。

情報取得部２１は、ネットワーク９と接続されたインターフェース（不図示）により、画像サーバ５から読影レポートの作成の対象となる対象医用画像Ｇ０を取得する。また、後述する学習済みモデルを生成する際に使用する学習データ等も取得する。情報取得部２１は、対象医用画像Ｇ０および学習データ等が既にストレージ１３に記憶されている場合には、ストレージ１３から対象医用画像Ｇ０および学習データ等を取得するようにしてもよい。

解析部２２は、対象医用画像Ｇ０を解析して病変等の異常陰影を検出し、異常陰影に関する特徴ベクトルを生成する。このために、解析部２２は、対象医用画像Ｇ０から異常陰影を検出するための学習済みモデルＭ１および特徴ベクトルを生成するための学習済みモデルＭ２を有する。本実施形態において、学習済みモデルＭ１は、対象医用画像Ｇ０における各画素が異常陰影であるか否かを判別するように、例えばディープラーニング（深層学習）がなされたＣＮＮ（Convolutional Neural Network、畳み込みニューラルネットワーク）からなる。学習済みモデルＭ１は、対象医用画像Ｇ０が入力されると、対象医用画像Ｇ０内の対象領域の各画素について、異常陰影と見なせる画素値を有するか否かの判別結果を出力するようにＣＮＮを学習することにより生成される。学習済みモデルＭ１は、対象医用画像Ｇ０の各画素について、異常陰影と見なせる各種所見であることの確率を表す、例えば０～１の値となる出力値を導出し、出力値が予め定められたしきい値以上となる画素を異常陰影と判定する判定結果を出力する。学習済みモデルＭ１を生成するためのＣＮＮの学習に際しては、各画素について異常陰影であることの判別結果が既知である多数の医用画像が学習データとして用いられる。

学習済みモデルＭ２は、学習済みモデルＭ１が出力した判別結果に基づいて、異常陰影に関する特徴を表す複数の所見を検出する。本実施形態において、学習済みモデルＭ２は、学習済みモデルＭ１が出力した、対象医用画像Ｇ０における異常陰影を含む領域の判別結果が入力されると、その領域に関して、異常陰影に関する複数種類の所見の項目についての所見の検出結果を出力するように、例えばディープラーニングがなされたＣＮＮからなる。学習済みモデルＭ２を生成するためのＣＮＮの学習に際しては、異常陰影に対する所見の検出結果が既知である多数の医用画像が学習データとして用いられる。

また、学習済みモデルＭ２は、異常陰影と判定された画素がまとまることにより領域となって存在する場合、その領域のサイズおよびその領域の肺における位置を出力するようにも学習がなされる。サイズは領域の縦横の大きさまたは直径等をｍｍまたはｃｍ等の単位で表したものとする。位置は、例えばその領域の重心位置が存在する、左右の肺の区域Ｓ１～Ｓ１０または左右の肺の葉（上葉、中葉、下葉）により表される。

図３は、所見の項目および各項目についての所見の例を示す図である。本実施形態においては、対象医用画像Ｇ０は肺のＣＴ画像であり、異常陰影は肺結節の候補である。このため、図３には肺結節についての所見の項目を示している。また、図３には所見の項目に対応する括弧内が、その項目についての所見を表している。図３に示すように、所見の項目および項目に対する所見としては、吸収値（充実型、部分充実型、スリガラス型、該当無）、境界（明瞭、比較的明瞭、不明瞭、該当無）、辺縁（整、やや不整、不整、該当無）、形状（円形、直線、扁平、該当無）、スピキュラ（有、無）、鋸歯状（有、無）、気管支透亮像（有、無）、空洞（有、無）、石灰化（有、無）、胸膜陥入（有、無）、胸膜浸潤（有、無）、無気肺（有、無）、位置およびサイズを含む。

本実施形態においては、解析部２２の学習済みモデルＭ２は、上記のすべての項目についての所見を検出し、検出結果を出力する。図４は所見の検出結果を示す図である。図４に示す所見の検出結果は、吸収値がスリガラス型、境界が明瞭、辺縁が整、形状が円形、スピキュラが無、鋸歯状が無、気管支透亮像が無、空洞が無、石灰化が無、胸膜陥入が無、胸膜浸潤が無、無気肺が有、位置が左肺Ｓ１０、サイズが１４ｍｍ×１３ｍｍとなっている。

解析部２２は、学習済みモデルＭ２が出力した所見を表す特徴ベクトルを生成し、特徴ベクトルを解析結果として出力する。ここで、所見を表す特徴ベクトルは、所見の項目に対応するｘ１～ｘ１４の要素を有するものとする。要素ｘ１～ｘ１４はそれぞれ吸収値、境界、辺縁、形状、スピキュラ、鋸歯状、気管支透亮像、空洞、石灰化、胸膜陥入、胸膜浸潤、無気肺、位置およびサイズに対応する。要素ｘ１～ｘ１４はそれぞれ所見に対応するパラメータを有する。パラメータは所見に応じた値をとる。例えば、吸収値に対応する要素ｘ１のパラメータは、充実型、部分充実型、スリガラス型および該当無のそれぞれに対して０～３の値をとる。境界に対応する要素ｘ２のパラメータは、明瞭、比較的明瞭、不明瞭および該当無のそれぞれに対して０～３の値を取る。辺縁に対応する要素ｘ３のパラメータは、整、やや不整、不整および該当無のそれぞれに対して０～３の値をとる。形状に対応する要素ｘ４のパラメータは、円形、直線、扁平および該当無のそれぞれに対して０～３の値をとる。スピキュラに対応する要素ｘ５のパラメータは、有および無のそれぞれに対して０，１の値をとる。鋸歯状に対応する要素ｘ６のパラメータは、有および無のそれぞれに対して０，１の値をとる。気管支透亮像に対応する要素ｘ７のパラメータは、有および無のそれぞれに対して０，１の値をとる。空洞に対応する要素ｘ８のパラメータは、有および無のそれぞれに対して０，１の値をとる。石灰化に対応する要素ｘ９のパラメータは、有および無のそれぞれに対して０，１の値をとる。胸膜陥入に対応する要素ｘ１０のパラメータは、有および無のそれぞれに対して０，１の値をとる。胸膜浸潤に対応する要素ｘ１１のパラメータは、有および無のそれぞれに対して０，１の値をとる。無気肺に対応する要素ｘ１２のパラメータは、有および無のそれぞれに対して０，１の値をとる。位置に対応する要素ｘ１３のパラメータは、左の肺の区域Ｓ１～Ｓ１０のそれぞれに対して０～９、右の肺の区域Ｓ１～Ｓ１０のそれぞれに対して１０～１８の値をとる。サイズに対応する要素ｘ１４のパラメータは、サイズの値をとる。

例えば、図４に示すように、吸収値がスリガラス型、境界が明瞭、辺縁が整、形状が円形、スピキュラが無、鋸歯状が無、気管支透亮像が無、空洞が無、石灰化が無、胸膜陥入が無、胸膜浸潤が無、無気肺が有、位置が左肺Ｓ１０、サイズが１４ｍｍ×１３ｍｍであれば、特徴ベクトルＣ０は、（ｘ１，ｘ２，ｘ３，ｘ４，ｘ５，ｘ６，ｘ７，ｘ８，ｘ９，ｘ１０，ｘ１１，ｘ１２，ｘ１３，ｘ１４）＝（２，０，０，０，１，１，１，１，１，１，１，０，９，１４×１３）により表される。

文書作成部２３は、対象医用画像Ｇ０に関する特徴を含む少なくとも１つの読影レポートを医療文書として作成する。このために、文書作成部２３は、対象医用画像Ｇ０の特徴ベクトルが入力されると、対象医用画像Ｇ０の特徴ベクトルに応じた少なくとも１つの表現ベクトルを複数の表現ベクトルから選択し、対象医用画像Ｇ０の特徴ベクトルおよび選択された少なくとも１つの表現ベクトルが入力されると、対象医用画像Ｇ０に関する特徴を含む少なくとも１つの読影レポートを作成する学習済みモデルＭ３を有する。

図５は文書作成部２３の概略構成を示す図である。図５に示すように文書作成部２３は、選択部３０および学習済みモデルＭ３を有する。選択部３０は、ストレージ１３に保存されている複数の表現ベクトルｚｉ（ｉ＝２～ｎ：ｎは表現ベクトルの数）から、文書作成部２３に入力された対象医用画像Ｇ０の特徴ベクトルＣ０に応じた少なくとも１つの表現ベクトルｚｓを選択する。なお、第１の実施形態においては、１つの表現ベクトルｚｓを選択するものとする。複数の表現ベクトルｚｉは、学習部２６が学習済みモデルＭ３を生成するために、後述するようにＣＮＮを学習する際に、表現ベクトル生成部２５により生成されて、ストレージ１３に保存される。以下、表現ベクトルの生成について説明する。

図６は表現ベクトル生成部が行う処理を示す概略ブロック図である。なお、表現ベクトルの生成に際しては、後述するように文書作成部２３の学習済みモデルＭ３を学習するための学習用医用画像ＧＬ０の特徴ベクトルＣＬ０および学習用医用画像ＧＬ０に関する学習用医療文書ＴＬ０が使用される。図７は学習用医用画像の特徴ベクトルの例を示す図、図８は学習用医療文書の例を示す図である。なお、図７においては、特徴ベクトルＣＬ０を所見そのものにより示している。学習用医用画像ＧＬ０の特徴ベクトルＣＬ０は、吸収値がスリガラス型、境界が不明瞭、辺縁が整、形状が扁平、スピキュラが有、鋸歯状が無、気管支透亮像が無、空洞が無、石灰化が無、胸膜陥入が有、胸膜浸潤が無、無気肺が無、位置が右肺Ｓ３、サイズが１０ｍｍ×１０ｍｍとなっている。学習用医用画像ＧＬ０の特徴ベクトルＣＬ０は、解析部２２によって学習用医用画像ＧＬ０を解析することにより生成すればよい。

また、図８に示す学習用医療文書ＴＬ０は学習用医用画像ＧＬ０の特徴ベクトルＣ０（すなわち所見）に基づいて、予め読影医により作成されたものであり、その内容は、「右肺Ｓ３に、境界が不明瞭なスリガラス型の腫瘤が認められます。形状は扁平でスピキュラが見られます。胸膜陥入も認められます。サイズは１０ｍｍ×１０ｍｍです。」となっている。

学習用医用画像の特徴ベクトルＣＬ０および学習用医療文書ＴＬ０が入力されると、表現ベクトル生成部２５は、学習用医療文書ＴＬ０をエンコードする。そして、表現ベクトル生成部２５は、エンコードされた学習用医療文書ＴＬ０から、特徴ベクトルＣＬ０に関する成分を除去することにより、学習用医療文書ＴＬ０の表現を表す表現ベクトルｚを生成する。なお、表現ベクトルｚは、例えば、文章が能動形か受け身形か、使用される語尾が断定調（である、です等）か推定調か（～と思われる、～と見える、～が認められる等）、文章の長さ、文章において特徴に言及される順序、および同一所見に対して使用される単語（例えば、スリガラス型に対して「スリガラス結節」か「限局性スリガラス影」か）等の要素を含む。

表現ベクトルｚの要素は、ｈ１，ｈ２，ｈ３…で表すものとする。要素ｈ１，ｈ２，ｈ３…は、それぞれ文章が能動形か受け身形か、使用される語尾が断定調か推定調か、文章の長さ等を表す。要素ｈ１，ｈ２，ｈ３…は、それぞれ要素の内容に応じた値をとるパラメータを有する。例えば、文章が能動形か受け身形かに対応する要素ｈ１のパラメータは、能動形および受け身形のそれぞれに対して０，１の値をとる。また、使用される語尾が断定調か推定調かに対応する要素ｈ２のパラメータは、断定調および推定調のそれぞれに対して０，１の値をとる。

本実施形態においては、表現ベクトル生成部２５は、複数の学習用医用画像および学習用医療文書の組を用いて、複数の表現ベクトルｚｉを生成する。生成された複数の表現ベクトルｚｉは、表現ベクトルｚｉを生成した特徴ベクトルと対応づけられて、ストレージ１３に保存される。

複数の表現ベクトルｚｉから表現ベクトルｚｓを選択するに際し、選択部３０は、対象医用画像Ｇ０の特徴ベクトルＣ０と、表現ベクトルｚｉと対応づけられた特徴ベクトルＣｉとの類似度を導出する。類似度は、特徴ベクトルＣ０と複数の特徴ベクトルＣｉとの距離とすればよい。この場合、距離が小さいほど類似度は大きいものとなる。そして、選択部３０は、類似度が最も大きい特徴ベクトルに対応づけられた表現ベクトルｚｓを、複数の表現ベクトルｚｉから選択する。

学習済みモデルＭ３は、対象医用画像Ｇ０および対象医用画像Ｇ０に対して選択された表現ベクトルｚｓが入力されると、対象医用画像Ｇ０に関する特徴を含む読影レポートを出力するように、例えばディープラーニング（深層学習）がなされたＣＮＮからなる。学習済みモデルＭ３を生成するためのＣＮＮは、学習部２６により学習される。なお、学習前のＣＮＮが学習モデルに対応する。

学習部２６は、学習用医用画像ＧＬ０の特徴ベクトルＣＬ０、および学習用医用画像ＧＬ０に関する学習用医療文書ＴＬ０を学習データとして複数使用して、ＣＮＮの学習を行う。具体的には、学習部２６は、図７に示す特徴ベクトルＣＬ０および図８に示す学習用医療文書ＴＬ０が入力されると、学習用医療文書ＴＬ０の表現ベクトルｚＬ０を表現ベクトル生成部２５に生成させる。そして、学習用医用画像ＧＬ０の特徴ベクトルＣＬ０および学習用の表現ベクトルｚＬ０が入力されると、図８に示す学習用医療文書ＴＬ０を出力するようにＣＮＮの学習を行って学習済みモデルＭ３を生成する。

本実施形態における文書作成部２３は、上記のように選択部３０および学習済みモデルＭ３を備える。このため、対象医用画像Ｇ０の特徴ベクトルＣ０が図４に示すものである場合、選択部３０は特徴ベクトルＣ０に類似する特徴ベクトルと対応づけられた表現ベクトルｚｓを、複数の表現ベクトルｚｉから選択する。学習済みモデルＭ３には、特徴ベクトルＣ０および選択された表現ベクトルｚｓが入力される。学習済みモデルＭ３は、特徴ベクトルＣ０および表現ベクトルｚｓが入力されると、対象医用画像Ｇ０に関する特徴を含む読影レポートを出力する。

表示制御部２４は、文書作成部２３が作成した読影レポートを表示するための読影レポート表示画面を表示部１４に表示する。図９は第１の実施形態における読影レポート表示画面を示す図である。図９に示すように、読影レポート表示画面４０には、対象医用画像Ｇ０の表示領域４１、および読影レポートを作成するための入力を行う作成領域４２を有する。なお、作成領域４２には、文書作成部２３が図４に示す特徴ベクトルＣ０に基づいて作成した「左肺Ｓ１０に円形で境界が明瞭なスリガラス型の吸収値を認めます。サイズは１４ｍｍ×１３ｍｍです。無気肺を認めます。」の読影レポートが挿入されている。また、表示領域４１に表示された対象医用画像Ｇ０においては、異常陰影の位置に円形のマーク４３が付与されている。操作者は、作成領域４２に表示された読影レポートの内容を確認し、必要であれば入力部１５を用いて読影レポートを修正することができる。

次いで、第１の実施形態において行われる処理について説明する。図１０は第１の実施形態において行われる医療文書作成処理を示すフローチャートである。読影レポートの作成の指示が操作者により行われることにより処理が開始され、情報取得部２１が読影レポートの作成の対象となる対象医用画像Ｇ０を取得する（ステップＳＴ１）。次いで、解析部２２が対象医用画像Ｇ０を解析して、対象医用画像Ｇ０の特徴ベクトルＣ０を生成する（ステップＳＴ２）。次いで、文書作成部２３の選択部３０が、特徴ベクトルＣ０に応じた表現ベクトルｚｓを、ストレージ１３に記憶された複数の表現ベクトルｚｉから選択する（ステップＳＴ３）。そして、文書作成部２３の学習済みモデルＭ３に特徴ベクトルＣ０および表現ベクトルｚｓが入力され、対象医用画像Ｇ０の特徴を含む読影レポートが作成される（ステップＳＴ４）。そして、表示制御部２４が、作成された読影レポートを表示部１４に表示し（ステップＳＴ５）、処理を終了する。

なお、操作者は必要であれば作成された読影レポートを、入力部１５からの入力により修正する。その後、操作者が読影レポートを読影レポートサーバ７に送信する指示を読影ＷＳ３に対して行うと、読影レポートが対象医用画像Ｇ０と対応づけられて読影レポートサーバ７に送信され、保存される。

図１１は本実施形態において行われる学習処理を示すフローチャートである。まず、情報取得部２１が、学習用医用画像ＧＬ０および学習用医用画像ＧＬ０について作成された学習用医療文書ＴＬ０を取得する（ステップＳＴ１１）。次いで、解析部２２が学習用医用画像ＧＬ０を解析して、学習用医用画像ＧＬ０の特徴ベクトルＣＬ０を生成する（ステップＳＴ１２）。そして、表現ベクトル生成部２５が、学習用医用画像ＧＬ０の特徴ベクトルＣＬ０および学習用医療文書ＴＬ０から表現ベクトルｚＬ０を生成し（ステップＳＴ１３）、特徴ベクトルＣＬ０と表現ベクトルｚＬ０とを対応づけてストレージ１３に保存する（ステップＳＴ１４）。

また、学習部２６は、学習用医用画像ＧＬ０の特徴ベクトルＣＬ０および表現ベクトルｚＬ０が入力されると、学習用医療文書ＴＬ０を出力するようにＣＮＮを学習し（ステップＳＴ１５）、ステップＳＴ１１にリターンする。学習部２６は、ステップＳＴ１１～ステップＳＴ１５までの処理を、複数の学習データについて繰り返す。これにより、複数の表現ベクトルｚｉがストレージ１３に記憶され、学習済みモデルＭ３が生成される。

このように、本実施形態においては、対象医用画像Ｇ０の特徴ベクトルＣ０が入力されると、対象医用画像Ｇ０の特徴ベクトルＣ０に対応する表現ベクトルｚｓが複数の表現ベクトルｚｉから選択され、対象医用画像Ｇ０の特徴ベクトルＣ０および選択された表現ベクトルｚｓが文書作成部２３の学習済みモデルＭ３に入力されて、対象医用画像Ｇ０に関する特徴を含む読影レポートが作成される。ここで、表現ベクトルｚｓは、対象医用画像Ｇ０の特徴ベクトルＣ０に応じた表現形式を表すものとなっている。このため、作成された読影レポートは、対象医用画像Ｇ０に関する特徴を含み、かつ特徴に応じた表現形式を有するものとなる。したがって、本実施形態によれば、対象医用画像Ｇ０に含まれる特徴に応じた表現形式の読影レポートを作成できる。

次いで、本開示の第２の実施形態について説明する。なお、第２の実施形態による医療文書作成装置の構成は、図２に示す第１の実施形態による医療文書作成装置１０の構成と同一であり、行われる処理のみが異なるため、ここでは装置についての詳細な説明は省略する。

上記第１の実施形態においては、文書作成部２３の選択部３０が、対象医用画像Ｇ０の特徴ベクトルＣ０に応じた１つの表現ベクトルｚｓを選択して、１つの読影レポートを作成していた。第２の実施形態においては、文書作成部２３の選択部３０が、対象医用画像Ｇ０の特徴ベクトルＣ０に応じた複数の表現ベクトルｚｓｋ（ｋ＝２～ｍ、ｍは正の整数）を選択し、文書作成部２３が、選択された複数の表現ベクトルｚｓｋを用いて、複数の読影レポートを作成するようにした点が第１の実施形態と異なる。

第２の実施形態においては、選択部３０は、特徴ベクトルＣ０に類似する複数の特徴ベクトルＣｋと対応づけられた複数の表現ベクトルｚｓｋを選択する。具体的には、特徴ベクトルＣ０との距離が予め定められた範囲内にある複数の特徴ベクトルＣｋと対応づけられた複数の表現ベクトルｚｓｋを選択する。なお、特徴ベクトルＣ０との距離が予め定められた範囲内にある特徴ベクトルが１つしかない場合、距離の範囲を広げて複数の表現ベクトルｚｓｋを選択するようにする。

第２の実施形態においては、文書作成部２３は、対象医用画像Ｇ０の特徴ベクトルＣ０と選択された複数の表現ベクトルｚｓｋのそれぞれとを学習済みモデルＭ３に入力し、学習済みモデルＭ３から複数の表現ベクトルｚｓｋのそれぞれに対応する読影レポートを出力させることにより、複数の読影レポートを作成する。表示制御部２４は、文書作成部２３が作成した複数の読影レポートを表示部１４に表示する。

図１２は、第２の実施形態における読影レポート表示画面を示す図である。なお、第２の実施形態においては、３つの表現ベクトルｚｓ１～ｚｓ３が選択されて、３つの読影レポートが作成されたものとする。図１２に示すように読影レポート表示画面５０には、対象医用画像Ｇ０の表示領域５１、および読影レポートを作成するための入力を行う作成領域５２を有する。表示領域５１に表示された対象医用画像Ｇ０においては、異常陰影の位置に円形のマーク５３が付与されている。作成領域５２の上側には、３つの読影レポートを切り替えるためのタブ５５が表示されている。初期状態においては、「１」のタブが選択され、作成領域５２には、読影レポート１として、「左肺Ｓ１０に円形で境界が明瞭なスリガラス型の吸収値を認めます。サイズは１４ｍｍ×１３ｍｍです。無気肺を認めます。」の読影レポートが表示されている。

操作者がタブ５５を２に切り替えると、作成領域５２には、「境界が明瞭な円形のスリガラス型の吸収値が左肺Ｓ１０に有り。無気肺有り。サイズは１４ｍｍ×１３ｍｍ。」の読影レポート２が表示される。

操作者がタブ５５を３に切り替えると、作成領域５２には、「サイズが１４ｍｍ×１３ｍｍの異常が左肺Ｓ１０に見られます。１４ｍｍ×１３ｍｍのサイズで無気肺が有ります。境界は明瞭で円形スリガラス型です。」の読影レポート３が表示される。

第２の実施形態においては、作成領域５２には決定ボタン５６が表示される。操作者は３つの読影レポートのうちの所望とする読影レポートが表示された状態で、入力部１５を用いて決定ボタン５６を選択する。これにより、選択した読影レポートが対象医用画像Ｇ０と対応づけられて読影レポートサーバ７に送信され、保存される。

なお、上記第２の実施形態においては、複数の読影レポートを切り替え表示しているが、これに限定されるものではない。複数の読影レポートを一度に表示するようにしてもよい。

次いで、本開示の第３の実施形態について説明する。なお、第３の実施形態による医療文書作成装置の構成は、図２に示す第１の実施形態による医療文書作成装置１０の構成と同一であり、行われる処理のみが異なるため、ここでは装置についての詳細な説明は省略する。

第３の実施形態においては、上記第１の実施形態において、読影レポート表示画面において、表示されている読影レポートを作成した場合とは異なる表現ベクトルを選択可能とした点が第１の実施形態と異なる。

図１３は、第３の実施形態における読影レポート表示画面を示す図である。図１３に示すように、読影レポート表示画面４０は、第１の実施形態における読影レポート表示画面と同一であるが、決定ボタン４５および表現選択ボタン４６がさらに表示されている。操作者が入力部１５を用いて表現選択ボタン４６を選択すると、表示制御部２４は図１４に示す表現選択ウィンドウ６０を表示部１４に表示する。表現選択ウィンドウ６０には、表現１～３が表示されている。表現１～３は、対象医用画像Ｇ０の特徴ベクトルＣ０との距離が予め定められた範囲にある３つの特徴ベクトルと対応づけられた表現ベクトルのそれぞれに対応する。なお、表現１，２，３の順に特徴ベクトルＣ０との距離が大きくなる、すなわち類似度が小さくなるものとする。また、第３の実施形態において、読影レポート表示画面４０の初期の作成領域４２には、特徴ベクトルＣ０と最も類似する表現ベクトル（すなわち表現１）を用いた読影レポートを表示するものとするが、これに限定されるものではない。

操作者は、表現選択ボタン４６を選択し、これにより表示された表現選択ウィンドウ６０から所望とする表現を選択することができる。操作者が所望とする表現を選択すると、文書作成部２３は、選択された表現に対応する表現ベクトルおよび対象医用画像Ｇ０の特徴ベクトルＣ０を学習済みモデルＭ３に入力して、選択された表現ベクトルに対応した表現の読影レポートを作成する。表示制御部２４は、作成された読影レポートを読影レポート表示画面４０に表示する。

第３の実施形態によれば、操作者は、同一所見を有する対象医用画像Ｇ０について、異なる表現の読影レポートを確認することができる。

なお、上記第３の実施形態においては、表現選択ウィンドウ６０において、３つの表現ベクトルを選択可能としているが、これに限定されるものではない。特徴ベクトルＣ０と最も類似する特徴ベクトルに対応づけられた表現ベクトル以外に、１以上の表現ベクトルを選択可能であれば、いくつの表現ベクトルを選択可能としてもよい。

なお、上記実施形態においては、読影ＷＳ３における医療文書作成装置１０の解析部２２が、対象医用画像Ｇ０を解析して異常陰影を検出して特徴ベクトルを生成しているが、これに限定されるものではない。外部の解析サーバ（不図示）等において解析処理を行うようにしてもよい。この場合、外部の解析サーバ等が取得した特徴ベクトルを情報取得部２１が取得するようにし、取得した特徴ベクトルを用いて、読影レポートの作成および学習済みモデルＭ３の学習を行うようにしてもよい。この場合、医療文書作成装置１０には解析部２２は不要となる。

また、上記実施形態においては、解析部２２が所見を表す特徴ベクトルを生成しているが、これに限定されるものではない。学習済みモデルＭ１が出力した出力値を特徴ベクトルとして用いてもよい。この場合、複数の表現ベクトルｚｉは、出力値を表す特徴ベクトルと対応づけられて、ストレージ１３に保存される。また、表現ベクトル生成部２５は、学習用医療文書ＴＬ０と出力値を表す特徴ベクトルとに基づいて、表現ベクトルを生成する。すなわち、エンコードされた学習用医療文書ＴＬ０から、学習済みモデルＭ１が出力した出力値の成分を除去することにより、学習用医療文書ＴＬ０の表現を表すパラメータを抽出して、表現ベクトルを生成する。

また、上記実施形態において、所見を表す特徴ベクトルおよび学習済みモデルＭ１が出力した出力値に基づく特徴ベクトルの双方を用いるようにしてもよい。この場合、複数の表現ベクトルｚｉは、所見を表す特徴ベクトルおよび出力値を表す特徴ベクトルとの双方と対応づけられて、ストレージ１３に保存される。また、表現ベクトル生成部２５は、学習用医療文書ＴＬ０と所見および出力値を表す特徴ベクトルとに基づいて、表現ベクトルを生成する。すなわち、エンコードされた学習用医療文書ＴＬ０から、学習済みモデルＭ１が出力した所見および出力値の成分を除去することにより、学習用医療文書ＴＬ０の表現を表すパラメータを抽出して、表現ベクトルを生成する。

また、上記実施形態においては、表現ベクトルを特徴ベクトルと対応づけてストレージ１３に保存しているが、これに限定されるものではない。特徴ベクトルに対象医用画像の付帯情報を加えた特徴情報と対応づけて表現ベクトルを保存しておいてもよい。ここで、読影レポートは、病院に応じて表現形式のルールが決められている場合がある。この場合、病院に応じて読影レポートの表現形式が異なるものとなる。また、同一病院内においても、診療科が異なると読影レポート作成のための表現形式のルールが異なる場合があり、この場合、診療科に応じて読影レポートの表現形式が異なるものとなる。さらに、医師によっても読影レポートの表現形式が異なる。このため、付帯情報としては、例えば対象医用画像の読影を行う病院を表す情報、病院内の診療科を表す情報、および読影を行う医師を表す情報等、医療文書の作成に際しての表現に関する特徴を特定可能な情報を用いることができる。この場合、特徴情報、すなわち特徴ベクトルと付帯情報との双方に応じた表現ベクトルが複数の表現ベクトルから選択されて、文書作成部２３における医療文書の作成に使用されることとなる。

このように、付帯情報をも用いて表現ベクトルを選択することにより、病院、診療科または医師等に応じた表現形式の読影レポートを作成することができる。

また、上記実施形態においては、医療文書作成装置１０が、表現ベクトル生成部２５および学習部２６を備えるものとしているが、これに限定されるものではない。外部の学習装置（不図示）において、ＣＮＮの学習を行って学習済みモデルＭ３を生成するようにしてもよい。この場合、医療文書作成装置１０に対して、外部の学習装置により生成された学習済みモデルＭ３がインストールされることとなる。また、この場合、医療文書作成装置１０には表現ベクトル生成部２５および学習部２６は不要となる。

また、上記実施形態においては、肺における肺結節に関する読影レポートを作成するものとしているが、読影レポートを作成する対象は肺に限定されるものではない。脳、肝臓、心臓および腎臓等の肺以外の診断対象を含む医用画像についての読影レポートを作成する場合にも、本開示の技術を適用することができる。この場合、解析部２２の学習済みモデルＭ１，Ｍ２は、診断対象の医用画像についての特徴ベクトルを生成するように学習がなされる。また、文書作成部２３の学習済みモデルＭ３は、診断対象の特徴ベクトルに応じた読影レポートを出力するように学習がなされる。

また、上記実施形態においては、医療文書として読影レポートを作成する際に、本開示の技術を適用しているが、電子カルテおよび診断レポート等の読影レポート以外の医療文書を作成する場合にも、本開示の技術を適用できることはもちろんである。この際、文書作成部２３の学習済みモデルＭ３は、作成する種類の医療文書を学習用医療文書ＴＬ０として用いて学習がなされる。また、この場合、作成する医療文書に応じた表現ベクトルが、ストレージ１３に保存されることとなる。

また、上記実施形態においては、学習済みモデルＭ１～Ｍ３は、ＣＮＮに限定されるものではない。ＣＮＮの他、サポートベクタマシン（ＳＶＭ(Support Vector Machine)、ディープニューラルネットワーク（ＤＮＮ(Deep Neural Network)）およびリカレントニューラルネットワーク（ＲＮＮ(Recurrent Neural Network)）等を用いることができる。

また、上記実施形態において、例えば、情報取得部２１、解析部２２、文書作成部２３、表示制御部２４、表現ベクトル生成部２５および学習部２６といった各種の処理を実行する処理部（Processing Unit）のハードウェア的な構造としては、次に示す各種のプロセッサ（Processor）を用いることができる。上記各種のプロセッサには、上述したように、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device :PLD）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。

１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせまたはＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。

複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントおよびサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアとの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:SoC）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。

さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（Circuitry）を用いることができる。

１ 医療情報システム
２ モダリティ
３ 読影ワークステーション
４ 診療科ワークステーション
５ 画像サーバ
６ 画像データベース
７ 読影レポートサーバ
８ 読影レポートデータベース
９ ネットワーク
１０ 医療文書作成装置
１１ ＣＰＵ
１２ メモリ
１３ ストレージ
１４ 表示部
１５ 入力部
２１ 情報取得部
２２ 解析部
２３ 文書作成部
２４ 表示制御部
２５ 表現ベクトル生成部
２６ 学習部
３０ 選択部
４０、５０ 読影レポート用表示画面
４１、５１ 表示領域
４２、５２ 作成領域
４３、５３ マーク
４４、５４ ウィンドウ
４５ 決定ボタン
４６ 表現選択ボタン
５５ タブ
５６ 決定ボタン
６０ 表現選択ウィンドウ
Ｃ０、Ｃｉ 特徴ベクトル
ＣＬ０ 学習用医用画像の特徴ベクトル
ｚ、ｚｓ、ｚｉ 表現ベクトル
ＴＬ０ 学習用医療文書
Ｇ０ 対象医用画像
Ｍ１～Ｍ３ 学習済みモデル

Claims (12)

1. 学習用医用画像の特徴ベクトル、および学習用医療文書を含む学習データを複数用いることにより、対象医用画像の特徴ベクトルおよび該対象医用画像の該特徴ベクトルを含む特徴情報に応じた表現ベクトルが入力されると、前記対象医用画像に関する特徴を含む医療文書を出力する学習がなされた学習済みモデルを有する文書作成部と、
   複数の前記学習用医用画像のそれぞれの特徴ベクトルに対応する複数の表現ベクトルを記憶する記憶部とを備え、
   前記文書作成部は、前記対象医用画像の特徴ベクトルを含む特徴情報が入力されると、該特徴情報に応じた少なくとも１つの表現ベクトルを、前記記憶部に記憶された前記複数の表現ベクトルから選択し、前記対象医用画像の特徴ベクトルおよび選択された少なくとも１つの表現ベクトルを前記学習済みモデルに入力して、前記対象医用画像に関する特徴を含む少なくとも１つの医療文書を作成する医療文書作成装置。
2. 前記特徴ベクトルは、前記学習用医用画像および前記対象医用画像に含まれる異常陰影に関する所見を含む請求項１に記載の医療文書作成装置。
3. 前記対象医用画像を解析して前記特徴ベクトルを生成する解析部をさらに備えた請求項１または２に記載の医療文書作成装置。
4. 前記少なくとも１つの医療文書を表示部に表示する表示制御部をさらに備えた請求項１から３のいずれか１項に記載の医療文書作成装置。
5. 前記文書作成部は、前記対象医用画像の特徴情報に応じた複数の表現ベクトルを前記複数の表現ベクトルから選択して、複数の前記医療文書を作成し、
   前記表示制御部は、前記複数の医療文書を前記表示部に表示する請求項４に記載の医療文書作成装置。
6. 前記複数の医療文書からの特定の医療文書の選択の入力を受け付ける入力部をさらに備えた請求項５に記載の医療文書作成装置。
7. 前記医療文書の作成に使用された表現ベクトル以外の少なくとも１つの他の表現ベクトルの選択を受け付ける表現ベクトル選択部をさらに備え、
   前記文書作成部は、前記他の表現ベクトルを用いて前記医療文書を生成し、
   前記表示制御部は、前記他の表現ベクトルを用いて前記医療文書を前記表示部に表示する請求項４または５に記載の医療文書作成装置。
8. 学習用医用画像の特徴ベクトルおよび学習用医療文書を含む学習データを複数取得する情報取得部と、
   前記学習用医療文書をエンコードし、エンコードされた前記学習用医療文書から前記特徴ベクトルに関する成分を除去することにより、前記学習用医療文書の表現を表す表現ベクトルを生成する表現ベクトル生成部と、
   前記特徴ベクトルおよび前記表現ベクトルの入力によって前記学習用医療文書を出力させる学習モデルの学習を、前記複数の学習データを用いて行うことにより、対象医用画像の特徴ベクトルおよび該対象医用画像の該特徴ベクトルを含む特徴情報に応じた表現ベクトルが入力されると、前記対象医用画像に関する特徴を含む医療文書を出力する学習済みモデルを生成する学習部を備えた学習装置。
9. 学習用医用画像の特徴ベクトル、および学習用医療文書を含む学習データを複数用いることにより、対象医用画像の特徴ベクトルおよび該対象医用画像の該特徴ベクトルを含む特徴情報に応じた表現ベクトルが入力されると、前記対象医用画像に関する特徴を含む医療文書を出力する学習がなされた学習済みモデルを有する文書作成部と、
   複数の前記学習用医用画像のそれぞれの特徴ベクトルに対応する複数の表現ベクトルを記憶する記憶部とを備えた医療文書作成装置における医療文書作成方法であって、
   前記対象医用画像の特徴ベクトルを含む特徴情報が入力されると、該特徴情報に応じた少なくとも１つの表現ベクトルを、前記記憶部に記憶された前記複数の表現ベクトルから選択し、前記対象医用画像の特徴ベクトルおよび選択された少なくとも１つの表現ベクトルを前記学習済みモデルに入力して、前記対象医用画像に関する特徴を含む少なくとも１つの医療文書を作成する医療文書作成方法。
10. コンピュータが、学習用医用画像の特徴ベクトルおよび学習用医療文書を含む学習データを複数取得し、
    前記学習用医療文書をエンコードし、エンコードされた前記学習用医療文書から前記特徴ベクトルに関する成分を除去することにより、前記学習用医療文書の表現を表す表現ベクトルを生成し、
    前記特徴ベクトルおよび前記表現ベクトルの入力によって前記学習用医療文書を出力させる学習モデルの学習を、前記複数の学習データを用いて行うことにより、対象医用画像の特徴ベクトルおよび該対象医用画像の該特徴ベクトルを含む特徴情報に応じた表現ベクトルが入力されると、前記対象医用画像に関する特徴を含む医療文書を出力する学習済みモデルを生成する学習方法。
11. 学習用医用画像の特徴ベクトル、および学習用医療文書を含む学習データを複数用いることにより、対象医用画像の特徴ベクトルおよび該対象医用画像の該特徴ベクトルを含む特徴情報に応じた表現ベクトルが入力されると、前記対象医用画像に関する特徴を含む医療文書を出力する学習がなされた学習済みモデルを有する文書作成部と、
    複数の前記学習用医用画像のそれぞれの特徴ベクトルに対応する複数の表現ベクトルを記憶する記憶部とを備えた医療文書作成装置における医療文書作成方法をコンピュータに実行させる医療文書作成プログラムであって、
    前記対象医用画像の特徴ベクトルを含む特徴情報が入力されると、該特徴情報に応じた少なくとも１つの表現ベクトルを、前記記憶部に記憶された前記複数の表現ベクトルから選択し、前記対象医用画像の特徴ベクトルおよび選択された少なくとも１つの表現ベクトルを前記学習済みモデルに入力して、前記対象医用画像に関する特徴を含む少なくとも１つの医療文書を作成する手順をコンピュータに実行させる医療文書作成プログラム。
12. 学習用医用画像の特徴ベクトルおよび学習用医療文書を含む学習データを複数取得する手順と、
    前記学習用医療文書をエンコードし、エンコードされた前記学習用医療文書から前記特徴ベクトルに関する成分を除去することにより、前記学習用医療文書の表現を表す表現ベクトルを生成する手順と、
    前記特徴ベクトルおよび前記表現ベクトルの入力によって前記学習用医療文書を出力させる学習モデルの学習を、前記複数の学習データを用いて行うことにより、対象医用画像の特徴ベクトルおよび該対象医用画像の該特徴ベクトルを含む特徴情報に応じた表現ベクトルが入力されると、前記対象医用画像に関する特徴を含む医療文書を出力する学習済みモデルを生成する手順とをコンピュータに実行させる学習プログラム。

Images