以下、実施形態の情報処理装置、医用画像処理装置、およびプログラムを、図面を参照して説明する。
(第1の実施形態)
図1は、第1の実施形態の情報処理装置100の使用環境の一例を示す図である。図示する環境において、情報処理装置100は、ネットワークNWを介して複数の医療機関200-1~200-Nと接続される。ネットワークNWは、例えば、WAN(Wide Area Network)やLAN(Local Area Network)、インターネット、専用回線、無線基地局、プロバイダ等を含む。以下の説明において、医療機関200-1~200-Nは、何れの医療機関であるかを区別しないときは、何れの医療機関であるかを示すハイフン以降の符号を省略し、「医療機関200」と称して説明する。また、ハイフンを用いて説明する他の構成についても同様とする。
情報処理装置100は、一つまたは複数のプロセッサにより実現される。例えば、情報処理装置100は、クラウドコンピューティングシステムに含まれるコンピュータであってもよいし、他の機器に依存せずに単独で動作するコンピュータであってもよい。情報処理装置100は、ネットワークNWを介して医療機関200から診察データや患者データ、診察レベルに関する情報等を取得する。また、情報処理装置100は、医療機関から得られる各種データに基づいて教師あり学習用データや学習済みモデルを生成する。情報処理装置100の機能の詳細については、後述する。
医療機関200は、例えば、健診センターや病院、診療所等の各種医療施設である。また、医療機関200は、少なくとも医用画像を含む健診データを生成することが可能な施設である。医用画像とは、例えば、医療や医学のために人体の部位を撮影、または計測した結果を画像化したものである。医用画像には、CT(Computed Tomography)画像、MR(Magnetic Resonance)画像、マンモグラフィ画像、内視鏡画像、レントゲン画像等が含まれる。また、医用画像は、二次元画像でもよく、三次元画像でもよい。
医療機関200は、例えば、医用画像生成装置220と、医用画像処理装置240とを備える。医用画像生成装置220は、例えば、MRI(Magnetic Resonance Imaging)装置や、CT装置、マンモグラフィ装置、内視鏡画像生成装置、レントゲン画像生成装置等を含む。MRI装置は、例えば、被検体(例えば人体)に磁場を与えて、核磁気共鳴現象によって被検体内の水素原子核から発生する電磁波を、コイルを利用して受信し、その受信した電磁波に基づく信号を再構成することで医用画像(MR画像)を生成する。CT装置は、例えば、被検体の周囲を回転するX線管から被検体にX線を照射すると共に、その被検体を通過したX線を検出し、検出したX線に基づく信号を再構成することで医用画像(CT画像)を生成する。マンモグラフィ装置は、例えば、被検体の乳房にX線を照射し、乳房を透過したX線を検出してマンモグラフィ画像を生成する。内視鏡画像撮影装置は、例えば、内視鏡カメラを体内の所定の部位付近まで挿入し、部位付近を撮像することで、所定の部位の内視鏡画像を生成する。レントゲン画像生成装置は、例えば、X線照射装置とフィルムの間に被検体を置き、焼き付けて画像化することでレントゲン画像を生成する。
医用画像処理装置240は、一つまたは複数のプロセッサにより実現される。例えば、情報処理装置100は、クラウドコンピューティングシステムに含まれるコンピュータであってもよいし、他の機器に依存せずに単独で動作するコンピュータ(スタンドアローンのコンピュータ)であってもよい。医用画像処理装置240は、医用画像生成装置220により生成された医用画像に対する各種処理を行う。また、医用画像処理装置240は、ネットワークNWを介して情報処理装置100と通信を行い、診察データや患者データ、診察レベルに関する情報を情報処理装置100に送信したり、学習済みモデルを情報処理装置100から受信したりする。医用画像処理装置240の機能の詳細については、後述する。
次に、情報処理装置100の機能の詳細について具体的に説明する。情報処理装置100は、例えば、通信インターフェース110と、入力インターフェース120と、ディスプレイ130と、処理回路140と、メモリ150とを備える。通信インターフェース110は、例えば、NIC(Network Interface Card)等の通信インターフェースを含む。通信インターフェース110は、ネットワークNWを介して医療機関200と通信し、医療機関200から情報を受信したり、医療機関200に学習済みモデルを送信したりする。通信インターフェース110は、受信した情報を処理回路140に出力する。また、通信インターフェース110は、処理回路140による制御を受けて、ネットワークNWを介して接続された他の外部装置と通信を行ってもよい。
入力インターフェース120は、操作者からの各種の入力操作を受け付け、受け付けた入力操作を電気信号に変換して処理回路140に出力する。例えば、入力インターフェース120は、マウスやキーボード、トラックボール、スイッチ、ボタン、ジョイスティック、タッチパネル等により実現される。また、入力インターフェース120は、例えば、マイク等の音声入力を受け付けるユーザインターフェースによって実現されてもよい。入力インターフェース120がタッチパネルである場合、後述するディスプレイ130は入力インターフェース120と一体として形成されてよい。
ディスプレイ130は、各種の情報を表示する。例えば、ディスプレイ130は、処理回路140によって生成された画像を表示したり、操作者からの各種の入力操作を受け付けるためのGUI(Graphical User Interface)等を表示したりする。例えば、ディスプレイ130は、LCD(Liquid Crystal Display)や、CRT(Cathode Ray Tube)ディスプレイ、有機EL(Electro Luminescence)ディスプレイ等である。
処理回路140は、例えば、取得機能141と、ラベル付与機能142と、学習モデル生成機能143とを備える。処理回路140は、例えば、ハードウェアプロセッサがメモリ(記憶回路)150に記憶されたプログラムを実行することにより、これらの機能を実現するものである。
ハードウェアプロセッサとは、例えば、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、特定用途向け集積回路(Application Specific Integrated Circuit; ASIC)、プログラマブル論理デバイス(例えば、単純プログラマブル論理デバイス(Simple Programmable Logic Device; SPLD)または複合プログラマブル論理デバイス(Complex Programmable Logic Device; CPLD)、フィールドプログラマブルゲートアレイ(Field Programmable Gate Array; FPGA))等の回路(circuitry)を意味する。メモリ150にプログラムを記憶させる代わりに、ハードウェアプロセッサの回路内にプログラムを直接組み込むように構成しても構わない。この場合、ハードウェアプロセッサは、回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。上記のプログラムは、予めメモリ150に格納されていてもよいし、DVDやCD-ROM等の非一時的記憶媒体に格納されており、非一時的記憶媒体が情報処理装置100のドライブ装置(不図示)に装着されることで非一時的記憶媒体からメモリ150にインストールされてもよい。ハードウェアプロセッサは、単一の回路として構成されるものに限らず、複数の独立した回路を組み合わせて1つのハードウェアプロセッサとして構成され、各機能を実現するようにしてもよい。また、複数の構成要素を1つのハードウェアプロセッサに統合して各機能を実現するようにしてもよい。取得機能141は、「取得部」の一例である。ラベル付与機能142は、「ラベル付与部」の一例である。学習モデル生成機能143は、「学習モデル生成部」の一例である。
メモリ150は、例えば、RAM(Random Access Memory)、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等によって実現される。非一過性の記憶媒体を含むこれらの記憶媒体は、NAS(Network Attached Storage)や外部ストレージサーバ装置といったネットワークNWを介して接続される他の記憶装置によって実現されてもよい。また、メモリ150には、ROM(Read Only Memory)やレジスタ等の一過性の記憶媒体が含まれてもよい。メモリ150には、例えば、診察データ151、患者統合データ152、診察レベルデータ153、教師あり学習用データ154、学習済みモデル155、およびその他の情報が格納される。
取得機能141は、各医療機関から診察データを取得し、取得した診察データ151をメモリ150に記憶させる。図2は、第1の実施形態の診察データ151の内容の一例を示す図である。診察データには、医療機関を識別する識別情報である医療機関IDおよび患者を識別する識別情報であるUIDに、健診フラグと、日付情報と、診察結果と、紹介状情報とが対応付けされている。健診フラグは、例えば、その診察データの1レコードが健診結果であるか、健診以外での診察結果であるかを識別するためのフラグである。図2の例において、健診フラグが「1」の場合は、健診結果のレコードであることを示し、健診フラグが「0」の場合は、健診結果のレコードではないことを示す。以下、必要に応じて、健診フラグが「1」の診察データを「健診データ」と称し、健診データに対応する患者を「健診者」と称するものとする。
日付情報には、例えば、診察の実施日、或いは診察結果を患者または患者が所属する企業に発送した発送日等が含まれる。健診データでない診察データの場合には、発送日が格納されない場合があってもよい。
診察結果には、例えば、医用画像、数値データ、所見情報が含まれる。医用画像は、各医療機関200の医用画像生成装置220で生成された医用画像である。数値データには、例えば、患者、身長、体重、視力、血圧、肺活量、心拍数、血液検査や尿検査により得られる数値情報等が含まれる。所見情報には、例えば、患者の状態や診察データに対する医師や看護師等の所定の権限者の所見が含まれる。また、所見情報には、診察データに含まれる所定の項目に対する確度レベルに関する情報、医師等から指定された追加検査等を実施するまでの基準期間が含まれてよい。なお、図2の例では、診察データに健診データが含まれる例を示したが、診察データと健診データとを別データとしてメモリ150に記憶させてもよい。
紹介状情報は、例えば、ある医療機関の医師が他の医療機関の医師に患者を紹介する場合に発行する診療情報提供書類に関する情報である。紹介状情報には、例えば、紹介状に記載された診療情報、または医療機関200のスキャナ等で読み取られた紹介状に関する画像(以下、紹介状画像と称する)が含まれる。また診察データには、紹介状情報が含まれていなくてもよい。
また、取得機能141は、ネットワークNWを介して接続される外部装置から患者統合データを取得し、取得した患者統合データ152をメモリ150に記憶させる。外部装置とは、例えば、MPI(Master Patient Index)システムである。MPIシステムとは、例えば、患者の身元を統合的に確認することができるシステムである。
図3は、第1の実施形態の患者統合データ152の内容の一例を示す図である。患者統合データ152は、患者を特定する統合ID(メインID)に、医療機関別UID(サブID)と、個人情報とが対応付けられている。医療機関別UIDには、医療機関200ごとに対応する患者のUIDが格納される。図3の例において、各医療機関は、医療機関IDにより識別される。個人情報には、例えば、患者の氏名、性別、生年月日、年齢、住所等が含まれる。例えば、図3の例において、統合IDが「Ua」である患者は、医療機関IDが「H001」の医療機関におけるUIDは「U001」であり、医療機関IDが「H002」の医療機関におけるUIDは「P1234」であり、医療機関IDが「H003」の医療機関におけるUIDは「M00345」であることを示している。患者統合データ152により、同一患者に付与された、複数の医療機関200のそれぞれのUID(サブID)を取得することができる。
なお、取得機能141は、各医療機関200からUIDと個人情報とが対応付けられた患者データ等を取得し、取得した患者情報の個人情報に基づいてマッチングを行い、個人情報がマッチした患者のUIDを対応付けて、図3に示す患者統合データ152を生成してもよい。
また、取得機能141は、各医療機関から診察レベルデータを取得し、取得した診察レベルデータ153をメモリ150に記憶させる。図4は、第1の実施形態の診察レベルデータ153の内容の一例を示す図である。診察レベルデータ153は、医療機関IDに診察レベルが対応付けられている。診察レベルとは、各医療機関200の設備情報または医療機関200に所属する医師に関する情報のうち一方または双方に基づいて設定される指標である。設備情報とは、例えば、診察機器の種類、測定精度、設置台数に関する情報である。医師に関する情報とは、例えば、医師の人数、専門分野、経験年数である。
例えば、診察レベルデータ153には、設置された診察機器が新しいほど精密な検査が可能であると推定して診察レベルが高く設定されている。また、診察機器による測定精度が高いほど、または設置台数が多いほど、診察レベルが高く設定されている。また、診察レベルデータ153は、医師の経験年数が高いほど、実績があるため、より精密な検査を実施できるものと推定して診察レベルが高く設定されている。
図4の例において、診察レベルの高さは「A>B>C」であるものとする。つまり、図4の例では、医療機関IDが「H002」の医療機関は、医療機関IDが「H001」の医療機関よりも精密な検査を受けることができる高度医療機関であることを示している。また、図4の例では、医療機関IDが「H003」の医療機関は、医療機関IDが「H001」および「H002」の医療機関よりも精密な検査を受けることができる高度医療機関であることを示している。
なお、取得機能141は、各医療機関200から設備情報または医療機関200に所属する医師に関する情報のうち一方または双方を取得し、取得した情報に基づいて、診察レベルデータ生成してもよい。この場合、取得機能141は、診察機器の種類、測定精度、設置台数、医師に関する情報のそれぞれと、診察レベルとを対応付けたテーブルを予め設定しておき、設備データに含まれる診察機器の種類、精度、設置台数、医師に関する情報等とテーブルとを照合して、診察レベルを設定する。
ラベル付与機能142は、診察データ151のうち、健診データに含まれる医用画像にラベルを付与する。ラベルとは、例えば、医用画像に基づいて追加検査の有無を出力するモデルを生成する際に、正例または負例として用いられるものである。以下では、正例のラベルを「第1のラベル」と称し、負例のラベルを「第2のラベル」と称するものとする。
ラベル付与機能142は、例えば、健診データに対応付けられた日付から基準期間以内に、複数の健診者に含まれる特定の健診者が、同一または他の医療機関200で特定の検査を受けたことが検知され、または推定された場合に、その健診者に係る医用画像に第1のラベルを付与する。基準期間とは、例えば、予め決められた数か月程度の期間でもよく、健診結果に基づいて医師等から指定された期間でもよい。医師等から指定された期間は、例えば、診察データ151に含まれる所見情報等から取得される。同一の医療機関は、「第1の医療機関」の一例である。他の医療機関は、「第2の医療機関」の一例である。
特定の検査とは、例えば、健診データの結果で正常ではない(異常がある、または異常がないとはいえない)項目に対する追加検査または再検査である。また、特定の検査を受けたことが検知されるとは、例えば、特定の検査に対する結果が診察データ内に存在する場合である。また、特定の検査を受けたことが推定されるとは、例えば、診断結果までは出ていないが特定の検査を実施したことが診察データから推定される場合である。例えば、ラベル付与機能142は、健診データの結果で正常ではない項目が循環器に関する項目であり、診断データの所見情報に循環器の追加検査に関する情報が記載されている場合に特定の検査を受けたことを検知する。また、ラベル付与機能142は、例えば、診察データの所見情報には記載がないが、診察結果の医用画像に循環器の画像が含まれる場合に、特定の検査を受けたことを推定する。また、ラベル付与機能142は、例えば、審査データの所見情報に、循環器に関する項目の記載はなく、異なる項目(例えば、皮膚に関する項目)の記載がある場合には、特定の検査を受けていないことを検知する。
また、ラベル付与機能142は、健診データに対応付けられた日付から基準期間以内に、複数の健診者に含まれる特定の健診者が同一または他の医療機関200で特定の検査を受けていることが検知されず、且つ、推定されない場合に、その健診者に係る医用画像に第2のラベルを付与してもよい。
図5は、第1の実施形態のラベル付与機能の一連の処理の流れを示すフローチャートである。図5の処理は、所定の周期またはタイミングで繰り返し実行されてよい。図5の例において、ラベル付与機能142は、まず、診察データ151の健診フラグを参照し、健診データ以外の診察データを抽出する(ステップS100)。次に、ラベル付与機能142は、抽出した診察データごとに、診察データに含まれるUIDに基づいて、UIDに対応付けられた対象患者(健診者)の健診データを検索する(ステップS102)。ステップS102の処理において、ラベル付与機能142は、診察データに含まれる医療機関IDおよびUIDに基づいて、患者統合データ152を参照し、対象患者のUIDに対応付けられた他の医療機関の医療機関IDおよびUIDを取得する。そして、ラベル付与機能142は、取得した全ての医療機関IDとUIDとの組に基づいて、各医療機関から得られた診察データを参照し、合致する健診データのレコードを検索する。
次に、ラベル付与機能142は、対象患者の健診データを抽出したか否かを判定する(ステップS104)。対象患者の健診データを抽出した場合、ラベル付与機能142は、特定の検査を受けていることが検知または推定されているか否かを判定する(ステップS106)。特定の検査を受けている場合、ラベル付与機能142は、健診データに含まれる日付と、診察データに日付とを比較し(ステップS108)、特定の検査を受けたことが検知または推定された日が健診データに対応付けられた日付から基準期間以内であるか否かを判定する(ステップS110)。
基準期間内である場合、ラベル付与機能142は、健診データの医用画像に第1のラベルを付与する(ステップS112)。また、基準期間内でない場合、ラベル付与機能142は、健診データの医用画像に第2のラベルを付与する(ステップS114)。ステップS112またはステップS114の処理が終了後、ステップS104の処理において対象の健診データを抽出していない場合、または、ステップS104の処理において特定の検査を受けていない場合、ラベル付与機能142は、診察データに含まれる全てのUIDに対して処理を行ったか否かを判定する(ステップS116)。全てのUIDに対して処理を行っていない場合、ステップS102の処理に戻る。また、全てのUIDに対して処理を行っている場合、本フローチャートを終了する。
ラベル付与機能142は、医用画像に上述したラベルを付与した教師あり学習用データ154を生成し、生成した教師あり学習用データ154に記憶する。図6は、第1の実施形態の教師あり学習用データ154の内容の一例を示す図である。教師あり学習用データ154は、例えば、医用画像に、ラベルが対応付けられている。図6の例において、ラベル「1」は、その医用画像に第1のラベルが付与されていることを示し、ラベル「2」は、その医用画像に第2のラベルが付与されていることを示している。
また、ラベル付与機能142は、上述した教師あり学習用データ154をディスプレイ130に表示させ、医師等の権限者が入力インターフェース120を介して、最終的なラベル付けを行ってもよい。この場合、医師等は、予め上述した条件に基づいて、第1のラベルまたは第2のラベルが付与された医用画像を確認することになるため、最終的なラベル付けを効率的、且つ、短時間に行うことができる。また、医師等は、教師あり学習用データ154を第1のラベルまたは第2のラベルを用いてフィルタリングすることで、確認するデータ数を削減し、より短時間に、視認によるラベル付けを行うことができる。
学習モデル生成機能143は、ラベル付与機能142によりラベルが付与された教師あり学習用データに対して、所定の機械学習アルゴリズムを用いて、医用画像に関して追加検査の有無を出力する学習済みモデル155を生成する。また、学習モデル生成機能143は、ラベル付与機能142によりラベルが付与された医用画像に対して権限者による確認が完了した医用画像を用いて学習済みモデル155を生成してもよい。
ここで、図7は、第1の実施形態の学習モデル生成機能143の内容について説明するための図である。学習モデル生成機能143は、例えば、CNN(Convolutional Neural Network)を利用したDNN(Deep Neural Network)を備える。例えば、学習モデル生成機能143は、DNNに対して誤差逆伝搬法等の機械学習アルゴリズムにより、ニューラルネットワークを学習させ、医療画像の入力に対して第1のラベルまたは第2のラベルを識別する学習済みモデル155を生成する。
また、学習モデル生成機能143は、生成された学習済みモデル155をメモリ150に記憶させたり、医療機関200に送信したりする。これにより、医療機関200の医用画像処理装置240は、医用画像生成装置220により生成された医用画像に対して学習済みモデル155を用いて、より適切に、追加検査の有無を出力することができる。また、学習モデル生成機能143は、学習済みモデル155を生成するのに代えて、または加えて、追加検査の有無を出力するための未知関数を推定してもよい。
図8は、第1の実施形態の医用画像処理装置240の構成例を示す図である。以下の説明では、主に、医用画像処理装置240が、医用画像生成装置220から得られる医用画像を入力して、学習済みモデルを用いて、再健診の有無を示す情報を出力する機能を中心に説明する。
医用画像処理装置240は、例えば、通信インターフェース242と、入力インターフェース244と、ディスプレイ246と、処理回路250と、メモリ260とを備える。通信インターフェース242は、例えば、NIC等の通信インターフェースを含む。通信インターフェース242は、ネットワークNWを介して医用画像生成装置220から医用画像を受信する。また、通信インターフェース242は、ネットワークNWを介して情報処理装置100と通信を行い、診察データや患者データ、診察レベルに関する情報を送信したり、学習済みモデル155を受信したりする。受信した学習済みモデル155は、メモリ260に記憶される。また、通信インターフェース242は、処理回路250による制御を受けて、ネットワークNWを介して接続された他の装置と通信を行ってもよい。
入力インターフェース244は、医師等の操作者からの各種の入力操作を受け付け、受け付けた入力操作を電気信号に変換して処理回路250に出力する。例えば、入力インターフェース244は、マウスやキーボード、トラックボール、スイッチ、ボタン、ジョイスティック、タッチパネル等により実現される。また、入力インターフェース244は、例えば、マイク等の音声入力を受け付けるユーザインターフェースによって実現されてもよい。入力インターフェース244がタッチパネルである場合、後述するディスプレイ246は入力インターフェース244と一体として形成されてよい。
ディスプレイ246は、各種の情報を表示する。例えば、ディスプレイ246は、処理回路250によって生成された画像を表示したり、操作者からの各種の入力操作を受け付けるためのGUI等を表示したりする。例えば、ディスプレイ246は、LCDや、CRTディスプレイ、有機ELディスプレイ等である。
処理回路250は、操作者からの各種操作を受け付けるためのGUI(Graphical User Interface)や各種画像をディスプレイ246に表示する。また、処理回路250は、例えば、判定機能252を備える。処理回路250は、例えば、ハードウェアプロセッサがメモリ(記憶回路)260に記憶されたプログラムを実行することにより、これらの機能を実現するものである。
ハードウェアプロセッサとは、例えば、CPU、GPU、特定用途向け集積回路、プログラマブル論理デバイス等の回路(circuitry)を意味する。メモリ150にプログラムを記憶させる代わりに、ハードウェアプロセッサの回路内にプログラムを直接組み込むように構成しても構わない。この場合、ハードウェアプロセッサは、回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。上記のプログラムは、予めメモリ260に格納されていてもよいし、DVDやCD-ROM等の非一時的記憶媒体に格納されており、非一時的記憶媒体が医用画像処理装置240のドライブ装置(不図示)に装着されることで非一時的記憶媒体からメモリ260にインストールされてもよい。ハードウェアプロセッサは、単一の回路として構成されるものに限らず、複数の独立した回路を組み合わせて1つのハードウェアプロセッサとして構成され、各機能を実現するようにしてもよい。また、複数の構成要素を1つのハードウェアプロセッサに統合して各機能を実現するようにしてもよい。処理回路250は、「処理部」の一例である。
メモリ260は、例えば、RAM、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等によって実現される。非一過性の記憶媒体を含むこれらの記憶媒体は、NASや外部ストレージサーバ装置といったネットワークNWを介して接続される他の記憶装置によって実現されてもよい。また、メモリ260には、ROMやレジスタ等の一過性の記憶媒体が含まれてもよい。メモリ260には、例えば、学習済みモデル155、健診データ262、およびその他の情報が格納される。健診データ262は、上述した診察データ151と同様の項目であって、当該医療機関で健診した健診データが格納される。
判定機能252は、通信インターフェース242を介して医用画像生成装置220から入力された医用画像に対して学習済みモデル155を用いて追加検査の有無を判定する。また、判定機能252は、健診者の追加検査の必要性の有無を示す情報を出力する。例えば、判定機能は、追加検査の必要性の有無を示す情報を含む健診データ262をメモリ260に記憶させてもよく、ディスプレイ246に表示させてもよい。これにより、医用画像処理装置240は、情報処理装置100により生成された学習済みモデル155を用いて医用画像に対する追加検査の有無を、より迅速且つ高精度に判定することができる。
図9は、第1の実施形態の処理回路140の一連の処理について説明するためのフローチャートである。取得機能141は、医療機関200から複数の健診データを含む診察データを取得し(ステップS200)、取得した複数の診察データをメモリ150に記憶させる(ステップS202)。次に、ラベル付与機能142は、上述した健診データの医用画像に第1のラベルまたは第2のラベルを付与するラベル付与処理を実行する(ステップS204)。
次に、学習モデル生成機能143は、ラベルが付与された教師あり学習用データを用いて学習済みモデルを生成し(ステップS206)、生成した学習済みモデルを医療機関200に送信する(ステップS208)。これにより、本フローチャートの処理は、終了する。
以上説明した第1の実施形態によれば、情報処理装置100において、第一の医療機関から複数の健診者ごとの医用画像を含む健診データを取得する取得機能141と、健診データに対応付けられた日付から基準期間以内に、複数の健診者に含まれる健診者が第一の医療機関または第二の医療機関で特定の検査を受けたことが検知され、または推定された場合に、健診者に係る医用画像に第1のラベルを付与するラベル付与機能142とを備えることにより、医用画像に対する教師ありの学習用データを効率的に取得することができる。
また、第1の実施形態によれば、ラベル付与機能142は、健診データに対応付けられた日付から基準期間以内に、複数の健診者に含まれる健診者が第一の医療機関または第一の医療機関とは異なる第二の医療機関で特定の検査を受けていることが検知されず、且つ推定されない場合に、健診者に係る医用画像に、第2のラベルを付与することで、正例だけでなく、負例の教師あり学習用データを生成することができる。
また、第1の実施形態によれば、従来ではラベル付けがなされていない健診データに含まれる医用画像を有効に活用して、大量の教師ありの学習用データを生成することができる。また、第1の実施形態によれば、医師が健診データの医用画像を視認して、ラベル付けを行う場合に、情報処理装置100のラベル付与機能142による追加検査の有無を示すラベルを用いて、医用画像のフィルタリング等を行うことで、より効率的、且つ、短時間に視認によるラベル付けを行うことができる。
(第2の実施形態)
以下、第2の実施形態について説明する。第2の実施形態の情報処理装置は、第1のラベルまたは第2のラベルを付与する場合に、特定の検査による診察を行った他の医療機関が、健診を行った医療機関よりも精密な診断が実施可能な高度医療機関であるか否かを判定する処理が追加されている点で第1の実施形態と相違する。以下、第1の実施形態との相違点を中心に説明し、第1の実施形態と共通する部分については説明を省略する。また、第2の実施形態では、第1の実施形態の情報処理装置100を用いることとする。
図10は、第2の実施形態のラベル付与機能の一連の処理の流れを示すフローチャートである。図10の例では、上述した図5に示す第1の実施形態と比較して、ステップS110の処理と、ステップS112の処理との間に、ステップS111の処理が追加されている点で相違する。したがって、以下では、ステップS111の処理を中心に説明する。
ステップS110の処理において、特定の検査を受けたことが検知され、または推定された日が、健診データに対応付けられた日付から基準期間以内である場合、ラベル付与機能142は、特定の検査を受ける医療機関が、高度医療機関であるか否か判定する(ステップS111)。ステップS111の処理において、ラベル付与機能142は、例えば、健診を行った医療機関のID(医療機関ID)と、特定の検査を受けた医療機関のID(医療機関ID)とに基づいて、診察レベルデータ153を参照して、それぞれの医療機関IDに対する診察レベルを取得し、取得した診察レベルを比較することで、特定の検査を受ける医療機関が、健診を受けたデータであるか否かを判定する。
ラベル付与機能142は、特定の検査を受ける高度医療機関である場合に、医用画像に第1のラベルを付与し(ステップS112)、高度医療機関でない場合に、医用画像に第2のラベルを付与する(ステップS114)。
以上説明した第2の実施形態によれば、第1の実施形態と同様の効果を奏する他、ラベル付与機能142により、健診後に、より精密な検査を受けたことを検知することで、より適切なラベルを医用画像に付与することができる。
(第3の実施形態)
以下、第3の実施形態について説明する。第3の実施形態の情報処理装置は、健診を受けた医療機関が紹介状を発行しているか否かに基づいて特定の検査を受けているか否かを判定する点で、第1の実施形態と相違する。以下、第1の実施形態との相違点を中心に説明し、第1の実施形態と共通する部分については説明を省略する。また、第3の実施形態では、第1の実施形態の情報処理装置100を用いることとする。
図11は、第3の実施形態のラベル付与機能の一連の処理の流れを示すフローチャートである。図11の例では、上述した図5に示す第1の実施形態と比較して、ステップS106の処理に代えて、ステップS120の処理が追加されている点で相違する。したがって、以下では、ステップS120の処理を中心に説明する。
ステップS120の処理において、対象患者の健診データを抽出した場合、ラベル付与機能142は、診察データ151に、健診データに対応付けられた紹介状情報が含まれるか否かを判定する(ステップS120)。紹介状情報が含まれる場合、ラベル付与機能142は、健診者が第一の医療機関または第二の医療機関で特定の検査を受けたと推定し、上述したステップS108以降の処理を実行し、紹介状情報が存在しない場合に、本フローチャートの処理を終了する。
なお、第3の実施形態において、ラベル付与機能142は、紹介状が発行されていることに加えて、紹介状情報の内容に基づいて特定の検査を受けているか否かを判定してもよい。この場合、ラベル付与機能142は、診察データ151に含まれる紹介状情報の内容を認識し、認識された紹介状情報の内容と、健診データの所見情報とに基づいて、特定の検査を受けているか否かを判定してもよい。
図12は、紹介状画像IM1の一例を示す図である。紹介状画像IM1には、例えば、紹介状の発行日が示された第1領域A1と、紹介状の宛先の医療機関名や医師等に関する情報が示された第2領域A2と、紹介状の発行元の医療機関名や担当医師に関する情報が示された第3領域A3と、健診者に関する情報が示された第4領域A4とが含まれる。健診者に関する情報とは、例えば、健診者の個人情報、紹介目的、病名、病状経過、所見等の情報が示されている。
例えば、ラベル付与機能142は、診察データ151に含まれる紹介状情報に紹介状画像IM1が含まれる場合に、OCR(Optical Character Recognition)等による文字認識処理を実行し、第1領域A1~第4領域A4に含まれる文字情報を取得する。取得した文字情報は、診療情報に相当する情報である。
例えば、ラベル付与機能142は、取得機能141により取得した文字情報に基づいて、第4の領域A4に含まれる紹介目的や病名と、健診データの所見情報に含まれる病名とを比較し、関連する病名または身体の部位に関する診察を受けている場合に、特定の検査を受けていると推定する。
また、ラベル付与機能142は、第2領域A2で認識した文字情報に含まれる診療種別(図11に示すBBB科)と、第3領域A3で認識した文字情報に含まれる診療種別(図11に示すEEE科)とが一致または関連する種別である場合に、特定の検査を受けていると推定してもよい。また、ラベル付与機能142は、第1領域A1で認識した文字情報に含まれる日付を、健診データの日付に読み替えてもよい。
以上説明した第3の実施形態によれば、第1の実施形態と同様の効果を奏する他、紹介状が発行されている場合または紹介状の内容に基づいて、特定の検査を受けているもの推定することで、より効率的にラベルを付与することができる。
(第4の実施形態)
以下、第4の実施形態について説明する。第4の実施形態の情報処理装置は、健診データの履歴情報をメモリに記憶して、患者の経過を観察し、観察結果に基づいて教師ありの学習用データを生成または変更する点で、第1の実施形態と相違する。以下、第1の実施形態との相違点を中心に説明し、第1の実施形態と共通する部分については説明を省略する。
図13は、第4の実施形態の情報処理装置100Aの機能の一例を示す図である。なお、情報処理装置100Aは、ネットワークNWを介して複数の医療機関200-1~200-Nと接続されるが、医療機関200-1~200-Nは、上述した第1の実施形態と同様の構成であるため、以下では、その説明を省略する。情報処理装置100Aは、例えば、通信インターフェース110と、入力インターフェース120と、ディスプレイ130と、処理回路140Aと、メモリ150Aとを備える。処理回路140Aは、例えば、取得機能141と、ラベル付与機能142Aと、学習モデル生成機能143と、経過観察機能144とを備える。処理回路140Aは、処理回路140は、例えば、ハードウェアプロセッサがメモリ(記憶回路)150Aに記憶されたプログラムを実行することにより、これらの機能を実現するものである。経過観察機能144は、「経過観察部」の一例である。
メモリ150Aには、例えば、診察データ151、患者統合データ152、診察レベルデータ153、教師あり学習用データ154、学習済みモデル155、履歴情報、およびその他の情報が格納される。
図13の例において、情報処理装置100Aは、処理回路140Aに経過観察機能144を備え、メモリ150Aに履歴情報156を備える点で、図1に示す情報処理装置100と相違する。また、情報処理装置100Aは、ラベル付与機能142に代えてラベル付与機能142Aを備える点、および教師あり学習用データ154に代えて教師あり学習用データ154Aがメモリ150Aに記憶されている点で、図1に示す情報処理装置100と相違する。したがって、以下では、ラベル付与機能142、経過観察機能144、教師あり学習用データ154A、および履歴情報156を中心として説明する。
経過観察機能144は、同一患者の過去の健診データの履歴情報を生成し、生成した履歴情報156をメモリ150Aに記憶させる。また、経過観察機能144は、履歴情報156に基づいて、対象患者の診察の経過を観察する。図14は、第4の実施形態の履歴情報156の内容の一例を示す図である。履歴情報156には、統合IDに過去の所定年数分の健診履歴データが対応付けられている。健診履歴データには、医用画像と、追加検査の有無を出力するモデルを生成する際のラベル(第1のラベルまたは第2のラベル)とが対応付けられている。
ラベル付与機能142Aは、第1の実施形態と同様に、最新の健診データの医用画像にラベルを付与する。経過観察機能144は、ラベル付与機能142Aにより付与された最新の健診データに付与されたラベルと、履歴情報156の含まれる同一患者の過去の健診データに付与されたラベルとに基づいて確度レベルを付与して、教師あり学習用データ154Aを生成する。確度レベルとは、ラベルに対する確からしさを示す指標である。例えば、ラベル付与機能142Aは、過去のラベルと現在のラベルとの一致率に基づいて、確度レベルを付与する。
図15は、第4の実施形態の教師あり学習用データ154Aの内容の一例を示す図である。学習用データ154Aは、医用画像に、ラベルおよび確度レベルが対応付けられている。図15の例において、確度レベルの高さは、「A>B>C」であるものとする。
図15の例において、統合ID「Ua」の医用画像「IMG101」のラベルが「1」であり、履歴情報156の統合ID「Ua」の過去の健診時の医用画像「IMG102」、「IMG103」、および「IMG104」のラベルが何れも「1」である場合、一致率は100%である。この場合、経過観察機能144は、確度レベルに「A」を付与する。
また、図15の例において、例えば、統合ID「Ub」の医用画像「IMG201」のラベルが「2」であり、履歴情報156の統合ID「Ub」の過去の健診時の医用画像「IMG202」、「IMG203」、および「IMG204」のラベルがそれぞれ「2」、「2」、および「1」である場合、一致率は、約66.7%である。この場合、経過観察機能144は、確度レベルに「B」を付与する。
また、図15の例において、例えば、統合ID「Uc」の医用画像「IMG301」のラベルが「1」であり、履歴情報156の統合ID「Ua」の過去の健診時の医用画像「IMG302」、「IMG303」、および「IMG304」のラベルが、それぞれ「2」、「2」、「1」である場合、一致率は約33.3%である。この場合、経過観察機能144は、確度レベルに「C」を付与する。
なお、第4の実施形態では、予め一致率に対応する確度レベルがテーブル等で設定されていてもよい。この場合、ラベル付与機能142Aは、設定したテーブルを用いて一致率に対するラベルを付与する。このように、過去のラベルの付与内容に基づいて、医用画像に付与するラベルの確度を、より正確に把握することができる。
なお、経過観察機能144は、履歴情報156がない場合(すなわち、過去の健診データがない場合)には、予め決められた確度レベル(例えば、レベル「B」)を付与してもよく、確度レベルを付与しないようにしてもよい。
また、経過観察機能144は、上述した履歴情報156に代えて、または加えて、診察データ151の診察結果に含まれる数値データ、或いは紹介状情報の有無等に基づいて確度レベルを付与してもよい。例えば、経過観察機能144は、肺活量の数値データが正常でない場合で、肺に関する医用画像に第1のラベルが付与されている場合に、肺活量の数値データが正常である場合に比して、確度レベルを高くする。また、経過観察機能144は、例えば、紹介状情報がある場合の方が、ない場合よりも確度レベルを高くする。これにより、より正確なラベルの確度を付与することができる。
また、経過観察機能144は、確度レベルが閾値以下である場合に、対象の医用画像を教師ありデータから削除してもよい。例えば、経過観察機能144は、確度レベルC以下のラベルを教師あり学習用データから削除する。確度の高い教師あり学習用データを生成することができる。
また、経過観察機能144は、確度レベルが閾値以下である場合に、履歴情報156に含まれる過去の健診履歴データに対応する医用画像を、教師あり学習用データ154Aから削除してもよい。このように、過去の医用画像も含めて削除することで、学習モデル生成機能143において、より正確な学習済みモデルを生成することができる。
図16は、第4の実施形態のラベル付与機能および経過観察機能を含む一連の処理の流れを示すフローチャートである。図16の例では、上述した図5に示す第1の実施形態と比較して、ステップS116の処理の前に、ステップS130~S134の処理が追加されている点で相違する。したがって、以下では、ステップS130~S134の処理を中心に説明する。
ステップS130の処理において、ラベル付与機能142Aにより第1のラベルまたは第2のラベルを付与された後、経過観察機能144は、履歴情報156を参照し、対象患者の過去の医用画像に対するラベルを取得する(ステップS130)。次に、経過観察機能144は、ステップS112またはステップS114の処理により付与した第1のラベルまたは第2のラベルと、過去の医用画像に対するラベルとに基づいて、付与したラベルに対する確度レベルを付与する(ステップS132)。次に、経過観察機能144は、確度レベルが閾値伊賀の教師あり学習用データを削除し(ステップS134)、ステップS116の処理を実行する。また、ステップS104の処理において、対象患者の健診データを抽出していない場合、またはステップS106の処理において、特定の検査を受けていない場合に、ステップS116の処理を実行する。
以上説明した第4の実施形態によれば、第1の実施形態と同様の効果を奏する他、履歴情報に基づいて、医用画像に付与した確度レベルに基づいて、より正確なラベルを付与することができる。また、確度レベルが閾値以下の医用画像を教師あり学習用データから削除することで、より適切な学習済みモデルを生成することができる。
なお、上述した第1~第4の実施形態は、他の実施形態の一部または全部を組み合わせてもよい。
上記説明したいずれかの実施形態は、以下のように表現することができる。
プログラムを格納するストレージと、
プロセッサと、を備え、
前記プロセッサは、前記プログラムを実行することにより、
第一の医療機関から複数の健診者ごとの医用画像を含む健診データを取得し、
前記健診データに対応付けられた日付から基準期間以内に、前記複数の健診者に含まれる健診者が前記第一の医療機関または前記第一の医療機関とは異なる第二の医療機関で特定の検査を受けたことが検知され、または推定された場合に、前記健診者に係る医用画像に第1のラベルを付与し、
前記第1のラベルは、医用画像に基づいて追加検査の有無を出力するモデルを生成する際の正例として用いられるものである、
ように構成されている、情報処理装置。
以上説明した少なくともひとつの実施形態によれば、情報処理装置100において、第一の医療機関から複数の健診者ごとの医用画像を含む健診データを取得する取得機能141と、健診データに対応付けられた日付から基準期間以内に、複数の健診者に含まれる健診者が第一の医療機関または前記第一の医療機関とは異なる第二の医療機関で特定の検査を受けたことが検知され、または推定された場合に、前記健診者に係る医用画像に第1のラベルを付与するラベル付与機能142とを備え、前記第1のラベルは、医用画像に基づいて追加検査の有無を出力するモデルを生成する際の正例として用いられるものであることにより、医用画像に対する教師ありの学習用データを効率的に取得することができる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。