(実施の形態1)
以下、本発明の一実施の形態に係る診療記録要約情報生成システムについて図面を参照して詳細に説明する。本実施の形態に係る診療記録要約情報生成システムは、診療記録情報および要約情報を記憶する診療記録要約記憶部と、ニューラルネットワーク記憶部と、を備える。ニューラルネットワーク記憶部は、前記診療記録情報が示す診療記録文章を構成する要素の分散表現から前記診療記録文章の要約文章を構成する要素の分散表現を特定するための第1ニューラルネットワークの第1ニューラルネットワーク係数を記憶する。ここで、「要素」は、文字、形態素、単語、サブワード、句、文節、節、文に代表される文字列またはそれらの組み合わせに相当する。また、「分散表現」とは、前述の要素を例えば200次元程度の次元のベクトルで表現したもの、或いは、前述の要素を高次元のベクトルで表現した後、ベクトル同士の距離に関する情報を維持したまま次元を圧縮する手法により次元圧縮されたベクトルを表す。また、診療記録要約情報生成システムは、要素特定部と、復元部と、修正受付部と、を備える。ここで、要素特定部は、診療記録記憶部が記憶する過去の診療記録情報それぞれが示す診療記録文章を構成する要素の分散表現と、過去の診療記録情報それぞれに対応する要約文章を構成する要素の分散表現と、を用いて、係数決定部により第1ニューラルネットワーク係数が決定された第1ニューラルネットワークを用いて、要約文章を構成する要素を特定する。また、復元部は、要素特定部により特定された要素の分散表現を要約文章に復元する。修正受付部は、要約文章に対するユーザによる修正内容を受け付ける修正受付部と、を備える。そして、係数決定部は、修正受付部が前記修正内容を受け付けると、受け付けた修正内容に基づいて修正された後の要約文章を構成する要素の分散表現を用いて、第1ニューラルネットワーク係数を決定する。
本実施の形態に係る診療記録要約情報生成システムは、例えば図1に示すように、診療記録要約情報生成装置1と、診療記録要約情報生成装置1にネットワークNWを介して接続された端末装置2と、を備える。端末装置2は、医療機関、福祉施設等に設置され、医師、その他医療従事者等のユーザにより使用される。
端末装置2は、例えば図2に示すように、CPU(Central Processing Unit)21と主記憶部22と補助記憶部23と入力部24と表示部25と通信部26と各部を接続するバス29とを備える。主記憶部12は、RAM(Random Access Memory)のような揮発性メモリから構成され、CPU21の作業領域として使用される。補助記憶部23は、磁気ディスク、半導体メモリ等の不揮発性メモリから構成され、端末装置2の各種機能を実現するためのプログラムを記憶する。入力部24は、キーボード、タッチパッド等の入力装置であり、ユーザが入力する各種操作情報を受け付けて、受け付けた操作情報をCPU21へ出力する。表示部25は、例えば液晶ディスプレイであり、CPU21から入力された各種情報を表示する。通信部26は、モデムとゲートウェイとを有し、ネットワークNWを介して端末装置2と通信する。
端末装置2では、CPU21が、補助記憶部23が記憶するプログラムを主記憶部22に読み込んで実行することにより、図3に示すように、診療記録要約受付部211、診療記録要約送信部212、提示情報受信部213、表示制御部214、修正受付部215、修正情報送信部216、画像取得部217および画像送信部218として機能する。また、図2に示す補助記憶部23は、図3に示すように、診療記録要約記憶部231と、画像記憶部232と、提示情報記憶部233と、を有する。診療記録要約記憶部231は、診療記録要約受付部211が受け付けた診療記録文章を示す診療記録情報と要約文章を示す要約情報とを記憶する。画像記憶部232は、画像取得部217が取得した診療記録情報に関連する画像情報を記憶する。提示情報記憶部233は、提示情報受信部213が診療記録要約情報生成装置1から受信した提示情報を記憶する。
診療記録要約受付部211は、ユーザが入力部24を介して患者の診療記録文章を入力すると、入力された診療記録文章を示す診療記録情報を受け付ける診療記録受付部として機能する。診療記録要約受付部211は、受け付けた診療記録情報を診療記録要約記憶部231に記憶させる。また、診療記録要約受付部211は、ユーザが入力部24を介して患者の診療記録文章とそれに対応する要約文章を入力すると、入力された診療記録文章を示す診療記録情報と入力された要約文章を示す要約情報とを受け付ける。診療記録要約送信部212は、診療記録要約記憶部231が記憶する診療記録情報または診療記録情報および要約情報を、通信部26(図2参照)を介して診療記録要約情報生成装置1へ送信する。
画像取得部217は、ユーザが入力部24を介して診療記録情報に関連する画像情報をMRI装置、超音波診断装置等の撮像機器から取得するための操作を行うと、撮像機器から診療記録情報に関連する画像情報を取得する。画像取得部217は、取得した画像情報を画像記憶部232に記憶させる。画像送信部218は、画像記憶部232が記憶する画像情報を、通信部26(図2参照)を介して診療記録情報と共に診療記録要約情報生成装置1へ送信する。
提示情報受信部213は、診療記録要約情報生成装置1から送信される提示情報を受信すると、受信した提示情報を提示情報記憶部233に記憶させる。ここで、提示情報には、診療記録要約情報生成装置1において生成された要約情報と、診療記録要約情報生成装置1において特定された要約情報に関連する画像情報と、を含んでいる。表示制御部214は、提示情報記憶部233が記憶する提示情報を表示部25に表示させる。
要約履歴要求部219は、表示部25に要約文章の履歴を表すストーリーラインを表示させるための操作を受け付けると、診療記録要約情報生成装置1に過去の予め設定された表示対象期間中における要約の履歴を要求する要約履歴要求情報を診療記録要約情報生成装置1へ送信する。この場合、提示情報受信部213は、診療記録要約情報生成装置1から表示対象期間における全ての要約文章の要素を含む提示情報を受信する。
診療記録要約情報生成装置1は、例えば図2に示すように、CPU11と主記憶部12と補助記憶部13と通信部16と各部を接続するバス19とを備える。主記憶部12は、揮発性メモリから構成され、補助記憶部13は、不揮発性メモリから構成され、診療記録要約情報生成装置1の各種機能を実現するためのプログラムを記憶する。通信部16は、モデムとゲートウェイとを有し、ネットワークNWを介して端末装置2と通信する。
診療記録要約情報生成装置1では、CPU11が、補助記憶部13が記憶するプログラムを主記憶部12に読み込んで実行することにより、図3に示すように、診療記録要約受信部111、分散表現変換部112、係数決定部113、要素特定部114、復元部115、提示情報生成部116、修正受信部117、画像受信部118および画像特定部119として機能する。また、補助記憶部13は、診療記録要約記憶部131と、分散表現記憶部132と、ニューラルネットワーク記憶部(以下、「NN記憶部」と称する。)133と、画像記憶部134と、分散表現モデル記憶部135と、を有する。診療記録要約記憶部131は、例えば図4に示すように、患者毎に、過去の診療記録文章を示す診療記録情報とそれに対応する要約文章を示す要約情報とを時系列で記憶する。ここで、診療記録要約記憶部131は、診療記録情報を、その診療記録情報を識別する診療記録識別情報および診療日情報と対応づけて記憶する。また、一の患者についての少なくとも1つの診療記録情報の群には、その一の患者を識別する患者識別情報に対応づけられている。また、診療記録要約記憶部131は、要約情報を、その要約情報に対応する診療記録情報についての診療記録識別情報および診療日情報と対応づけて記憶する。また、一の患者についての少なくとも1つの要約情報の群には、その一の患者を識別する患者識別情報に対応づけられている。分散表現記憶部132は、診療記録情報を構成する各要素から分散表現変換部112により変換されてなる分散表現を示す情報を記憶する。また、分散表現記憶部132は、診療記録情報を構成する要素それぞれの重要度を示す数値情報を分散表現と対応づけて記憶する。
図3に戻って、NN記憶部133は、要素特定部114が用いる予め定められたノード数および層数を有するニューラルネットワークに関する情報を記憶する。具体的には、NN記憶部133は、ニューラルネットワークのノード数、層数、各ノードに対応する重み係数および活性化関数それぞれを示す情報を記憶する。このニューラルネットワークは、診療記録情報が示す診療記録文章を構成する要素の分散表現から診療記録文章の要約文章を構成する要素それぞれの重要度を算出するための第1ニューラルネットワークである。ニューラルネットワークは、図5(A)に示すように入力層LY1、隠れ層LY2および出力層LY3を有する。入力層LY1は、診療記録情報を構成する要素の分散表現を、隠れ層LY2へ入力する。隠れ層LY2は、予め設定された数M[j]のノードx[j,i](1≦i≦M[j]、M[j]は正の整数)を含むN(Nは正の整数)個の層から構成されている。そして、隠れ層LY2は、各ノード列同士が繋がれた構造を有する。ここで、各ノードx[j,i]の出力y[j,i]は、下記式(1)の関係式で表される。
ここで、W[j,i,k]は、重み係数を示し、f(*)は、活性化関数を示す。少なくともこの重み係数W[j,i,k]は、前述のニューラルネットワークの構造を決める第1ニューラルネットワーク係数に相当する。また、活性化関数としては、シグモイド関数、ランプ関数、ステップ関数、ソフトマックス関数等の非線形関数が用いられる。隠れ層LY2は、ノードに入力される情報が前の層の各ノードの出力にそれぞれに重み係数を乗じたものの総和となっている。そして、総和を引数とする活性化関数の出力が次の層へ伝達される。出力層LY3は、隠れ層LY2の最終層からの出力y[j,i]を、診療記録文章を構成する要素それぞれの重要度を出力する。また、NN記憶部133は、前述の重み係数W[j,i,k]の初期値を示す初期重み係数情報を記憶する。
図3に戻って、画像記憶部134は、例えば図5(B)に示すように、患者毎に、過去の診療記録情報に関連する画像情報を時系列で記憶する。ここで、画像記憶部134は、画像情報を、その画像情報に関連する診療記録情報の診療記録識別情報に対応づけて記憶する。また、一の患者についての少なくとも1つの画像情報の群には、その一の患者を識別する患者識別情報に対応づけられている。
図3に戻って、分散表現モデル記憶部135は、例えば分散表現変換部112が診療記録文章或いは要約文章を構成する要素を分散表現へ変換する際に用いる分散表現変換モデルを示す情報を記憶している。ここで、分散表現変換モデルとしては、例えば単語と分散表現ベクトルとを対応づけた対応表に相当するモデルを採用することができる。なお、分散表現モデルとしては、単語と、病変部位、病気名、検査名等との組み合わせと、分散表現ベクトルまたは分散ベクトルとを対応づけるものであってもよい。或いは、分散表現モデルとして、病変部位、病気名、検査名等を識別する識別情報が付与された分散表現ベクトルを出力するものであってもよい。
診療記録要約受信部111は、端末装置2から送信された診療記録情報を受信し、受信した診療記録情報を診療記録要約記憶部131に記憶させる。また、診療記録要約受信部111は、端末装置2から診療記録情報を受信すると、受信した診療記録情報を識別する診療記録識別情報を復元部115へ出力する。
分散表現変換部112は、分散表現モデル記憶部135が記憶する分散表現変換モデルを用いて、診療記録文章または要約文章を構成する要素を分散表現に変換する。分散表現変換部112は、診療記録文章または要約文章を構成する要素から得られた分散表現を示す情報を分散表現記憶部132に記憶させる。
係数決定部113は、予め設定された重み係数決定時期が到来する毎に、過去の診療記録情報が示す診療記録文章を構成する要素の分散表現から診療記録文章を構成する要素それぞれの重要度を求めるためのニューラルネットワークの重み係数を決定する。重み係数決定時期は、例えば1日、1週間、1ヶ月毎の決まった時刻に設定されていてもよい。係数決定部113は、まず、NN記憶部133から初期の重み係数を示す初期重み係数情報を取得し、取得した初期重み係数に設定されたニューラルネットワークを用いて、過去の診療記録情報が示す診療記録文章を構成する要素それぞれの分散表現から診療記録文章を構成する要素それぞれの重要度を算出する。続いて、係数決定部113は、過去の診療記録情報それぞれに対応する要約情報が示す要約文章を構成する要素それぞれの重要度を算出する。ここで、係数決定部113は、ニューラルネットワークを用いて、過去の診療記録を構成する全ての要素それぞれ分散表現から全ての要素それぞれの重要度を一括して算出してもよい。或いは、係数決定部113は、ニューラルネットワークを用いて、診療記録文章を構成する要素のうちの1つの要素の分散表現から、要約文章においてその1つの要素の次に採用される要素としての診療記録文章を構成する要素それぞれの重要度を算出してもよい。具体的には、係数決定部113は、まず、ニューラルネットワークを用いて、診療記録文章を構成する要素のうちの冒頭の要素の分散表現から診療記録文章を構成する要素それぞれの重要度を算出する。次に、係数決定部113は、ニューラルネットワークを用いて、算出された重要度のうち最も重要度の大きい要素或いは前述の基準重要度よりも大きい重要度の要素の分散表現から診療記録文章を構成する要素それぞれの重要度を算出する。そして、係数決定部113は、診療記録文章を構成する要素についてこれらの処理を順に繰り返すことにより、診療記録文章を構成する要素それぞれの重要度を算出する。
その後、係数決定部113は、過去の要約文章を構成する要素と、その要約文章に対応する診療記録文章を構成する要素と、を比較して、過去の要約文章を構成する要素それぞれの重要度を設定する。ここで、係数決定部113は、例えば、過去の診療記録を構成する要素のうち、要約文章を構成する要素に含まれる重要度を前述の基準重要度よりも大きい重要度に設定し、それ以外の重要度を基準重要度よりも小さい重要度に設定する。或いは、係数決定部113が、要約文章における要素の並び順を考慮して各要素の重要度を設定するものであってもよい。具体的には、係数決定部113は、まず、要約文章の冒頭の要素の重要度を他の診療記録文章を構成する要素の重要度よりも大きい重要度、或いは、要約文章の冒頭の要素の重要度を基準重要度よりも大きい重要度に設定し、他の要素の重要度を基準重要度によりも小さい重要度に設定する。次に、係数決定部113は、要約文章において重要度を設定した1つの要素の次に採用される要素としての診療記録文章を構成する要素それぞれの重要度を設定する。そして、係数決定部113は、これらの処理を繰り返すことにより、診療記録文章を構成する要素それぞれの重要度を設定していく。次に、係数決定部113は、算出された診療記録文章を構成する要素それぞれの重要度と、過去の診療記録文章を構成する要素それぞれの重要度と、の誤差を算出する。そして、係数決定部113は、算出した誤差に基づいて、誤差逆伝播法(バックプロパゲーション)により前述のニューラルネットワークの重み係数を決定する。ここで、係数決定部113は、例えばオートエンコーダを用いて重み係数を決定する。そして、係数決定部113は、決定した重み係数を示す重み係数情報をNN記憶部133に記憶させる。なお、係数決定部113は、前述のニューラルネットワークの重み係数のみならず、要素と分散表現との対応関係を更新する機能を有するものであってもよい。
要素特定部114は、NN記憶部133が記憶する係数決定部113により決定された重み係数を、前述のニューラルネットワークの重み係数に設定する。次に、要素特定部114は、係数決定部113が決定した重み係数に設定された前述のニューラルネットワークを用いて、直近に受信した診療記録情報の診療記録文章を構成する要素の分散表現から、受信した診療記録情報を構成する要素の一部または全ての重要度を求める。要素特定部114は、算出した重要度を示す数値情報を分散表現記憶部132に記憶させる。また、要素特定部114は、診療記録要約情報生成装置1から前述の要約履歴要求情報を受信すると、分散表現記憶部132が記憶する分散表現を示す情報の中から、受信した要約履歴要求情報に対応する表示対象期間中における診療記録文章を構成する要素それぞれの重要度を示す数値情報を特定する。そして、要素特定部114は、特定した診療記録文章を構成する要素それぞれの重要度を示す数値情報を復元部115へ通知する。
復元部115は、要素特定部114が算出した診療記録情報を構成する要素の一部または全ての重要度に基づいて要約情報に採用する要素の分散表現を特定する。ここで、復元部115は、診療記録文章を構成する一部の要素または全部の要素の重要度が予め設定された基準重要度以上の要素の分散表現を特定する。そして、復元部115は、分散表現モデル記憶部135が記憶する分散表現モデルを用いて、要素特定部114により特定された分散表現を対応する要素に復元し、提示情報生成部116へ出力する。また、復元部115は、出力した要素により構成される要約文章に対応する診療記録情報を識別する診療記録識別情報を画像特定部119へ出力する。
画像受信部118は、端末装置2から送信される画像情報を取得し、取得した画像情報を画像記憶部134に記憶させる。画像特定部119は、復元部115から入力される診療記録識別情報に対応する画像情報を特定する。提示情報生成部116は、復元部115から入力される要素を示す情報と、画像特定部119により特定された画像情報と、を含む、ユーザに提示する提示情報を生成する。そして、提示情報生成部116は、生成した提示情報を端末装置2へ送信する。
修正受信部117は、端末装置2から送信される修正情報を受信する。修正受信部117は、修正情報に含まれる修正後の要約文章を構成する要素を診療記録要約記憶部131に記憶させる。
次に、本実施の形態に係る診療記録要約情報生成システムの基本的な動作について図6および図7を参照しながら説明する。まず、図6に示すように、ユーザが端末装置2の入力部24を介して診療記録情報を入力するとともに診療記録情報に関連する画像情報を撮像機器から取得する操作を行った上で、入力した診療記録情報に対応する要約情報を取得するための操作を行ったとする。この場合、端末装置2は、診療記録情報を受け付けるとともに(ステップS1)、撮像機器から画像情報を取得する(ステップS2)。次に、端末装置2において受け付けた診療記録情報、画像情報とともに、診療記録要約情報生成装置1に対して要約情報の送信を要求する要約要求情報が、端末装置2から診療記録要約情報生成装置1へ送信される(ステップS3)。
一方、診療記録要約情報生成装置1は、診療記録情報および画像情報を受信すると、受信した診療記録情報および画像情報をそれぞれ診療記録要約記憶部131、画像記憶部134に記憶させる(ステップS4)。続いて、診療記録要約情報生成装置1は、受信した診療記録情報が示す診療記録文章を構成する要素を分散表現へ変換する分散表現変換処理を実行する(ステップS5)。ここで、診療記録要約情報生成装置1は、分散表現モデル記憶部135が記憶する分散表現モデルを示す情報を用いて、診療記録文章を構成する要素を分散表現に変換する。その後、診療記録要約情報生成装置1は、前述のニューラルネットワークを用いて、受信した診療記録情報を構成する要素それぞれの重要度を算出する(ステップS6)。このとき、診療記録要約情報生成装置1は、算出した重要度を示す数値情報を分散表現記憶部132に記憶させる。
次に、診療記録要約情報生成装置1は、算出した診療記録情報を構成する要素の一部または全ての重要度に基づいて要約情報に採用する要素の分散表現を特定し、特定した分散表現を要素に復元することにより要約情報を生成する(ステップS7)。続いて、診療記録要約情報生成装置1は、画像記憶部134が記憶する画像情報の中から要約情報に対応する診療記録情報に関連する画像情報を取得する(ステップS8)。その後、生成された要約情報とその要約情報に対応する診療記録情報に関連する画像情報とを含む提示情報が、診療記録要約情報生成装置1から端末装置2へ送信される(ステップS9)。
一方、端末装置2は、提示情報を受信すると、受信した提示情報を表示部25に表示させる(ステップS10)。ここで、端末装置2は、例えば図7(A)に示すような、提示情報に含まれる要約情報が表示される領域A1と、提示情報に含まれる画像情報が表示される領域A2と、を含む画像GA1を表示部25に表示させる。なお、画像GA1には、過去の要約文章の履歴を表示させるための「ストーリーライン表示」釦画像が含まれている。また、ユーザが端末装置2の入力部24を介して診療記録情報を入力するとともに診療記録情報に関連する画像情報を撮像機器から取得する操作を行った上で、入力した診療記録情報に対応する要約情報を取得するための操作を行う毎に、前述のステップS1からS10までの一連の処理が実行される。
ここで、ユーザが端末装置2の表示部25に表示された画像GA1を参照しながら、入力部24を介してストーリーラインを表示するための操作、即ち、「ストーリーライン表示」釦を選択する操作を行ったとする。この場合、図6に示すように、端末装置2は、ストーリーライン表示操作、即ち、表示部25に要約文章の履歴を表すストーリーラインを表示させるための操作を受け付ける(ステップS11)。この場合、前述の過去の予め設定された表示対象期間中における要約の履歴を要求する要約履歴要求情報が、端末装置2から診療記録要約情報生成装置1へ送信される(ステップS12)。
一方、診療記録要約情報生成装置1は、要約履歴要求情報を受信すると、分散表現記憶部132が記憶する診療記録文章を構成する要素それぞれの重要度の中から、対応する表示対象期間内における診療記録文章を構成する要素それぞれの重要度を特定し、特定した重要度に基づいて生成した要約情報を含む提示情報を生成する(ステップS13)。次に、生成された提示情報が、診療記録要約情報生成装置1から端末装置2へ送信される(ステップS14)。一方、端末装置2は、提示情報を受信すると、受信した提示情報に基づいて過去の要約文章を時系列で表示するストーリーラインを表示部25に表示させる(ステップS15)。ここで、端末装置2は、例えば図7(B)に示すような過去の要約文章を時系列で表示する画像GA2を表示部25に表示させる。
図6に戻って、次に、ユーザが端末装置2の表示部25に表示された画像25aを参照しながら、入力部24を介して要約文章を修正するための操作を行ったとする。この場合、端末装置2は、要約情報の修正内容を受け付ける(ステップS16)。続いて、修正内容を示す修正情報が、端末装置2から診療記録要約情報生成装置1へ送信される(ステップS17)。一方、診療記録要約情報生成装置1は、修正情報に基づいて、診療記録要約記憶部131が記憶する要約情報を更新する(ステップS18)。
次に、本実施の形態に係る診療記録要約情報生成装置1が実行する診療記録要約情報生成処理について図8から図10を参照しながら説明する。この診療記録要約情報生成処理は、ユーザが診療記録要約情報生成装置1へ電源を投入した後、入力部14を介して診療記録要約情報生成処理を実行するための操作を行ったことを契機として開始される。
なお、この診療記録要約情報生成処理は、ストーリーライン提示用の提示情報を生成するストーリーライン用提示情報生成処理と並行して実行される。ストーリーライン提示用提示情報生成処理では、要素特定部114が、端末装置2から要約履歴要求情報を受信すると、分散表現記憶部132が記憶する診療記録文章を構成する要素の重要度の中から、対応する表示対象期間内における診療記録文章を構成する要素の重要度を特定する。次に、復元部115が、要素特定部114が特定した診療記録文章を構成する要素の重要度に基づいて、表示対象期間内における少なくとも1つの要約文章を示す要約情報を生成する。そして、提示情報生成部116が、生成された少なくとも1つの要約情報を含む提示情報を生成して端末装置2へ送信する。
まず、係数決定部113は、予め設定された重み係数決定時期が到来したか否かを判定する(ステップS101)。係数決定部113により重み係数決定時期が到来していないと判定されると(ステップS101:No)、後述するステップS105の処理が実行される。一方、係数決定部113は、重み係数決定時期が到来したと判定すると(ステップS101:Yes)、過去の診療記録情報とそれに対応する要約情報を診療記録要約記憶部131から取得する(ステップS102)。
次に、分散表現変換部112は、診療記録情報および要約情報について分散表現変換処理を実行する(ステップS103)。この分散表現変換処理では、まず、図9に示すように、分散表現変換部112は、診療記録情報が示す診療記録文章および要約情報が示す要約文章からそれらを構成する要素を抽出する(ステップS201)。ここで、分散表現変換部112は、例えば、診療記録文章または要約文章について、それらを構成する要素を抽出する。次に、分散表現変換部112は、分散表現モデル記憶部135が記憶する分散表現モデルを示す情報を用いて、抽出された要素それぞれを分散表現に変換する(ステップS202)。ここで、分散表現変換部112は、診療記録文章を構成する要素の分散表現を示す情報と、要約文章を構成する要素の分散表現を示す情報と、を互いに対応づけて分散表現記憶部132に記憶させる。
図8に戻って、続いて、係数決定部113は、分散表現変換部112により得られる過去の診療記録情報が示す診療記録文章を構成する要素および要約情報が示す要約文章を構成する要素の分散表現を示す情報を用いて、重み係数決定処理を実行する(ステップS104)。
この重み係数決定処理では、図10に示すように、まず、係数決定部113は、分散表現記憶部132から、診療記録文章を構成する要素の分散表現を示す情報と、要約文章を構成する要素の分散表現を示す情報と、を取得する(ステップS301)。次に、係数決定部113は、NN記憶部133から初期重み係数情報を取得し、取得した初期重み係数情報が示す重み係数を、前述のニューラルネットワークの重み係数に設定する(ステップS302)。
続いて、係数決定部113は、初期重み係数情報が示す重み係数に設定された前述のニューラルネットワークを用いて、診療記録文章を構成する要素の分散表現から、診療記録文章を構成する要素それぞれの重要度を算出する(ステップS303)。ここで、係数決定部113は、ニューラルネットワークを用いて、過去の診療記録を構成する全ての要素それぞれ分散表現から全ての要素それぞれの重要度を一括して算出してもよい。或いは、係数決定部113は、ニューラルネットワークを用いて、診療記録文章を構成する要素のうちの1つの要素の分散表現から、要約文章においてその1つの要素の次に採用される要素としての診療記録文章を構成する要素それぞれの重要度を算出してもよい。具体的には、係数決定部113は、まず、ニューラルネットワークを用いて、診療記録文章を構成する要素のうちの冒頭の要素の分散表現から診療記録文章を構成する要素それぞれの重要度を算出する。次に、係数決定部113は、ニューラルネットワークを用いて、算出された重要度のうち最も大きい重要度の要素或いは前述の基準重要度よりも大きい重要度の要素の分散表現から診療記録文章を構成する要素それぞれの重要度を算出する。そして、係数決定部113は、診療記録文章を構成する要素についてこれらの処理を順に繰り返すことにより、診療記録文章を構成する要素それぞれの重要度を算出する。
その後、係数決定部113は、過去の要約文章を構成する要素と、その要約文章に対応する診療記録文章を構成する要素と、を比較して、過去の要約文章を構成する要素それぞれの重要度を設定する(ステップS304)。ここで、係数決定部113は、例えば、過去の診療記録を構成する要素のうち、要約文章を構成する要素に含まれる重要度を前述の基準重要度よりも大きい重要度に設定し、それ以外の重要度を基準重要度よりも小さい重要度に設定する。或いは、係数決定部113が、要約文章における要素の並び順を考慮して各要素の重要度を設定するものであってもよい。具体的には、係数決定部113は、まず、要約文章の冒頭の要素の重要度を他の診療記録文章を構成する要素の重要度よりも大きい重要度、或いは、要約文章の冒頭の要素の重要度を基準重要度よりも大きい重要度に設定し、他の要素の重要度を基準重要度によりも小さい重要度に設定する。次に、係数決定部113は、要約文章において重要度を設定した1つの要素の次に採用される要素としての診療記録文章を構成する要素それぞれの重要度を設定する。そして、係数決定部113は、これらの処理を繰り返すことにより、診療記録文章を構成する要素それぞれの重要度を設定していく。
次に、係数決定部113は、算出された診療記録文章を構成する要素それぞれの重要度と、過去の診療記録文章を構成する要素それぞれの重要度と、の誤差を算出する(ステップS305)。次に、係数決定部113は、算出された誤差に基づいて、誤差逆伝播法(バックプロパゲーション)により前述のニューラルネットワークの重み係数を新たに決定する(ステップS306)。そして、係数決定部113は、決定した重み係数を示す重み係数情報をNN記憶部133に記憶させる(ステップS307)。
図8に戻って、その後、診療記録要約受信部111は、新たな診療記録情報を受信したか否かを判定する(ステップS105)。診療記録要約受信部111により新たな診療記録情報を受信していないと判定されると(ステップS105:No)、再びステップS101の処理が実行される。一方、診療記録要約受信部111は、新たな診療記録情報を受信したと判定すると(ステップS105:Yes)、受信した診療記録情報を診療記録要約記憶部131に記憶させる(ステップS106)。次に、画像受信部118は、新たな画像情報を受信したか否かを判定する(ステップS107)。画像受信部118により新たな画像情報を受信していないと判定されると(ステップS107:No)、そのまま後述のステップS109の処理が実行される。一方、画像受信部118は、新たな画像情報を受信したと判定すると(ステップS107:Yes)、受信した画像情報を対応する診療記録情報の診療記録識別情報に対応づけて画像記憶部134に記憶させる(ステップS108)。
続いて、分散表現変換部112は、受信した新たな診療記録情報について分散表現変換処理を実行する(ステップS109)。その後、要素特定部114が、前述のニューラルネットワークを用いて、新たな診療記録情報を構成する要素の分散表現から新たな診療記録情報が示す診療記録文章を構成する要素それぞれの重要度を算出する(ステップS110)。次に、復元部115は、要素特定部114が算出した診療記録文章を構成する要素それぞれの重要度に基づいて要約情報を生成する(ステップS111)。ここで、復元部115は、要約文章を正規化する処理を実行してもよい。ここで、「正規化」とは、例えばコーパスを用いて、要約文章を標準的な表現に揃える処理を意味する。復元部115は、生成した要約情報を、対応する診療記録情報に対応づけて診療記録要約記憶部131に記憶させる。その後、画像特定部119は、画像記憶部134が記憶する画像情報の中に、新たな診療記録情報に関連する画像情報が有るか否かを判定する(ステップS112)。画像特定部119により新たな診療記録情報に関連する画像情報が無いと判定されると(ステップS112:No)、提示情報生成部116が、復元部115により生成された要約情報を用いて提示情報を生成し、生成した提示情報を端末装置2へ送信する(ステップS115)。次に、後述するステップS116の処理が実行される。
一方、画像特定部119は、新たな診療記録情報に関連する画像情報が有ると判定されると(ステップS112:Yes)、その画像情報を特定する(ステップS113)。続いて、提示情報生成部116が、復元部115により生成された要約情報と、画像特定部119により特定された画像情報と、から提示情報を生成し、生成した提示情報を端末装置2へ送信する(ステップS114)。
その後、修正受信部117は、端末装置2から送信される修正情報を受信したか否かを判定する(ステップS116)。修正受信部117により修正情報を受信していないと判定されると(ステップS116:No)、再びステップS101の処理が実行される。一方、修正受信部117は、修正情報を受信したと判定すると(ステップS116:Yes)、修正情報を要素特定部114へ通知する。そして、修正受信部117は、診療記録要約記憶部131が記憶する修正情報に対応する要約情報を、修正情報に基づいて修正された後の要約情報に更新する(ステップS117)。次に、再びステップS101の処理が実行される。
以上説明したように、本実施の形態に係る診療記録要約情報生成システムによれば、係数決定部113が、過去の診療記録情報それぞれが示す診療記録文章を構成する要素の分散表現と、過去の診療記録情報それぞれに対応する要約情報が示す要約文章を構成する要素の分散表現と、を用いて、ニューラルネットワークの重み係数を決定する。そして、要素特定部114が、診療記録要約受信部111が受信した新たな診療記録情報が示す診療記録文章を構成する要素の分散表現から、係数決定部113により重み係数が決定されたニューラルネットワークを用いて、要約文章を構成する要素の分散表現を特定する。また、係数決定部113は、修正受付部に受け付けた修正内容に基づいて修正された修正後の要約文章を構成する要素の分散表現を用いて、重み係数を更新する。これにより、ニューラルネットワークの重み係数がユーザの経験に基づいてより適切な情報へと更新されていくので、特定される要約情報を構成する要素の妥当性が向上するという利点がある。つまり、診療記録情報から適切な要約情報を生成することができる。
(実施の形態2)
本実施の形態に係る診療記録要約情報生成システムは、診療記録情報および要約情報を記憶する診療記録要約記憶部と、ニューラルネットワーク記憶部と、重要度記憶部と、を備える。ここで、ニューラルネットワーク記憶部は、診療記録情報が示す診療記録文章を構成する要素の分散表現から、診断書、疫例報告等の診療記録文章とは異なる予め設定されたフォーマットに則ったマッピング項目に記入される文章を構成するマッピング項目要素としての第1重要度を特定するための第3ニューラルネットワークの第3ニューラルネットワーク係数を記憶する。重要度記憶部は、診療記録文章に対応するマッピング項目情報を構成する要素の中から抽出されたマッピング項目要素と診療記録文章に対応する要約文章とに基づいて生成された、要約文章を構成する要素としての各マッピング項目要素の第2重要度を示す重要度情報を記憶する。ここで、第2重要度は、複数のマッピング項目要素の組合せに対しても決まり得るものである。また、この診療記録要約情報生成システムは、係数決定部と、新たな診療記録情報を受け付ける診療記録受付部と、採用要素推定部と、要約生成部と、修正受付部と、を備える。係数決定部は、診療記録記憶部が記憶する過去の診療記録情報それぞれが示す診療記録文章を構成する要素の分散表現と、過去の診療記録情報それぞれに対応するマッピング項目要素の第1重要度と、を用いて、第3ニューラルネットワーク係数を決定する。採用要素推定部は、診療記録受付部が受け付けた新たな診療記録情報が示す診療記録文章に対応するマッピング項目要素とそれらの第2重要度を示す重要度情報とに基づいて、要約文章を構成する要素を推定する。要約生成部は、採用要素推定部により推定された要素を用いて要約文章を生成する。修正受付部は、要約文章に対するユーザによる修正内容を受け付ける。そして、採用要素推定部は、修正受付部が受け付けた修正内容に沿った修正の後の要約文章と、マッピング項目要素と、に基づいて、新たな第2重要度を示す重要度情報を生成し、生成した新たな重要度情報で重要度記憶部が記憶する重要度情報を更新する。
本実施の形態に係る診療記録要約情報生成システムの構成は、実施の形態1に示す構成と同様である。また、本実施の形態に係る診療記録要約情報生成システムのハードウェア構成も、実施の形態1に係る診療記録要約情報生成システムと同様である。なお、本実施の形態に係る診療記録要約情報生成システムのハードウェア構成の説明では、適宜図2に示す実施の形態1の説明で用いた符号を用いて説明する。
端末装置2002では、CPU21が、補助記憶部23が記憶するプログラムを主記憶部22に読み込んで実行することにより、図11に示すように、診療記録要約受付部211、診療記録要約送信部212、提示情報受信部213、表示制御部214、修正受付部215、修正情報送信部216およびマッピング項目情報取得部2220として機能する。なお、図11において、実施の形態1に係る構成と同様の構成については図3と同一の符号を付している。また、補助記憶部23は、診療記録要約記憶部231と、提示情報記憶部233と、を有する。
マッピング項目情報取得部2220は、ユーザが入力部24を介して診療記録要約情報生成装置1に対してマッピング項目情報の送信を要求するための操作を行うと、マッピング項目情報の送信を要求するマッピング項目情報要求情報を送信することにより、診療記録要約情報生成装置1からマッピング項目情報を取得する。ここで、マッピング項目情報は、退院時サマリ、外来サマリ、診療情報提供書、診断書の作成、がん登録、治験、副作用報告、医薬市販後調査、臨床研究等の用途それぞれに応じた要素を含む情報である。
診療記録要約情報生成装置2001では、CPU11が、補助記憶部13が記憶するプログラムを主記憶部12に読み込んで実行することにより、診療記録要約受信部111、分散表現変換部2112、係数決定部2113、マッピング項目要素特定部2114、復元部2115、提示情報生成部116、修正受信部117、採用要素推定部2120および要約生成部2121として機能する。また、補助記憶部13は、診療記録記憶部2131と、分散表現記憶部2132と、NN記憶部2133と、分散表現モデル記憶部135と、要約記憶部2136と、マッピング項目記憶部2137と、重要度記憶部2138と、を有する。診療記録記憶部2131は、実施の形態1で図4を用いて説明したのと同様に、患者毎に、過去の診療記録文章を示す診療記録情報を時系列で記憶する。ここで、診療記録記憶部2131は、診療記録情報を、その診療記録情報を識別する診療記録識別情報および診療日情報と対応づけて記憶する。また、一の患者についての少なくとも1つの診療記録情報の群には、その一の患者を識別する患者識別情報に対応づけられている。分散表現記憶部2132は、診療記録情報を構成する各要素から分散表現変換部2112により変換されてなる分散表現を示す情報を記憶する。また、分散表現記憶部2132は、診療記録情報を構成する要素それぞれのマッピング項目要素としての重要度を示す数値情報を分散表現と対応づけて記憶する。
要約記憶部2136は、実施の形態1で図4を用いて説明したのと同様に、患者毎に、過去の診療記録情報に対応する要約情報を時系列で記憶する。要約記憶部2136は、要約情報を、その要約情報に対応する診療記録情報についての診療記録識別情報および診療日情報と対応づけて記憶する。また、一の患者についての少なくとも1つの要約情報の群には、その一の患者を識別する患者識別情報に対応づけられている。
NN記憶部2133は、マッピング項目要素特定部2114が用いる予め定められたノード数および層数を有するニューラルネットワークに関する情報を記憶する。具体的には、NN記憶部133は、ニューラルネットワークのノード数、層数、各ノードに対応する重み係数および活性化関数それぞれを示す情報を記憶する。このニューラルネットワークは、診療記録情報が示す診療記録文章を構成する要素の分散表現から、診療記録文章を構成する要素それぞれのマッピング項目要素としての重要度(第1重要度)を算出するための第3ニューラルネットワークである。ニューラルネットワークの構造は、実施の形態1において図5(A)を用いて説明した構造と同様である。
マッピング項目記憶部2137は、復元部2115によりマッピング項目要素特定部2114により算出されたマッピング項目要素の分散表現から復元されたマッピング項目要素を示すマッピング項目要素情報を記憶する。重要度記憶部2138は、例えば図12に示すように、各要素の要約文章を構成する要素としての重要度を示す要約重要度情報を記憶する。ここで、要約重要度とは、マッピング項目要素を要約文章に優先的に含めるべき度合を示す第2重要度である。重要度情報は、マッピング項目要素と診療記録文章に対応する要約文章とに基づいて生成される。
図11に戻って、分散表現変換部2112は、分散表現モデル記憶部135が記憶する分散表現変換モデルを用いて、診療記録文章を構成する要素を分散表現に変換する。分散表現変換部112は、診療記録文章を構成する要素から得られた分散表現を示す情報を分散表現記憶部2132に記憶させる。係数決定部2113は、予め設定された重み係数決定時期が到来する毎に、過去の診療記録情報が示す診療記録文章を構成する要素の分散表現から診療記録文章を構成する要素のマッピング項目要素としての重要度(第1重要度)を求めるためのニューラルネットワークの重み係数を決定する。係数決定部2113は、まず、NN記憶部2133から初期の重み係数を示す初期重み係数情報を取得し、取得した初期重み係数に設定されたニューラルネットワークを用いて、過去の診療記録情報が示す診療記録文章を構成する要素それぞれの分散表現から、診療記録文章を構成する要素のマッピング項目要素としての重要度を算出する。次に、係数決定部113は、過去の要約文章を構成する要素と、その要約文章に対応する診療記録文章を構成する要素と、を比較して、過去の要約文章を構成する要素それぞれのマッピング項目要素としての重要度を設定する。続いて、係数決定部113は、算出された診療記録文章を構成する要素それぞれのマッピング項目要素としての重要度と、過去の診療記録文章を構成する要素それぞれのマッピング項目要素としての重要度と、の誤差を算出する。そして、係数決定部113は、算出した誤差に基づいて、誤差逆伝播法(バックプロパゲーション)により前述のニューラルネットワークの重み係数を決定する。そして、係数決定部113は、決定した重み係数を示す重み係数情報をNN記憶部2133に記憶させる。
マッピング項目要素特定部2114は、NN記憶部2133が記憶する係数決定部2113により決定された重み係数を、前述のニューラルネットワークの重み係数に設定する。次に、マッピング項目要素特定部2114は、係数決定部2113が決定した重み係数に設定された前述のニューラルネットワークを用いて、直近に受信した診療記録情報の診療記録文章を構成する要素の分散表現から、受信した診療記録情報が示す診療記録文章を構成する要素それぞれのマッピング項目要素としての重要度を求める。マッピング項目要素特定部2114は、算出したマッピング項目要素としての重要度を示す情報を分散表現記憶部2132に記憶させる。
復元部2115は、マッピング項目要素特定部2114が算出した診療記録情報を構成する要素の重要度に基づいてマッピング項目要素の分散表現を特定する。ここで、復元部2115は、診療記録文章を構成する要素の重要度が予め設定された基準重要度以上の要素の分散表現を特定する。そして、復元部2115は、分散表現モデル記憶部135が記憶する分散表現モデルを用いて、特定したマッピング項目要素の分散表現を対応するマッピング項目要素に復元することによりマッピング項目情報を生成して採用要素推定部2120へ出力する。また、復元部2115は、生成したマッピング項目情報をマッピング項目記憶部2137に記憶させる。
採用要素推定部2120は、復元部2115から入力されるマッピング項目要素と、重要度記憶部2138が記憶する重要度情報と、に基づいて、要約文章を構成する要素を推定する。具体的には、採用要素推定部2120は、重要度記憶部2138が記憶する各マッピング項目要素の要約文章を構成する要素としての重要度(第2重要度)を示す重要度情報に基づいて、診療記録要約受信部111が受信した新たな診療記録情報が示す診療記録文章に対応するマッピング項目要素の重要度情報を決定する。そして、採用要素推定部2120は、重要度情報が予め設定された基準値以上である要素を採用要素として推定する。また、採用要素推定部2120は、修正受信部117が受信した修正情報に基づいて修正した後の要約文章を構成する要素と、新たな診療記録文章に対応するマッピング項目要素と、に基づいて、新たな重要度情報を生成する。そして、採用要素推定部2120は、生成した新たな重要度情報で重要度記憶部2138が記憶する重要度情報を更新する。その後、採用要素推定部2120は、新たに生成された重要度情報を用いて採用要素を推定する。
修正受信部2117は、端末装置2から送信される修正情報を受信すると、修正情報に含まれる修正後の要約文章を構成する要素を要約記憶部2136に記憶させる。要約生成部2121は、予め設定された要約テンプレート情報に基づいて、採用要素推定部2120が推定した採用要素を用いて要約文章を示す要約情報を生成する。そして、提示情報生成部116は、要約生成部2121が生成した要約情報を含む提示情報を、端末装置2002へ送信する。
マッピング項目情報生成部2123は、端末装置2002からマッピング項目情報要求情報を受信すると、マッピング項目記憶部2137が記憶するマッピング項目要素情報の中から、マッピング項目情報要求情報に対応する用途に応じたマッピング項目情報に含まれるマッピング項目要素情報を取得してマッピング項目情報を生成する。そして、マッピング項目情報生成部2123は、生成したマッピング項目情報を端末装置2002へ送信する。
次に、本実施の形態に係る診療記録要約情報生成システムの基本的な動作について図13を参照しながら説明する。まず、ユーザが端末装置2002の入力部24を介して診療記録情報を入力した上で、入力した診療記録情報に対応する要約情報およびマッピング項目情報を取得するための操作を行ったとする。この場合、端末装置51は、診療記録情報を受け付ける(ステップS51)。次に、端末装置2002において受け付けた診療記録情報とともに、診療記録要約情報生成装置2001に対して要約情報の送信を要求する要約要求情報およびマッピング項目情報の送信を要求するマッピング項目情報要求情報が、端末装置2002から診療記録要約情報生成装置2001へ送信される(ステップS52)。
一方、診療記録要約情報生成装置2001は、要約要求情報、マッピング項目情報要求情報および診療記録情報を受信すると、受信した診療記録情報を診療記録記憶部2131に記憶させる(ステップS53)。続いて、診療記録要約情報生成装置2001は、受信した診療記録情報が示す診療記録文章を構成する要素を分散表現へ変換する分散表現変換処理を実行する(ステップS54)。その後、診療記録要約情報生成装置2001は、前述のニューラルネットワークを用いて、受信した診療記録情報を構成する各要素のマッピング項目要素としての重要度を算出する(ステップS55)。このとき、診療記録要約情報生成装置2001は、算出した重要度を示す情報を分散表現記憶部2132に記憶させる。
次に、診療記録要約情報生成装置2001は、分散表現モデル記憶部2135が記憶する分散表現モデルを示す情報を用いて、算出した分散表現を要素に復元することによりマッピング項目要素情報を生成する(ステップS56)。ここで、診療記録要約情報生成装置2001は、生成したマッピング項目要素情報をマッピング項目記憶部2137に記憶させる。続いて、診療記録要約情報生成装置2001は、マッピング項目要素の中から要約文章に採用する採用要素を推定し(ステップS57)、推定した採用要素を用いて要約情報を生成する(ステップS58)。その後、診療記録要約情報生成装置2001は、マッピング項目記憶部2137が記憶するマッピング項目要素情報を用いて、マッピング項目情報を生成する(ステップS59)。その後、生成された要約情報とマッピング項目情報とを含む提示情報が、診療記録要約情報生成装置2001から端末装置2002へ送信される(ステップS60)。一方、端末装置2002は、提示情報を受信すると、受信した提示情報を表示部25に表示させる(ステップS61)。
次に、ユーザが端末装置2002の入力部24を介して要約文章を修正するための操作を行ったとする。この場合、端末装置2002は、要約情報の修正内容を受け付ける(ステップS62)。続いて、修正内容を示す修正情報が、端末装置2002から診療記録要約情報生成装置2001へ送信される(ステップS63)。一方、診療記録要約情報生成装置2001は、修正情報に基づいて、要約記憶部2136が記憶する要約情報を更新する(ステップS64)。
次に、本実施の形態に係る診療記録要約情報生成装置2001が実行する診療記録要約情報生成処理について図14乃至図17を参照しながら説明する。この診療記録要約情報生成処理は、ユーザが診療記録要約情報生成装置1へ電源を投入した後、入力部15を介して診療記録要約情報生成処理を実行するための操作を行ったことを契機として開始される。
まず、係数決定部2113は、図14に示すように、予め設定された重み係数決定時期が到来したか否かを判定する(ステップS2101)。係数決定部2113により重み係数決定時期が到来していないと判定されると(ステップS2101:No)、後述するステップS2107の処理が実行される。一方、係数決定部113は、重み係数決定時期が到来したと判定すると(ステップS2101:Yes)、過去の診療記録情報とそれに対応する要約情報を診療記録要約記憶部131から取得する(ステップS2102)。
次に、分散表現変換部2112は、診療記録情報および要約情報について分散表現変換処理を実行する(ステップS2103)。この分散表現変換処理は、実施の形態1で説明した分散表現変換処理と同様である。続いて、係数決定部2113は、分散表現変換部2112により得られる過去の診療記録情報が示す診療記録文章を構成する要素および要約情報が示す要約文章を構成する要素の分散表現を示す情報を用いて、重み係数決定処理を実行する(ステップS2104)。
この重み係数決定処理では、図15に示すように、まず、係数決定部2113は、分散表現記憶部2132から、診療記録文章を構成する要素の分散表現を示す情報と、診療記録文章に対応するマッピング項目要素の分散表現を示す情報と、を取得する(ステップS2301)。次に、係数決定部2113は、NN記憶部2133から初期重み係数情報を取得し、取得した初期重み係数情報が示す重み係数を、前述のニューラルネットワークの重み係数に設定する(ステップS2302)。続いて、係数決定部2113は、初期重み係数情報が示す重み係数に設定された前述のニューラルネットワークを用いて、診療記録文章を構成する要素の分散表現から、診療記録文章を構成する要素それぞれのマッピング項目要素としての重要度を算出する(ステップS2303)。その後、係数決定部2113は、過去のマッピング項目要素と、そのマッピング項目情報に対応する診療記録文章を構成する要素と、を比較して、過去のマッピング項目要素それぞれの重要度を設定する(ステップS2304)。次に、係数決定部2113は、算出された診療記録文章を構成する要素それぞれの重要度と、過去のマッピング項目要素それぞれの重要度と、の誤差を算出する(ステップS2305)。続いて、係数決定部2113は、算出された誤差に基づいて、誤差逆伝播法(バックプロパゲーション)により前述のニューラルネットワークの重み係数を新たに決定する(ステップS2306)。そして、係数決定部2113は、決定した重み係数を示す重み係数情報をNN記憶部2133に記憶させる(ステップS2307)。
図14に戻って、その後、マッピング項目要素特定部2114は、係数決定部2113により重み係数が決定された前述のニューラルネットワークを用いて、過去のマッピング項目要素それぞれの重要度を算出する。そして、復元部2115が、マッピング項目要素特定部2114が算出した診療記録情報を構成する要素の重要度に基づいてマッピング項目要素の分散表現を特定した後、分散表現モデル記憶部135が記憶する分散表現モデルを用いて、特定したマッピング項目要素の分散表現を対応するマッピング項目要素に復元することによりマッピング項目要素情報を生成する(ステップS2105)。
次に、採用要素推定部2120は、復元部2115により生成されたマッピング項目要素情報を用いて、要素重要度設定処理を実行する(ステップS2106)。
この要素重要度設定処理では、まず、図16に示すように、採用要素推定部2120は、復元部2115により生成されたマッピング項目要素情報に基づいて、診療記録情報に対応するマッピング項目要素と、診療記録文章に対応する要約文章を構成する要素と、を比較する(ステップS2401)。次に、採用要素推定部2120は、マッピング項目要素と要約文章を構成する要素とを比較した結果に基づいて、要約文章に採用されているマッピング項目要素を特定する(ステップS2402)。続いて、採用要素推定部2120は、特定したマッピング項目要素の重要度を決定する(ステップS2403)。採用要素推定部2120は、特定したマッピング項目要素の要約文章を構成する要素としての要約重要度を示す重要度情報を重要度記憶部2138に記憶させる。
図14に戻って、続いて、診療記録要約受信部111は、新たな診療記録情報を受信したか否かを判定する(ステップS2107)。診療記録要約受信部111により新たな診療記録情報を受信していないと判定されると(ステップS2107:No)、再びステップS2101の処理が実行される。一方、診療記録要約受信部111は、新たな診療記録情報を受信したと判定すると(ステップS2107:Yes)、分散表現変換部112は、受信した新たな診療記録情報について分散表現変換処理を実行する(ステップS2108)。その後、マッピング項目要素特定部2114は、係数決定部2113により重み係数が決定された前述のニューラルネットワークを用いて、新たな診療記録情報を構成する要素の分散表現から、新たな診療記録情報を構成する要素それぞれのマッピング項目要素としての重要度を算出する。そして、復元部2115が、マッピング項目要素特定部2114が算出した診療記録情報を構成する要素の重要度に基づいてマッピング項目要素の分散表現を特定した後、分散表現モデル記憶部135が記憶する分散表現モデルを用いて、特定したマッピング項目要素の分散表現を対応するマッピング項目要素に復元することによりマッピング項目要素情報を生成する(ステップS2109)。このとき、復元部2115は、生成したマッピング項目要素情報をマッピング項目記憶部2137に記憶させる。
次に、採用要素推定部2120は、復元部2115により生成されたマッピング項目要素情報に基づいて、採用要素推定処理を実行する(ステップS2110)。この採用要素推定処理では、まず、図17に示すように、採用要素推定部2120が、新たな診療記録文章に対応するマッピング項目要素に基づいて、新たな診療記録文章に対応するマッピング項目要素それぞれの重要度を特定する(ステップS2501)。ここで、採用要素推定部2120は、重要度記憶部2138が記憶する各マッピング項目要素の重要度を示す重要度情報に基づいて、マッピング項目要素それぞれの重要度を特定する。次に、採用要素推定部2120は、決定した重要度が予め設定された基準重要度以上であるマッピング項目要素を採用要素として推定する(ステップS2502)。
図14に戻って、続いて、要約生成部2121は、採用要素推定部2120により推定された採用要素を用いて、要約情報を生成する(ステップS2111)。
その後、マッピング項目情報生成部2123は、端末装置2002からマッピング項目情報要求情報を受信しているか否かを判定する(ステップS2112)。マッピング項目情報生成部2123によりマッピング項目情報要求情報を受信していないと判定されると(ステップS2112:No)、提示情報生成部116が、要約生成部2121により生成された要約情報を用いて提示情報を生成し、生成した提示情報を端末装置2002へ送信する(ステップS2115)。その後、後述するステップS2116の処理が実行される。
一方、マッピング項目情報生成部2123は、マッピング項目情報要求情報を受信したと判定すると(ステップS2112:Yes)、マッピング項目情報要求情報に含まれるマッピング項目情報識別情報に基づいて、マッピング項目情報記憶部2137が記憶するマッピング項目要素情報を用いて、マッピング項目情報を生成する(ステップS2113)。次に、提示情報生成部116が、要約生成部2121により生成された要約情報と、マッピング項目情報生成部2123により生成されたマッピング項目情報と、を含む提示情報を生成し、生成した提示情報を端末装置2002へ送信する(ステップS2114)。
続いて、修正受信部2117は、端末装置2002から送信される修正情報を受信したか否かを判定する(ステップS2116)。修正受信部2117により修正情報を受信していないと判定されると(ステップS2116:No)、再びステップS2101の処理が実行される。一方、修正受信部2117は、修正情報を受信したと判定すると(ステップS2116:Yes)、修正情報に基づいて修正された後の要約情報で要約記憶部2136が記憶する要約情報を更新する(ステップS2117)。その後、再びステップS2101の処理が実行される。
以上説明したように、本実施の形態に係る診療記録要約情報生成システムによれば、係数決定部2113が、過去の診療記録情報それぞれが示す診療記録文章を構成する要素の分散表現と、過去の診療記録情報に対応するマッピング項目要素の分散表現と、を用いて、ニューラルネットワークの重み係数を決定する。そして、マッピング項目要素特定部2114が、診療記録要約受信部111が受信した新たな診療記録情報が示す診療記録文章を構成する要素の分散表現から、係数決定部2113により重み係数が決定されたニューラルネットワークを用いて、診療記録文章を構成する要素それぞれのマッピング項目要素としての重要度を算出する。そして、復元部2115が、マッピング項目要素特定部2114により算出された診療記録文章を構成する要素それぞれの重要度に基づいて、マッピング項目要素の分散表現を特定し、特定した分散表現をマッピング項目要素に復元する。これにより、ニューラルネットワークの重み係数が端末装置2002から受信する診療記録情報に基づいてより適切な重み係数へと更新されていくので、マッピング項目要素の妥当性が向上するという利点がある。つまり、診療記録情報から適切なマッピング項目情報を生成することができる。
以上、本発明の各実施の形態について説明したが、本発明は前述の各実施の形態の構成に限定されるものではない。例えば、NN記憶部133、2133が、複数種類の重み係数を記憶するものであってもよい。そして、診療記録要約情報生成装置1が、複数種類の重み係数の中から、新たな診療記録情報の属性を示す属性情報に基づいて、採用する重み係数を選択する係数選択部を更に備えるものであってもよい。ここで、診療記録情報の属性情報は、例えば、診療記録情報が作成された医療施設を識別する医療施設識別情報、或いは、診療記録情報が対象とする病変の属性を示す病変属性情報を含むものであってもよい。そして、係数選択部は、新たな診療記録情報から提示情報を生成する際、ニューラルネットワークに設定する係数として新たな診療記録情報の属性に対応する重み係数を選択するようにしてもよい。
本構成によれば、新たな診療記録情報から要約情報或いはマッピング項目要素情報を生成する際、新たな診療記録情報の属性に適応した重み係数が選択されるので、生成される要約情報或いはマッピング項目要素情報の妥当性を高めることができる。
各実施の形態では、係数決定部113、2113が、予め設定された重み係数決定時期が到来する毎に、過去の診療記録情報を構成する要素に基づいて、ニューラルネットワークの重み係数を決定する例について説明した。但し、これに限らず、例えば、係数決定部113、2113が、予め設定された数の診療記録情報を診療記録要約記憶部131或いは診療記録記憶部2131に記憶させる毎に、過去の診療記録情報を構成する要素に基づいて、ニューラルネットワークの重み係数を決定するものであってもよい。例えば、係数決定部113、2113は、10の診療記録情報が診療記録要約記憶部131或いは診療記録記憶部2131に記憶される毎にニューラルネットワークの重み係数を再決定するものであってもよい。
実施の形態1において、診療記録情報生成システムが、複数の要約情報からそれらの概要を示す概要文章を構成する要素を特定する機能を有するものであってもよい。概要文章としては、例えば患者の入院期間中に作成した要約文章を総括する要約文章(いわゆる退院時サマリ)が挙げられる。この場合、NN記憶部133は、概要文章を構成する要素を特定するためのニューラルネットワークの重み係数を記憶するようにすればよい。ここで、ニューラルネットワークは、複数の要約情報それぞれが示す要約文章を構成する要素から複数の要約情報全体の概要を示す概要情報が示す概要文章を構成する要素を特定するための第2ニューラルネットワークであり、重み係数は、このニューラルネットワークの第2ニューラルネットワーク係数に相当する。そして、係数決定部113は、過去の複数の要約情報それぞれが示す要約文章を構成する要素と、過去の複数の要約情報に対応する概要文章を構成する要素と、を用いて、重み係数を決定すればよい。
そして、要素特定部114は、新たな概要情報に対応する複数の要約情報それぞれが示す要約文章を構成する要素から、係数決定部114により重み係数が決定されたニューラルネットワークを用いて、概要文章を構成する要素を特定する。また、端末装置2の修正受付部215は、概要文章に対するユーザによる修正内容を受け付けるものであり、要素特定部114は、修正受信部117が受信した、修正受付部215に受け付けた修正内容を示す修正情報に基づいて、特定した概要文章を構成する要素を更新するようにすればよい。
実施の形態1では、分散表現変換部112が、分散表現モデル記憶部135が記憶する分散表現変換モデルを用いて、診療記録文章を構成する要素を分散表現に変換する例について説明した。但し、これに限らず、例えば図18に示す診療記録要約情報生成装置3001のように、分散表現変換部3112が、診療記録文章を構成する要素に加えて、画像記憶部134が記憶する画像情報を分散表現に変換する機能を備えるものであってもよい。なお、図18において、実施の形態1と同様の構成については図3と同一の符号を付している。この場合、分散表現記憶部3132は、診療記録情報を構成する各要素から分散表現変換部112により変換されてなる分散表現を示す情報と、画像情報が示す画像を構成する複数の領域それぞれの領域画像の分散表現を示す情報と、を記憶する。また、分散表現モデル記憶部3135は、分散表現変換部3112が診療記録文章を構成する要素とともに前述の領域画像の情報を分散表現へ変換する際に用いる分散表現変換モデルを示す情報を記憶している。
分散表現変換部3112は、分散表現モデル記憶部3135が記憶する分散表現変換モデルを用いて、診療記録文章または要約文章を構成する要素を分散表現に変換する。分散表現変換部112は、診療記録文章または要約文章を構成する要素から得られた分散表現を示す情報を分散表現記憶部132に記憶させる。
係数決定部3113は、予め設定された重み係数決定時期が到来する毎に、過去の診療記録情報が示す診療記録文章を構成する要素並びに対応する画像情報に含まれる領域画像の情報の分散表現から要約文章を構成する要素および要約の分散表現を求めるためのニューラルネットワークの重み係数を決定する。
要素特定部3114は、NN記憶部133が記憶する係数決定部2113により決定された重み係数を、前述のニューラルネットワークの重み係数に設定する。次に、要素特定部3114は、係数決定部3113が決定した重み係数に設定された前述のニューラルネットワークを用いて、直近に受信した診療記録情報の診療記録文章を構成する要素の分散表現および領域画像の分散表現から、受信した診療記録文章を構成する要素並びに領域画像の重要度を求める。
復元部3115は、要素特定部3114が算出した診療記録文章を構成する要素および領域画像それぞれの重要度に基づいて、要約情報に採用する要素および領域画像を出力する。具体的には、復元部3115は、重要度が予め設定された基準重要度以上の要素並びに領域画像の分散表現を特定する。そして、復元部115は、分散表現モデル記憶部3135が記憶する分散表現モデルを用いて、要素特定部3114により特定された分散表現を対応する要素に復元し、提示情報生成部116へ出力するとともに、特定した領域画像を提示情報生成部116へ出力する。
本構成によれば、要約情報に関連する領域画像の情報も提示することが可能となる。
実施の形態1において、端末装置2は、画像情報を取得する画像取得部217が無いものであってもよい。また、診療記録要約情報生成装置1は、画像記憶部134が記憶する画像情報の中から要約情報に関連する画像情報を特定する画像特定部119が無いものであってもよい。
実施の形態1において、診療記録要約情報生成装置1が、診療記録情報から要約情報を生成した後、要約情報に基づいて、実施の形態2で説明したマッピング項目情報を生成するものであってもよい。
また、本発明に係る診療記録要約情報生成装置1、2001、3001の各種機能は、専用のシステムによらず、通常のコンピュータシステムを用いて実現可能である。例えば、ネットワークに接続されているコンピュータに、上記動作を実行するためのプログラムを、コンピュータシステムが読み取り可能な非一時的な記録媒体(CD-ROM(Compact Disc Read Only Memory)等)に格納して配布し、当該プログラムをコンピュータシステムにインストールすることにより、上述の処理を実行する診療記録要約情報生成装置1、2001、3001を構成してもよい。
また、コンピュータにプログラムを提供する方法は任意である。例えば、プログラムは、通信回線の掲示版(BBS(Bulletin Board System))にアップロードされ、通信回線を介してコンピュータに配信されてもよい。そして、コンピュータは、このプログラムを起動して、OS(Operating System)の制御の下、他のアプリケーションと同様に実行する。これにより、コンピュータは、上述の処理を実行する診療記録要約情報生成装置1、2001、3001として機能する。
以上、本発明の各実施の形態および変形例について説明したが、本発明はこれらに限定されるものではない。本発明は、実施の形態及び変形例が適宜組み合わされたもの、それに適宜変更が加えられたものを含む。