(本開示の基礎となった知見)
まず、本開示に係る一態様の着眼点について説明する。
特許文献1は、症例検索で疾患が網羅的にリストアップされる症例検索装置を開示する。当該症例検索装置の検索対象には、電子医学書データベースの症例画像が含まれることを開示する(特許文献1の請求項8及び段落[0030])。また、検索結果を表示する表示画面には、画像診断名等の症例情報が表示され、当該症例情報によってリンクされた電子医学書に含まれる医学情報等が表示されることを開示する。そして、表示する項目は、キーボードなどの操作装置により医師が選択できることを開示する(特許文献1の段落[0062])。
よって、特許文献1は、表示画面に表示される医学情報が、医師による選択操作によって決められる。つまり、医師が必要とする医学情報は、医師自らが選択操作しなければ表示画面に表示されない。かかる場合、医師が医学情報を求める度に、医師自らが操作する必要が生じ、診断効率を低下する恐れがある。その結果、診断精度が低下すると考えられる。
特許文献2は、類似症例の提示の必要性に応じて類似症例の表示方法を変更する情報処理装置を開示する。当該情報処理装置は、類似症例を表示する診断用画面の右側に医学参考情報を表示する。そして、当該情報処理装置は、診断対象画像の診断が容易な場合、診断用画面の初期表示に類似症例を提示せず、余裕の出た表示領域の有効活用のため医学参考情報を表示する。また、当該情報処理装置は、診断用画面に表示される類似症例表示用ボタンが押されると、医学参考情報と類似症例とを入れ替えて表示する(特許文献2の段落[0063]及び図4)。これにより、診断対象画像の診断が容易な場合に、不必要に類似症例を表示することによる医師が感じる煩わしさを防止する。
よって、特許文献2は、医師が感じる煩わしさを防止するために、診断用画面に類似症例を表示させないことに着目している。つまり、特許文献2には、類似症例の検索を行なう医師に対して、医師が必要とし得る電子医学書の医学情報を効果的に提示する思想について一切記載がない。
特許文献3は、画像診察の回数または進捗に合わせて、類似症例画像の表示数を変化させる医用画像読影支援システムを開示する。当該医用画像読影支援システムは、読影対象画像が初診対象画像である場合、モニタに医学情報を表示することが開示されている(特許文献3の請求項2、段落[0057]及び図8(a))。これにより、初診対象画像である場合に、適切な内容の画像情報を効率的に医師に提示する(特許文献3の段落[0059])。
しかし、特許文献3は、読影対象画像が初診対象画像であるか否かによって、医学情報を表示するか否かを決定する。つまり、類似症例の検索を行なう医師に対して、医師からの入力情報によって、膨大な医学情報の中から医師が必要とし得る医学情報を推定し、提示する思想について一切記載がない。
以上の考察により、本願発明者らは、以下の各態様を想到するに至った。
本開示の一態様は、
医用画像を登録する医用画像データベースを参照して前記医用画像を検索する症例検索システムに接続し、ディスプレイを有する情報端末の制御方法であって、
前記情報端末のコンピュータに対して、
読影対象の医用画像である対象医用画像と所定の類似度を有する類似医用画像を前記症例検索システムから受信させ、前記類似医用画像は、電子医学書に掲載されている医用画像であり、前記類似医用画像の付加情報には、前記類似医用画像に対応する病名と、前記類似医用画像が掲載されている前記電子医学書の頁番号とが設定されており、前記類似医用画像が掲載されている前記電子医学書の頁には、前記類似医用画像に関連し、病名を特定するために用いられる診断情報が記載されており、
前記受信した複数の類似医用画像を表示する第1表示領域と、病名を表示する第2表示領域とを含む表示画面を前記ディスプレイに表示させ、前記第2表示領域に表示される前記病名の付加情報には、前記病名に対応する鑑別項目が記載されている前記電子医学書の頁番号が設定されており、
前記表示画面が表示された後に最初に検知したユーザの選択が、前記第1表示領域に表示された前記類似医用画像の選択である場合、前記表示画面に、前記選択された類似医用画像が掲載されている前記電子医学書の頁を表示させ、
前記表示画面が表示された後に最初に検知したユーザの選択が、前記第2表示領域に表示された前記病名の選択である場合、前記表示画面に、前記選択された病名に対応する前記鑑別項目が記載されている前記電子医学書の頁を表示させるものである。
一般に、未だ病名が特定されていない読影対象の医用画像である対象医用画像に表れている病変を検討するにあたって、既に病名が特定されている他の医用画像の中で前記対象医用画像と類似する類似医用画像を参照することは有効であると考えられる。特に、医師が医用画像の診断に際して用いる医学書には、掲載されている医用画像に対応して、当該医用画像の病名を特定するのに必要な情報が詳細に記載されている。このため、読影対象の医用画像の病変を検討するために有用である。
本態様によると、前記対象医用画像と所定の類似度を有する類似医用画像であって既に病名が特定されている類似医用画像を前記症例検索システムから受信し、受信した前記類似医用画像をディスプレイに表示する。これにより、前記医用画像データベースに登録されている膨大な医用画像の中から、前記対象医用画像に表れている病変の病名を検討するために参考となる類似医用画像を効率的に抽出して、医師に提示できる。
また、本態様によると、類似医用画像を表示する表示画面をディスプレイに表示した後に最初に検知したユーザの選択が、第1表示領域に表示された類似医用画像の選択である場合、表示画面には、前記選択された類似医用画像が掲載されている前記電子医学書の頁を表示させる。一方、類似医用画像を表示する表示画面をディスプレイに表示した後に最初に検知したユーザの選択が、前記第2表示領域に表示された病名の選択である場合、表示画面には、前記選択された病名に対応する鑑別項目が記載されている前記電子医学書の頁を表示させる。
ここで、医師が症例検索システムを用いて対象医用画像に類似する類似医用画像を検索する際には、以下に説明されるように、主に2通りの場面が有り得る。
1つ目は、医師が対象医用画像を見た際、医師には当該対象医用画像の病名が思い浮かばないため、医師は、対象医用画像と類似する類似医用画像に付与された病名を参考にしたいと考えている場面である。かかる場合、通常の医療現場では、医師は、医学書に掲載されている膨大な医用画像の中から、対象医用画像と類似する医用画像を探し出し、当該類似する医用画像に付与された病名を参考に対象医用画像の病名を決定することになる。
ここで、前記受信した複数の類似医用画像を表示する第1表示領域と、病名を表示する第2表示領域とを含む表示画面が前記ディスプレイに表示された後に、最初に検知したユーザの選択が、前記第1表示領域に表示された類似医用画像の選択である場合は、医師には、当該対象医用画像の病名が思い浮かんでいないと推認できる。かかる場合は、選択された類似医用画像が掲載されており、かつ、選択された類似医用画像の診断情報が記載されている電子医学書の頁を表示してもよい。なぜならば、医師は、対象医用画像と類似医用画像とを比較する際、類似医用画像に関する診断情報も考慮して、医用画像同士の特徴を比較するからである。
診断情報には、当該類似医用画像中にある病変部の形態(結節性、びまん性など)、当該類似医用画像に関する患者の臨床情報(性別、年齢、血液検査の結果など)、当該患者の経過情報などが含まれている。即ち、診断情報は、対象医用画像と類似医用画像とを比較するに際して、医用画像の特徴の類似度と同等若しくはそれ以上に重要な情報である。
そして、当該診断情報は、電子医学書において当該医用画像に隣接する箇所に記載されている。
本態様によると、前記第1表示領域に表示された類似医用画像の選択が検知されると、前記選択された類似医用画像が掲載されている前記電子医学書の頁が表示画面に表示される。このため、類似医用画像が選択されると、自動的に前記選択された類似医用画像に関する診断情報を医師に提示することができる。また、自動的に診断情報を医師に提示するため、診断情報の読み落としを防止できる。実際の診断現場においては、対象医用画像と選択された類似医用画像との画像の特徴が類似していたとしても、診断情報を考慮した結果、両画像は別の病名であると結論付けられることがある。そのため、本態様によると、診断情報の読み落としを効果的に防止することができることから、誤診防止にも繋がる。
2つ目は、医師が対象医用画像を見た際、医師には当該対象医用画像の病名の候補として複数の病名が思い浮かんでいるため、医師は、いずれの病名であるかを決定するために必要な情報を得たいと考えている場面である。かかる場合、通常の医療現場では、医師は、思い浮かんだ複数の病名それぞれについて医学書の該当頁を読み、その病名であると決定するのに必要な情報である鑑別項目を確認する。そして、医師は、対象医用画像と鑑別項目とを逐一確認することにより、対象医用画像の病名を最終的に決定する。
ここで、前記受信した複数の類似医用画像を表示する第1表示領域と、病名を表示する第2表示領域とを含む表示画面が前記ディスプレイに表示された後に、最初に検知したユーザの選択が、前記第2表示領域に表示される病名の選択である場合は、医師には、当該対象医用画像の病名の候補として複数の病名が思い浮かんでいると推認できる。したがって、前記第2表示領域に表示される病名の選択を検知した際は、効率的な診断の観点から、候補である複数の病名の内いずれの病名であるかを決定するために必要な情報を医師に提示してもよい。即ち、特定の病名であると決定するために必要な情報である鑑別項目を提示してもよい。
本態様によると、前記第2表示領域に表示される病名の選択が検知されると、前記選択された病名に対応する鑑別項目が記載されている前記電子医学書の頁が表示画面に表示される。このため、医師が望む診断に必要な情報を効果的に提示することができる。
以上の通り、前記受信した複数の類似医用画像を表示する第1表示領域と、病名を表示する第2表示領域とを含む表示画面が前記ディスプレイに表示された後に、最初に検知したユーザの選択によって、上記2通りの場面の内いずれであるかを推認することができる。そして、各場面に適した、診断に必要な情報を医師に提示することができる。その結果、医師が電子医学書の中から必要とする情報を探す手間を省くことができる。また、医師を診療判断に集中させることにより診療判断の精度を向上させることができる。
また、上記態様において、例えば、
前記表示画面に表示される前記電子医学書の頁を、前記第1表示領域の一部に表示させるとしてもよい。
また、上記態様において、例えば、
前記表示画面に、前記選択された病名に対応する鑑別項目が記載されている前記電子医学書の頁を表示させる場合、前記第1表示領域に表示されている前記類似医用画像を消去し、前記電子医学書の頁を前記第1表示領域内の全体に表示させるとしてもよい。
本態様において、前記表示画面に、前記選択された病名に対応する鑑別項目が記載されている前記電子医学書の頁を表示させる場合とは、前記受信した複数の類似医用画像を表示する第1表示領域と、病名を表示する第2表示領域とを含む表示画面が前記ディスプレイに表示された後に、最初に検知したユーザの選択が、前記第2表示領域に表示された病名の選択の場合である。即ち、当該対象医用画像を見た医師は、当該対象医用画像の病名の候補として複数の病名を思い浮かべていると推認できる。そして、医師は、思い浮かべている複数の病名に対応する鑑別項目をそれぞれ確認したいと考えていることが推認できる。かかる場合、表示画面に類似医用画像を表示する必要性は低い。
本態様によると、前記選択された病名に対応する鑑別項目が記載されている前記電子医学書の頁を前記表示画面に表示させる場合、前記第1表示領域に表示されている前記類似医用画像が消去され、前記電子医学書の頁は前記第1表示領域内の全体に表示される。その結果、医師が望む情報を効果的に提示しつつ、表示面積に制約がある表示画面を有効活用することができる。
また、上記態様において、例えば、
前記第1表示領域には、前記選択された病名に対応する鑑別項目が記載されている前記電子医学書の頁と、前記選択された病名に対応する医用画像が掲載されている前記電子医学書の頁とを並べて表示させるとしてもよい。
本態様によると、第1表示領域の全体に電子医学書の頁が表示される。このため、第1表示領域に電子医学書の複数の頁を表示させることができる。本態様によると、第1表示領域には、前記選択された病名に対応する鑑別項目が記載されている前記電子医学書の頁と、前記選択された病名に対応する医用画像が掲載されている前記電子医学書の頁とが並べて表示される。その結果、医師にとって診断するために有用な情報を効果的に提示することができる。
また、上記態様において、例えば、
前記医用画像データベースには,複数の前記電子医学書に掲載された前記医用画像が登録されており、
前記類似医用画像の前記付加情報には、前記類似医用画像を掲載する前記電子医学書を特定する医学書識別情報が設定されており、
前記複数の電子医学書のうちいずれか一の選択が検知された場合、前記選択された一の電子医学書に対応する前記類似医用画像を前記第1表示領域に表示させるとしてもよい。
一般に、電子医学書には様々な種類があり、医師によって参考としたい電子医学書が異なる。例えば、電子医学書には、主に、教育目的の電子医学書と診断目的の電子医学書とが存在する。教育目的の電子医学書には、いずれの病名であるかを決定するために必要な情報である鑑別項目が詳細に記載されている。一方、診断目的の電子医学書には、特定の病名に対応する様々な医用画像が多く掲載されている。そのため、いずれかの電子医学書を選択して、効率的に診断に必要な情報を得たいという医師のニーズが存在する。
本態様によると、複数の電子医学書のうちいずれか一の選択が検知された場合、前記選択された一の電子医学書に対応する類似医用画像が前記第1表示領域に表示される。このため、効率的に医師が必要とする情報を提示することができる。
また、上記態様において、例えば、
前記表示画面に、前記複数の電子医学書の表紙を表す表紙画像をそれぞれ表示させ、
前記受信した複数の類似医用画像を、掲載されている前記電子医学書が区別可能に前記第1表示領域に表示させるとしてもよい。
本態様によると、表示画面には、複数の電子医学書の表紙を表す表紙画像がそれぞれ表示されている。また、受信した複数の類似医用画像は、掲載されている電子医学書が区別可能に、第1表示領域に表示される。したがって、ユーザは、参考としたい医学書をより簡単に選択することが可能になる。
また、上記態様において、例えば、
前記表示画面に、前記選択された類似医用画像が掲載されている前記電子医学書の頁を表示させる場合、前記電子医学書の頁に掲載されている前記選択された類似医用画像を強調して表示させるとしてもよい。
一般に、電子医学書の頁には複数の医用画像が掲載されていることが多々ある。そのため、前記表示画面に前記電子医学書の頁が表示されたとしても、医師は、いずれの医用画像が選択した類似医用画像であるかを即座に判別することが難しい。
本態様によると、選択された類似医用画像が強調して表示される。このため、電子医学書の頁に掲載されている複数の医用画像のうち、いずれが選択された類似医用画像であるかを探す手間を省くことができる。その結果、医師を診断に集中させることができ、診療精度の向上に繋がる。
また、上記態様において、例えば、
前記表示画面に、前記選択された類似医用画像が掲載されている前記電子医学書の頁を表示させる場合、前記電子医学書の頁に掲載されている前記選択された類似医用画像を前記表示画面の所定の位置に表示させるとしてもよい。
一般に、電子医学書の頁には複数の医用画像が掲載されていることが多々ある。そのため、前記表示画面に前記電子医学書の頁が表示されたとしても、医師は、いずれの医用画像が選択した類似医用画像であるかを即座に判別することが難しい。
本態様によると、選択された類似医用画像が前記表示画面の所定の位置に表示される。このため、電子医学書の頁に掲載されている複数の医用画像のうち、いずれが選択された類似医用画像であるかを探す手間を省くことができる。その結果、医師を診断に集中させることができ、診療精度の向上に繋がる。
また、上記態様において、例えば、
前記制御方法は、
前記情報端末のコンピュータに対して、
前記対象医用画像の中の関心領域を示す指定情報を検知させ、
前記関心領域の特徴量を示す情報を前記症例検索システムに送信させ、
前記関心領域の特徴量と前記所定の類似度を有する類似医用画像を前記症例検索システムから受信させるとしてもよい。
また、上記態様において、例えば、
前記制御方法は、
前記情報端末のコンピュータに対して、
前記対象医用画像の中の関心領域を示す指定情報を検知させ、
前記対象医用画像及び前記指定情報を前記症例検索システムに送信させ、
前記対象医用画像及び前記指定情報から得られる前記関心領域の特徴量と前記所定の類似度を有する類似医用画像を前記症例検索システムから受信させるとしてもよい。
また、上記態様において、例えば、
前記対象医用画像は、肺の医用画像であり、
前記類似医用画像は、肺の医用画像であり、前記類似医用画像の中の病変部を示す対応関心領域を有し、
前記表示画面は、
前記対応関心領域の大きさが肺の領域に対して広範囲であることを示す所定の第1範囲に属する類似医用画像を選択させる第1分布情報、前記対応関心領域の大きさが肺の領域の一部であることを示す前記第1範囲より低い所定の第2範囲に属する類似医用画像を選択させる第2分布情報、及び、前記対応関心領域が胸膜を含む類似医用画像を選択させる第3分布情報を含み、
前記第1分布情報から前記第3分布情報の中のいずれか一の選択が検知された場合、前記選択された一の分布情報に対応する類似医用画像を選択して前記第1表示領域に表示させるとしてもよい。
本態様によると、前記第1表示領域に表示された複数の類似医用画像を、さらに、前記対応関心領域の分布類型に基づいて仕分けできる。これにより、例えば、多数表示された類似医用画像の中から、病変部の分布が対象医用画像に類似した類似医用画像を、効率的に選択できる。
また、上記態様において、例えば、
前記第1表示領域は、前記受信した複数の類似医用画像をそれぞれ表示するための複数の個別領域を含み、
前記第1分布情報の選択が検知された場合、前記第1分布情報に対応する類似医用画像を、前記個別領域に初期表示サイズにてそれぞれ表示させ、
前記第2分布情報の選択が検知された場合、前記第2分布情報に対応する類似医用画像の中の前記対応関心領域を中心として、前記第2分布情報に対応する類似医用画像を、前記個別領域にそれぞれ拡大表示させ、
前記第3分布情報の選択が検知された場合、前記第3分布情報に対応する類似医用画像の中の前記対応関心領域を中心として、前記胸膜を含んだ状態で、前記第3分布情報に対応する類似医用画像を、前記個別領域にそれぞれ拡大表示させるとしてもよい。
本態様によると、前記対応関心領域の分布類型に基づいて類似医用画像を仕分けした際、仕分けすることに加えて、前記分布類型に応じた表示をする。これにより、医師は、前記対応関心領域の分布類型に基づいて類似医用画像を仕分けし、その後、前記分布類型に応じて類似医用画像を拡大し若しくは前記対応関心領域を中心にする処理等を別途行う必要がない。そのため、前記対応関心領域の分布類型に基づいて仕分けされたとは言え、その次に、前記仕分けされた多数の類似医用画像の一つ一つに対して同様の操作を繰り返し行う煩雑さを大幅に軽減できる。その結果、診療判断に向けられるべき医師の思考若しくは医師の集中力が操作の煩雑さにより中断されるのを大幅に軽減し、医師の思考若しくは医師の集中力を本来の診療判断に向けることができる。このため、診療判断の精度の向上を図ることができる。
また、上記態様において、例えば、
前記第1分布情報は、両側性、多発性、びまん性又は血行性のカテゴリーに属する分布を示す情報であり、
前記第2分布情報は、区域性又は気道性のカテゴリーに属する分布を示す情報であり、
前記第3分布情報は、胸膜下のカテゴリーに属する分布を示す情報であるとしてもよい。
本態様によると、両側性、多発性、びまん性又は血行性のカテゴリーに属する分布の場合は類似医用画像が初期表示サイズで表示され、区域性又は気道性のカテゴリーに属する分布の場合は類似医用画像が拡大表示され、胸膜下のカテゴリーに属する分布の場合は胸膜を含んだ状態で類似医用画像が拡大表示される。
両側性、多発性、びまん性又は血行性のカテゴリーに属する分布の場合は、肺全体に病変部が広がっている可能性又は肺の広範囲に病変部が生じている可能性が高いため、類似医用画像を初期表示サイズ、即ち、拡大させることなく表示させたいという医学的見地に基づくニーズが存在する。一方、区域性又は気道性のカテゴリーに属する分布の場合は、上述のような可能性が低い。そのため、区域性又は気道性のカテゴリーに属する分布を選択することにより類似医用を拡大表示させることで、拡大表示させるという1工程を省略させ、医師の集中力が中断されることを防止できる。また、胸膜下のカテゴリーに属する分布の場合は、胸膜と病変部との位置関係が診断においては重要な指標となるため、胸膜を含んだ状態で類似医用画像を拡大表示させたいという医学的見地に基づくニーズが存在する。
本開示の一態様の制御方法は、第1病名を含む複数の病名と、第1サムネイルを含む複数のサムネイルを含む画像をディスプレイへの表示後に、ユーザが前記ディプレイ上で最初に選択した位置を示す位置情報を取得し、前記複数の病名は前記画像の病名リスト表示領域に表示され、前記複数のサムネイルは、前記複数の病名に対応し、前記複数のサムネイルは、読影対象の対象医用画像に関連する複数の類似医用画像に対応し、前記複数の類似医用画像は、第1サムネイルに対応する第1類似医用画像を含み、前記取得した位置情報が、前記選択位置が前記病名リスト表示領域に含まれる前記第1病名が表示される位置であることを示す場合、前記ディスプレイに前記第1病名で特定される病気の鑑別項目を含む第1ページの部分または全部を前記ディスプレイに表示させる指示を行い、前記取得した位置情報が、前記選択位置が第1サムネイルが表示される位置であることを示す場合、前記第1類似医用画像を含む第2ページの部分または全部を前記ディスプレイに表示させる指示を行い、前記第1病名に前記第1サムネイルが対応する場合、同一の電子コンテンツが前記第1ページ、前記第2ページを含む。
(実施の形態)
以下本開示の一実施の形態について、図面を参照しながら説明する。なお、各図面において、同じ構成要素については同じ符号が用いられている。
図1は、本実施の形態における情報端末が適用された病院情報システムの全体構成図である。図1に示すように、病院情報システムは、情報端末100、医用情報管理システム200、及び症例検索システム300を備えている。
情報端末100、医用情報管理システム200、及び症例検索システム300はネットワーク400を介して相互に通信可能に接続されている。
なお、医用情報管理システム200及び症例検索システム300は必ずしも病院の中に配置される必要はなく、病院外のデータセンター、プライベートクラウドサーバ、パブリッククラウドサーバ等の上で動作するソフトウェアであってもよい。医用情報管理システム200及び症例検索システム300が病院内に設置されている場合、ネットワーク400としては、ローカルエリアネットワークが採用できる。ローカルネットワークとしては、IEEE802.3シリーズの有線LAN、IEEE802.11シリーズの無線LAN、或いは両者が混在するネットワークが採用できる。医用情報管理システム200及び症例検索システム300が病院外のサーバを用いて実現される場合、ネットワーク400としては、インターネットが採用できる。
情報端末100としては、パーソナルコンピュータ、またはタブレット端末等の情報端末が採用される。医用情報管理システム200としては、PACS(Picture Archiving and Communication Systems)、または電子カルテシステム等が採用される。
図2は、情報端末100、医用情報管理システム200、及び症例検索システム300の構成を示すブロック図である。図2に示すように、情報端末100は、ディスプレイ101、操作部102、入力制御部103、表示制御部104、ROI管理部105、表示ボックス管理部106、病名リスト管理部108、分布リスト管理部109、通信制御部110、及びボックスレイアウト管理部111を備える。
ディスプレイ101は、例えば、液晶モニタにより構成され、診断対象となる医用画像及びカルテ画像を表示すると共に、診断結果を記入するためのレポート入力画像等を表示する。なお、ディスプレイ101は最低1台必要だが、通常、画像診断においては2〜3台のディスプレイ101が用いられる。本実施の形態では2台のディスプレイ101が用いられ、一方のディスプレイ101をディスプレイ101aとし、他方のディスプレイ101をディスプレイ101bとする(図3参照)。
図3は、2台のディスプレイ101a、101bの外観図である。図3では、ディスプレイ101aには、4つの医用画像ビューワが2行2列の配置で表示されており、ディスプレイ101bには症例検索システム300の画面が表示されている。なお、ディスプレイ101を1台とした場合、両方の画面は1台のディスプレイ101の表示画面上に領域を分けて表示される。
図2に戻って、操作部102は、例えば、キーボード及びマウスを含み、情報端末100に対してユーザにより入力される種々の操作を受け付ける。例えば、操作部102は、ディスプレイ101に表示される医用画像及びカルテ画像に対するユーザからの操作、並びにレポート入力画面に対して診断結果を入力する操作等を受け付ける。
入力制御部103は、操作部102へのユーザの操作を検知すると、その操作の内容を解釈し、他の構成要素に操作内容を通知する。例えば、入力制御部103は、操作部102としてのマウスから出力される座標データからディスプレイ101上におけるマウスポインタの位置を検知し、ディスプレイ101上にマウスポインタを表示させる。そして、入力制御部103は、マウスがクリックされたことを検知したときにマウスポインタの表示位置に表示制御部104で生成されたGUI部品(例えば、GUIボタン)が表示されていれば、そのGUIをユーザが選択したと判定し、他の構成要素にそのGUI部品がユーザにより選択されたことを通知する。
表示制御部104は、情報端末100のGUI(Graphical User Interface)を生成し、ディスプレイ101に表示させる。
ROI管理部105は、類似症例検索を行う際に、後述する検索クエリ画像に対して設定される関心領域(Region Of Interest)を示す関心領域情報を生成してメモリに格納し、関心領域情報を管理する。
表示ボックス管理部106は、後述する表示ボックス管理情報4410(図40)をメモリに格納し、表示ボックス管理情報4410を管理する。
病名リスト管理部108は、症例表示領域710(図9)に表示された類似症例の病名リスト(図42)を生成してメモリに格納し、病名リストを管理する。
分布リスト管理部109は、症例表示領域710に表示された類似症例の病変分布を示す分布リスト(図47)を生成してメモリに格納し、分布リストを管理する。
通信制御部110は、例えば、情報端末100をネットワーク400に接続するための通信装置を含み、情報端末100及び医用情報管理システム200間の通信や、情報端末100及び症例検索システム300間の通信を制御する。また、通信制御部110は、他のブロックから種々のデータの送信依頼を受け付けて、医用情報管理システム200又は症例検索システム300に送信すると共に、医用情報管理システム200又は症例検索システム300から送信されたデータを受信し、該当するブロックに渡す。
ボックスレイアウト管理部111は、レイアウト管理情報を生成してメモリに格納し、レイアウト管理情報を管理する。
図2に示すように、医用情報管理システム200は、病院データ部210、医学書データ部220、及び通信制御部206を備える。病院データ部210は、患者情報蓄積部201、患者情報管理部202、医用画像データ蓄積部203、医用画像データ管理部204、及び診断レポート管理部205を備える。
患者情報蓄積部201は、患者の性別及び年齢等の個人情報、既往歴等の臨床情報、並びに血液検査等の検査情報が登録された患者情報1000(図28)を蓄積する。
患者情報管理部202は、患者情報蓄積部201に蓄積された患者情報1000(図28)に対して、ユーザから入力されたデータを登録して患者情報1000を更新する処理、及び患者情報1000を表示制御部104に出力する処理等を実行し、患者情報1000を管理する。
医用画像データ蓄積部203は、患者の検査画像である医用画像データを蓄積する。医用画像データ管理部204は、医用画像データを医用画像データ蓄積部203に蓄積し、医用画像データを管理する。
診断レポート管理部205は、患者に対して行われた各検査に対する医師による診断結果を示す診断レポート3000(図31)を管理する。
通信制御部206は、例えば、医用情報管理システム200をネットワーク400に接続するための通信装置を含み、他のブロックから種々のデータの送信依頼を受け付けて、情報端末100又は症例検索システム300に送信すると共に、情報端末100又は症例検索システム300から送信されたデータを受信し、該当するブロックに渡す。
図2に示すように、医学書データ部220は、医学書データ蓄積部221、医学書データ管理部222、画像データ蓄積部223、画像データ管理部224、鑑別項目情報蓄積部225、及び鑑別項目情報管理部226を備える。
医学書データ蓄積部221は、医学書データ410(図4)を蓄積する。医学書データ410は、電子医学書を表すデータである。医学書データ管理部222は、医学書データ蓄積部221に蓄積された医学書データ410を管理する。医学書データ管理部222は、新しく医学書データ410を更新する処理、及び医学書データ410に含まれる各情報を表示制御部104に出力する処理等を実行する。
図4は、医学書データ蓄積部221に蓄積される医学書データ410のデータ構成を示す図である。医学書データ410は、図4に示されるように、医学書ID411、医学書のパス412、書籍名413、及び表紙画像のパス414を含む。医学書ID411は、医学書に固有の識別子である。医学書のパス412は、医学書のスキャンデータ(電子コンテンツである電子医学書)の格納場所へのパスを表す。書籍名413は、医学書の名称を表す。表紙画像のパス414は、医学書の表紙のサムネイル画像のスキャンデータが格納されている場所へのパスを表す。
図2に戻って、画像データ蓄積部223は、医学書画像データ420(図5)を蓄積する。医学書画像データ420は、電子医学書に掲載されている医用画像を表すデータである。画像データ管理部224は、画像データ蓄積部223に蓄積された医学書画像データ420を管理する。画像データ管理部224は、新しく医学書データを更新する処理、及び医学書画像データ420に含まれる各情報を表示制御部104に出力する処理等を実行する。
図5は、画像データ蓄積部223に蓄積される医学書画像データ420のデータ構成を示す図である。医学書画像データ420は、図5に示されるように、医学書ID421、パス422、画像ID423、確定診断病名424、ページ番号425、及び行番号426を含む。医学書ID421は、医学書に固有の識別子である。パス422は、画像IDで特定される画像の画像データの格納場所へのパスを表す。画像ID423は、医学書に掲載されている医用画像に固有の識別子である。確定診断病名424は、対応する医用画像に対して診断が確定された病名を指す。ページ番号425は、対応する医用画像が掲載されている医学書のページ番号を表す。行番号426は、対応する医用画像が掲載されている医学書のページにおける先頭の行番号を表す。医学書画像データ420は、類似医用画像の付加情報の一例であり、医学書ID421は、医学書識別情報の一例である。
図2に戻って、鑑別項目情報蓄積部225は、鑑別項目情報430(図6)を蓄積する。鑑別項目情報430は、電子医学書に記載されている鑑別項目を含む。鑑別項目情報管理部226は、鑑別項目情報蓄積部225に蓄積された鑑別項目情報430を管理する。鑑別項目情報管理部226は、新しく医学書データを更新する処理、及び鑑別項目情報430に含まれる各情報を表示制御部104に出力する処理等を実行する。
図6は、鑑別項目情報蓄積部225に蓄積される鑑別項目情報430のデータ構成を示す図である。鑑別項目情報430は、図6に示されるように、医学書ID431、疾患名432、鑑別項目433、ページ番号434、及び行番号435を含む。医学書ID431は、医学書に固有の識別子である。疾患名432は、この鑑別項目情報430に含まれる情報の疾患名を表す。
鑑別項目433は、疾患名432の疾患の診断を確定するために必要な項目を表す。医師は、読影対象の患者の病名を、ある程度絞り込んだ段階で、鑑別項目433の各項目と患者の医用画像及び経過情報などとを照合して、患者の病名を最終的に確定する。ページ番号434は、鑑別項目433が記載されている医学書のページ番号を表す。行番号435は、鑑別項目433が記載されている医学書のページにおける先頭の行番号を表す。鑑別項目情報430は、病名の付加情報の一例である。
図2に戻って、症例検索システム300は、類似症例データ蓄積部301、画像特徴抽出部302、類似症例検索部303、及び通信制御部304を備える。
類似症例データ蓄積部301は、予め、医用情報管理システム200(この実施形態では例えば、医用情報管理システム200のなかの医学書データ部220)に管理されている症例のうち、類似症例検索の対象データとして選定された多数の類似症例から抽出された画像特徴や、生成されたサムネイル画像等が登録された類似症例データ4000(図32)を蓄積する。
画像特徴抽出部302は、情報端末100の通信制御部110から送信された検索クエリ画像の関心領域情報の画像特徴を抽出する。なお、関心領域情報は、関心領域を示す指定情報の一例である。
類似症例検索部303は、画像特徴抽出部302で抽出された画像特徴と、類似症例データ蓄積部301に蓄積された1以上の類似症例の画像特徴とをそれぞれ比較することで類似症例検索結果を生成する。
通信制御部304は、例えば、症例検索システム300をネットワーク400に接続させる通信装置で構成され、他のブロックから種々のデータの送信依頼を受け付けて、情報端末100又は医用情報管理システム200に送信すると共に、情報端末100又は医用情報管理システム200から送信されたデータを受信し、該当するブロックに渡す。
図7は、情報端末100の実装形態の構成例を示す図である。図7に示すように、情報端末100は、アプリケーション501、OS(Operating System)502、メモリ503、及び図示しないその他のハードウェアを備えている。
アプリケーション501は、パーソナルコンピュータ、またはタブレット端末を情報端末100として機能させるためのアプリケーションソフトウェアであり、情報端末100のプロセッサにより実行される。情報端末100は、コンピュータ読み取り可能な記録媒体からアプリケーション501を読み出してアプリケーション501を実装してもよいし、ネットワークからダウンロードすることでアプリケーション501を実装してもよい。
ここで、アプリケーション501は、医用情報管理アプリケーション及び類似症例検索アプリケーションを含む。医用情報管理アプリケーションは、情報端末100を医用情報管理システム200と連携させるためのアプリケーションであり、類似症例検索アプリケーションは、情報端末100を症例検索システム300と連携させるためのアプリケーションである。そして、両アプリケーションは、相互にデータを送受し、情報端末100において、医用情報管理システム200及び症例検索システム300が提供するサービスを統合させる。
OS502は、情報端末100の基本ソフトウェアであり、情報端末100のプロセッサにより実行される。メモリ503は、情報端末100が備えるRAM、ROM等の記憶装置により構成され、アプリケーション501に含まれるデータ群を記憶する。
情報端末100のプロセッサがアプリケーション501を実行することで、図2に示す入力制御部103、表示制御部104、ROI管理部105、表示ボックス管理部106、病名リスト管理部108、分布リスト管理部109、通信制御部110、及びボックスレイアウト管理部111の機能が実現される。
但し、本実施の形態では、情報端末100は、アプリケーション501単独で実装されてもよいし、アプリケーション501及びOS502で実装されてもよいし、アプリケーション501、OS502、及びメモリ503で実装されてもよいし、アプリケーション501、OS502、メモリ503、及びその他の図示しないハードウェアで実装されてもよい。いずれの実装形態においても本実施の形態の情報端末100を実現することは可能である。
図8は、情報端末100にて類似症例検索アプリケーションを起動した直後にディスプレイ101aに表示される基本画面K1の一例を示す図である。図8に示す基本画面K1は、4つの医用画像ビューワ610〜640で構成されている。医用画像は、通常、DICOM(Digital Imaging and Communication in Medicine)フォーマットで記録されており、医用画像ビューワ610〜640はDICOMを扱えるビューワである。本実施の形態で扱う医用画像は、DICOMフォーマットの多数の断層画像(以下、スライス画像と呼ぶ。)で構成される胸部CT画像とする。但し、これは一例に過ぎず、他の部位(例えば、頭部、腹部、脚、或いは腕)のCT画像が採用されてもよい。
医用画像ビューワ610〜640に表示された胸部CT画像は、マウスやキーボードの操作により、スライス画像が切り替えられる。ここで、胸部CT画像を構成するスライス画像は、例えば、首側から腹側に向かう順番に配置されている。
例えば、医用画像ビューワ610上にマウスポインタが位置決めされ、マウスホイールの回転が入力制御部103で検知されると、表示制御部104は、検知された回転量に応じて医用画像ビューワ610に表示されているスライス画像を切り替える。ここで、表示制御部104は、例えば、医用画像ビューワ610において、マウスホイールがマウスの後方側に1クリック分回転されると、表示中のスライス画像を次のスライス位置のスライス画像に切り替える。一方、表示制御部104は、例えば、医用画像ビューワ610において、マウスホイールがマウスの前方側に1クリック分回転されると、表示中のスライス画像をスライス位置が1つ前のスライス画像に切り替える。よって、医師等のユーザはマウスホイールを前方側又は後方側に回転させながら、医用画像ビューワ610に表示されるスライス画像を適宜切り替え、所望のスライス画像を探索する。
なお、医用画像としては、胸部CT画像に代えて、MRI(Magnetic Resonance Imaging)画像や単純X線画像が採用されてもよい。また、図8の例では、医用画像ビューワの個数は4個とされているが、これは一例にすぎず、6個や8個等別の個数が採用されてもよい。医用画像ビューワの個数が多くなると同時に比較できる画像が増えるが、1画像当たりの表示面積が狭くなる。そのため、この個数はディスプレイ101aの表示サイズに応じて適宜変更可能な構成を採用すればよい。ここでは、医用画像ビューワの個数は、ユーザ又は管理者が自由に変更できるものとする。
類似症例検索アプリケーションが起動される前には、ディスプレイ101aの全域には、ある患者の胸部CT画像のスライス画像が表示されている。そして、この状態で、読影者等のユーザにより類似症例検索アプリケーションが起動されると医用画像ビューワ610には、ディスプレイ101aの全域に表示されていたスライス画像が表示される。
つまり、医用画像ビューワ610には、ユーザが類似症例検索アプリケーションを起動させたときに、ディスプレイ101aの全域に表示されていた検索クエリ画像が初期表示される。なお、表示制御部104は、検索クエリ画像上に類似症例検索を行う対象の関心領域(ROI:Region Of Interest)を重畳表示してもよい。検索クエリ画像は読影対象の医用画像である対象医用画像の一例である。
図8では、他の医用画像ビューワ620〜640には何の画像も表示されていないが、診断対象となる患者の検査画像が複数あり、類似症例検索アプリケーションが起動される前に、ディスプレイ101aに複数の検査画像が表示されていた場合、表示制御部104は、医用画像ビューワ620〜640に、これら複数の検査画像をそのまま表示すればよい。
図9は、情報端末100にて類似症例検索アプリケーションを起動した直後にディスプレイ101bに表示される基本画面K2の一例を示す図である。図9に示す基本画面K2は、類似症例データ表示領域770、レイアウト領域720、病名リスト表示領域730、及び分布リスト表示領域750を備える。類似症例データ表示領域770は、左側に配置された症例表示領域710と、右側に配置された医学書表示領域760とを含む。なお、基本画面K2は表示画面の一例であり、類似症例データ表示領域770は第1表示領域の一例であり、病名リスト表示領域730は第2表示領域の一例である。
類似症例データ表示領域770の症例表示領域710は、検索クエリ画像に類似した類似症例のサムネイル画像を類似度順に表示する領域である。ここで、類似症例のサムネイル画像は、類似医用画像の一例である。
症例表示領域710には多数の類似症例が表示されるため、解像度や画素値の変換をその場で行うと処理に時間がかかってしまう。よって、サムネイル画像は、オリジナルのスライス画像から予め作成され、症例検索システム300に保存されている。
以下、解像度や画素値の変換について少し補足する。医学書に記載(この実施形態では例えば、画像データ蓄積部223に蓄積)されているオリジナルの画像解像度は一般的に512×512画素であるが、サムネイル画像はより低解像であるため、解像度変換を行う必要がある。そこで、サムネイル画像は、元となるスライス画像に対して低解像度処理及び階調変換処理が行われて生成される。
階調変換処理は例えば、下記のように行われる。CTで取得したスライス画像は各画素値(CT値)が−1000〜+1000(単位HU:Hounsfield Unit)の2000階調の値をとり、そのままでは通常の8ビット階調のディスプレイに表示できない。また、表示できたとしても、2000階調の中で、肺気腫領域(CT値:−1000HU)、肺野の正常組織(CT値:約−900HU)、すりガラス領域(CT値:−800HU)、軟部組織(CT値:−100〜−50HU)、水(CT値:0HU)、及び骨(CT値:1000HU)を人間が肉眼で区別することは難しい。
よって、通常、スライス画像は、各画素値に対してウィンドウレベル及びウィンドウ幅が設定され、8ビットの画素値に再構成されて、ディスプレイに表示される。ここで、ウインドウレベルは、ウインドウの中心となるCT値を示し、ウインドウ幅は、ウインドウ中心の上下の幅を示す。
例えば、肺野条件でDICOM画像が再構成される場合、ウインドウレベルが−550〜−800に設定され、ウインドウ幅が1000〜1600に設定される。したがって、サムネイル画像も、元となるスライス画像から上記の処理によって画素値が8ビットに落とされることで生成される。
なお、症例表示領域710に表示されるサムネイル画像は、診断対象症例の特徴ベクトルに対する距離が所定の閾値以下の類似症例を示すサムネイル画像である。ここでは距離としては、例えば、ユークリッド距離が用いられる。なお、距離としては、市街地距離等の別の距離尺度が採用されてもよい。比較対象となる2つの画像は、距離が近いほど類似している。また、特徴ベクトルは、サムネイル画像から得られたものではなく、元画像であるスライス画像から得られたものが採用される。
図10は、症例表示領域710に表示されるある1つの類似症例の表示領域701(個別領域の一例)を取り出して示した図である。類似症例の表示領域には、サムネイル画像が表示されており、このサムネイル画像の下部には、確定診断病名表示領域711及び距離表示領域712が配置されている。確定診断病名表示領域711には、対象となる類似症例の確定診断病名が表示される。確定診断病名とは、対象となる類似症例に対して診断が確定された病名を指す。距離表示領域712には、対象となる類似症例のスライス画像の特徴ベクトルと、検索クエリ画像の特徴ベクトルとの距離が表示される。図10の例では、確定診断病名表示領域711には、「非結核性抗酸菌症」と表示されているため、このサムネイル画像は「非結核性抗酸菌症」と確定診断がされた類似症例のサムネイル画像を示す。また、距離表示領域712には、「0.05」と表示されているため、この類似症例のスライス画像と検索クエリ画像との距離が「0.05」であることが示されている。
図9に戻り、基本画面K2の例えば左上には、検索結果件数表示領域713が配置されている。検索結果件数表示領域713には、検索処理の結果、症例検索システム300から取得された、診断対象症例に類似する類似症例の数が表示される。
なお、類似症例の数が膨大である場合、症例表示領域710は全ての類似症例を一度に表示することができない。そこで、症例表示領域710の例えば右側には、上下方向に長尺のスクロールバー715が設けられている。表示制御部104は、スクロールバー715の移動量に応じて、症例表示領域710内に表示されているサムネイル画像を上下方向にスクロール表示させる。これにより、ユーザは、非表示状態にあった類似症例を症例表示領域710に表示させ、その類似症例を観察できる。
なお、スクロールバー715は左右方向に長尺であってもよい。この場合、表示制御部104は、スクロールバー715の移動量に応じて、症例表示領域710内に表示されているサムネイル画像を左右方向にスクロール表示させればよい。或いは、症例表示領域710にマウスポインタが位置決めされた状態で、キーボードの方向キーが押されると、表示制御部104は、キーが押されている間、押されているキーの方向に症例表示領域710内に表示されているサムネイル画像をスクロール表示させてもよい。
なお、情報端末100は、検索クエリ画像との距離が所定の閾値以下のサムネイル画像を症例検索システム300から取得するとしたが、これは一例に過ぎない。例えば、情報端末100は、類似度が高い順に、常に一定数のサムネイル画像を症例検索システム300から取得してもよい。或いは、情報端末100は、常にある確定診断病名のサムネイル画像が一定数含まれるようにサムネイル画像を症例検索システム300から取得してもよい。
なお、症例表示領域710におけるサムネイル画像の表示手法としては、例えば、最上段の行の左端に検索クエリ画像との距離が最短のサムネイル画像を表示し、右側に向かうにつれて距離が順次に大きくなるようにサムネイル画像を表示し、同一行の右端に達すると上から2行目の左端に次に距離が大きいサムネイル画像を表示するという表示手法が採用できる。つまり、症例表示領域710において、左上から右下に向けて蛇行するように距離が小さい順にサムネイル画像を表示するという表示手法が採用できる。
もちろん、本実施の形態は別の表示手法が採用されてもよい。例えば、左から1列目の上端に距離が最短のサムネイル画像を表示し、下側に向かうにつれて距離が順次に大きくなるようにサムネイル画像を表示し、同一列の下端に達すると、左から2列目の上端に次に距離が大きいサムネイル画像を表示するという表示手法が採用されてもよい。また、これら複数の表示手法をユーザが切り替え可能な構成が採用されてもよい。
また、上記の例では、類似度として距離が採用されたが、コサイン類似度のような画像同士の類似性を示す指標であればどのような指標が採用されてもよい。コサイン類似度が採用された場合、値が1に近づくにつれて比較対象となる2つの画像の類似性が高くなる。
なお、詳細は後述するが、症例表示領域710に表示する類似症例は、病名リスト表示領域730に表示された病名、または、分布リスト表示領域750に表示された病変分布で絞り込むことができる。現在設定されている類似症例の絞込条件は、表示条件表示領域714に表示される。図9の例では、類似症例検索直後の状態であり、何も絞り込みがなされていないため、表示条件表示領域714には「全疾患」と表示されている。
レイアウト領域720は、例えば、図9に示す基本画面K2の左下に配置されている。そして、レイアウト領域720は、症例表示領域710に表示された類似症例サムネイル画像のうちユーザが詳細に観察したい画像を、ディスプレイ101aの医用画像ビューワに表示させるために用いられる。図8に示す通り、ディスプレイ101aには4つの医用画像ビューワ610〜640が2行2列で表示されている。また、レイアウト領域720には、2行2列で4つの表示ボックス721〜724が存在する。このように、ディスプレイ101aに表示される医用画像ビューワ610〜640の数及び配置と、レイアウト領域720における表示ボックス721〜724の数及び配置とは揃えられている。図8の通り、医用画像ビューワ610に、検索クエリ画像が表示されているのに合わせ、表示ボックス721には、検索クエリ画像のサムネイル画像が初期表示される。
他の表示ボックス722〜724には、医用画像ビューワ620〜640と連動させて類似症例のサムネイル画像が表示される。つまり、入力制御部103が表示ボックス722〜724のいずれか1の表示ボックスに症例表示領域710に表示された1のサムネイル画像のドラッグアンドドロップを検知すると、表示制御部104はその表示ボックスに1のサムネイル画像を表示させると共に、その表示ボックスに対応する医用画像ビューワにそのサムネイル画像に対応するスライス画像を表示する。このように、医用画像ビューワ610〜640は、表示ボックス721〜724と1対1で対応付けられている。図9の例では、表示ボックス722〜724は空白であるため、図8に示す医用画像ビューワ620〜640も空白になっている。
ユーザは、マウスをドラッグアンドドロップすることで、詳細に観察したいサムネイル画像を、症例表示領域710からレイアウト領域720に移動させる。例えば、ユーザが表示ボックス722にサムネイル画像を移動させたとすると、表示ボックス722に対応する医用画像ビューワ620には、このサムネイル画像に対応するスライス画像が表示される。同様に、ユーザが表示ボックス723にサムネイル画像を移動させたとすると、表示ボックス723に対応する医用画像ビューワ630には、このサムネイル画像に対応するスライス画像が表示される。すなわち、表示ボックス721〜724のうち任意の表示ボックスにサムネイル画像を移動させると、検索クエリ画像のサムネイル画像に隣接して類似症例のサムネイル画像が表示される。そのため、ユーザはサムネイル画像のレベルで診断対象症例と類似症例との対比ができ、両症例の類似性を速やかに判断できる。つまり、サムネイル画像は、スライス画像に比べて情報量が少ないため、ユーザは、レイアウト領域720において隣接配置された診断対象症例と類似症例とがどの程度類しているかのおよその検討をつけることができる。そのため、ユーザは、症例表示領域710に表示された多数の類似症例の中から、診断対象症例との比較をスライス画像のレベルで詳細に行う必要がある類似症例の最終候補の絞り込みを効率良く行うことができる。
同様に、ディスプレイ101aにも、レイアウト領域720と同じ配置関係で検索クエリ画像及び類似症例のスライス画像が表示される。そのため、レイアウト領域720において最終候補となる類似症例を絞り込む作業が終了すると、何らの操作を入力しなくても、ディスプレイ101aには、診断対象症例と最終候補として絞り込んだ類似症例とがスライス画像のレベルで表示されている。そのため、ユーザは対象診断と最終候補の類似症例とを詳細に読影するという次の作業ステップに円滑に移行できる。
図9に示す基本画面K2の左側の上段には、「病名リスト」との見出しが付けられた病名リスト表示領域730が配置されている。病名リスト表示領域730には、類似症例の検索結果として取得された全ての類似症例の確定診断病名が表示される。診断対象症例は、診断が終了して確定診断病名が付与された後、類似症例として、症例検索システム300に蓄積される。したがって、各類似症例には、それぞれ、診断によって付与された確定診断病名が予め付与されている。
図11は、病名リスト表示領域730の拡大図である。図11では、確定診断病名は、大分類の病名(731、734、737、741、744)と詳細分類の病名(732、733、735、736、738、739、740、742、743、745)とに分けて表示されている。図11の例では、大分類の病名として、真菌症731(mycosis)、腫瘍性734(neoplastic)、非腫瘍性737(nonneoplastic)、ミコバクテリア症741(mycobacteriosis)、及びその他744が表示されている。
また、図11の例では、真菌症731の詳細分類の病名として、アスペルギルス症732(aspergillosis)、クリプトコッカス症733(cryptococcosis)が表示されている。また、腫瘍性734の詳細分類の病名として、原発性肺癌735(lung cancer)、転移性肺癌736(metastatic lung cancer)が表示されている。また、非腫瘍性737の詳細分類の病名として、肺膿瘍738(lung abscess)、サルコイドーシス739(sarcoidosis)、敗血性塞栓740(septic emboli)が表示されている。また、ミコバクテリア症741の詳細分類の病名として、非結核性抗酸菌症742(NTM:nontuberculous mycobacteria)、肺結核743(tuberculosis)が表示されている。また、その他744の詳細分類の病名として気管支拡張症745(bronchiectasis)が表示されている。
また、大分類の病名及び詳細分類の病名の横には、その病名の症例数が表示されている。ユーザは、この病名リスト表示領域730における大分類の病名または詳細分類の病名の任意の行を選択することで、症例表示領域710に表示される類似症例を絞り込むことができる。図9に示すように類似症例の検索直後の状態では、多様な疾患を含む62個の類似症例が表示対象になっているが、図11の真菌症731の行がマウスでクリックされた場合、表示制御部104は、図12に示すように真菌症の類似症例を症例表示領域710に表示する。また、図11の転移性肺癌736の行がマウスでクリックされた場合は、表示制御部104は、図13に示すように、転移性肺癌の類似症例を症例表示領域710に表示する。
この時、表示制御部104は、現在、症例表示領域710に表示されている類似症例がどのような絞り込み条件であるが分かるように、表示条件表示領域714に、絞り込んだ病名を表示する。図12は、「真菌症」で類似症例が絞り込まれたときの基本画面K2を示す図である。図13は、「転移性肺癌」で類似症例が絞り込まれたときの基本画面K2を示す図である。
図12の例では、「真菌症」で絞り込みがかけられたため、表示条件表示領域714には「真菌症」と表示され、図13の例では「転移性肺癌」で絞り込みがかけられたため、表示条件表示領域714には「転移性肺癌」と表示されている。
また、この時、表示制御部104は、現在、症例表示領域710に表示されている類似症例の件数が分かるように、検索結果件数表示領域713にその件数を表示する。図12の例では、「真菌症」に該当する類似症例は14件であったため、検索結果件数表示領域713には14件と表示され、図13の例では、「転移性肺癌」に該当する類似症例は3件であったため、検索結果件数表示領域713には3件と表示されている。
この機能により、画像診断の対象として医師が想定する病名の類似症例が症例表示領域710に表示され、医師は、診断対象症例が想定した病名と矛盾しないかどうかを容易に確認できる。
図9に示す基本画面K2の類似症例データ表示領域770のなかの右側には、医学書表示領域760が配置されている。医学書表示領域760は、ユーザの選択に応じて該当する医学書の頁を表示する領域である。
図14は、医学書表示領域760の表示制御を行う表示制御部104等の処理を示すフローチャートである。以下、図14を用いて、医学書表示領域760の表示制御について詳しく説明する。
まず初めに、S100では、入力制御部103は、基本画面K2上でユーザが選択した画面の位置を検知する。表示制御部104は、基本画面K2上でユーザが選択した画面の位置を、入力制御部103から取得する。
次に、S101では、表示制御部104は、S100で取得した画面の位置が症例表示領域710内であるか否かを判定する。S100で取得した画面の位置が、症例表示領域710内の場合は(S101でYES)、処理がS102に進められ、症例表示領域710外の場合は(S101でNO)、処理がS103に進められる。
次に、S102では、表示制御部104は、入力制御部103から取得した、基本画面K2上でユーザが選択した症例表示領域710内の画面の位置から、選択された類似症例に対応する類似症例データ4000(図32)を、類似症例データ蓄積部301から取得する。表示制御部104は、取得した類似症例データ4000から、画像ID4200を抽出する。
表示制御部104は、抽出した画像ID4200に対応する医学書画像データ420(図5)を画像データ管理部224から取得する。表示制御部104は、取得した医学書画像データ420から医学書ID421及びページ番号425を抽出する。表示制御部104は、抽出した医学書ID421に対応する医学書のページ番号425に対応するページを医学書表示領域760に表示し、処理を終了する。
図15は、図9の症例表示領域710でユーザが左上の類似症例716を選択した時に、S102で表示される基本画面K2の一例を示す図である。医学書表示領域760には、類似症例716(サムネイル画像)の生成のもとになった原画(オリジナル画像)が掲載された医学書のページが表示される。図15に表示されている医学書のページには、類似症例716の診断情報762が記載されている。
医学書表示領域760には医学書の全てのページを一度に表示することができない。このため、医学書表示領域760の例えば右側には、上下方向に長尺のスクロールバー761が設けられている。表示制御部104は、入力制御部103により検知されるスクロールバー761の移動量に応じて、医学書表示領域760内に表示されている医学書を上下方向にスクロール表示させる。これにより、ユーザは、非表示状態にあった医学書のページを医学書表示領域760に表示させ、前後の記述を確認することができる。
図14に戻って、S103では、表示制御部104は、S100で取得した画面の位置が病名リスト表示領域730内であるか否かを判定する。S100で取得した画面の位置が、病名リスト表示領域730内の場合は(S103でYES)、処理がS104に進められ、病名リスト表示領域730外の場合は(S103でNO)、処理がS105に進められる。
次に、S104では、表示制御部104は、入力制御部103から取得した、基本画面K2上でユーザが選択した病名リスト表示領域730内の画面の位置から、選択された病名を判別する。表示制御部104は、判別した病名(疾患名)に対応する鑑別項目情報430(図6)を鑑別項目情報管理部226から取得する。表示制御部104は、取得した鑑別項目情報430から、医学書ID431及びページ番号434を抽出する。表示制御部104は、抽出した医学書ID431に対応する医学書のページ番号434に対応するページを医学書表示領域760に表示し、処理を終了する。
図16は、図9の病名リスト表示領域730でユーザが「アスペルギルス症」を選択した時に、S104で表示される基本画面K2の一例を示す図である。医学書表示領域760には、「アスペルギルス症」の診断を確定するための鑑別項目763が記載された医学書のページが表示される。
図14に戻って、最後に、S105では、表示制御部104は、医学書表示領域760の表示を変更せずに、処理を終了する。S100で入力制御部103から取得した、基本画面K2上でユーザが選択した画面の位置が、症例表示領域710ではなく(S101でNO)、病名リスト表示領域730でもない(S103でNO)場合には、表示制御部104は、医学書表示領域760の表示内容の変更を行わない。
ここで、ユーザ(医師)が、症例表示領域710内の類似症例(サムネイル画像)を選択した時と、病名リスト表示領域730内の疾患名を選択した時とで、医学書表示領域760の表示内容を切り替える理由について説明する。
ユーザ(医師)が、症例検索システム300を用いて、検索クエリ画像(対象医用画像)に類似する類似症例のサムネイル画像(類似医用画像)を検索する際には、主に2通りの場面が有り得る。
1つ目は、医師が対象医用画像を見た際に、医師には当該対象医用画像の病名が思い浮かばず、対象医用画像と類似する類似医用画像に付与された病名を参考にしたいと医師が考える場面である。かかる場合、通常の医療現場では、医師は、医学書に掲載されている膨大な医用画像の中から、対象医用画像と類似する医用画像を探し出し、当該類似する医用画像に付与された病名を参考に対象医用画像の病名を決定することになる。
図9に示されるように、まず、複数の類似医用画像を表示する症例表示領域710を含む類似症例データ表示領域770と、疾患名(病名)を表示する病名リスト表示領域730とを含む基本画面K2がディスプレイ101に表示される。医師が基本画面K2上で接触物(例えば、医師の指)により選択すると、その選択を入力制御部103が検知する。基本画面K2の表示後に、入力制御部103が最初に検知したユーザの選択が、症例表示領域710に表示された類似医用画像の選択である場合は、医師には当該対象医用画像の病名が思い浮かんでいないと推認できる。
かかる場合は、医学書表示領域760には、選択された類似医用画像が掲載されており、かつ、選択された類似医用画像の診断情報が記載されている電子医学書の頁を表示してもよい。なぜならば、医師は、対象医用画像と類似医用画像とを比較する際、類似医用画像に関する診断情報も考慮して画像同士の特徴を比較するからである。
ここで、診断情報には、当該類似医用画像中にある病変部の形態(結節性、びまん性など)、当該類似医用画像に関する患者の臨床情報(性別、年齢、血液検査の結果など)、当該患者の経過情報などが含まれている。図15の例では、診断情報762は、病変部の形態として、「空洞性」を含み、患者の臨床情報として、「57歳男性」を含み、患者の経過情報として、「患者は慢性骨髄性白血病に対する化学療法後、重度の好中球減少症を呈した」を含む。
読影対象の患者の病名が医師に思い浮かばない場合に、医師は、診断情報と患者の医用画像及び経過情報などとを対比して、患者の病名を特定する。このように、診断情報は、対象医用画像と類似医用画像とを比較するに際して、画像の特徴の類似度と同等若しくはそれ以上に重要な情報である。そして、当該診断情報は、電子医学書において当該医用画像に隣接する箇所に記載されている。
この実施形態によると、症例表示領域710に表示された類似医用画像のユーザによる選択を入力制御部103が検知した際(図14のS101でYES)、表示制御部104は、選択された類似医用画像が掲載されている電子医学書の頁を医学書表示領域760に表示する(図14のS102)。このため、この実施形態では、ユーザが症例表示領域710に表示された類似医用画像を選択すると、その選択された類似医用画像に関する診断情報762をユーザに提示することができる。
また、ユーザが症例表示領域710に表示された類似医用画像を選択すると、診断情報762をユーザに提示するため、ユーザが診断情報762を読み落とすのを防止できる。実際の診断現場においては、対象医用画像と選択された類似医用画像との画像の特徴が類似していたとしても、診断情報762を考慮した結果、両画像は別の病名であると結論付けられることがある。そのため、本実施形態によると、診断情報762の読み落としを効果的に防止することができ、誤診防止にも繋がる。
2つ目は、医師が、対象医用画像を見た際に当該対象医用画像の病名の候補として複数の病名を思い浮かべ、いずれの病名であるかを決定するために必要な情報を得たいと考える場面である。かかる場合、通常の医療現場では、医師は、思い浮かべた複数の病名それぞれについて医学書の該当頁を読み、その病名と決定するのに必要な情報である鑑別項目を確認する。そして、医師は、対象医用画像と鑑別項目とを逐一確認することにより、対象医用画像の病名の診断を最終的に確定する。
図9に示される、症例表示領域710を含む類似症例データ表示領域770と、病名リスト表示領域730とを含む基本画面K2が、ディスプレイ101に表示される。この図9の基本画面K2の表示後に、入力制御部103が最初に検知したユーザの選択が、病名リスト表示領域730に表示された病名の選択である場合は、医師には、当該対象医用画像の病名の候補として複数の病名が思い浮かんでいると推認できる。
したがって、病名リスト表示領域730に表示された病名の選択が検知された際は、効率的な診断の観点から、思い浮かんでいる複数の病名の内いずれの病名であるかを決定するために必要な情報を医師に提示してもよい。即ち、特定の病名であると決定するために必要な情報である鑑別項目763(図16)を医師に提示してもよい。
この実施形態によると、病名リスト表示領域730に表示された病名の選択を入力制御部103が検知した際(図14のS103でYES)、表示制御部104は、図16に示されるように、選択された病名に対応する鑑別項目が記載されている電子医学書の頁を医学書表示領域760に表示する(図14のS104)。このため、この実施形態では、医師が望む診断に必要な情報を効果的に医師に提示することができる。
以上の通り、複数の類似医用画像を表示する症例表示領域710を含む類似症例データ表示領域770と、病名を表示する病名リスト表示領域730とを含む基本画面K2がディスプレイ101に表示された後に最初に検知したユーザの選択内容によって、上記2通りの場面の内いずれであるかを推認することができる。そして、各場面に適した診断に必要な情報を医師に提示することができる。その結果、医師が電子医学書の中から必要とする情報を探す手間を省くことができる。また、医師を診療判断に集中させることにより、診療判断の精度を向上させることができる。
なお、例えば図15では、基本画面K2の類似症例データ表示領域770の一部に医学書表示領域760が設けられている。しかし、本開示は、これに限られない。基本画面K2の医学書表示領域760に、選択された病名に対応する鑑別項目が記載されている電子医学書のページを表示させる場合、表示制御部104は、図17に示されるように、類似症例データ表示領域770の全体を医学書表示領域760とし、類似症例データ表示領域770から症例表示領域710を消去してもよい。
図17は、類似症例データ表示領域770の全体を医学書表示領域760とした基本画面K2の一例を示す図である。図17に示されるように、症例表示領域710は、類似症例データ表示領域770から消去されている。
図17では、表示制御部104は、図16で表示されていた鑑別項目763が記載されている頁を医学書表示領域760の左上に表示し、その次頁を医学書表示領域760の右上に表示し、更にその次頁の上部を医学書表示領域760の左下に表示し、更にその次頁の上部を医学書表示領域760の右下に表示している。
医学書表示領域760に、選択された病名に対応する鑑別項目が記載されている電子医学書のページを表示させる場合とは、次の場合である。すなわち、複数の類似医用画像を表示する症例表示領域710と、病名リスト表示領域730とを含む基本画面K2がディスプレイ101に表示された後に、入力制御部103が最初に検知したユーザの選択が、病名リスト表示領域730に表示された病名の選択の場合である。
この場合には、当該対象医用画像を見た医師は、当該対象医用画像の病名の候補として複数の病名を思い浮かべていると推認できる。そして、医師は、その思い浮かべている複数の病名に対応する鑑別項目をそれぞれ確認したいと考えていることが推認できる。かかる場合、基本画面K2に類似医用画像を表示する必要性は低い。
そこで、選択された病名に対応する鑑別項目が記載されている電子医学書の頁を医学書表示領域760に表示する場合、表示制御部104は、図17に示すように、類似症例データ表示領域770の全てを医学書表示領域760としてもよい。即ち、類似症例データ表示領域770から症例表示領域710が消去され、基本画面K2には類似医用画像が表示されないこととなる。その結果、医師が望む情報を効果的に医師に提示しつつ、表示面積に制約がある基本画面K2を有効活用することができる。
また、類似症例データ表示領域770の全体を医学書表示領域760とする場合には、表示制御部104は、図18に示される基本画面K2を表示してもよい。
図18は、選択された病名に対応する鑑別項目763が記載されている電子医学書のページ(図16)と、選択された病名に対応する医用画像764が掲載されている電子医学書のページとが並べられて、医学書表示領域760に表示された基本画面K2の一例を示す図である。
例えば、図9に示される基本画面K2が表示された状態で、ユーザが接触物(例えばユーザの指)で、病名リスト表示領域730の「アスペルギルス症」を選択すると、入力制御部103は、その選択した位置を検知する。表示制御部104は、入力制御部103から、その検知された選択位置を取得する。表示制御部104は、取得した選択位置から、「アスペルギルス症」を判別する。
表示制御部104は、疾患名432が「アスペルギルス症」の鑑別項目情報430(図6)を鑑別項目情報管理部226から取得する。表示制御部104は、取得した鑑別項目情報430から医学書ID431及びページ番号434を抽出する。表示制御部104は、抽出した医学書ID431に対応する医学書の、ページ番号434に対応するページ(図18の例ではp.206)を医学書表示領域760に表示する。
さらに、表示制御部104は、「アスペルギルス症」の確定診断病名と、鑑別項目情報430から抽出した医学書ID431とを用いて、医学書ID421と確定診断病名424とが一致する医学書画像データ420(図5)を、画像データ管理部224から取得する。表示制御部104は、取得した医学書画像データ420からページ番号425を抽出する。表示制御部104は、抽出したページ番号425に対応するページ(図18の例ではp.210)を、鑑別項目763が記載されたページに並べて、医学書表示領域760に表示する。
図18では、図17と同様に、類似症例データ表示領域770の全てが医学書表示領域760とされている。このため、図18の実施形態によれば、図17の場合と同様に、過度に縮小しなくても、医学書表示領域760に複数の電子医学書の頁を表示することができる。
図18では、医学書表示領域760には、選択された病名に対応する鑑別項目763が記載されている電子医学書のページ(図18の例ではp.206)と、選択された病名に対応する医用画像764が掲載されているページ(図18の例ではp.210)とが、並べて表示されている。その結果、診断を確定するのに必要な鑑別項目763と、その実例である医用画像764とを同時に確認することができる。このため、医師にとって診断するために有用な情報を効果的に提示することができる。
また、例えば図9に示される基本画面K2上で、症例表示領域710の類似症例がユーザにより選択されることにより、図15に示されるように、類似症例(サムネイル画像)が掲載された医学書の頁が医学書表示領域760に表示される場合には、表示制御部104は、症例表示領域710で選択された類似症例(サムネイル画像)を強調して表示してもよい。
図19、図20は、それぞれ、症例表示領域710において選択された類似症例716(サムネイル画像)が医学書表示領域760において強調表示された基本画面K2の一例を示す図である。強調表示の方法としては、例えば図19に示されるように、選択された類似症例716(サムネイル画像)に対して点線等の枠765を表示制御部104が表示する方法が挙げられる。
また、表示制御部104は、枠の色を赤、または黄色等の異なる色で表示したり、枠を点滅させたりする方法により強調しても構わない。また、表示制御部104は、図20に示すように、矢印等の注記766を表示することにより強調しても構わない。
一般に、電子医学書の頁には複数の医用画像が掲載されていることが多々ある。そのため、医学書表示領域760に電子医学書の頁が表示されたとしても、医師は、いずれの医用画像が選択した類似症例716(サムネイル画像)であるかを即座に判別することが難しい。
図19、図20に示される実施形態によると、選択された類似症例716(サムネイル画像)が強調して表示される。このため、電子医学書の頁に掲載されている複数の医用画像のうち、いずれが選択された類似症例716(サムネイル画像)であるかを探す手間を省くことができる。その結果、医師を診断に集中させることができ、診療精度の向上に繋がる。
また、医学書表示領域760に、選択された類似症例716(サムネイル画像)が掲載されている電子医学書のページを表示する場合、表示制御部104は、電子医学書のページに掲載されている選択された類似症例716(サムネイル画像)を医学書表示領域760の所定の位置に表示してもよい。
図21、図22は、医学書表示領域760の所定の位置に、選択された類似症例716(サムネイル画像)が表示された例を示す図である。図21は、症例表示領域710で2行2列目の類似症例717が選択された際に、選択された類似症例717が、医学書表示領域760の上から3分の1の位置を先頭に表示された基本画面K2の例を示す。
例えば、図9に示される基本画面K2が表示された状態で、ユーザが接触物(例えばユーザの指)で、症例表示領域710の2行2列目の類似症例717を選択すると、入力制御部103は、その選択位置を検知する。表示制御部104は、入力制御部103から、その検知された選択位置を取得する。表示制御部104は、取得した選択位置から、2行2列目の類似症例717を判別し、その判別した類似症例717に対応する類似症例データ4000(図32)を、類似症例データ蓄積部301から取得する。表示制御部104は、取得した類似症例データ4000から、画像ID4200を抽出する。表示制御部104は、抽出した画像ID4200に対応する医学書画像データ420(図5)を画像データ管理部224から取得する。
表示制御部104は、取得した医学書画像データ420から医学書ID421、ページ番号425及び行番号426を抽出する。表示制御部104は、抽出した医学書ID421に対応する医学書を検索する。表示制御部104は、検索した医学書のページ番号425に対応するページを検索する。表示制御部104は、検索したページの行番号426に対応する行が、医学書表示領域760の上から3分の1の位置に一致するように、当該ページを医学書表示領域760に表示する。
図22は、症例表示領域710で3行1列目の類似症例718が選択された際に、選択された類似症例717が、医学書表示領域760の上から3分の1の位置を先頭に表示された基本画面K2の例を示す。
図21、図22では、選択された類似症例(サムネイル画像)の画像ID423の行番号426が上から3分の1の位置としているが、本開示は、これに限られない。この位置は、あらかじめ設計者が決定してもよいし、ユーザが設定するようにしてもよい。
一般に、電子医学書のページには複数の医用画像が掲載されていることが多々ある。そのため、医学書表示領域760に電子医学書の頁が表示されたとしても、医師にとって、いずれの医用画像が選択した類似症例(サムネイル画像)であるかを即座に判別することが難しい。
図21、図22の実施形態によると、表示制御部104は、ユーザにより選択された類似症例(サムネイル画像)を医学書表示領域760の所定の位置に表示する。このため、電子医学書のページに掲載されている複数の医用画像のうち、いずれが選択された類似症例(サムネイル画像)であるかを探す手間を省くことができる。その結果、医師を診断に集中させることができ、診療精度の向上に繋がる。
図9に戻って、基本画面K2の左側の中段には、「病変分布」との見出しが付けられた分布リスト表示領域750が配置されている。分布リスト表示領域750には、類似症例を検索した結果、症例検索システム300から取得された全ての類似症例の病変分布の種類が表示される。
図23は分布リスト表示領域750の拡大図である。図23の例では、7つの病変分布の名称が表示されており、各病変分布の名称の左側にはチェックボックスが配置されている。図23の例では病変分布として、びまん性751(diffuse)、区域性752(segmental)、気道性753(bronchial)、両側性754(bilateral)、多発性755(multiple)、胸膜下756(subpleural)、及び血行性757(hematogenous)が表示されている。
これらの病変分布は予め定義されており、各類似症例には、予め、びまん性751〜血行性757のいずれに該当するか否かを示す分布フラグ値(該当:1、非該当:0)が付与されている。類似症例によっては、全ての分布フラグ値が非該当(:0)に設定されている場合もあれば、複数の分布フラグ値が該当(:1)に設定されている場合もある。
本実施の形態の症例検索システム300は、ユーザが診断対象症例のスライス画像に設定した関心領域に対し、類似する関心領域を持つ類似症例を検索する。ユーザが関心領域を設定したスライス画像以外にも、病変は存在することもある。そして、ユーザは関心領域を設定したスライス画像で類似症例を検索した後、そのスライス画像以外のスライス画像と、検索された類似症例とを比較したい場合もある。この場合、ユーザは、医用画像ビューワ610において、スライス送りの操作を入力して他のスライス画像を表示させ、検索された類似症例と比較する作業を行う。この場合、検索された全ての類似症例のうち注目する病変に関連する類似症例が症例表示領域710に表示されていれば、関心領域が設定されたスライス画像以外のスライス画像の中から所望の病変を持つスライス画像を抽出する作業をスムーズに行うことができる。そこで、本実施の形態では、この作業をよりスムーズに行うために、検索された類似症例を所望の病変分布で絞りこむ機能が設けられている。
本実施の形態では、肺野領域内での病変分布として、図23のびまん性751〜血行性757で示す病変分布が採用されている。また、図23のように、チェックボックス及び病名分布の名称について、表示制御部104は、絞り込みが可能な病変分布をアクティブ状態で表示し、絞り不可能な病変分布を非アクティブ状態で表示する。ここでは、アクティブ状態としては、輝度が非アクティブ状態に比べて高い状態が採用され、非アクティブ状態としては、輝度がアクティブ状態に比べて低い状態が採用されている。
図23の例では、びまん性751、気道性753〜多発性755、及び血行性757がアクティブ状態で表示され、区域性752及び胸膜下756は、非アクティブ状態で表示されている。これは、現在、類似症例検索によって取得された全ての類似症例のうち、少なくともいずれか1つの類似症例において、びまん性751、気道性753〜多発性755、及び血行性757の分布フラグ値が1(該当)に設定され、取得された全ての類似症例のうち、いずれの類似症例においても、区域性752及び胸膜下756の分布フラグ値が0(非該当)に設定されていたからである。
アクティブ状態のチェックボックスのうち、1以上のチェックボックスにチェックマークが入力されたことを入力制御部103が検知すると、表示制御部104は、チェックマークが入力された病変条件に該当する類似症例を症例表示領域710に表示させる。
なお、区域性752や胸膜下756については、検索結果として取得された類似症例のいずれにおいても分布フラグ値が0(非該当)に設定されている。そのため、区域性752や胸膜下756にチェックマークが入力可能な構成を採用すると、これらの病変分布にチェックマークを入力した場合、症例表示領域710には類似症例が何も表示されず、チェックマークを入力する意味が無くなってしまう。そこで、本実施の形態では、このような事態を避けるために、検索結果として取得された類似症例のいずれにおいても分布フラグ値が0(非該当)である病変分布は非アクティブ状態で表示する。
図24は、チェックマークが入力された分布リスト表示領域750を示す図である。図25は、気道性の病変分布で絞り込みがかけられた基本画面K2を示した図である。図24に示すように、気道性753のチェックボックスにチェックマークが入力された場合、表示制御部104は、図25に示すように、症例表示領域710に、気道性の病変分布を持つ類似症例を表示する。この例では、気道性の病変分布を持つ類似症例は17件であった。そのため、表示制御部104は、検索結果件数表示領域713に「17件」と表示している。また、表示制御部104は、表示条件表示領域714に、表示対象の病名と、病変分布の名称である「気道性」とを表示する。図25の例では、病名リスト表示領域730に挙げられた病名による絞り込みがかけられていないため、表示条件表示領域714には「全疾患」と表示されている。
図26は、複数のチェックマークが入力された分布リスト表示領域750を示す図である。図27は、複数の病変分布で絞り込みがかけられた基本画面K2を示した図である。図26の例では、びまん性751と血行性757とにチェックマークが入力されている。そのため、表示制御部104は、図27に示すように、びまん性及び血行性の病変分布を持つ類似症例を症例表示領域710に表示する。この例では、びまん性及び血行性の病変分布を持つ類似症例は11件であった。そのため、表示制御部104は検索結果件数表示領域713に11件と表示している。また、表示制御部104は、表示条件表示領域714に、表示対象の病名(ここでは、病名による絞り込みがかけられていないため「全疾患」)と、病変分布の名称である「びまん性&血行性」とを表示している。
図28は、患者情報1000のデータ構成を示す図である。患者情報1000は、医用情報管理システム200における患者情報管理部202により、患者別に患者情報蓄積部201に蓄積されて管理される。患者情報1000には、患者の性別及び年齢等の個人情報、既往歴等の臨床情報、並びに血液検査等の検査情報が登録されている。図28に示すように、患者情報1000は、患者ID1100、氏名1200、年齢1300、性別1400、既往歴1500、家族歴1600、主訴1700、検査情報1800、及び確定診断1900を備える。
患者ID1100は、患者に固有の識別子である。氏名1200、年齢1300、性別1400、既往歴1500、家族歴1600、及び主訴1700は、それぞれ、患者ID1100の患者の氏名、年齢、性別、既往歴、家族歴、及び主訴である。検査情報1800は、図29に示すように、当該患者が過去に受けた1以上の検査に関する情報を表す。
図29は、図28に示す患者情報1000に登録された検査情報1800のデータ構成を示す図である。検査情報1800は、患者に対して行われた検査に関する情報であり、1つの検査に対応して1つずつ作成される。検査情報1800は、検査ID1810、検査日時1820、検査種1830、及び検査結果1840を備える。検査ID1810は、検査に固有の識別子である。検査日時1820は、検査が行われた日時である。検査種1830は、検査の種類である。検査の種類としては、例えば、血液検査、呼吸機能検査、内視鏡検査、単純X線撮影、CT撮影等がある。
検査結果1840は、血液検査であれば、白血球数、LDH、及びGPT等各種指標の値が該当する。また、検査結果1840は、各種指標を基に医師が下した判断等も該当する。また、単純X線撮影やCT撮影等の画像検査であれば、撮影された画像へのポインタ情報や画像診断結果のレポートへのポインタ情報が含まれる。なお、検査で撮影された画像は、DICOMのフォーマットで医用情報管理システム200の医用画像データ蓄積部203に蓄積される。
また、検査種1830が単純X線、CT、MRI、PET等の画像検査の場合、これらの医用画像データは医用情報管理システム200の医用画像データ蓄積部203が記憶する医用画像データベース2000に蓄積される。
図30は、医用画像データベース2000のデータ構成を示す図である。医用画像データベース2000は、検査ID1810及びシリーズID2100を持つ。1回の検査で、複数の種類の撮影(例えば、単純CTと造影CT等)が行われる場合があるので、1つの検査ID1810に対し、複数のシリーズID2100が対応付けられている場合もある。つまり、撮影の種類に応じた個数のシリーズが得られるのである。
また、シリーズは、撮影の種類以外にも、撮影された画像の再構成の条件毎に得られる。例えば、撮影された画像が肺野条件及び縦隔条件で再構成された場合、これらの条件毎に1つのシリーズが得られる。なお、肺野条件で再構成された画像は肺の中の血管、気管支、及び肺胞等が強調表示される。また、縦隔条件で再構成された画像は、血管やリンパ節等の縦隔が強調表示される。肺野条件及び縦隔条件は1度の撮影で得られた画像を再構成することで得られるため、単純CTと造影CTとで2度の撮影が行われ、これら2度の撮影のそれぞれにつき肺野条件及び縦隔条件で画像が再構成された場合、2つの肺野条件のシリーズが得られ、2つの縦隔条件のシリーズが得られる。
CT及びMRIの画像検査の場合、1回の撮影で複数のスライス画像が取得されるので、1つのシリーズID2100には、複数のスライスID2200が対応付けられている。図30の検査ID「13227989」には2つのシリーズID「CT149123」、「CT149124」が対応付けられているため、この検査から2つのシリーズのCT画像が得られたことが分かる。また、シリーズID「CT149123」、「CT149124」のそれぞれに対して、スライスID2200が複数対応付けられていることが分かる。
検査種1830が単純X線、CT、MRI、PET等の画像検査の場合、医用情報管理システム200における診断レポート管理部205には、図31に示すような診断レポート3000が蓄積される。診断レポート3000には、各検査に対する医師による診断結果が登録されている。図31は、診断レポート3000のデータ構成を示す図である。
診断レポート3000は、検査ID1810、所見3100、及び診断3200を備える。検査ID1810は、図29で示した検査ID1810と同じである。これにより、診断レポート3000と検査情報1800とが対応付けられる。所見3100は、検査に対する医師の所見を示す文言が登録されている。診断3200は、検査に対する医師の診断を示す文言が登録されている。
図32は、類似症例データ4000のデータ構成を示す図である。類似症例データ4000は、診断対象症例に対して類似する類似症例を検索する際に参照されるデータであり、1つの類似症例に対応して1つずつ作成されている。類似症例データ4000は、症例検索システム300の類似症例データ蓄積部301において、類似症例毎に蓄積されている。図32に示すように、類似症例データ4000は、類似症例ID4100、画像ID4200、関心領域情報4300、画像特徴データ4400、サムネイル画像データ4500、病変分布情報4600、確定診断(大分類病名)4700、及び確定診断(詳細分類病名)4800を備える。
類似症例ID4100は、類似症例データ4000の識別子である。ここでは、類似症例のスライス画像に設定された関心領域毎に1つの類似症例データが生成されるため、類似症例ID4100は、関心領域の識別子とも言える。図32の例では、類似症例ID4100は、「SIM」とそれに続く番号とで構成される記号列で構成されている。
画像ID4200は、関心領域が設定された、医学書に掲載された医用画像に固有の識別子である。画像ID4200は、医学書画像データ420(図5)の画像ID423に対応する。関心領域情報4300は、スライス画像に設定された関心領域の位置を示す情報である。図33は、スライス画像に設定された関心領域を模式的に示した図である。図33の例では、関心領域は矩形状に設定されている。したがって、関心領域情報4300は、関心領域の左上の頂点の座標(xl、yt)と、右下の頂点の座標(xr、yb)との4値で構成される。もちろん、関心領域は矩形以外の形状でもよく、その場合は、領域を一意に特定可能なパラメータが関心領域情報4300として採用される。例えば、関心領域が円形であれば、円の中心座標と半径とが関心領域情報4300として採用される。
画像特徴データ4400は、関心領域情報4300で定義される関心領域から抽出された所定次元(ここではN次元)の特徴値である。サムネイル画像データ4500は、スライスIDで特定されるDICOMフォーマットのスライス画像を基に、症例表示領域710に表示するために生成されたサムネイル画像の画像データである。ここで、サムネイル画像データ4500は、例えば、サムネイル画像の左上の頂点から右下の頂点に向かうラスタ走査順にサムネイル画像の画素値が配置されている。先に説明を行ったが、CT検査で得られたDICOM画像は、512×512画素の11ビット(画素値:−1000〜+1000)画像である。そこで、本実施の形態では、サムネイル画像の表示を高速化するために、サムネイル画像の元となるDICOM画像に対して低解像度処理及び階調変換処理が行われて8ビットの画素値を持つサムネイル画像が予め作成され、類似症例データ4000に登録されている。なお、サムネイル画像の作成は、例えば、医用情報管理システム200が作成し、症例検索システム300に送信するようにしてもよいし、症例検索システム300が医用情報管理システム200からDICOM画像を取得して作成してもよい。
病変分布情報4600は、対象となる類似症例が予め定められたびまん性4610〜血行性4670で表される病変分布のいずれに該当するか否かを表す分布フラグ値(1:該当、0:非該当)である。
確定診断(大分類病名)4700は、対象となる類似症例に対して確定された大分類の病名である。確定診断(大分類名)4700は、類似症例を大分類の病名で絞り込む際に使用される。
確定診断(詳細分類病名)4800は、対象となる類似症例に対して確定された詳細分類の病名である。確定診断(詳細分類病名)4800は、類似症例を小分類の病名で絞り込む際に使用される。
画像ID4200をキーとして、医学書画像データ420(図5)の画像ID423が検索される。そして、確定診断(詳細分類病名)4800は、検索された画像ID423に対応する確定診断病名424から特定される。
予め、確定診断(大分類病名)4700は、確定診断(詳細分類病名)4800に対して一意に対応する大分類病名が定義されており、その対応関係を用いて類似症例データ4000に格納されている。
次に、情報端末100が医用情報管理システム200と症例検索システム300と連携して読影作業開始から類似症例検索を開始するまでの流れを説明する。
図34は、情報端末100が、医用情報管理システム200から診断対象症例を取得した後、症例検索システム300に対して類似症例検索の要求を行い、症例検索システム300が類似症例検索の要求を受け取るまでの処理を示すシーケンス図である。なお、図34において、シーケンス図の左側に示す2列の矩形は、該当するステップの処理によりディスプレイ101a、101bに表示される画面を示す。また、図34において、情報端末の「A」は、医用情報管理アプリケーションを示し、「B」は、類似症例検索アプリケーションを示す。このシーケンスが開始される前に医用情報管理アプリケーションは予め起動されているものとする。
まず、情報端末100は、操作部102を通してユーザ(読影を行う医師)の読影対象となる検査リストの表示要求を受け付け、入力制御部103及び通信制御部110を通して、医用情報管理システム200の通信制御部206へ検査リストの表示要求を送信する(S510)。
医用情報管理システム200の患者情報管理部202は、画像検査が実施後で読影が未終了の検査をリスト化し、読影対象となる検査リストを生成する。そして、患者情報管理部202は、通信制御部206を通して、生成した検査リストを情報端末100の通信制御部110に送信する(S520)。ここで、検査リストには、該当する患者の患者情報1000及び検査情報1800が含まれる。
情報端末100の表示制御部104は、通信制御部110で受信された検査リストをディスプレイ101に表示する(S530)。
この場合、ディスプレイ101aに検査リストが表示され、ディスプレイ101bには何も表示されない。
図35は、検査リストの画面図である。検査リストは、読影が未終了の検査を表示する領域800と、検査に含まれるシリーズに関する情報を表示する領域810とを備える。領域800には、「患者ID」、「患者氏名」、「検査日時」、「検査ID」、及び「検査種」の欄が設けられている。「患者ID」、「患者氏名」の欄には、患者情報1000に登録された患者ID1100及び氏名1200が表示され、「検査日時」、「検査ID」、及び「検査種」の欄には、検査情報1800に登録された検査日時1820、検査ID1810、及び検査種1830が表示される。領域810は、領域800でユーザにより選択された検査の詳細を表示するための領域であり、「シリーズID」、「定義」、及び「画像」の欄が設けられている。ここでは、領域800においてユーザにより検査(行に対応)が選択されていないために、領域810には何も表示されていない。
ユーザは、領域800に表示された検査の中から、これから読影を行う検査を選択する。この選択が入力制御部103で検知されると、図34に示すように、通信制御部110は、選択された検査の検査IDに含まれる全シリーズの表示要求を、医用情報管理システム200へ送信する(S540)。
医用情報管理システム200の通信制御部206がこの表示要求を受信すると、患者情報管理部202は、図30に示す医用画像データベース2000を参照し、表示要求が指定する検査IDに含まれる全シリーズの全スライス画像を取得し、通信制御部206を通して、情報端末100に送信する(S550)。例えば、図30の例において、検査ID「13227989」の検査がユーザにより選択されると、シリーズID「CT149123」、「CT149124」のシリーズに含まれる全てのスライス画像がS550で送信される。
情報端末100の通信制御部110が全シリーズの画像を取得すると、表示制御部104は、指定された検査IDに含まれる全シリーズに関する情報を一覧表示するシリーズリストを領域810に表示する(S560)。
この場合、ディスプレイ101aに表示された検査リストの領域810には、領域800で選択された検査に対応するシリーズのシリーズリストが表示され、ディスプレイ101bには何も表示されない。
図36は、検査が選択された後の検査リストの画面図である。図36の領域800では選択された行の背後にハイライトが付されている。図36の例では、領域800において、2行目の「パナ太郎」の検査が選択されている。そのため、領域810では、選択された検査についての「シリーズID」、「定義」、及び「画像」が表示されている。ここで、「シリーズID」の欄には、医用画像データベース2000において、選択された検査の検査IDに対応付けられたシリーズIDが表示され、「画像」の欄には、表示されたシリーズIDを代表する1枚のスライス画像のサムネイル画像が表示される。ここで、シリーズIDを代表する1枚のスライス画像としては、所定のスライス位置の画像が採用される。所定のスライス位置としては先頭のスライス位置であってもよいし、中央のスライス位置であってもよい。「定義」は、該当するシリーズに対する撮影条件や再構成の条件を示す。この「定義」は、図示は省略されているが、例えば、図30の医用画像データベース2000において、シリーズIDと対応付けて登録されている。
領域810において、ユーザにより読影対象のシリーズが選択され、その選択を入力制御部103が検知すると、表示制御部104は、図37に示すように、選択されたシリーズの先頭のスライス画像をディスプレイ101aに表示する(S570)。図37は、ユーザによりシリーズが選択された際にディスプレイ101aに表示されるスライス画像を示した図である。図37は、胸部CT撮影での先頭スライスを示す図であり、肺尖部よりももう少し頭方向の肩位置でのスライス画像である。ここで、表示制御部104は、選択されたシリーズの全てのスライス画像をシリーズ送りできる状態でディスプレイ101aに表示する。なお、ディスプレイ101bには何も表示されない。例えば、ユーザにより、ディスプレイ101a上にマウスポインタが位置決めされマウスホイールを回転するスライス送りの操作が入力され、その操作を入力制御部103が検知する。すると、表示制御部104は、マウスホイールの回転量に応じて、ディスプレイ101aに表示されたスライス画像を別のスライス位置のスライス画像に切り替える。ユーザは、スライス送りの操作を入力しながら画像診断を行う。そして、ユーザは画像診断に迷った場合、類似症例検索アプリケーションを起動する。
ここで、類似症例検索アプリケーションは、操作部102のキーボードにおいて、予め定められたショートカットキーが入力されて起動されてもよいし、マウスの右クリックで医用画像ビューワのメニューを表示させ、そのメニューの中から類似症例検索メニューが指定されて起動されてもよい。類似症例検索アプリケーションの起動が指示されると、情報端末100の管理はROI管理部105に渡され、情報端末100は、関心領域(ROI)の受け付け待ち状態になる。
ユーザは、操作部102を通して、ディスプレイ101aに表示されたスライス画像上の病変に関心領域(ROI)を設定する(S580)。ここで、ユーザは、図33に示すように、例えば、マウスを左クリックして、関心領域の左上の頂点の座標を入力する。そして、ユーザは、左クリックした状態でマウスを右斜め下方向にドラッグし、左クリックを解除することで、関心領域の右下の頂点を入力すればよい。図38は、病変に対して関心領域を設定した後の画面の一例である。
関心領域を設定する操作を入力制御部103が検知すると、ROI管理部105は、入力制御部103から関心領域の左上及び右下の頂点の座標データを受け取り、受け取った座標データを関心領域情報として生成する。そして、ROI管理部105は、生成した関心領域情報を通信制御部110に送信する(S590)。
同時に、ROI管理部105は、診断対象症例のスライス画像を通信制御部110に送信する(S600)。この場合、S550において、情報端末100が医用情報管理システム200から受け取った全シリーズのスライス画像のうち、ユーザが選択したシリーズにおいてユーザにより関心領域が設定された1枚のスライス画像(検索クエリ画像)が送信される。
次に、通信制御部110は、ROI管理部105から送信された関心領域情報を受け取り、症例検索システム300の通信制御部304に送信する(S601)。
同時に、通信制御部110は、ROI管理部105から送信されたスライス画像を受け取り、症例検索システム300の通信制御部304に送信する(S602)。
ここで、S600、S601において、スライス画像そのものを送信するとしたが、スライス画像のスライスIDが送信されても構わない。この場合は、スライスIDを受信した症例検索システム300は、そのスライスIDを指定して、医用情報管理システム200からスライス画像を取得すればよい。
次に、症例検索システム300が類似症例検索を行い、情報端末100が類似症例検索結果を初期表示するまでの処理を説明する。
図39は、症例検索システム300が類似症例検索の要求を受け取った後、類似症例検索結果を、情報端末100に返すまでの処理を示すシーケンス図である。
症例検索システム300の画像特徴抽出部302は、検索クエリ画像に設定された関心領域から予め定められた複数次元の画像特徴を抽出する(S610)。
「画像特徴」としては、医用画像における臓器若しくは病変部分の形状に関する画像特徴、又は輝度分布に関する画像特徴等が採用できる。例えば、非特許文献:「根本,清水,萩原,小畑,縄野,“多数の特徴量からの特徴選択による乳房X線像上の腫瘤影判別精度の改善と高速な特徴選択法の提案”,電子情報通信学会論文誌D−II,Vol.J88−D−II,No.2,pp.416−426,2005年2月」には、490次元の画像特徴を用いることが記載されている。本実施の形態においては、例えば、この非特許文献に記載された画像特徴が採用される。但し、これは一例にすぎず、他の画像特徴が採用されてもよい。
類似症例検索部303は、画像特徴抽出部302で抽出された画像特徴と、類似症例データ蓄積部301に蓄積された各類似症例の画像特徴とを比較する(S620)。ここで、類似症例検索部303は、検索クエリ画像から抽出された画像特徴データと、類似症例データ蓄積部301に類似症例毎に蓄積された類似症例データ4000(図32)に登録された画像特徴データ4400との距離を算出することで、両画像特徴を比較する。
次に、類似症例検索部303は、距離が所定の閾値以下の類似症例を、距離が小さい順にソートし、送信対象の類似症例として決定する(S630)。次に、通信制御部304は、類似症例データ蓄積部301に蓄積された類似症例データ4000のうち、送信対象として決定された類似症例の類似症例ID4100、画像ID4200、関心領域情報4300、サムネイル画像データ4500、病変分布情報4600、確定診断(大分類病名)4700、確定診断(詳細分類病名)4800、及び類似症例検索部303で算出された距離を情報端末100に送信する(S640)。
以下、類似症例検索結果が表示された初期の基本画面K2(図9)を生成する処理が実行される。まず、初期の基本画面K2において、レイアウト領域720を生成する際に使用される管理情報について説明する。
まず、症例検索システム300の通信制御部304は、レイアウト情報を情報端末100に送信する(S650)。ここで、レイアウト情報は、レイアウト領域720を構成する表示ボックスの行数、列数を指定する情報である。
次に、情報端末100の通信制御部110がレイアウト情報を受信すると、表示ボックス管理部106は、送信されたレイアウト情報が指定する表示ボックスの行数及び列数を表示ボックス管理情報4410(図40)に登録すると共に、検索クエリ画像のスライスIDを表示ボックス管理情報(図40)に登録する(S660)。
図40は、表示ボックス管理情報4410のデータ構成を示す図である。表示ボックス管理情報4410には、行数及び列数が登録されるテーブル4411と、各表示ボックスに表示されるスライス画像のスライスIDが登録されるテーブル4412とが含まれる。したがって、表示ボックス管理部106は、症例検索システム300から送信されたレイアウト情報が指定する行数及び列数をテーブル4411の行数及び列数の欄に登録する。また、本実施の形態では、4つの表示ボックス721〜724のうち、左上の表示ボックス721に検索クエリ画像のサムネイル画像が表示される。そこで、表示ボックス管理部106は、医用情報管理システム200から送信された検索クエリ画像のスライスIDをテーブル4412の1行1列目の項目に登録する。
ここで、レイアウト領域720を構成する表示ボックスの行数及び列数のデフォルト値は症例検索システム300により予め設定されている。ここで、行数及び列数のデフォルト値は例えば2行及び2列である。そのため、図40に示す表示ボックス管理情報4410には、「2行2列」が登録されている。
次に、S640で送信された類似症例データ及びS660で保存した表示ボックス管理情報4410を用いて、表示制御部104は、類似症例検索結果が表示された初期の基本画面K2を生成する(S670)。
この場合、ディスプレイ101bには図9に示す基本画面K2が表示される。また、ディスプレイ101aには、検索クエリ画像が表示されている。
図41は、図39のS670に示す初期の基本画面K2を生成する処理の詳細を示すフローチャートである。
まず、S1000にて、表示制御部104は、図39のS640で受信された類似症例の数をカウントし、カウント値を検索結果件数表示領域713に表示する。
次に、S1100にて、表示制御部104は、表示条件表示領域714に、「全疾患」と表示する。ここで、「全疾患」と表示されるのは、初期の基本画面K2では、ユーザにより病名、または病変分布での絞り込みがかけられていないからである。
次に、S1200にて、表示制御部104は、図39のS640で受信された類似症例のうち、症例表示領域710にサムネイル画像が表示可能な類似症例の件数分を、症例表示領域710に類似症例のサムネイル画像を表示すると共に、各サムネイル画像に対応付けて確定診断及び類似度を表示する。
症例表示領域710に表示可能な類似症例の件数の最大値は、図9の例では8である。この最大値は予め定められている。また、この最大値はユーザが自由に変更できる構成にしてもよい。図39のS640で受信された類似症例の数が、最大値よりも多い場合、表示制御部104は、症例表示領域710の右端に縦方向に長尺のスクロールバー715を表示する。これにより、ユーザは、スクロールバー715を移動させ、初期の基本画面K2で非表示であった類似症例のサムネイル画像を閲覧できる。
次に、S1300にて、病名リストが生成されて表示される。まず、図39のS640で受信された類似症例から、病名リストが生成される。病名リストは、S640で受信された類似症例が、確定診断病名毎に分類されたリストである。
ここで、S640で受信された類似症例の件数をNC件とする。病名リスト管理部108は、NC件の類似症例データ4000のそれぞれに登録されている確定診断(大分類病名)4700及び確定診断(詳細分類病名)4800を用いて、病名リストを生成する。生成された病名リストは、図42に示すようにテーブル形式のデータとして、病名リスト管理部108で管理される。
図42は、図41のS1300で生成される病名リストのデータ構成を示す図である。病名リストには、「病名ID」、「大分類病名」、「詳細分類病名」、「件数」、及び「類似症例ID」の欄が含まれる。「病名ID」は、確定診断病名毎に付与される識別子である。ここでは、大分類病名と詳細分類病名との1つの組み合わせに対して1つの病名IDが付与されている。
「大分類病名」は、類似症例データ4000に登録された確定診断(大分類病名)4700が示す確定診断病名である。「詳細分類病名」は、類似症例データ4000に登録された確定診断(詳細分類病名)4800が示す確定診断病名である。「件数」は、「病名ID」が示す確定診断病名に該当する類似症例の件数である。「類似症例ID」は、「病名ID」が示す病名に該当する類似症例を示す類似症例IDである。
病名リスト管理部108は、S640で受信した全ての類似症例データ4000について、確定診断(大分類病名)4700及び確定診断(詳細分類病名)4800を抽出し、両者が同じ類似症例データ4000を同じ確定診断病名の類似症例として分類する。そして、病名リスト管理部108は、確定診断病名が同じ類似症例の件数をカウントし、該当する確定診断病名のレコードの「件数」の欄に登録する。また、病名リスト管理部108は、同じ確定診断病名に分類した類似症例の類似症例IDを該当する確定診断病名のレコードの「類似症例ID」の欄に登録する。
図42の例では、大分類病名が「腫瘍性」、詳細分類病名が「原発性肺癌」の確定診断病名に対して病名ID「DIS528」が付与されている。そして、この確定診断病名に該当する類似症例の件数が10件であったため、該当するレコードの「件数」の欄に10が登録され、この確定診断病名に該当する類似症例の類似症例ID「SIM258」、「SIM551」、「SIM1209」、及び「SIM2341」等が、該当するレコードの「類似症例ID」の欄に登録されている。
そして、表示制御部104は、このようにして生成された病名リストを用いて病名リスト表示領域730を生成し、ディスプレイ101に表示する。
図43、図44、図45は、それぞれ、病名リスト表示領域730の第1表示例、第2表示例、第3表示例を示した図である。図43に示すように第1表示例では、類似症例検索の結果得られた類似症例が、詳細分類病名の件数の多い順に件数と対応付けて一覧表示されている。
図44に示すように第2表示例では、類似症例検索の結果得られた類似症例が、大分類病名の件数の多い順に件数と対応付けて一覧表示されている。
図45に示すように第3表示例では、類似症例検索の結果得られた類似症例が、大分類病名の件数の多い順に件数と対応付けて一覧表示され、且つ、大分類病名毎にその中に含まれる詳細分類病名が件数の多い順に件数と対応付けて一覧表示されている。この場合、患確定診断病名が、大分類病名と詳細分類病名との階層構造で表現される。
図46は、図44に示す病名リスト表示領域730の画面遷移を示す図である。図46の上段に示すように、一覧表示された大分類病名のうち、1の大分類病名がユーザにより選択される操作を入力制御部103が検知すると、表示制御部104は、図46の下段に示すように、選択された大分類病名に属する詳細分類病名を件数が多い順に件数と対応付けて表示する。ここで、ユーザは、例えば、病名リスト表示領域730において一覧表示された大分類病名のうち、所望する1の大分類病名を例えばダブルクリック或いはシングルクリックすることで1の大分類病名を選択すればよい。図46の例では非腫瘍性がダブルクリックされているため、非腫瘍性に属する詳細分類病名が一覧表示されている。
図46の下段において、詳細分類病名が一覧表示されている領域がユーザによりダブルクリック或いはシングルクリックされると、表示制御部104は、該当する領域に表示されていた詳細分類病名を非表示にすればよい。
なお、表示制御部104は、病名リスト(図42)を参照することで、大分類病名に属する詳細分類病名を判定すればよい。例えば、図42の例では、真菌症に対して、アスペルギルス症及びクリプトコッカス症が対応付けられているため、表示制御部104は、真菌症にはアスペルギルス症及びクリプトコッカス症が属すると判断すればよい。
図41に戻り、S1400にて、分布リストが生成されて表示される。まず、S640で受信された類似症例から、分布リストが生成される。分布リストは、S640で受信された類似症例が、病変分布毎に分類されたリストである。
病名リスト管理部108は、NC件の類似症例データ4000のそれぞれに登録されている病変分布情報4600を用いて、分布リストを生成する。生成された分布リストは、図47に示すようにテーブル形式のデータとして、分布リスト管理部109で管理される。
図47は、図41のS1400で生成される分布リストのデータ構成を示す図である。分布リストには、「分布名」、「症例数」、及び「類似症例ID」の欄が含まれる。「分布名」は、びまん性、区域性といった予め定められた複数の病変分布の名称である。「症例数」は、病変分布に該当する類似症例の件数である。「類似症例ID」は、病変分布に該当する類似症例を示す類似症例IDである。
分布リスト管理部109は、S640で受信した全ての類似症例データ4000について、病変分布情報4600を抽出し、抽出した病変分布情報4600において、分布フラグ値に1(該当)が設定されている病変分布の数をカウントし、カウント値を該当する病変分布のレコードの「症例数」の欄に登録する。また、分布リスト管理部109は、分布フラグ値に1が設定されている類似症例の類似症例IDを該当する病変分布のレコードの「類似症例ID」の欄に登録する。
図47の例では、びまん性に該当する類似症例の件数が3件であったため、びまん性のレコードの「症例数」の欄に3が登録されている。また、びまん性に該当する類似症例の類似症例ID「SIM2521」、「SIM4123」、及び「SIM5225」がびまん性のレコードの「類似症例ID」の欄に登録されている。
そして、表示制御部104は、このようにして生成された分布リストを用いて分布リスト表示領域750を生成し、ディスプレイ101に表示する。
図47に示す分布リストを用いて生成された分布リスト表示領域750は、図23である。図47において、区域性及び胸膜下の症例数は0であるため、図23では、区域性752及び胸膜下756が非アクティブ状態で表示され、これら以外の病変分布は、症例数が1以上であるため、アクティブ状態で表示されている。
図41に戻り、S1500にて、レイアウト領域720が表示される。この処理は、表示制御部104によって行われる。
図48は、図41に示すS1500の処理を示すフローチャートである。S1510にて、表示制御部104は、レイアウト領域720を構成する表示ボックスの行数及び列数を、S660で設定された表示ボックス管理情報4410から取得する。図40の表示ボックス管理情報4410の例では、行数及び列数として2行2列が設定されているため、「2行2列」という情報が取得される。
次に、S1520にて、表示制御部104は、S1510で取得した表示ボックスの行数及び列数に合わせて、表示ボックスを描画する。
最後に、S1530にて、表示制御部104は、表示ボックス管理情報4410から各表示ボックスのスライスIDを特定し、特定したスライスIDに対応するサムネイル画像を、対応する各表示ボックス内に描画する。
図40の例では、1行1列目の表示ボックスに診断対象症例のスライスIDが格納されている。そのため、表示制御部104は、図34のS600で送信された診断対象症例のスライス画像からサムネイル画像を生成し、生成したサムネイル画像を表示ボックス721に描画する。
この段階では、残りの表示ボックス(1行2列目、2行1列目、2行2列目の表示ボックス722、723、724)にはスライスIDが格納されていないため、表示制御部104は、これらの表示ボックスに何も表示しない。これらの表示ボックスには、後述する処理により、類似症例のサムネイル画像が表示されることになる。
図39に戻り、通信制御部110は、表示ボックス管理部106に格納された表示ボックス管理情報4410を表示制御部104に送信する(S680)。
次に、表示制御部104は、レイアウト領域720の表示状態及びレイアウトと同じ表示状態及びレイアウトで医用画像ビューワを起動させる(S690)。
図49は、医用画像ビューワの起動処理を示すフローチャートである。
S2000にて、表示制御部104は、図34のS570で起動させた医用画像ビューワを閉じる。
S2100にて、表示制御部104は、表示ボックス管理情報4410に登録された表示ボックス分の医用画像ビューワを、表示ボックス管理情報4410に登録された行数及び列数のレイアウトで起動する。図40の表示ボックス管理情報4410では、2行×2列で4つの表示ボックスが登録されている。よって、表示制御部104は、図8に示すように、4個の医用画像ビューワ610〜640を2行×2列で起動する。
S2200にて、表示制御部104は、処理対象となる医用画像ビューワを特定するための変数を初期化する。ここでは、1行1列目の医用画像ビューワが処理対象とされるため、この変数は1行1列にセットされる。
S2300にて、表示制御部104は、全て(ここでは4個)の医用画像ビューワに対する処理が終了したか否かをチェックする。処理済であれば(S2300でYES)、処理が終了され、未処理の医用画像ビューワがあれば(S2300でNO)、処理がS2400に進められる。
S2400にて、表示制御部104は、変数としてセットされた行数及び列数に対応づけられたスライスIDを持つスライス画像を処理対象の医用画像ビューワに表示すると共に、そのスライスIDを含むシリーズを医用画像ビューワに対応付ける。
例えば、図40に示す表示ボックス管理情報4410の例では、1行1列目にはスライスID「CT12353515」が登録されている。よって、スライスID「CT12353515」が医用画像ビューワ610に表示される。また、表示制御部104は、初期表示されるスライス画像に設定された関心領域を表す矩形をこのスライス画像にオーバラップして描画する。なお、1行1列目に登録されたスライスIDを含むシリーズは、図34のS550で取得済みである。また、関心領域は、図34のS580で設定済みである。
図49に戻り、S2500にて、次の医用画像ビューワを処理対象の医用画像ビューワに設定する。1行1列目の次は、例えば、1行2列目、その次は、2行1列目、その次に2行2列目というように処理対象が設定される。
2ループ目のS2400では、1行2列目の医用画像ビューワ620が処理対象にされるが、図40の表示ボックス管理情報4410では、1行1列目以外にはスライスIDが対応づけられていない。そのため、表示制御部104は、1行2列目の医用画像ビューワに対して何も処理を実行せず、空の状態のにしておく。このことは、2行1列目、2行2列目の医用画像ビューワ630、640に対しても同じである。
このフローチャートが終了した状態で、ディスプレイ101aには、図8に示す初期状態の基本画面K1が表示されている。1行1列目(左上)の医用画像ビューワ610には、検索クエリ画像が表示され、その上に関心領域がオーバラップして描画されている。
ここでは、症例検索システム300が画像特徴を抽出する例を示したが、情報端末100が画像特徴を抽出してもよい。図50は、症例検索システム300が画像特徴を抽出する態様を採用した場合の情報端末100、医用情報管理システム200、及び症例検索システム300のブロック図である。
図2との違いは、情報端末100に画像特徴抽出部112が追加された点、及び症例検索システム300から画像特徴抽出部302が省かれた点にある。
図51は、情報端末100が、医用情報管理システム200から診断対象症例を取得した後、症例検索システム300が類似症例検索の要求を受け取るまでの処理を示すシーケンス図である。
図34との違いは、ROI管理部105が、診断対象症例のスライス画像を通信制御部110に送信する処理(S600)の後、画像特徴の抽出が情報端末100で行われ(S603)、抽出された画像特徴が症例検索システム300に送信(S604)されている点にある。画像特徴の抽出(S604)の処理内容は、画像特徴の抽出が症例検索システム300で行われる場合と同様である。
図52は、症例検索システム300が類似症例検索の要求を受け取った後、類似症例検索結果を、情報端末100に返すまでの処理を示すシーケンス図である。図39との違いは、画像特徴の抽出が情報端末100側で行われるため、図52では、図39にはあった画像特徴の抽出(S610)が省かれている点にある。
次に、図34、図39のシーケンス図をアプリケーションのレベルで着目したときの情報端末100、医用情報管理システム200、及び症例検索システム300の処理について説明する。図53は、図34及び図39のシーケンス図をアプリケーションのレベルで着目したときのシーケンス図である。図53において、図34と同じ処理には同じ符号を付している。
図53において、「A」は情報端末100が実行する医用情報管理アプリケーションの処理を示し、「B」は情報端末100が実行する類似症例検索アプリケーションの処理を示す。以下、医用情報管理アプリケーションを「アプリA」と記述し、類似症例検索アプリケーションを「アプリB」と記述する。
まず、アプリAは、ユーザから読影対象となる検査リストの表示要求を受け付け、医用情報管理システム200に送信する(S510)。医用情報管理システム200は検査リストを受信すると、画像検査が実施後で読影が未終了の検査をリスト化し、読影対象となる検査リストを生成し、アプリAに送信する。
検査リストを受信したアプリAは、図35に示すように、検査リストをディスプレイ101に表示し、検査リストの中から1の検査がユーザにより選択されると(S530)、選択された検査の表示要求を医用情報管理システム200に送信する(S540)。
検査要求を受信した医用情報管理システム200は、表示要求が指定する検査IDに含まれる全シリーズの全スライス画像をアプリAに送信する(S550)。
次に、アプリAは、図36に示すように、指定された検査IDに含まれる全シリーズに関する情報を一覧表示するシリーズリストを表示する(S560)。
次に、アプリAは、シリーズリストの中から読影対象のシリーズがユーザにより選択されると、選択されたシリーズの最初のスライス位置のスライス画像を医用画像ビューワ610に表示する(S570)。このとき、ユーザは、スライス送りする操作を入力し、医用画像ビューワ610に所望のスライス画像を表示させる。
次に、アプリAは、医用画像ビューワ610に表示されたスライス画像において、関心領域を設定する操作をユーザから受け付ける(S580)。
次に、アプリAは、ユーザにより設定された関心領域を示す関心領域情報を生成し、関心領域が設定されたスライス画像(診断対象症例のスライス画像)と共に、アプリBに送信する(S590、S600)。
次に、アプリBは、診断対象症例のスライス画像及び関心領域情報を受信すると、そのスライス画像及び関心領域情報を症例検索システムに送信する(S601、S602)。
スライス画像及び関心領域情報を受信すると、症例検索システム300は、図39と同様、S610〜S640の処理を実行する。
次に、アプリBは、S640で送信された類似症例データ及び表示ボックス管理情報4410を用いて初期の基本画面を生成する(S670)。そして、アプリBは、図41に詳細が示されるS670の処理を実行する。
次に、図23に示す分布リスト表示領域750に表示された病変分布が選択されたときの処理について説明する。図54は、分布リスト表示領域750に表示された病変分布が選択されたときの処理を示すフローチャートである。
S2000では、分布リスト表示領域750に表示された病変分布(分布チェック項目)のうち、いずれか1の分布チェック項目を選択する操作を入力制御部103が検知すると、表示制御部104は、検知された分布チェック項目が第1〜第3分布情報のいずれに該当するかを判定する。第1分布情報の場合、処理がS1301に進められ、第2分布情報の場合、処理がS1302に進められ、第3分布情報の場合、処理がS1303に進められる。
第1分布情報は、症例表示領域710に一覧表示された類似症例のサムネイル画像のうち、関心領域の大きさが、肺の領域に対して広範囲であることを示す所定の第1範囲に属するサムネイル画像を選択させるための情報である。ここでは、第1分布情報としては、「両側性」、「多発性」、「びまん性」、及び「血行性」が該当する。よって、第1範囲としては、これらの病変分布を診断する際に設定される関心領域の大きさが属するような値域が採用される。
第2分布情報は、症例表示領域710に一覧表示された類似症例のサムネイル画像のうち、関心領域に相当する領域の大きさが、肺の領域の一部であることを示す所定の第2範囲(第1範囲より低い:第2範囲の上限値が第1範囲の下限値以下)に属するサムネイル画像を選択させるための情報である。ここでは、第2分布情報としては、「気道性」及び「区域性」が該当する。よって、第2範囲としては、これらの病変分布を診断する際に設定される関心領域のサイズが属するような値域が採用される。
第3分布情報は、症例表示領域710に一覧表示された類似症例のサムネイル画像のうち、関心領域が、胸膜を含むサムネイル画像を選択させるための情報である。ここでは、第3分布情報としては、「胸膜下」が該当する。
S1301では、表示制御部104は、類似症例検索により得られた類似症例であって、ユーザが第1分布情報として選択した病変分布の類似症例のうち、症例表示領域710のサムネイル画像の最大表示件数(この実施の形態では20件)以下の類似症例を類似度が高い順に抽出し、抽出した類似症例の数を拡大対象の類似症例数NZ1として決定する。そして、表示制御部104は、抽出した類似症例i(iは抽出された類似症例を特定するインデックスであり1以上の整数)のサムネイル画像を処理対象のサムネイル画像として決定する。そして、表示制御部104は、iがNZ1に到達するまで、S2100、S1501の処理を繰り返す。表示制御部104は、S2100、S1501の処理を実行する度に、iを1ずつインクリメントする。iがNZ1を超えると(S1301でNO)、処理は終了する。
S2100では、表示制御部104は、類似症例iについての第1分布情報に対応する第1拡大率を算出する。ここでは、第1拡大率としては、例えば、1.0が採用される。但し、これは一例であり第1分布情報が示す病変分布を診断する際に設定される関心領域の全域が表示領域に収まるような値であれば、1.0以外の拡大率が第1拡大率として採用されてもよい。
S1501では、表示制御部104は、類似症例iのサムネイル画像を類似症例iの第1拡大率で拡大する。
図55は、第1分布情報が選択されたときの基本画面K2を示した図である。図55では、両側性が選択されている。この場合、類似症例のうち病変分布が両側性に該当する類似症例のサムネイル画像が症例表示領域710に表示される。また、この場合、拡大率は1.0であるため、症例表示領域710において、類似検索結果が得られた直後に表示されたサムネイル画像と同じ表示態様でサムネイル画像が表示されている。すなわち、関心領域ROIの中心が表示領域6801の中心に位置するようにサムネイル画像の表示位置が調整されず、且つ、拡大されずに、サムネイル画像が表示される。
S1302では、表示制御部104は、類似症例検索により得られた類似症例であって、ユーザが第1分布情報として選択した病変分布の類似症例のうち、症例表示領域710のサムネイル画像の最大表示件数以下の類似症例を類似度が高い順に抽出し、抽出した類似症例の数を拡大対象の類似症例数NZ2として決定する。そして、表示制御部104は、抽出した類似症例iのサムネイル画像を処理対象のサムネイル画像として決定する。そして、表示制御部104は、iがNZ2に到達するまで、S2200、S1502の処理を繰り返す。表示制御部104は、S2200、S1502の処理を実行する度に、iを1ずつインクリメントする。iがNZ2を超えると(S1302でNO)、処理は終了する。
S2200では、表示制御部104は、症例表示領域710において、1つのサムネイル画像に対して予め定められた表示領域のサイズと、類似症例iの関心領域情報とを用いて、類似症例iについての第2分布情報に対応する第2拡大率を算出する。
第2分布情報が選択された場合、類似症例iは、関心領域のサイズが表示領域のサイズの1/2程度になるように拡大される。そのため、表示制御部104は、例えば、下記の数式で類似症例iに対する第2拡大率ki計算する。表示領域の面積をSd、拡大対象の類似症例iのサムネイル画像の関心領域の面積をSiとすると、第2拡大率kiは以下の式で算出できる。
ki=1/2(Sd/Si)
S1502では、表示制御部104は、類似症例iのサムネイル画像を第2拡大率kiで拡大し、サムネイル画像の関心領域の中心が表示領域の中心に位置するように症例表示領域710にサムネイル画像を表示する。
図56は、第2分布情報が選択されたときの基本画面K2を示した図である。図56では、気道性が選択されている。この場合、類似症例のうち病変分布が気道性に該当する類似症例のサムネイル画像が症例表示領域710に表示される。また、症例表示領域710において、全てのサムネイル画像は関心領域ROIの中心が表示領域6901の中心に位置するように第2拡大率で拡大されている。
S1303では、表示制御部104は、類似症例検索により得られた類似症例であって、ユーザが第3分布情報として選択した病変分布の類似症例のうち、症例表示領域710のサムネイル画像の最大表示件数以下の類似症例を類似度が高い順に抽出し、抽出した類似症例の数を拡大対象の類似症例数NZ3として決定する。そして、表示制御部104は、抽出した類似症例iのサムネイル画像を処理対象のサムネイル画像として決定する。そして、表示制御部104は、iがNZ3に到達するまで、S2300、S1503の処理を繰り返す。表示制御部104は、S2300、S1503の処理を実行する度に、iを1ずつインクリメントする。iがNZ3を超えると(S1303でNO)、処理は終了する。
S2300では、表示制御部104は、症例表示領域710において、1つのサムネイル画像に対して予め定められた表示領域のサイズと、類似症例iの関心領域情報と、胸膜領域情報4900とを用いて、類似症例iについての第3分布情報に対応する第3拡大率を算出する。
図57は、胸膜領域情報4900が追加された類似症例データ4000のデータ構成を示す図である。なお、類似症例データ4000に胸膜領域情報4900が登録されていない場合、胸膜領域情報4900が得られない。この場合、表示制御部104は、第3拡大率を、第1拡大率と同じ値である1.0に設定すればよい。ここで、胸膜領域情報4900は、類似症例において、胸膜領域を示す情報である。
S1503では、表示制御部104は、類似症例iのサムネイル画像でを第3拡大率kiで拡大し、サムネイル画像の関心領域の中心が表示領域の中心に位置するように症例表示領域710にサムネイル画像を表示する。
図58は、胸膜領域7101を説明する図である。図58に示すように、胸膜領域7101は、胸膜を含む領域であって、中心が関心領域ROIの中心に位置し且つ関心領域ROIよりも少しサイズの大きな矩形状の領域である。ここで、胸膜領域情報4900には、胸膜領域7101の左上の頂点の座標(xpl、ypt)と右下の頂点の座標(xrp、ypb)との4値が含まれる。第3分布情報が選択された場合には、胸膜領域を拡大表示するため、表示制御部104は、以下の式で第3拡大率kiを計算する。表示領域7102の面積をSd、胸膜領域7101の面積をSpとすると第3拡大率kiは、以下の式で算出できる。
ki=Sd/Sp
なお、胸膜領域情報4900は、類似症例データ4000の作成時に関心領域情報と共にユーザにより入力されてもよい。或いは、胸膜領域情報4900は、画像処理装置により、スライス画像から肺の領域を自動的に抽出させ、胸膜位置を判定させることで自動的に作成されてもよい。
図59は、第3分布情報が選択されたときの基本画面K2を示した図である。図59では、胸膜下が選択されている。この場合、類似症例のうち病変分布が胸膜下に該当する類似症例のサムネイル画像が症例表示領域710に表示される。また、症例表示領域710において、全てのサムネイル画像は関心領域ROIの中心が表示領域7001の中心に位置するように第3拡大率で拡大されている。
以上の処理により、症例表示領域710には、病変分布に関する診断内容が反映された拡大率でサムネイル画像が表示される。そして、症例表示領域710において、関心領域のサイズが揃えられてサムネイル画像が表示される。そのため、関心領域が一部の類似医用画像において小さい状態で拡大されたために見落とされる事態が発生することを防止し、診断精度の向上を図ることができる。さらに、類似症例検索で得られた全ての類似症例ではなく、症例表示領域710で表示される類似症例に対して、拡大処理が行われるため、システムへの負荷が大幅に軽減される。
本実施形態では、医学書データ部220(図2)の医学書データ蓄積部221には、複数の電子医学書が蓄積されている。類似症例データ表示領域770の症例表示領域710に表示された類似症例(サムネイル画像)を掲載する電子医学書は、医学書画像データ420(図5)の医学書ID421により特定される。
一般に、電子医学書には様々な種類があり、医師によって参考としたい電子医学書が異なる。例えば、電子医学書には、主に、教育目的の電子医学書と診断目的の電子医学書とが存在する。教育目的の電子医学書には、いずれの病名であるかを決定するために必要な情報である鑑別項目が詳細に記載されている。一方、診断目的の電子医学書には、特定の病名に対応する様々な医用画像が多く掲載されている。そのため、いずれかの電子医学書を選択して、効率的に診断に必要な情報を得たいという医師のニーズが存在する。そこで、医学書データ蓄積部221に蓄積されている医学書が、ディスプレイ101に区別可能に表示されるようにしてもよい。
図60は、書籍名表示領域780を含む基本画面K2の一例を示す図である。図61は、書籍名表示領域780に表示されている書籍名が選択されたときの基本画面K2の一例を示す図である。
表示制御部104は、医学書データ部220の医学書データ蓄積部221に蓄積されている医学書の書籍名を書籍名表示領域780に表示する。表示制御部104は、医学書データ410(図4)の書籍名413に記載されている名称を書籍名表示領域780に表示する。表示制御部104は、表示する書籍名413の表示位置に対応付けて医学書ID411を保持する。図60では、表示制御部104は、さらに、表示されている各書籍名に対応してチェックボックス781を書籍名表示領域780に表示している。
医師が、書籍名表示領域780に表示されたチェックボックス781の中から参考としたい医学書に対応するチェックボックス781を選択すると、入力制御部103は、その選択されたチェックボックス781の位置を検知する。表示制御部104は、入力制御部103から、検知されたチェックボックス781の位置を取得する。表示制御部104は、取得したチェックボックス781の位置に対応する医学書ID411を判別する。表示制御部104は、症例表示領域710に表示されている類似症例(サムネイル画像)の画像ID4200(図32)から、医学書画像データ420(図5)の画像ID423を検索する。
表示制御部104は、検索した画像ID423に対応する医学書ID421が、選択されたチェックボックス781の位置に対応する医学書ID411と一致する画像ID423を抽出する。表示制御部104は、抽出した画像ID423を用いて、図61に示すように、ユーザ(医師)により選択された医学書から検索された類似症例(サムネイル画像)を症例表示領域710に表示する。
このように、図60、図61の実施形態によると、複数の電子医学書のうちいずれか一の選択が入力制御部103により検知された場合、選択された一の電子医学書に掲載された類似症例(サムネイル画像)が、表示制御部104により症例表示領域710に表示される。このため、効率的に医師が必要とする情報を提示することができる。
なお、医師は、参考としたい医学書を書籍名で記憶しているとは限らず、医学書の表紙で記憶している場合もある。そこで、書籍名に代えて、電子医学書の表紙のサムネイル画像が表示されるようにしてもよい。
図62は、書籍画像表示領域790を含む基本画面K2の一例を示す図である。図63は、書籍画像表示領域790に表示されている表紙画像791が選択されたときの基本画面K2の一例を示す図である。
表示制御部104は、医学書データ部220の医学書データ蓄積部221に蓄積されている医学書の表紙画像を書籍画像表示領域790に表示する。表示制御部104は、医学書データ410(図4)の表紙画像のパス414に保存されている表紙画像を書籍画像表示領域790に表示する。表示制御部104は、表示する表紙画像の表示位置に対応付けて医学書ID411を保持する。図62では、表示制御部104は、3種類の医学書の表紙画像791,792,793を書籍画像表示領域790に表示している。
図62では、表示制御部104は、さらに、症例表示領域710に表示されている類似症例が掲載されている医学書を区別可能に表示する。すなわち、表紙画像791は実線の枠で囲まれており、表紙画像791の医学書に掲載されている症例表示領域710の類似症例(1行1列目から3行1列目までの5個の類似症例)は、同様に実線の枠で囲まれている。表紙画像792は破線の枠で囲まれており、表紙画像792の医学書に掲載されている症例表示領域710の類似症例(3行2列目の1個の類似症例)は、同様に破線の枠で囲まれている。表紙画像793は点線の枠で囲まれており、表紙画像793の医学書に掲載されている症例表示領域710の類似症例(4行1列目から2列目までの2個の類似症例)は、同様に点線の枠で囲まれている。
図62では、表示制御部104は、枠の線種を異ならせて、症例表示領域710に表示されている類似症例が掲載されている医学書を区別可能に表示しているが、本開示は、これに限られない。例えば、表示制御部104は、枠の色を異ならせて、症例表示領域710に表示されている類似症例が掲載されている医学書を区別可能に表示してもよい。
医師が、書籍画像表示領域790に表示された表紙画像791〜793の中から参考としたい医学書の表紙画像を選択すると、入力制御部103は、その選択された位置を検知する。表示制御部104は、入力制御部103から、検知された選択位置を取得する。表示制御部104は、取得した選択位置に対応する表紙画像の医学書ID411を判別する。表示制御部104は、症例表示領域710に表示されている類似症例(サムネイル画像)の画像ID4200(図32)から、医学書画像データ420(図5)の画像ID423を検索する。
表示制御部104は、検索された画像ID423に対応する医学書ID421が、選択位置に対応する表紙画像の医学書ID411と一致する画像ID423を抽出する。表示制御部104は、抽出した画像ID423を用いて、図63に示すように、ユーザ(医師)により選択された医学書から検索された類似症例(サムネイル画像)を症例表示領域710に表示する。
図62に示されるように、表示制御部104は、症例表示領域710に表示されている類似症例が掲載されている医学書を区別可能に表示している。これによって、医師は、参考としたい医学書をより簡単に選択することが可能になり、医師が必要とする情報を効率的に提示することができる。
なお、本実施形態では、表示制御部104は、情報端末100にて類似症例検索アプリケーションを起動した直後には、図9に示される基本画面K2をディスプレイ101bに表示している。しかし、本実施形態は、これに限られない。
図64は、情報端末100にて類似症例検索アプリケーションを起動した直後にディスプレイ101bに表示される基本画面K2の別の例を示す図である。図64に示すように、表示制御部104は、類似症例検索アプリケーションを起動した直後には、症例表示領域710を含む類似症例データ表示領域770を表示してもよい。
そして、図64において、症例表示領域710内でのユーザの選択を入力制御部103が検知すると、表示制御部104は、症例表示領域710を含む類似症例データ表示領域770を、図15に示すように、症例表示領域710と医学書表示領域760とを含む類似症例データ表示領域770に切り替えて表示してもよい。また、図64において、病名リスト表示領域730内でのユーザの選択を入力制御部103が検知すると、表示制御部104は、症例表示領域710を含む類似症例データ表示領域770を、図16に示すように、症例表示領域710と医学書表示領域760とを含む類似症例データ表示領域770に切り替えて表示してもよい。
なお、制御方法は以下に示す内容であってもよい。
情報端末100で類似症例検索アプリケーションを起動した直後にディスプレイ101bに図9に示す基本画面K2を表示する。
第1病名(図9の例ではアスペルギルス症)を含む複数の病名(図9の例ではアスペルギルス症、クリプトコッカス症、原発性肺癌、転移性肺癌、肺膿瘍、炎症性小結節)を含む病名リスト表示領域730(図9)と、第1サムネイル(図9の例では症例表示領域710の左上に示された類似症例(サムネイル画像))を含む複数のサムネイル(図9では症例表示領域710に示された複数の類似症例(サムネイル画像))を含む画像がディスプレイ101bへ表示された後に、入力制御部103はユーザがディスプレイ101b上で最初に選択した位置を示す位置情報を取得する。表示制御部104は入力制御部103が取得した位置情報を、入力制御部103から取得する。
複数のサムネイルは、複数の病名に対応する。すなわち、図9の例では、症例表示領域710の左上に示された類似症例(サムネイル画像)は病名リスト表示領域730における「アスペルギルス症」に対応する。また、症例表示領域710の右上に示された類似症例(サムネイル画像)、症例表示領域710の左上から3番目に示された類似症例(サムネイル画像)、症例表示領域710の右上から3番目に示された類似症例(サムネイル画像)は病名リスト表示領域730における「原発性肺癌」に対応する。
複数のサムネイルは、読影対象の対象医用画像に関連する複数の類似医用画像に対応する。すなわち、サムネイルは以下のようにして作成される。まず、読影対象の対象医用画像に対して所定の類似度を有する画像を、医学書(電子コンテンツ)から抽出する。抽出された画像が類似医用画像である。そして、類似医用画像(オリジナル画像)に低解像度処理及び階調医変換処理を行い、サムネイル画像を得る。
複数の類似医用画像は、第1サムネイルに対応する第1類似医用画像を含む。すなわち、図9の例における症例表示領域710の左上に示された類似症例(サムネイル画像)のオリジナル画像が電子コンテンツに含まれており、このオリジナル画像が読影対象の対象医用画像と所定の類似度を有している。
表示制御部104は、取得した位置情報が病名リスト表示領域730における第1病名(図9の例では病名リスト表示領域730におけるアスペルギルス症)が表示される位置である場合、ディスプレイに第1病名で特定される病気の鑑別項目を含む第1ページの部分または全部をディスプレイに表示させる指示を行う(例えば、図14においてS103でYESの場合、S104の処理を実行する。図16の医学書表示領域760には、表示制御部104がディスプレイ101bに表示指示行った結果、ディスプレイ101bに表示された内容(電子コンテンツである電子医学書のp206)が記載されている。)。
表示制御部104は、取得した選択位置が第1サムネイルが表示される位置である場合、第1類似医用画像を含む第2ページの部分または全部をディスプレイに表示させる指示を行う(例えば、図14においてS101でYESの場合、S102の処理を実行する。図15の医学書表示領域760には、表示制御部104がディスプレイ101bに表示指示行った結果、ディスプレイ101bに表示された内容(電子コンテンツである電子医学書のp210)が記載されている。)。
第1病名に第1サムネイルが対応する場合、同一の電子コンテンツが第1ページ、第2ページを含む。たとえば、図9の例では、症例表示領域710の左上に示された類似症例(サムネイル画像)は病名リスト表示領域730における「アスペルギルス症」に対応しており、図15に示す医学書表示領域760に示されるページ(p210)、図16に示す医学書表示領域760に示されるページ(p206)は同一の電子コンテンツである電子医学書(医学書IDが同一、図5、図6参照。)に含まれる。