(基礎となった知見)
まず、本開示に係る一態様の着眼点について説明する。
特許文献1は、診断対象画像に基づく画像診断時に疾患の判断に有用な症例画像又はその疾患に関する統計情報等を提示する画像診断支援装置を開示する。当該画像診断支援装置による検索結果の画面は、診断対象画像及び疾患別の代表症例の情報を表示する。具体的には、前記検索結果の画面は、i)上位3つの疾患A、D、Gの代表症例の画像、ii)疾患別に診断対象画像との類似度、登録症例数及び代表症例数、iii)検索件数(検索された疾患の総数)、及び、iv)一画面に表示できない他の疾患の情報を参照するための「ページ送り」のソフトボタン等を表示する(特許文献1の段落[0062]から[0063]及び図6(E))。
しかし、特許文献1では、前記検索結果の画面に表示された代表症例の画像を拡大させる点、及び、拡大後に代表症例の画像を表示枠内で移動させる点については一切記載がない。したがって、特許文献1は、代表症例の画像を拡大する点、及び、拡大後に代表症例の画像を表示枠内で移動させる点についてさえ開示をしないので、例えば、代表症例の画像に含まれる病変部位の大きさに応じて、前記代表症例の画像の各々を移動させる等の工夫をも開示していない。
特許文献2は、複数の画像同士を操作性良く比較することが可能な画像処理装置を開示する。当該画像処理装置により表示された画面には、比較したい2つの画像が画像表示領域51a及び51bにそれぞれ表示される(特許文献2の図7(C)〜(F)、図8(C)〜(F)及び図9(C)〜(D)参照)。当該画像処理装置は、画像表示領域51aに表示される画像を画像表示領域51a内で移動させると、画像表示領域51bに表示される画像を画像表示領域51b内で連動して移動させる(特許文献2の段落[0060]、段落[0072]、段落[0088]及び段落[0100]参照)。
しかし、特許文献2において比較される複数の画像は、そもそも、個人ユーザがデジタルカメラなどで撮影した画像を前提としている(特許文献2の段落[0002]から[0005])。特許文献2には、病変部位を有する医用画像同士を比較することについては一切記載がない。したがって、特許文献2は、医用画像に含まれる病変部位を確認する技術に単純に適用できるものではない。したがって、特許文献2は、例えば、医用画像に含まれる病変部位の大きさに応じて、前記医用画像の各々を連動して移動させる等の工夫をも開示していない。
非特許文献1は、病変画像を用いて過去の類似症例を検索する機能により、上述のPACSなどに蓄積された臨床知識から、瞬時に的確な情報を抽出し提示し、医師の画像診断をサポートする類似症例検索システムを開示する。具体的には、本システムは、検査画像の病変の特徴が類似した症例画像を検索し、類似順に複数表示する。そして、表示された複数の症例画像より1つの参考症例画像を選択し、検査画像と並列に表示する(非特許文献1のp.12「2.2 本システムの特徴」及びFig.3)。
しかし、非特許文献1に開示されたシステムは、表示された症例画像を拡大させる点、及び、拡大後に症例画像を枠内で移動させる点については一切記載がない。したがって、非特許文献1は、症例画像を拡大する点、及び、拡大後に症例画像を枠内で移動させる点についてさえ開示をしないので、例えば、代表症例の画像に含まれる病変部位の大きさに応じて、前記代表症例の画像の各々を移動させる等の工夫をも開示しない。
未だ病名が特定されていない読影対象の医用画像に表れている病変を検討するにあたって、既に病名が特定されている他の医用画像の中で前記読影対象の医用画像と類似する類似医用画像を参照することは有効であると考えられる。しかし、このようなシステムを構築した場合、前記医用画像データベースに膨大な数の医用画像が登録されることになる。このような場合であっても、前記読影対象の医用画像を診断する上で参考となる類似医用画像を効果的に医師に提示することが望まれる。
以上の考察により、以下の各態様を想到するに至った。
本開示の一態様は、医用画像が登録された医用画像データベースを参照して医用画像を検索する症例検索システムに接続され、ディスプレイを有する情報端末の制御方法であって、
前記ディスプレイには、読影対象候補の医用画像の中から選択された読影対象の医用画像である対象医用画像が表示され、
前記情報端末のコンピュータに対して、
前記対象医用画像の中の関心領域を示す指定情報を検知させ、
前記指定情報によって示された関心領域に応じて、前記関心領域の特徴量と所定の類似度を有する複数の類似医用画像を前記症例検索システムから受信させ、前記複数の類似医用画像は、それぞれ前記関心領域に対応する対応関心領域を含み、
前記受信した複数の類似医用画像の中の所定数以下の類似医用画像を表示する表示画面を、前記ディスプレイに表示させ、前記表示画面は、前記類似医用画像を表示するための前記所定数の表示枠を含み、
前記表示されている類似医用画像を拡大する指示を検知した場合、前記表示画面における各表示枠のサイズを同一サイズに維持しつつ、前記類似医用画像に含まれる前記対応関心領域を拡大表示させ、
前記拡大表示された類似医用画像の中で選択された一の選択類似医用画像を対応する表示枠内で移動させる指示を検知した場合、前記選択類似医用画像の移動に連動させて、前記選択類似医用画像以外の非選択類似医用画像を、前記非選択類似医用画像に対応する表示枠の中で、前記選択類似医用画像の移動方向と同一の移動方向に移動させ、
前記選択類似医用画像の移動距離と前記非選択類似医用画像の移動距離との比率を、前記選択類似医用画像に含まれる前記対応関心領域の面積と前記非選択類似医用画像に含まれる前記対応関心領域の面積との比率に対応させるものである。
本態様によると、まず、各表示枠のサイズが同一サイズに維持されたまま、前記表示されている類似医用画像に含まれる前記対応関心領域が拡大される。これにより、前記類似医用画像の表示領域が前記表示枠内に制約されている場合であっても、前記類似医用画像に含まれる前記対応関心領域が拡大される。したがって、ユーザは、前記類似医用画像の中で必要な箇所を効率的に観察することができる。
次に、前記拡大された類似医用画像の中で選択された一の選択類似医用画像を対応する表示枠内で移動させる指示が検知されると、前記選択類似医用画像の移動に連動させて、前記選択類似医用画像以外の非選択類似医用画像が、前記非選択類似医用画像に対応する表示枠の中で、前記選択類似医用画像の移動方向と同一の移動方向に移動する。即ち、前記一の選択類似医用画像を移動させる指示が検知されると、前記表示されている類似医用画像のうちで一つの選択類似医用画像だけが移動するのではない。むしろ、前記非選択類似医用画像が表示されている表示枠の中で、非選択類似医用画像が前記選択類似医用画像の移動方向と同一の移動方向に移動する。
これにより、ユーザは、前記対応関心領域に加え、前記対応関心領域の周辺をも、前記表示されている類似医用画像について効率的に観察することができる。例えば、前記対応関心領域の周辺には、副病変が存在する可能性がある。本態様によると、ユーザは、前記表示されている類似医用画像の中の必要な箇所を効率的に観察することができる。
このように、本態様では、前記選択類似医用画像を移動させる一つの操作で、前記非選択類似医用画像も、前記選択類似医用画像の移動に連動して移動する。したがって、前記対応関心領域に加え、前記対応関心領域の周辺についても、ユーザは、前記表示されている類似医用画像について一括して必要な箇所を確認することができる。
その結果、前記表示されている類似医用画像を個々に移動させる操作の手間を省き、医師を診療判断に集中させることができる。したがって、診療判断の精度を効果的に向上させることができる。
また、前記選択類似医用画像に含まれる前記対応関心領域の面積と、前記非選択類似医用画像に含まれる前記対応関心領域の面積とは、必ずしも同一ではない。例えば、前記選択類似医用画像に含まれる前記対応関心領域の面積が、前記非選択類似医用画像に含まれる前記対応関心領域の面積より大きい場合が考えられる。この場合、前記選択類似医用画像の移動距離と前記非選択類似医用画像の移動距離とが同一であると、前記非選択類似医用画像の移動の結果、前記非選択類似医用画像に含まれる前記対応関心領域は大きく移動し、前記非選択類似医用画像に含まれる前記対応関心領域から離れた周辺がより多く表示されることになる。一般には、前記非選択類似医用画像に含まれる前記対応関心領域に近い周辺に副病変が存在する可能性がある。そのため、前記非選択類似医用画像の移動の結果、前記非選択類似医用画像に含まれる前記対応関心領域から離れた周辺が表示されると、副病変を見過ごすおそれがあり得る。
本態様によると、前記選択類似医用画像の移動距離と前記非選択類似医用画像の移動距離との比率は、前記選択類似医用画像に含まれる前記対応関心領域の面積と前記非選択類似医用画像に含まれる前記対応関心領域の面積との比率に対応している。
これにより、例えば、前記選択類似医用画像に含まれる前記対応関心領域の面積が、前記非選択類似医用画像に含まれる前記対応関心領域の面積より大きい場合であっても、前記選択類似医用画像の移動距離と前記非選択類似医用画像の移動距離とは同一とはならない。そのため、前記非選択類似医用画像の移動の結果、前記非選択類似医用画像に含まれる前記対応関心領域から離れた周辺が表示されることを防止できる。
その結果、本態様は、前記表示されている類似医用画像を個々に移動させる操作の手間を省きながらも、副病変を見過ごす可能性を低減させて、医師を診療判断に集中させることができる。したがって、診療判断の精度を効果的に向上させることができる。
また、上記態様において、例えば、
前記選択類似医用画像に含まれる前記対応関心領域の面積が、前記非選択類似医用画像に含まれる前記対応関心領域の面積より大きい場合、前記非選択類似医用画像の移動距離を前記選択類似医用画像の移動距離より短くするようにしてもよい。
また、上記態様において、例えば、
前記対象医用画像の付加情報には、前記対象医用画像に表れる病変の病名情報が設定されておらず、
前記受信した複数の類似医用画像の各々の付加情報には、前記受信した複数の類似医用画像の各々に表れる病変の病名情報が設定されているようにしてもよい。
本態様によると、前記対象医用画像を観察して、前記対象医用画像に表れた病変の病名を特定するにあたって、既に病名が特定された病変を表す類似医用画像を参照することで、診断精度の向上に寄与できる。
また、上記態様において、例えば、
前記表示画面は、前記対象医用画像を表示する第1表示領域と、前記所定数の前記表示枠を含む第2表示領域とを含むようにしてもよい。
本態様によると、前記対象医用画像を観察して、前記対象医用画像に表れた病変の病名を特定するにあたって、前記対象医用画像と前記類似医用画像とを同一の表示画面の中で対比させることで、診断精度の向上に寄与できる。
また、上記態様において、例えば、
前記受信した複数の類似医用画像の中の前記所定数以下の類似医用画像を、前記対象医用画像との類似度が高い順序で前記各表示枠に表示させるようにしてもよい。
本態様によると、前記対象医用画像と前記類似医用画像とを対比するにあたって、前記受信した複数の類似医用画像を、前記対象医用画像との類似度が高い順序で表示させることにより、類似度が高い順番に前記類似医用画像を前記対象医用画像と対比することができる。したがって、効率的に前記対象医用画像に表れた病変の病名を特定させることができ、診断精度の向上に寄与できる。
また、上記態様において、例えば、
前記制御方法は、
前記情報端末のコンピュータに対して、
前記関心領域の特徴量を示す情報を前記症例検索システムに送信させ、
前記関心領域の特徴量と前記所定の類似度を有する類似医用画像を前記症例検索システムから受信させるようにしてもよい。
また、上記態様において、例えば、
前記制御方法は、
前記情報端末のコンピュータに対して、
前記対象医用画像及び前記関心領域を示す指定情報を前記症例検索システムに送信させ、
前記対象医用画像及び前記指定情報から得られる前記関心領域の特徴量と前記所定の類似度を有する類似医用画像を前記症例検索システムから受信させるようにしてもよい。
また、上記態様において、例えば、
前記対象医用画像は肺の医用画像であり、
前記類似医用画像は肺の医用画像であり、
前記表示画面は、
前記対応関心領域の大きさが、肺の領域に対して広範囲であることを示す所定の第1範囲に属する類似医用画像を選択させる第1分布情報、前記対応関心領域の大きさが、肺の領域の一部であることを示す前記第1範囲より低い所定の第2範囲に属する類似医用画像を選択させる第2分布情報、及び、前記対応関心領域が胸膜を含む類似医用画像を選択させる第3分布情報を含み、
前記第1分布情報から前記第3分布情報の中のいずれかの選択が検知された場合、前記選択された一の分布情報に対応する類似医用画像を選択して前記表示画面に表示させるようにしてもよい。
本態様によると、前記表示画面に表示された複数の類似医用画像を、さらに、前記対応関心領域の分布類型に基づいて仕分けできる。これにより、例えば、多数表示された類似医用画像の中から、前記対象医用画像に含まれる前記関心領域に症状が類似した類似医用画像を、効率的に選択できる。
また、上記態様において、例えば、
前記第1分布情報の選択が検知された場合、前記第1分布情報に対応する類似医用画像を、対応する表示枠に初期表示サイズにて表示させ、
前記第2分布情報の選択が検知された場合、前記第2分布情報に対応する類似医用画像の中の前記対応関心領域を中心として、前記第2分布情報に対応する類似医用画像を、対応する表示枠内に拡大表示させ、
前記第3分布情報の選択が検知された場合、前記第3分布情報に対応する類似医用画像の中の前記対応関心領域を中心として、前記胸膜を含んだ状態で、前記第3分布情報に対応する類似医用画像を、対応する表示枠内に拡大表示させるようにしてもよい。
本態様によると、前記対応関心領域の分布類型に基づいて類似医用画像を仕分けした際、前記分布類型に応じた表示をする。これにより、操作者は、前記対応関心領域の分布類型に基づいて類似医用画像を仕分けし、その後、前記分布類型に応じて類似医用画像を拡大し若しくは前記対応関心領域を中心にする処理などを別途行う必要がない。そのため、前記対応関心領域の分布類型に基づいて仕分けされたとは言え、その次に、前記仕分けされた多数の類似医用画像の一つ一つに対して同様の操作を繰り返し行う煩雑さを大幅に軽減できる。その結果、診療判断に向けられるべき医師の思考若しくは医師の集中力が操作の煩雑さにより中断されるのを大幅に軽減し、医師の思考若しくは医師の集中力を本来の診療判断に向けることができる。したがって、診療判断の精度の向上を図ることができる。
また、上記態様において、例えば、
前記第1分布情報は、両側性、多発性、びまん性又は血行性のカテゴリーに属する分布を示す情報であり、
前記第2分布情報は、区域性又は気道性のカテゴリーに属する分布を示す情報であり、
前記第3分布情報は、胸膜下のカテゴリーに属する分布を示す情報であるとしてもよい。
本態様によると、両側性、多発性、びまん性又は血行性のカテゴリーに属する分布の場合は類似医用画像が初期表示サイズで表示される。区域性又は気道性のカテゴリーに属する分布の場合は類似医用画像が拡大表示される。胸膜下のカテゴリーに属する分布の場合は胸膜を含んだ状態で類似医用画像が拡大表示される。
両側性、多発性、びまん性又は血行性のカテゴリーに属する分布の場合は、肺全体に病変部が広がっている可能性又は肺の広範囲に病変部が生じている可能性が高い。このため、類似医用画像を初期表示サイズ、即ち、拡大させることなく表示させたいという医学的見地に基づくニーズが存在する。
一方、区域性又は気道性のカテゴリーに属する分布の場合は、上述のような可能性が低い。そのため、区域性又は気道性のカテゴリーに属する分布を選択することにより類似医用画像を拡大表示させることで、拡大表示させるという1工程を省略させ、医師の集中力が中断されることを防止できる。また、胸膜下のカテゴリーに属する分布の場合は、胸膜と病変部との位置関係が診断においては重要な指標となるため、胸膜を含んだ状態で類似医用画像を拡大表示させたいという医学的見地に基づくニーズが存在する。
本開示の一態様である制御方法は、表示装置の第1表示領域に表示された第1画像に代えて、第1領域に含まれる画像を拡大した第1変換画像を前記第1表示領域に表示し、
前記第1画像は第2領域を含む前記第1領域と、第3領域を含み、
前記表示装置の第2表示領域に表示された第2画像に代えて、第4領域に含まれる画像を拡大した第2変換画像を前記第2表示領域に表示し、
前記第2画像は第5領域を含む前記第4領域と、第6領域を含み、
前記第1変換画像を前記第1表示領域に表示することに代えて、前記第3領域に含まれる画像を拡大した第3変換画像を前記第1表示領域に表示する指示を受け取った時、前記第2変換画像を前記第2表示領域に表示することに代えて、前記第6領域に含まれる画像を拡大した第4変換画像を前記第2表示領域に表示し、
前記第1領域の中心と前記第3領域の中心の距離はL1であり、
前記第4領域の中心と前記第6領域の中心の距離はL2であり、
比率L1/L2は、前記第2領域の面積S1と前記第5領域の面積S2との比率S2/S1に比例する。
(実施の形態1)
以下本開示の一実施の形態について、図面を参照しながら説明する。なお、各図面において、同じ構成要素については同じ符号が用いられている。
図1は、本実施の形態における情報端末が適用された病院情報システムの全体構成図である。図1に示すように、病院情報システムは、情報端末100、医用情報管理システム200、及び症例検索システム300を備えている。
情報端末100、医用情報管理システム200、及び症例検索システム300はネットワーク400を介して相互に通信可能に接続されている。
なお、医用情報管理システム200及び症例検索システム300は必ずしも病院の中に配置される必要はなく、病院外のデータセンター、プライベートクラウドサーバ、パブリッククラウドサーバ等の上で動作するソフトウェアであってもよい。医用情報管理システム200及び症例検索システム300が病院内に設置されている場合、ネットワーク400としては、ローカルエリアネットワークが採用できる。ローカルネットワークとしては、IEEE802.3シリーズの有線LAN、IEEE802.11シリーズの無線LAN、或いは両者が混在するネットワークが採用できる。医用情報管理システム200及び症例検索システム300が病院外のサーバを用いて実現される場合、ネットワーク400としては、インターネットが採用できる。
情報端末100としては、パーソナルコンピュータやタブレット端末等の情報端末が採用される。医用情報管理システム200としては、PACS(Picture Archiving and Communication Systems)や電子カルテシステム等が採用される。
図2は、情報端末100、医用情報管理システム200、及び症例検索システム300の構成を示すブロック図である。図2に示すように、情報端末100は、ディスプレイ101、操作部102、入力制御部103、表示制御部104、ROI管理部105、表示ボックス管理部106、病名リスト管理部108、分布リスト管理部109、通信制御部110、ボックスレイアウト管理部111、及び拡大画像生成部112を備える。
ディスプレイ101は、例えば、液晶モニタにより構成され、診断対象となる医用画像及びカルテ画像を表示すると共に、診断結果を記入するためのレポート入力画像等を表示する。なお、ディスプレイ101は最低1台必要だが、通常、画像診断においては2〜3台のディスプレイ101が用いられる。本実施の形態では2台のディスプレイ101が用いられ、一方のディスプレイ101をディスプレイ101aとし、他方のディスプレイ101をディスプレイ101bとする(図3参照)。
図3は、2台のディスプレイ101a、101bの外観図である。図3では、ディスプレイ101aには、4つの医用画像ビューワが2行2列の配置で表示されており、ディスプレイ101bには症例検索システム300の画面が表示されている。なお、ディスプレイ101を1台とした場合、2つの表示画面が1台のディスプレイ101の表示画面上に領域を分けて表示される。
操作部102は、例えば、キーボード及びマウスを含み、情報端末100に対してユーザにより入力される種々の操作を受け付ける。例えば、操作部102は、ディスプレイ101に表示される医用画像及びカルテ画像に対するユーザからの操作、並びにレポート入力画面に対して診断結果を入力する操作等を受け付ける。
入力制御部103は、操作部102へのユーザの操作を検知すると、その操作の内容を解釈し、他の構成要素に操作内容を通知する。例えば、入力制御部103は、操作部102としてのマウスから出力される座標データからディスプレイ101上におけるマウスポインタの位置を検知し、ディスプレイ101上にマウスポインタを表示させる。そして、入力制御部103は、マウスがクリックされたことを検知したときにマウスポインタの表示位置に表示制御部104で生成されたGUI部品(例えば、GUIボタン)が表示されていれば、そのGUIをユーザが選択したと判定し、他の構成要素にそのGUI部品がユーザにより選択されたことを通知する。
表示制御部104は、情報端末100のGUI(Graphical User Interface)を生成し、ディスプレイ101に表示させる。
ROI管理部105は、類似症例検索を行う際に、後述する検索クエリ画像に対して設定される関心領域(Region Of Interest)を示す関心領域情報を生成してメモリに格納し、関心領域情報を管理する。
表示ボックス管理部106は、後述する表示ボックス管理情報4410(図40)をメモリに格納し、表示ボックス管理情報4410を管理する。
病名リスト管理部108は、症例表示領域710(図6)に表示された類似症例の病名リスト(図46)を生成してメモリに格納し、病名リストを管理する。
分布リスト管理部109は、症例表示領域710に表示された類似症例の病変分布を示す分布リスト(図51)を生成してメモリに格納し、分布リストを管理する。
通信制御部110は、例えば、情報端末100をネットワーク400に接続するための通信装置を含み、情報端末100及び医用情報管理システム200間の通信や、情報端末100及び症例検索システム300間の通信を制御する。また、通信制御部110は、他のブロックから種々のデータの送信依頼を受け付けて、医用情報管理システム200又は症例検索システム300に送信すると共に、医用情報管理システム200又は症例検索システム300から送信されたデータを受信し、該当するブロックに渡す。
ボックスレイアウト管理部111は、後述するレイアウト管理情報4200(図43)を生成してメモリに格納し、レイアウト管理情報4200を管理する。
拡大画像生成部112は、類似症例のサムネイル画像の拡大画像を生成する。拡大画像生成部112は、操作部102に対するユーザの操作量を入力制御部103から取得する。拡大画像生成部112は、症例検索システム300から送信された、類似症例データ(類似度、関心領域情報を含む)を通信制御部110から受け取る。拡大画像生成部112は、類似症例検索により取得した類似症例の件数(例えばNC件)のうち、症例表示領域710に表示される件数分に対して、各サムネイル画像毎に別々の拡大率を算出し、表示される件数分の拡大画像を生成する。
図2に示すように、医用情報管理システム200は、患者情報蓄積部201、患者情報管理部202、医用画像データ蓄積部203、医用画像データ管理部204、診断レポート管理部205、及び通信制御部206を備える。
患者情報蓄積部201は、患者の性別及び年齢等の個人情報、既往歴等の臨床情報、並びに血液検査等の検査情報が登録された患者情報1000(図29)を蓄積する。
患者情報管理部202は、患者情報蓄積部201に蓄積された患者情報1000(図29)に対して、ユーザから入力されたデータを登録して患者情報1000を更新する処理、及び患者情報1000を表示制御部104に出力する処理等を実行し、患者情報1000を管理する。医用画像データ蓄積部203は、患者の検査画像である医用画像データを蓄積する。
医用画像データ管理部204は、医用画像データを医用画像データ蓄積部203に蓄積し、医用画像データを管理する。
診断レポート管理部205は、患者に対して行われた各検査に対する医師による診断結果を示す診断レポート3000(図32)を管理する。
通信制御部206は、例えば、医用情報管理システム200をネットワーク400に接続するための通信装置を含み、他のブロックから種々のデータの送信依頼を受け付けて、情報端末100又は症例検索システム300に送信すると共に、情報端末100又は症例検索システム300から送信されたデータを受信し、該当するブロックに渡す。
図2に示すように、症例検索システム300は、類似症例データ蓄積部301、画像特徴抽出部302、及び類似症例検索部303を備える。
類似症例データ蓄積部301は、予め、医用情報管理システム200に管理されている類似症例のうち、類似症例検索の対象データとして選定された多数の類似症例から抽出された画像特徴や、生成されたサムネイル画像等が登録された類似症例データ4000(図33)を蓄積する。
画像特徴抽出部302は、情報端末100の通信制御部110から送信された検索クエリ画像の関心領域情報の画像特徴を抽出する。
画像特徴抽出部302は、情報端末100の通信制御部110から送信された検索クエリ画像の関心領域情報の画像特徴を抽出する。なお、関心領域情報は、関心領域を示す第1指定情報の一例である。
類似症例検索部303は、画像特徴抽出部302で抽出された画像特徴と、類似症例データ蓄積部301に蓄積された1以上の類似症例の画像特徴とをそれぞれ比較することで類似症例検索結果を生成する。
通信制御部304は、例えば、症例検索システム300をネットワーク400に接続させる通信装置で構成され、他のブロックから種々のデータの送信依頼を受け付けて、情報端末100又は医用情報管理システム200に送信すると共に、情報端末100又は医用情報管理システム200から送信されたデータを受信し、該当するブロックに渡す。
図4は、情報端末100の実装形態の構成例を示す図である。図4に示すように、情報端末100は、アプリケーション501、OS(Operating System)502、メモリ503、及び図示しないその他のハードウェアを備えている。
アプリケーション501は、パーソナルコンピュータやタブレット端末を情報端末100として機能させるためのアプリケーションソフトウェアであり、情報端末100のプロセッサにより実行される。情報端末100は、コンピュータ読み取り可能な記録媒体からアプリケーション501を読み出してアプリケーション501を実装してもよいし、ネットワークからダウンロードすることでアプリケーション501を実装してもよい。
ここで、アプリケーション501は、医用情報管理アプリケーション及び類似症例検索アプリケーションを含む。医用情報管理アプリケーションは、情報端末100を医用情報管理システム200と連携させるためのアプリケーションであり、類似症例検索アプリケーションは、情報端末100を症例検索システム300と連携させるためのアプリケーションである。そして、両アプリケーションは、相互にデータを送受し、情報端末100において、医用情報管理システム200及び症例検索システム300が提供するサービスを統合させる。
OS502は、情報端末100の基本ソフトウェアであり、情報端末100のプロセッサにより実行される。メモリ503は、情報端末100が備えるRAM、ROM等の記憶装置により構成され、アプリケーション501に含まれるデータ群を記憶する。
情報端末100のプロセッサがアプリケーション501を実行することで、図2に示す入力制御部103、表示制御部104、ROI管理部105、表示ボックス管理部106、病名リスト管理部108、分布リスト管理部109、通信制御部110、ボックスレイアウト管理部111、及び拡大画像生成部112の機能が実現される。
但し、本実施の形態では、情報端末100は、アプリケーション501単独で実装されてもよいし、アプリケーション501及びOS502で実装されてもよいし、アプリケーション501、OS502、及びメモリ503で実装されてもよいし、アプリケーション501、OS502、メモリ503、及びその他の図示しないハードウェアで実装されてもよい。いずれの実装形態においても本実施の形態の情報端末100を実現することは可能である。
図5は、情報端末100にて類似症例検索アプリケーションを起動した直後にディスプレイ101aに表示される基本画面K1の一例を示す図である。図5に示す基本画面K1は、4つの医用画像ビューワ610〜640で構成されている。医用画像は、通常、DICOM(Digital Imaging and Communication in
Medicine)フォーマットで記録されており、医用画像ビューワ610〜640はDICOMを扱えるビューワである。本実施の形態で扱う医用画像は、DICOMフォーマットの多数の断層画像(以下、スライス画像と呼ぶ。)で構成される胸部CT画像とする。但し、これは一例に過ぎず、他の部位(例えば、頭部、腹部、脚、或いは腕)のCT画像が採用されてもよい。
医用画像ビューワ610〜640に表示された胸部CT画像は、マウスやキーボードの操作により、スライス画像が切り替えられる。ここで、胸部CT画像を構成するスライス画像は、例えば、首側から腹側に向かう順番に配置されている。
例えば、医用画像ビューワ610上にマウスポインタが位置決めされ、マウスホイールの回転が入力制御部103で検知されると、表示制御部104は、検知された回転量に応じて医用画像ビューワ610に表示されているスライス画像を切り替える。ここで、表示制御部104は、例えば、医用画像ビューワ610において、マウスホイールがマウスの後方側に1クリック分回転されると、表示中のスライス画像を次のスライス位置のスライス画像に切り替える。一方、表示制御部104は、例えば、医用画像ビューワ610において、マウスホイールがマウスの前方側に1クリック分回転されると、表示中のスライス画像をスライス位置が1つ前のスライス画像に切り替える。よって、医師等のユーザはマウスホイールを前方側又は後方側に回転させながら、医用画像ビューワ610に表示されるスライス画像を適宜切り替え、所望のスライス画像を探索する。
なお、医用画像としては、胸部CT画像に代えて、MRI(Magnetic Resonance Imaging)画像や単純X線画像が採用されてもよい。また、図5の例では、医用画像ビューワの個数は4個とされているが、これは一例にすぎず、6個や8個等別の個数が採用されてもよい。医用画像ビューワの個数が多くなると同時に比較できる画像が増えるが、1画像当たりの表示面積が狭くなる。そのため、この個数はディスプレイ101aの表示サイズに応じて適宜変更可能な構成を採用すればよい。ここでは、医用画像ビューワの個数は、ユーザ又は管理者が自由に変更できるものとする。
類似症例検索アプリケーションが起動される前には、ディスプレイ101aの全域には、ある患者の胸部CT画像のスライス画像が表示されている。そして、この状態で、読影者等のユーザにより類似症例検索アプリケーションが起動されると医用画像ビューワ610には、ディスプレイ101aの全域に表示されていたスライス画像が表示される。
つまり、医用画像ビューワ610には、ユーザが類似症例検索アプリケーションを起動させたときに、ディスプレイ101aの全域に表示されていた検索クエリ画像が初期表示される。なお、表示制御部104は、検索クエリ画像上に類似症例検索を行う対象の関心領域(ROI:Region Of Interest)を重畳表示してもよい。検索クエリ画像は読影対象の医用画像である対象医用画像の一例である。
図5では、他の医用画像ビューワ620〜640には何の画像も表示されていないが、診断対象となる患者の検査画像が複数あり、類似症例検索アプリケーションが起動される前に、ディスプレイ101aに複数の検査画像が表示されていた場合、表示制御部104は、医用画像ビューワ620〜640にこれら複数の検査画像をそのまま表示すればよい。
図6は、情報端末100にて類似症例検索アプリケーションを起動した直後にディスプレイ101bに表示される基本画面K2の一例を示す図である。図6に示す基本画面K2は、症例表示領域710、レイアウト領域720、病名リスト表示領域730、及び分布リスト表示領域750を備える。なお、レイアウト領域720は第1表示領域の一例であり、症例表示領域710は第2表示領域の一例である。
症例表示領域710は、検索クエリ画像に類似した類似症例のサムネイル画像を類似度順に表示する領域である。ここで、類似症例のサムネイル画像は、類似医用画像の一例である。
症例表示領域710には多数の類似症例が表示されるため、解像度や画素値の変換をその場で行うと処理に時間がかかってしまう。よって、サムネイル画像は、オリジナルのスライス画像から予め作成され、症例検索システム300に保存されている。
以下、解像度や画素値の変換について少し補足する。オリジナルのスライス画像の解像度は512×512画素であるが、サムネイル画像はより低解像であるため、解像度変換を行う必要がある。そこで、サムネイル画像は、元となるスライス画像に対して低解像度処理及び階調変換処理が行われて生成される。
階調変換処理は例えば、下記のように行われる。CTで取得したスライス画像は各画素値(CT値)が−1000〜+1000(単位HU:Hounsfield Unit)の2000階調の値をとり、そのままでは通常の8ビット階調のディスプレイに表示できない。また、表示できたとしても、2000階調の中で、肺気腫領域(CT値:−1000HU)、肺野の正常組織(CT値:約−900HU)、すりガラス領域(CT値:−800HU)、軟部組織(CT値:−100〜−50HU)、水(CT値:0HU)、及び骨(CT値:1000HU)を人間が肉眼で区別することは難しい。
よって、通常、スライス画像は、各画素値に対してウィンドウレベル及びウィンドウ幅が設定され、8ビットの画素値に再構成されて、ディスプレイに表示される。ここで、ウインドウレベルは、ウインドウの中心となるCT値を示し、ウインドウ幅は、ウインドウ中心の上下の幅を示す。
例えば、肺野条件でDICOM画像が再構成される場合、ウインドウレベルが−550〜−800に設定され、ウインドウ幅が1000〜1600に設定される。したがって、サムネイル画像も、元となるスライス画像から上記の処理によって画素値が8ビットに落とされることで生成される。
なお、症例表示領域710に表示されるサムネイル画像は、診断対象症例の特徴ベクトルに対する距離が所定の閾値以下の類似症例を示すサムネイル画像である。ここでは距離としては、例えば、ユークリッド距離が用いられる。なお、距離としては、市街地距離等の別の距離尺度が採用されてもよい。比較対象となる2つの画像は、距離が近いほど類似している。また、特徴ベクトルは、サムネイル画像から得られたものではなく、元画像であるDICOM画像から得られたものが採用される。
図7は、症例表示領域710に表示されるある1つの類似症例の表示領域701(表示枠の一例)を取り出して示した図である。類似症例の表示領域701には、サムネイル画像が表示されており、このサムネイル画像の下部には、確定診断病名表示領域711及び距離表示領域712が配置されている。確定診断病名表示領域711には、対象となる類似症例の確定診断病名が表示される。確定診断病名とは、対象となる類似症例に対して診断が確定された病名を指す。距離表示領域712には、対象となる類似症例のスライス画像の特徴ベクトルと、検索クエリ画像の特徴ベクトルとの距離が表示される。図7の例では、確定診断病名表示領域711には、「非結核性抗酸菌症」と表示されているため、このサムネイル画像は「非結核性抗酸菌症」と確定診断がされた類似症例のサムネイル画像を示す。また、距離表示領域712には、「0.05」と表示されているため、この類似症例のスライス画像と検索クエリ画像との距離が「0.05」であることが示されている。
図7に示されるように、類似症例の表示領域701に示されるサムネイル画像は、対応関心領域CROIを含む。対応関心領域CROIは、検索クエリ画像(読影対象の医用画像)に設定された関心領域に対応する領域(つまり関心領域に類似する領域)である。なお、以下では、対応関心領域は、単に「関心領域」とも称される。
図6に戻り、基本画面K2の例えば左上には、検索結果件数表示領域713が配置されている。検索結果件数表示領域713には、検索処理の結果、症例検索システム300から取得された、診断対象症例に類似する類似症例の数が表示される。
なお、類似症例の数が膨大である場合、症例表示領域710は全ての類似症例を一度に表示することができない。そこで、症例表示領域710の例えば右側には、上下方向に長尺のスクロールバー715が設けられている。表示制御部104は、スクロールバー715の移動量に応じて、症例表示領域710内に表示されているサムネイル画像を上下方向にスクロール表示させる。これにより、ユーザは、非表示状態にあった類似症例を症例表示領域710に表示させ、その類似症例を観察できる。
なお、スクロールバー715は左右方向に長尺であってもよい。この場合、表示制御部104は、スクロールバー715の移動量に応じて、症例表示領域710内に表示されているサムネイル画像を左右方向にスクロール表示させればよい。
なお、情報端末100は、検索クエリ画像との距離が所定の閾値以下のサムネイル画像を症例検索システム300から取得するとしたが、これは一例に過ぎない。例えば、情報端末100は、類似度が高い順に、常に一定数のサムネイル画像を症例検索システム300から取得してもよい。或いは、情報端末100は、常にある確定診断病名のサムネイル画像が一定数含まれるようにサムネイル画像を症例検索システム300から取得してもよい。
なお、症例表示領域710におけるサムネイル画像の表示手法としては、例えば、最上段の行の左端に検索クエリ画像との距離が最短のサムネイル画像を表示し、右側に向かうにつれて距離が順次に大きくなるようにサムネイル画像を表示し、同一行の右端に達すると上から2行目の左端に次に距離が大きいサムネイル画像を表示するという表示手法が採用できる。つまり、症例表示領域710において、左上から右下に向けて蛇行するように距離が小さい順にサムネイル画像を表示するという表示手法が採用できる。
もちろん、本実施の形態は別の表示手法が採用されてもよい。例えば、左から1列目の上端に距離が最短のサムネイル画像を表示し、下側に向かうにつれて距離が順次に大きくなるようにサムネイル画像を表示し、同一列の下端に達すると、左から2列目の上端に次に距離が大きいサムネイル画像を表示するという表示手法が採用されてもよい。また、これら複数の表示手法をユーザが切り替え可能な構成が採用されてもよい。
また、上記の例では、類似度として距離が採用されたが、コサイン類似度のような画像同士の類似性を示す指標であればどのような指標が採用されてもよい。コサイン類似度が採用された場合、値が1に近づくにつれて比較対象となる2つの画像の類似性が高くなる。
なお、詳細は後述するが、症例表示領域710に表示する類似症例は、病名リスト表示領域730に表示された病名や、分布リスト表示領域750に表示された病変分布で絞り込むことができる。現在設定されている類似症例の絞込条件は、表示条件表示領域714に表示される。図6の例では、類似症例検索直後の状態であり、何も絞り込みがなされていないため、表示条件表示領域714には「全疾患」と表示されている。
症例表示領域710に表示されている類似症例のサムネイル画像は、ユーザの操作により拡大することが可能に構成されている。以下、類似症例のサムネイル画像の拡大表示が説明される。
図8は、症例表示領域710に表示されたサムネイル画像のうち1のサムネイル画像が選択されたときの基本画面K2を示す図である。図8に示されるように、類似症例検索直後の基本画面K2が表示された状態では、各表示領域には、サムネイル画像の画像全体が表示されている。症例表示領域710は、サムネイル画像をそれぞれ表示する所定数ND(この実施の形態ではND=20)の表示領域を含む。
情報端末100の入力制御部103は、マウス等の操作部102を通しての入力を常時モニタリングしている。そして、入力制御部103は、マウスをクリックする操作がユーザにより入力され、その操作により、症例表示領域710に表示された類似症例のサムネイル画像の1つが選択されたことを検知する。すると、表示制御部104は、選択されたサムネイル画像の背景の色を変更する。
図8の例では、症例表示領域710において、1行4列目の表示領域1301に表示された類似症例のサムネイル画像が選択されている。そのため、表示領域1301内のサムネイル画像の背景の色が変更されている。具体的には選択されたサムネイル画像の外周を取り囲む枠状の領域の色が変更されている。これにより、ユーザに対して当該サムネイル画像が選択状態になったことを知らせることができる。
ここで、背景の色としては、例えば、症例表示領域710の背景の色との差が明確に現れる色が採用される。図8の例では例えば黄色が採用されている。なお、図8の例ではサムネイル画像の枠状の領域の色を変更する態様を示したが、枠状の領域を点滅させる態様や枠状の領域の輝度を明るくする態様が採用されてもよい。
図8に示されるように、1つのサムネイル画像が選択された状態で、ユーザが、例えばマウスのホイールを回転させることにより拡大操作を行うと、入力制御部103は、マウスのホイールの回転量を検知し、検知した回転量を拡大画像生成部112に通知する。すると、拡大画像生成部112は、例えば通知された回転量を用いて各サムネイル画像の拡大率をそれぞれ決定し、決定した拡大率で全てのサムネイル画像を拡大する。表示制御部104は、例えば図9または図10に示されるように、拡大画像生成部112によって拡大されたサムネイル画像を症例表示領域710に表示する。
図9は、症例表示領域710に表示されている全てのサムネイル画像が拡大されたときの基本画面K2を示す図である。図9に示されるように、症例表示領域710に表示されている20個のサムネイル画像が拡大されている。これにより、症例検索システム300から受信した類似症例データ62件の全てのサムネイル画像を拡大する場合と比較して、情報端末100における処理負担を大きく軽減することができる。
図10は、症例表示領域710に表示されている全てのサムネイル画像が拡大されたときの図9と異なる基本画面K2を示す図である。図10では、拡大画像生成部112は、対応関心領域CROIのサイズが表示領域のサイズと同じサイズになるように、拡大されたサムネイル画像をそれぞれ生成している。
なお、表示されているサムネイル画像を拡大する際には、拡大画像生成部112は、図9または図10に示すように、対応関心領域CROIの中心位置が表示領域1301の中心位置になるように、拡大画像を生成する。また、表示制御部104は、サムネイル画像を拡大する際に、図9または図10に示すように、表示領域1301のサイズを拡大せず、同じサイズに維持する。
また、拡大画像生成部112は、拡大率をサムネイル画像毎に異なる値に設定してもよい。これによって、図9または図10に示されるように、拡大後の各サムネイル画像の対応関心領域CROIが同じ大きさになるように拡大することができる。
このように、画像診断を行う医師が注目した類似症例のサムネイル画像の一つを拡大操作するだけで、表示されている他の全ての類似症例のサムネイル画像も連動して拡大表示される。このため、医師は一つの指示にて複数の類似症例を詳細に比較することができる。したがって、操作数を大幅に低減できる。
なお、図8では、1行4列目の表示領域1301に表示された類似症例のサムネイル画像が選択されている。しかし、ユーザが選択するサムネイル画像は任意である。ユーザは、表示されている20個のサムネイル画像のいずれかを選択すればよい。
図11は、症例表示領域710に表示されたサムネイル画像のうち図8と異なるサムネイル画像が選択されたときの基本画面K2を示す図である。図11では、2行4列目の表示領域801に表示されたサムネイル画像がユーザによって選択されている。図11の場合でも、2行4列目のサムネイル画像が選択された状態で、ユーザが、例えばマウスのホイールを回転させることにより拡大操作を行うと、入力制御部103は、マウスのホイールの回転量を検知し、検知した回転量を拡大画像生成部112に通知する。すると、拡大画像生成部112は、例えば通知された回転量を用いて各サムネイル画像の拡大率をそれぞれ決定し、決定した拡大率で全てのサムネイル画像を拡大する。表示制御部104は、拡大画像生成部112によって拡大されたサムネイル画像を症例表示領域710に表示する。
なお、上記では、ユーザによる拡大操作は、マウスのホイールの回転としているが、本開示は、これに限られない。例えば、症例表示領域710に表示されている一つのサムネイル画像上にマウスのポインタを配置して、マウスのボタンを押した状態で、キーボードの例えば上方向キーまたは下方向キーを押すことにより、拡大操作を行うようにしてもよい。この場合には、入力制御部103は、上方向キーまたは下方向キーが押されている時間をカウントしてもよい。拡大画像生成部112は、例えば上方向キーまたは下方向キーが押されている時間を用いて拡大率を決定してもよい。
なお、サムネイル画像の具体的な拡大処理手順の詳細は後述する。
症例表示領域710に表示されているサムネイル画像は、ユーザの操作により表示領域を変更することが可能に構成されている。以下では、類似症例のサムネイル画像の表示領域変更について説明する。
図12は、サムネイル画像の拡大表示後に、症例表示領域710に表示されたサムネイル画像のうち1つのサムネイルが選択されたときの基本画面K2を示す図である。図12に示すように、サムネイル画像の拡大表示後の基本画面K2が表示された状態では、各表示領域にはサムネイル画像が拡大して表示されている。
情報端末100の入力制御部103は、マウス等の操作部102を通しての入力を常時モニタリングしている。そして、入力制御部103は、マウスをクリックする操作がユーザにより入力され、その操作により、症例表示領域710に表示された類似症例のサムネイル画像の1つが選択されたことを検知する。すると、表示制御部104は、選択されたサムネイル画像の背景の色を変更する。
図12の例では、症例表示領域710において、2行4列目の表示領域1201に表示された類似症例のサムネイル画像が選択されている。そのため、表示領域1201内のサムネイル画像の背景の色が変更されている。具体的には選択されたサムネイル画像の外周を取り囲む枠状の領域の色が変更されている。これにより、ユーザに対して当該サムネイル画像が選択状態になったことを知らせることができる。
ここで、背景の色としては、例えば、症例表示領域710の背景の色との差が明確に現れる色が採用される。図12の例では、例えば、黄色が採用されている。なお、図12の例では、サムネイル画像の枠状の領域の色を変更する態様を示したが、枠状の領域を点滅させる態様や枠状の領域の輝度を明るくする態様が採用されてもよい。
図12に示すように、サムネイル画像の一つが選択された状態で、ユーザが、例えば、マウスの左ボタンを押しながらマウス位置を変更する(ドラッグ)操作を行う。
図13は、基本画面K2が表示された状態でユーザによって行われるドラッグ操作1202を概略的に示す図である。ユーザによってドラッグ操作1202が行われると、入力制御部103は、マウスの移動量を検知し、検知した移動量を拡大画像生成部112に通知する。すると、拡大画像生成部112は、検知されたマウス移動量を用いて、サムネイル画像の表示領域の移動量を決定し、決定した量だけ表示領域を移動したサムネイル画像を生成する。表示制御部104は、拡大画像生成部112によって移動されたサムネイル画像を症例表示領域710に表示する。
図14は、症例表示領域710に表示されているサムネイル画像の表示領域が移動されたときの基本画面K2を示す図である。具体的には、図14では、選択されたサムネイル画像だけでなく、症例表示領域710に表示されている合計20個のサムネイル画像の表示領域が移動されている。
なお、表示されているサムネイル画像の表示領域を移動する際には、拡大画像生成部112は、図14に示すように、症例表示領域710に表示されている全てのサムネイル画像の対応関心領域CROIの位置が表示領域1201内で同じ量だけ移動されるように移動後のサムネイル画像を生成する。具体的には、例えばユーザがマウスを左向きにドラッグ操作を行った場合には、拡大表示された計20個のサムネイル画像の表示領域を対応関心領域CROIのより右側が表示されるように移動する。
図15は、図14のように基本画面K2が表示された状態で、さらにユーザによって行われるドラッグ操作1501を概略的に示す図である。図15に示すように、図14の状態から、ユーザがさらにマウスの左ボタンを押しながらマウス位置を変更する操作を行うと、入力制御部103は、マウスの移動量を検知し、検知した移動量を拡大画像生成部112に通知する。すると、拡大画像生成部112は、検知されたマウス移動量を用いて、サムネイル画像の表示領域の移動量を決定し、決定した量だけ表示領域を移動したサムネイル画像を生成する。表示制御部104は、拡大画像生成部112によって移動されたサムネイル画像を症例表示領域710に表示する。
図16は、図15に示されるドラッグ操作によって、症例表示領域710に表示されているサムネイル画像の表示領域が移動されたときの基本画面K2を示す図である。具体的には、図14と同様、図16では、選択されたサムネイル画像だけでなく、症例表示領域710に表示されている合計20個のサムネイル画像の表示領域が移動されている。図16においても、表示されているサムネイル画像の表示領域を移動する際には、拡大画像生成部112は、症例表示領域710に表示されている全てのサムネイル画像の対応関心領域CROIの位置が表示領域内で同じ量だけ移動されるように、移動後のサムネイル画像を生成する。具体的には、ユーザがマウスを左にドラッグ操作した場合には、サムネイルを拡大表示した計20個の画像の表示領域をROIのより右側が表示されるように移動する。なお、サムネイル画像の表示領域の移動処理の詳細は後述する。
例えば、肺腺癌や肺結核などでは、主病変から癌細胞や菌が排出される過程で他の部位に再吸入され、細気管支に広がる散布巣が見られることがある。そのため、医師は、画像診断時に、主病変だけでなく、その周りに存在する副病変を観察する。
類似症例検索においては、現在診断中の類似症例の主病変が読影対象の症例に類似していると判断した後、その周りに存在する副病変も含めて類似しているか否かを判定して、検索された類似症例を絞り込んで病名の絞り込みを行いたいというニーズが存在する。そのため、類似症例のサムネイル画像において、対応関心領域が付与されている主病変だけでなく、ユーザの操作により、その表示領域を移動させて周辺領域を観察することができる機能は、画像診断時に有効である。特に、主病変が類似する複数の疾患の区別をする際、周辺に存在する副病変を比較することになるため、複数の類似症例の周辺領域を一度に比較できることが好ましい。
この機能により、画像診断を行う医師が注目した類似症例のサムネイル画像の表示領域を操作するだけで、注目した類似症例以外の類似症例も連動して表示領域が移動される。したがって、医師は一つの指示にて詳細比較することができるので、操作数を大幅に低減できる。
図14、図16に示した通り、拡大画像生成部112は、症例表示領域710に表示されている全てのサムネイル画像の対応関心領域CROIの位置が表示領域1201内で同じ量だけ移動されるように移動後のサムネイル画像を生成する。しかしながら、ユーザが選択した類似医用画像(図12〜図16の例では2行4列目の表示領域1201に表示されたサムネイル画像)に含まれる対応関心領域CROIの面積と、他の類似医用画像に含まれる対応関心領域CROIの面積とは必ずしも同一ではない。
そこで、ユーザにより入力された操作量に対して、各サムネイル画像の拡大率を掛けた値を表示領域の移動量とする。例えば、ユーザが選択した類似医用画像(選択類似医用画像の一例)に含まれる対応関心領域CROIの面積が、他の類似医用画像(非選択類似医用画像の一例)に含まれる対応関心領域CROIの面積より大きい場合を考える。この場合、ユーザが選択した類似医用画像の移動距離と他の類似医用画像の移動距離とが同一であると、他の類似医用画像を移動した結果、他の類似医用画像に含まれる対応関心領域CROIは大きく移動し、他の類似医用画像に含まれる対応関心領域CROIから離れた周辺がより多く表示されることになる。一般には、他の類似医用画像に含まれる対応関心領域CROIに近い周辺に副病変が存在する可能性がある。
そのため、選択類似医用画像以外の他の類似医用画像の移動の結果、他の類似医用画像に含まれる対応関心領域CROIから離れた周辺が表示されると、副病変を見過ごすおそれがあり得る。そこで、図14、図16に示すように、症例表示領域710に表示される拡大されたサムネイル画像の移動量が表示領域1201内で同じに見えるようにサムネイル画像の表示領域を移動する。これによって、例えば、ユーザが選択した類似医用画像に含まれる対応関心領域CROIの面積が、他の類似医用画像に含まれる対応関心領域CROIの面積より大きい場合であっても、ユーザが選択した類似医用画像の移動距離と他の類似医用画像の移動距離とは同一とはならない。そのため、他の類似医用画像の移動の結果、他の類似医用画像に含まれる対応関心領域CROIから離れた周辺が表示されることを防止できる。
その結果、複数の類似医用画像を個々に移動させる操作の手間を省きながらも、副病変を見過ごす可能性を低減させて、医師を診療判断に集中させることができる。したがって、診療判断の精度を効果的に向上させることができる。
図6に戻り、レイアウト領域720は、例えば、図6に示す基本画面の左下に配置されている。そして、レイアウト領域720は、症例表示領域710に表示された類似症例サムネイル画像のうちユーザが詳細に観察したい画像を、ディスプレイ101aの医用画像ビューワに表示させるために用いられる。図5に示す通り、ディスプレイ101aには4つの医用画像ビューワ610〜640が2行2列で表示されている。また、レイアウト領域720には、2行2列で4つの表示ボックス721〜724が存在する。このように、ディスプレイ101aに表示される医用画像ビューワ610〜640の数及び配置と、レイアウト領域720における表示ボックス721〜724の数及び配置とは揃えられている。図5の通り、医用画像ビューワ610に、検索クエリ画像が表示されているのに合わせ、表示ボックス721には、検索クエリ画像のサムネイル画像が初期表示される。
他の表示ボックス722〜724には、医用画像ビューワ620〜640と連動させて類似症例のサムネイル画像が表示される。つまり、入力制御部103が表示ボックス722〜724のいずれか1の表示ボックスに症例表示領域710に表示された1のサムネイル画像のドラッグアンドドロップを検知すると、表示制御部104はその表示ボックスに1のサムネイル画像を表示させると共に、その表示ボックスに対応する医用画像ビューワにそのサムネイル画像に対応するスライス画像を表示する。このように、医用画像ビューワ610〜640は、表示ボックス721〜724と1対1で対応付けられている。
図6の例では、表示ボックス722〜724は空白であるため、図5に示す医用画像ビューワ620〜640も空白になっている。
ユーザは、マウスをドラッグアンドドロップすることで、詳細に観察したいサムネイル画像を、症例表示領域710からレイアウト領域720に移動させる。例えば、ユーザが表示ボックス722にサムネイル画像を移動させたとすると、表示ボックス722に対応する医用画像ビューワ620には、このサムネイル画像に対応するスライス画像が表示される。同様に、ユーザが表示ボックス723にサムネイル画像を移動させたとすると、表示ボックス723に対応する医用画像ビューワ630には、このサムネイル画像に対応するスライス画像が表示される。すなわち、表示ボックス721〜724のうち任意の表示ボックスにサムネイル画像を移動させると、検索クエリ画像のサムネイル画像に隣接して類似症例のサムネイル画像が表示される。そのため、ユーザはサムネイル画像のレベルで診断対象症例と類似症例との対比ができ、両症例の類似性を速やかに判断できる。つまり、サムネイル画像は、スライス画像に比べて情報量が少ないため、ユーザは、レイアウト領域720において隣接配置された診断対象症例と類似症例とがどの程度類しているかのおよその検討をつけることができる。そのため、ユーザは、症例表示領域710に表示された多数の類似症例の中から、対象診断症例との比較をスライス画像のレベルで詳細に行う必要がある類似症例の最終候補の絞り込みを効率良く行うことができる。
同様に、ディスプレイ101aにも、レイアウト領域720と同じ配置関係で検索クエリ画像及び類似症例のスライス画像が表示される。そのため、レイアウト領域720において最終候補となる類似症例を絞り込む作業が終了すると、何らの操作を入力しなくても、ディスプレイ101aには、診断対象症例と最終候補として絞り込んだ類似症例とがスライス画像のレベルで表示されている。そのため、ユーザは対象診断と最終候補の類似症例とを詳細に読影するという次の作業ステップに円滑に移行できる。
図6に示す基本画面の左側の上段には、「病名リスト」との見出しが付けられた病名リスト表示領域730が配置されている。病名リスト表示領域730には、類似症例の検索結果として取得された全ての類似症例の確定診断病名が表示される。診断対象症例は、診断が終了して確定診断病名が付与された後、類似症例として、症例検索システム300に蓄積される。したがって、各類似症例には、それぞれ、診断によって付与された確定診断病名が予め付与されている。
図17は、病名リスト表示領域730の拡大図である。図17では、確定診断病名は、大分類の病名(731、734、737、741、744)と詳細分類の病名(732、733、735、736、738、739、740、742、743、745)とに分けて表示されている。図17の例では、大分類の病名として、真菌症731(mycosis)、腫瘍性734(neoplastic)、非腫瘍性737(nonneoplastic)、ミコバクテリア症741(mycobacteriosis)、及びその他744が表示されている。
また、図17の例では、真菌症731の詳細分類の病名として、アスペルギルス症732(aspergillosis)、クリプトコッカス症733(cryptococcosis)が表示されている。また、腫瘍性734の詳細分類の病名として、原発性肺癌735(lung cancer)、転移性肺癌736(metastatic lung cancer)が表示されている。また、非腫瘍性737の詳細分類の病名として、肺膿瘍738(lung abscess)、サルコイドーシス739(sarcoidosis)、敗血性塞栓740(septic emboli)が表示されている。また、ミコバクテリア症741の詳細分類の病名として、非結核性抗酸菌症742(NTM:nontuberculous mycobacteria)、肺結核743(tuberculosis)が表示されている。また、その他744の詳細分類の病名として気管支拡張症745(bronchiectasis)が表示されている。
また、大分類の病名及び詳細分類の病名の横には、その病名の症例数が表示されている。ユーザは、この病名リスト表示領域730における大分類の病名または詳細分類の病名の任意の行を選択することで、症例表示領域710に表示される類似症例を絞り込むことができる。図6に示すように類似症例の検索直後の状態では、多様な疾患を含む62個の類似症例が表示対象になっているが、図17の真菌症731の行がマウスでクリックされた場合、表示制御部104は、図18に示すように真菌症の類似症例を症例表示領域710に表示する。また、図17の転移性肺癌736の行がマウスでクリックされた場合は、表示制御部104は、図19に示すように、転移性肺癌の類似症例を症例表示領域710に表示する。
この時、表示制御部104は、現在、症例表示領域710に表示されている類似症例がどのような絞り込み条件であるが分かるように、表示条件表示領域714に、絞り込んだ病名を表示する。図18は、「真菌症」で類似症例が絞り込まれたときの基本画面K2を示す図である。図19は、「転移性肺癌」で類似症例が絞り込まれたときの基本画面K2を示す図である。
図18の例では、「真菌症」で絞り込みがかけられたため、表示条件表示領域714には「真菌症」と表示され、図19の例では「転移性肺癌」で絞り込みがかけられたため、表示条件表示領域714には「転移性肺癌」と表示されている。
また、この時、表示制御部104は、現在、症例表示領域710に表示されている類似症例の件数が分かるように、検索結果件数表示領域713にその件数を表示する。図18の例では、「真菌症」に該当する類似症例は14件であったため、検索結果件数表示領域713には14件と表示され、図19の例では、「転移性肺癌」に該当する類似症例は3件であったため、検索結果件数表示領域713には3件と表示されている。
この機能により、画像診断の対象として医師が想定する病名の類似症例が症例表示領域710に表示され、医師は、診断対象症例が想定した病名と矛盾しないかどうかを容易に確認できる。
図18では、最大表示件数ND(この実施の形態ではND=20)の症例表示領域710に、M個(図18ではM=14)の類似症例のサムネイル画像が表示されている。
図6に示す基本画面K2の左側の中段には、「病変分布」との見出しが付けられた分布リスト表示領域750が配置されている。分布リスト表示領域750には、類似症例を検索した結果、症例検索システム300から取得された全ての類似症例の病変分布の種類が表示される。
図20は分布リスト表示領域750の拡大図である。図20の例では、7つの病変分布の名称が表示されており、各病変分布の名称の左側にはチェックボックスが配置されている。図20の例では病変分布として、びまん性751(diffuse)、区域性752(segmental)、気道性753(bronchial)、両側性754(bilateral)、多発性755(multiple)、胸膜下756(subpleural)、及び血行性757(hematogenous)が表示されている。
これらの病変分布は予め定義されており、各類似症例には、予め、びまん性751〜血行性757のいずれに該当するか否かを示す分布フラグ値(該当:1、非該当:0)が付与されている。類似症例によっては、全ての分布フラグ値が非該当(:0)に設定されている場合もあれば、複数の分布フラグ値が該当(:1)に設定されている場合もある。
本実施の形態の症例検索システム300は、ユーザが診断対象症例のスライス画像に設定した関心領域に対し、類似する関心領域を持つ類似症例を検索する。ユーザが関心領域を設定したスライス画像以外にも、病変は存在することもある。そして、ユーザは関心領域を設定したスライス画像で類似症例を検索した後、そのスライス画像以外のスライス画像と、検索された類似症例とを比較したい場合もある。この場合、ユーザは、医用画像ビューワ610において、スライス送りの操作を入力して他のスライス画像を表示させ、検索された類似症例と比較する作業を行う。この場合、検索された全ての類似症例のうち注目する病変に関連する類似症例が症例表示領域710に表示されていれば、関心領域が設定されたスライス画像以外のスライス画像の中から所望の病変を持つスライス画像を抽出する作業をスムーズに行うことができる。そこで、本実施の形態では、この作業をよりスムーズに行うために、検索された類似症例を所望の病変分布で絞りこむ機能が設けられている。
本実施の形態では、肺野領域内での病変分布として、図20のびまん性751〜血行性757で示す病変分布が採用されている。また、図20のように、チェックボックス及び病名分布の名称について、表示制御部104は、絞り込みが可能な病変分布をアクティブ状態で表示し、絞り不可能な病変分布を非アクティブ状態で表示する。ここでは、アクティブ状態としては、輝度が非アクティブ状態に比べて高い状態が採用され、非アクティブ状態としては、輝度がアクティブ状態に比べて低い状態が採用されている。
図20の例では、びまん性751、気道性753〜血行性757がアクティブ状態で表示され、区域性752は、非アクティブ状態で表示されている。これは、現在、類似症例の検索によって取得された全ての類似症例のうち、少なくともいずれか1つの類似症例において、びまん性751、気道性753〜血行性757の分布フラグ値が1(該当)に設定され、取得された全ての類似症例のうち、いずれの類似症例においても、区域性752の分布フラグ値が0(非該当)に設定されていたからである。
アクティブ状態のチェックボックスのうち、1以上のチェックボックスにチェックマークが入力されたことを入力制御部103が検知すると、表示制御部104は、チェックマークが入力された病変条件に該当する類似症例を症例表示領域710に表示させる。
なお、区域性752については、検索結果として取得された類似症例のいずれにおいても分布フラグ値が0(非該当)に設定されている。そのため、区域性752にチェックマークが入力可能な構成を採用すると、これらの病変分布にチェックマークを入力した場合、症例表示領域710には類似症例が何も表示されず、チェックマークを入力する意味が無くなってしまう。そこで、本実施の形態では、このような事態を避けるために、検索結果として取得された類似症例のいずれにおいても分布フラグ値が0(非該当)である病変分布は非アクティブ状態で表示する。
図21は、両側性754のチェックボックスにチェックマークが入力された分布リスト表示領域750を示す図である。図22は、両側性754の病変分布で絞り込みがかけられた基本画面K2を示した図である。図21に示すように、両側性754のチェックボックスにチェックマークが入力された場合、表示制御部104は、図22に示すように、症例表示領域710に、両側性の病変分布を持つ類似症例を表示する。この例では、両側性の病変分布を持つ類似症例は10件であった。そのため、表示制御部104は、検索結果件数表示領域713に「10件」と表示している。また、表示制御部104は、表示条件表示領域714に、表示対象の病名と、病変分布の名称である「両側性」とを表示する。図22の例では、病名リスト表示領域730に挙げられた病名による絞り込みがかけられていないため、表示条件表示領域714には「全疾患」と表示されている。
図21に示すように、両側性754のチェックボックスにチェックマークが入力された場合、図22に示すように、表示制御部104は、症例表示領域710において、選択された病変分布に対応する拡大率に拡大画像生成部112によって拡大されたサムネイル画像を表示する。病変分布名「両側性」が選択された場合には、肺の両側が観測できるようにする必要がある。そこで、拡大画像生成部112は、拡大率を1.0倍に設定する。表示制御部104は、拡大率が1.0倍のサムネイル画像を表示する。
同様に、多発性755のチェックボックスにチェックマークが入力された場合、表示制御部104は、症例表示領域710に、多発性の病変分布を持つ類似症例を表示する。病変分布名「多発性」が選択された場合には、多発している病変の分布を確認できるようにする必要がある。そこで、拡大画像生成部112は、拡大率を1.0倍に設定する。表示制御部104は、拡大率が1.0倍のサムネイル画像を表示する。
同様に、びまん性751のチェックボックスにチェックマークが入力された場合、表示制御部104は、症例表示領域710に、びまん性の病変分布を持つ類似症例を表示する。病変分布名「びまん性」が選択された場合には、広範囲に広がるびまん性病変の分布を確認できるようにする必要がある。そこで、拡大画像生成部112は、拡大率を1.0倍に設定する。表示制御部104は、拡大率が1.0倍のサムネイル画像を表示する。
同様に、血行性757のチェックボックスにチェックマークが入力された場合、表示制御部104は、症例表示領域710に、血行性の病変分布を持つ類似症例を表示する。血行性の場合は注目病変以外への病変の転移の可能性がある。したがって、画像全体を確認する必要がある。このため、拡大画像生成部112は、拡大率を1.0倍に設定する。表示制御部104は、拡大率が1.0倍のサムネイル画像を表示する。
図23は、気道性753のチェックボックスにチェックマークが入力された分布リスト表示領域750を示す図である。図24は、気道性753の病変分布で絞り込みがかけられた基本画面K2を示した図である。図23に示すように、両側性754のチェックボックスにチェックマークが入力された場合、表示制御部104は、図24に示すように、症例表示領域710に、気道性の病変分布を持つ類似症例を表示する。この例では、気道性の病変分布を持つ類似症例は12件であった。そのため、表示制御部104は、検索結果件数表示領域713に「12件」と表示している。また、表示制御部104は、表示条件表示領域714に、表示対象の病名と、病変分布の名称である「気道性」とを表示する。図24の例では、病名リスト表示領域730に挙げられた病名による絞り込みがかけられていないため、表示条件表示領域714には「全疾患」と表示されている。
図23に示すように、気道性753のチェックボックスにチェックマークが入力された場合、図24に示すように、表示制御部104は、症例表示領域710において、選択された病変分布に対応する拡大率に拡大画像生成部112によって拡大されたサムネイル画像を表示する。病変分布名「気道性」が選択された場合には、気道性か否かを判定できるようにする必要がある。そこで、拡大画像生成部112は、関心領域の面積が表示領域の2分の1程度になるような拡大率に決定する。表示制御部104は、拡大画像生成部112によって拡大された各サムネイル画像を表示する。
同様に、区域性752のチェックボックスにチェックマークが入力された場合、表示制御部104は、症例表示領域710に、区域性の病変分布を持つ類似症例を表示する。病変分布名「区域性」が選択された場合には、区域性病変の詳細を確認できるようにする必要がある。そこで、拡大画像生成部112は、関心領域の面積が表示領域の2分の1程度になるような拡大率に決定する。表示制御部104は、拡大画像生成部112によって拡大された各サムネイル画像を表示する。
図25は、胸膜下756のチェックボックスにチェックマークが入力された分布リスト表示領域750を示す図である。図26は、胸膜下756の病変分布で絞り込みがかけられた基本画面K2を示した図である。図25に示すように、胸膜下756のチェックボックスにチェックマークが入力された場合、表示制御部104は、図25に示すように、症例表示領域710に、胸膜下の病変分布を持つ類似症例を表示する。この例では、胸膜下の病変分布を持つ類似症例は7件であった。そのため、表示制御部104は、検索結果件数表示領域713に「7件」と表示している。また、表示制御部104は、表示条件表示領域714に、表示対象の病名と、病変分布の名称である「胸膜下」とを表示する。図26の例では、病名リスト表示領域730に挙げられた病名による絞り込みがかけられていないため、表示条件表示領域714には「全疾患」と表示されている。
図25に示すように、胸膜下756のチェックボックスにチェックマークが入力された場合、図26に示すように、表示制御部104は、症例表示領域710において、選択された病変分布に対応する拡大率に拡大画像生成部112によって拡大されたサムネイル画像を表示する。病変分布名「胸膜下」が選択された場合には、胸膜との位置関係を観察できるようにする必要がある。そこで、拡大画像生成部112は、胸膜が含まれるような拡大率に決定する。表示制御部104は、拡大画像生成部112によって拡大された各サムネイル画像を表示する。
症例表示領域710に表示されているサムネイル画像は、所定の病変分布によって絞り込まれた状態でも、ユーザの操作によって、表示領域を変更することが可能に構成されている。
但し、図21に示されるように、両側性754のチェックボックスにチェックが入れられた場合には、上述のように、表示制御部104は、拡大画像生成部112によって1.0倍拡大されたサムネイル画像を表示する。このため、図22に示されるように、元のサムネイル画像全体が表示される。したがって、この場合には、表示領域の変更は行われない。
一方、図23に示されるように、気道性753のチェックボックスにチェックが入れられた場合には、図24に示されるように、各サムネイル画像は拡大表示される。このため、ユーザによって表示領域の移動が指示されると、サムネイル画像の表示領域が移動される。
図27は、図24に示される基本画面K2が表示された状態でユーザによって行われるドラッグ操作2701を概略的に示す図である。ユーザによってドラッグ操作2701が行われると、入力制御部103は、マウスの移動量を検知し、検知した移動量を拡大画像生成部112に通知する。すると、拡大画像生成部112は、検知されたマウス移動量を用いて、サムネイル画像の表示領域の移動量を決定し、決定した量だけ表示領域を移動したサムネイル画像を生成する。表示制御部104は、拡大画像生成部112によって移動されたサムネイル画像を症例表示領域710に表示する。
また、図25に示されるように、胸膜下756のチェックボックスにチェックが入れられた場合には、図26に示されるように、各サムネイル画像は拡大表示される。このため、ユーザによって表示領域の移動が指示されると、サムネイル画像の表示領域が移動される。
図28は、図26に示される基本画面K2が表示された状態でユーザによって行われるドラッグ操作2801を概略的に示す図である。ユーザによってドラッグ操作2801が行われると、入力制御部103は、マウスの移動量を検知し、検知した移動量を拡大画像生成部112に通知する。すると、拡大画像生成部112は、検知されたマウス移動量を用いて、サムネイル画像の表示領域の移動量を決定し、決定した量だけ表示領域を移動したサムネイル画像を生成する。表示制御部104は、拡大画像生成部112によって移動されたサムネイル画像を症例表示領域710に表示する。
なお、図22、図24、図26における病変分布選択時の各サムネイル画像に対する拡大処理、表示領域移動処理の詳細は後述する。
図29は、患者情報1000のデータ構成を示す図である。患者情報1000は、医用情報管理システム200における患者情報管理部202により、患者別に患者情報蓄積部201に蓄積されて管理される。患者情報1000には、患者の性別及び年齢等の個人情報、既往歴等の臨床情報、並びに血液検査等の検査情報が登録されている。図29に示すように、患者情報1000は、患者ID1100、氏名1200、年齢1300、性別1400、既往歴1500、家族歴1600、主訴1700、検査情報1800、及び確定診断1900を備える。
患者ID1100は、患者に固有の識別子である。氏名1200、年齢1300、性別1400、既往歴1500、家族歴1600、及び主訴1700は、それぞれ、患者ID1100の患者の氏名、年齢、性別、既往歴、家族歴、及び主訴である。検査情報1800は、図30に示すように、当該患者が過去に受けた1以上の検査に関する情報を表す。
図30は、図29に示す検査情報1800のデータ構成を示す図である。検査情報1800は、患者に対して行われた検査に関する情報であり、1つの検査に対応して1つずつ作成される。検査情報1800は、検査ID1810、検査日時1820、検査種1830、及び検査結果1840を備える。検査ID1810は、検査に固有の識別子である。検査日時1820は、検査が行われた日時である。検査種1830は、検査の種類である。検査の種類としては、例えば、血液検査、呼吸機能検査、内視鏡検査、単純X線撮影、CT撮影等がある。
検査結果1840は、血液検査であれば、白血球数、LDH、及びGPT等各種指標の値が該当する。また、検査結果1840は、各種指標を基に医師が下した判断等も該当する。また、単純X線撮影やCT撮影等の画像検査であれば、撮影された画像へのポインタ情報や画像診断結果のレポートへのポインタ情報が含まれる。なお、検査で撮影された画像は、DICOMのフォーマットで医用情報管理システム200の医用画像データ蓄積部203に蓄積される。
また、検査種1830が単純X線、CT、MRI、PET等の画像検査の場合、これらの医用画像データは医用情報管理システム200の医用画像データ蓄積部203が記憶する医用画像データベース2000に蓄積される。
図31は、医用画像データベース2000のデータ構成を示す図である。医用画像データベース2000は、検査ID1810及びシリーズID2100を持つ。1回の検査で、複数の種類の撮影(例えば、単純CTと造影CT等)が行われる場合があるので、1つの検査ID1810に対し、複数のシリーズID2100が対応付けられている場合もある。つまり、撮影の種類に応じた個数のシリーズが得られるのである。
また、シリーズは、撮影の種類以外にも、撮影された画像の再構成の条件毎に得られる。例えば、撮影された画像が肺野条件及び縦隔条件で再構成された場合、これらの条件毎に1つのシリーズが得られる。なお、肺野条件で再構成された画像は肺の中の血管、気管支、及び肺胞等が強調表示される。また、縦隔条件で再構成された画像は、血管やリンパ節等の縦隔が強調表示される。肺野条件及び縦隔条件は1度の撮影で得られた画像を再構成することで得られるため、単純CTと造影CTとで2度の撮影が行われ、これら2度の撮影のそれぞれにつき肺野条件及び縦隔条件で画像が再構成された場合、2つの肺野条件のシリーズが得られ、2つの縦隔条件のシリーズが得られる。
CT及びMRIの画像検査の場合、1回の撮影で複数のスライス画像が取得されるので、1つのシリーズID2100には、複数のスライスID2200が対応付けられている。図31の検査ID「13227989」には2つのシリーズID「CT149123」、「CT149124」が対応付けられているため、この検査から2つのシリーズのCT画像が得られたことが分かる。また、シリーズID「CT149123」、「CT149124」のそれぞれに対して、スライスID2200が複数対応付けられていることが分かる。
検査種1830が単純X線、CT、MRI、PET等の画像検査の場合、医用情報管理システム200における診断レポート管理部205には、図32に示すような診断レポート3000が蓄積される。診断レポート3000には、各検査に対する医師による診断結果が登録されている。
図32は、診断レポート3000のデータ構成を示す図である。診断レポート3000は、検査ID1810、所見3100、及び診断3200を備える。検査ID1810は、図30で示した検査ID1810と同じである。これにより、診断レポート3000と検査情報1800とが対応付けられる。所見3100は、検査に対する医師の所見を示す文言が登録されている。診断3200は、検査に対する医師の診断を示す文言が登録されている。
図33は、類似症例データ4000のデータ構成を示す図である。類似症例データ4000は、診断対象症例に対して類似する類似症例を検索する際に参照されるデータであり、1つの類似症例に対応して1つずつ作成されている。なお、類似症例データ4000は、類似症例の付加情報の一例である。類似症例データ4000は、症例検索システム300の類似症例データ蓄積部301において、類似症例毎に蓄積されている。図33に示すように、類似症例データ4000は、類似症例ID4100、スライスID4200、関心領域情報4300、画像特徴データ4400、サムネイル画像データ4500、病変分布情報4600、確定診断(大分類病名)4700、及び確定診断(詳細分類病名)4800を備える。
類似症例ID4100は、類似症例データ4000の識別子である。ここでは、類似症例のスライス画像に設定された関心領域毎に1つの類似症例データが生成されるため、類似症例ID4100は、関心領域の識別子とも言える。図33の例では、類似症例ID4100は、「SIM」とそれに続く番号とで構成される記号列で構成されている。
スライスID4200は、関心領域が設定されたスライス画像の識別子であり、図31に示すスライスID2200と同一である。関心領域情報4300は、スライス画像に設定された関心領域の位置を示す情報である。図34は、スライス画像3101に設定された関心領域ROIを模式的に示した図である。図34の例では、関心領域ROIは矩形状に設定されている。したがって、関心領域情報4300は、関心領域ROIの左上の頂点の座標(xl,yt)と、右下の頂点の座標(xr,yb)との4値で構成される。もちろん、関心領域は矩形以外の形状でもよく、その場合は、領域を一意に特定可能なパラメータが関心領域情報4300として採用される。例えば、関心領域が円形であれば、円の中心座標と半径とが関心領域情報4300として採用される。
画像特徴データ4400は、関心領域情報4300で定義される関心領域から抽出された所定次元(ここではN次元)の特徴値である。サムネイル画像データ4500は、スライスIDで特定されるDICOMフォーマットのスライス画像を基に、症例表示領域710に表示するために生成されたサムネイル画像の画像データである。ここで、サムネイル画像データ4500は、例えば、サムネイル画像の左上の頂点から右下の頂点に向かうラスタ走査順にサムネイル画像の画素値が配置されている。先に説明を行ったが、CT検査で得られたDICOM画像は、512×512画素の11ビット(画素値:−1000〜+1000)画像である。そこで、本実施の形態では、サムネイル画像の表示を高速化するために、サムネイル画像の元となるDICOM画像に対して低解像度処理及び階調変換処理が行われて8ビットの画素値を持つサムネイル画像が予め作成され、類似症例データ4000に登録されている。なお、サムネイル画像の作成は、例えば、医用情報管理システム200が作成し、症例検索システム300に送信するようにしてもよいし、症例検索システム300が医用情報管理システム200からDICOM画像を取得して作成してもよい。
病変分布情報4600は、対象となる類似症例が予め定められたびまん性4610〜血行性4670で表される病変分布のいずれに該当するか否かを表す分布フラグ値(1:該当、0:非該当)である。
確定診断(大分類病名)4700は、対象となる類似症例に対して確定された大分類の病名である。確定診断(大分類名)4700は、類似症例を大分類の病名で絞り込む際に使用される。
確定診断(詳細分類病名)4800は、対象となる類似症例に対して確定された詳細分類の病名である。確定診断(詳細分類病名)4800は、類似症例を小分類の病名で絞り込む際に使用される。
予め、確定診断(大分類病名)4700は、確定診断(詳細分類病名)4800に対して一意に対応する大分類病名が定義されており、その対応関係を用いて類似症例データ4000に格納されている。
確定診断(詳細分類病名)4800は、医用画像データ蓄積部203において、図31に示すスライスID2200からシリーズID2100が特定される。そして、特定されたシリーズIDから患者情報蓄積部201において、検査ID1810が特定され、検査ID1810から対応する患者情報1000(図29)が特定され、特定された患者情報1000から該当する患者の確定診断1900が特定される。
次に、情報端末100が医用情報管理システム200と症例検索システム300と連携して読影作業開始から類似症例検索を開始するまでの流れを説明する。
図35は、情報端末100が、医用情報管理システム200から診断対象症例を取得した後、症例検索システム300に対して類似症例検索の要求を行い、症例検索システム300が類似症例検索の要求を受け取るまでの処理を示すシーケンス図である。なお、図35において、シーケンス図の左側に示す2列の矩形は、該当するステップの処理によりディスプレイ101a、101bに表示される画面を示す。また、図35において、情報端末の「A」は、医用情報管理アプリケーションを示し、「B」は、類似症例検索アプリケーションを示す。このシーケンスが開始される前に医用情報管理アプリケーションは予め起動されているものとする。
まず、情報端末100は、操作部102を通してユーザ(読影を行う医師)の読影対象となる検査リストの表示要求を受け付け、入力制御部103及び通信制御部110を通して、医用情報管理システム200の通信制御部206へ検査リストの表示要求を送信する(S510)。
医用情報管理システム200の患者情報管理部202は、画像検査が実施後で読影が未終了の検査をリスト化し、読影対象となる検査リストを生成する。そして、患者情報管理部202は、通信制御部206を通して、生成した検査リストを情報端末100の通信制御部110に送信する(S520)。ここで、検査リストには、該当する患者の患者情報1000及び検査情報1800が含まれる。
情報端末100の表示制御部104は、通信制御部110で受信された検査リストをディスプレイ101に表示する(S530)。
この場合、ディスプレイ101aに検査リストが表示され、ディスプレイ101bには何も表示されない。
図36は、検査リストの画面図である。検査リストは、読影が未終了の検査を表示する領域800と、検査に含まれるシリーズに関する情報を表示する領域810とを備える。領域800には、「患者ID」、「患者氏名」、「検査日時」、「検査ID」、及び「検査種」の欄が設けられている。「患者ID」、「患者氏名」の欄には、患者情報1000に登録された患者ID1100及び氏名1200が表示され、「検査日時」、「検査ID」、及び「検査種」の欄には、検査情報1800に登録された検査日時1820、検査ID1810、及び検査種1830が表示される。領域810は、領域800でユーザにより選択された検査の詳細を表示するための領域であり、「シリーズID」、「定義」、及び「画像」の欄が設けられている。ここでは、領域800においてユーザにより検査(行に対応)が選択されていないために、領域810には何も表示されていない。
ユーザは、領域800に表示された検査の中から、これから読影を行う検査を選択する。この選択が入力制御部103で検知されると、図35に示すように、通信制御部110は、選択された検査の検査IDに含まれる全シリーズの表示要求を、医用情報管理システム200へ送信する(S540)。
医用情報管理システム200の通信制御部206がこの表示要求を受信すると、患者情報管理部202は、図31に示す医用画像データベース2000を参照し、表示要求が指定する検査IDに含まれる全シリーズの全スライス画像を取得し、通信制御部206を通して、情報端末100に送信する(S550)。例えば、図31の例において、検査ID「13227989」の検査がユーザにより選択されると、シリーズID「CT149123」、「CT149124」のシリーズに含まれる全てのスライス画像がS550で送信される。
情報端末100の通信制御部110が全シリーズの画像を取得すると、表示制御部104は、指定された検査IDに含まれる全シリーズに関する情報を一覧表示するシリーズリストを領域810に表示する(S560)。
この場合、ディスプレイ101aに表示された検査リストの領域810には、領域800で選択された検査に対応するシリーズのシリーズリストが表示され、ディスプレイ101bには何も表示されない。
図37は、検査が選択された後の検査リストの画面図である。図37の領域800では選択された行の背後にハイライトが付されている。図37の例では、領域800において、2行目の「パナ太郎」の検査が選択されている。そのため、領域810では、選択された検査についての「シリーズID」、「定義」、及び「画像」が表示されている。ここで、「シリーズID」の欄には、医用画像データベース2000において、選択された検査の検査IDに対応付けられたシリーズIDが表示され、「画像」の欄には、表示されたシリーズIDを代表する1枚のスライス画像のサムネイル画像が表示される。ここで、シリーズIDを代表する1枚のスライス画像としては、所定のスライス位置の画像が採用される。所定のスライス位置としては先頭のスライス位置であってもよいし、中央のスライス位置であってもよい。「定義」は、該当するシリーズに対する撮影条件や再構成の条件を示す。この「定義」は、図示は省略されているが、例えば、図31の医用画像データベース2000において、シリーズIDと対応付けて登録されている。
領域810において、ユーザにより読影対象のシリーズが選択され、その選択を入力制御部103が検知すると、表示制御部104は、図38に示すように、選択されたシリーズの先頭のスライス画像をディスプレイ101aに表示する(S570)。図38は、ユーザによりシリーズが選択された際にディスプレイ101aに表示されるスライス画像を示した図である。図38は、胸部CT撮影での先頭スライスを示す図であり、肺尖部よりももう少し頭方向の肩位置でのスライス画像である。ここで、表示制御部104は、選択されたシリーズの全てのスライス画像をスライス送りできる状態でディスプレイ101aに表示する。なお、ディスプレイ101bには何も表示されない。例えば、ユーザにより、ディスプレイ101a上にマウスポインタが位置決めされマウスホイールを回転するスライス送りの操作が入力され、その操作を入力制御部103が検知する。すると、表示制御部104は、マウスホイールの回転量に応じて、ディスプレイ101aに表示されたスライス画像を別のスライス位置のスライス画像に切り替える。ユーザは、スライス送りの操作を入力しながら画像診断を行う。そして、ユーザは画像診断に迷った場合、類似症例検索アプリケーションを起動する。
ここで、類似症例検索アプリケーションは、操作部102のキーボードにおいて、予め定められたショートカットキーが入力されて起動されてもよいし、マウスの右クリックで医用画像ビューワのメニューを表示させ、そのメニューの中から類似症例検索メニューが指定されて起動されてもよい。類似症例検索アプリケーションの起動が指示されると、情報端末100の管理はROI管理部105に渡され、情報端末100は、関心領域(ROI)の受け付け待ち状態になる。
ユーザは、操作部102を通して、ディスプレイ101aに表示されたスライス画像上の病変に関心領域(ROI)を設定する(S580)。ここで、ユーザは、図34に示すように、例えば、マウスを左クリックして、スライス画像3101における関心領域ROIの左上の頂点の座標を入力する。そして、ユーザは、左クリックした状態でマウスを右斜め下方向にドラッグし、左クリックを解除することで、関心領域ROIの右下の頂点を入力すればよい。
関心領域を設定する操作を入力制御部103が検知すると、ROI管理部105は、入力制御部103から関心領域の左上及び右下の頂点の座標データを受け取り、受け取った座標データを関心領域情報として生成する。そして、ROI管理部105は、生成した関心領域情報を通信制御部110に送信する(S590)。
同時に、ROI管理部105は、診断対象症例のスライス画像を通信制御部110に送信する(S600)。この場合、S550において、情報端末100が医用情報管理システム200から受け取った全シリーズのスライス画像のうち、ユーザが選択したシリーズにおいてユーザにより関心領域が設定された1枚のスライス画像(検索クエリ画像)が送信される。
次に、通信制御部110は、ROI管理部105から送信された関心領域情報を受け取り、症例検索システム300の通信制御部304に送信する(S601)。
同時に、通信制御部110は、ROI管理部105から送信されたスライス画像を受け取り、症例検索システム300の通信制御部304に送信する(S602)。
ここで、S600、S601において、スライス画像そのものを送信するとしたが、スライス画像のスライスIDが送信されても構わない。この場合は、スライスIDを受信した症例検索システム300は、そのスライスIDを指定して、医用情報管理システム200からスライス画像を取得すればよい。
次に、症例検索システム300が類似症例検索を行い、情報端末100が類似症例検索結果を初期表示するまでの処理を説明する。
図39は、症例検索システム300が類似症例検索の要求を受け取った後、類似症例検索結果を、情報端末100に返すまでの処理を示すシーケンス図である。
症例検索システム300の画像特徴抽出部302は、検索クエリ画像に設定された関心領域から予め定められた複数次元の画像特徴を抽出する(S610)。
「画像特徴」としては、医用画像における臓器若しくは病変部分の形状に関する画像特徴、又は輝度分布に関する画像特徴等が採用できる。例えば、非特許文献:「根本、清水、萩原、小畑、縄野、“多数の特徴量からの特徴選択による乳房X線像上の腫瘤影判別精度の改善と高速な特徴選択法の提案”、電子情報通信学会論文誌D−II、Vol.J88−D−II、No.2、pp.416−426、2005年2月」には、490次元の画像特徴を用いることが記載されている。本実施の形態においては、例えば、この非特許文献に記載された画像特徴が採用される。但し、これは一例にすぎず、他の画像特徴が採用されてもよい。
類似症例検索部303は、画像特徴抽出部302で抽出された画像特徴と、類似症例データ蓄積部301に蓄積された各類似症例の画像特徴とを比較する(S620)。ここで、類似症例検索部303は、検索クエリ画像から抽出された画像特徴データと、類似症例データ蓄積部301に類似症例毎に蓄積された類似症例データ4000(図33)に登録された画像特徴データ4400との距離を算出することで、両画像特徴を比較する。
次に、類似症例検索部303は、距離が所定の閾値以下の類似症例を、距離が小さい順にソートし、送信対象の類似症例として決定する(S630)。次に、通信制御部304は、類似症例データ蓄積部301に蓄積された類似症例データ4000のうち、送信対象として決定された類似症例の類似症例ID4100、スライスID4200、関心領域情報4300、サムネイル画像データ4500、病変分布情報4600、確定診断(大分類病名)4700、確定診断(詳細分類病名)4800、及び類似症例検索部303で算出された距離を情報端末100に送信する(S640)。
以下、類似症例検索結果が表示された初期の基本画面K2(図6)を生成する処理が実行される。まず、初期の基本画面K2において、レイアウト領域720を生成する際に使用される管理情報について説明する。
まず、症例検索システム300の通信制御部304は、レイアウト情報を情報端末100に送信する(S650)。ここで、レイアウト情報は、レイアウト領域720を構成する表示ボックスの行数、列数を指定する情報である。
次に、情報端末100の通信制御部110がレイアウト情報を受信すると、表示ボックス管理部106は、送信されたレイアウト情報が指定する表示ボックスの行数及び列数を表示ボックス管理情報4410(図40)に登録すると共に、検索クエリ画像のスライスIDを表示ボックス管理情報(図40)に登録する(S660)。
図40は、表示ボックス管理情報4410のデータ構成を示す図である。表示ボックス管理情報4410には、行数及び列数が登録されるテーブル4411と、各表示ボックスに表示されるスライス画像のスライスIDが登録されるテーブル4412とが含まれる。したがって、表示ボックス管理部106は、症例検索システム300から送信されたレイアウト情報が指定する行数及び列数をテーブル4411の行数及び列数の欄に登録する。また、本実施の形態では、4つの表示ボックス721〜724のうち、左上の表示ボックス721に検索クエリ画像のサムネイル画像が表示される。そこで、表示ボックス管理部106は、医用情報管理システム200から送信された検索クエリ画像のスライスIDをテーブル4412の1行1列目の項目に登録する。
ここで、レイアウト領域720を構成する表示ボックスの行数及び列数のデフォルト値は症例検索システム300により予め設定されている。ここで、行数及び列数のデフォルト値は例えば2行及び2列である。そのため、図40に示す表示ボックス管理情報4410には、「2行2列」が登録されている。
図6の例では、レイアウト領域720において、表示ボックス721〜724は2行2列で表示されている。このレイアウト領域720における行数及び列数はユーザが自由に設定できる。
図41は、表示ボックスが3行2列で設定されたレイアウト領域720を持つ基本画面K2を示す図である。レイアウト領域720を構成する表示ボックスをM行N列で一般化すると、M≠Nの場合、ディスプレイ101が縦型のディスプレイであれば、M>Nであることが望ましく、ディスプレイ101が横型のディスプレであれば、M<Nであることが望ましい。
ここで、レイアウト領域720を構成する表示ボックスのうち、1つの表示ボックスに対象診断症例のサムネイル画像を表示することが、本実施の形態の重要な特徴の一つである。つまり、類似症例と診断対象症例とを隣接して表示すれば、ユーザは、両症例の類似性の判断がし易くなる。よって、レイアウト領域720における表示ボックスの配列は3行3列までにすることが望ましい。
また、表示ボックスの配列が3行2列の場合、2行1列目の表示ボックス或いは2行2列目の表示ボックスに検索クエリ画像のサムネイル画像を表示することが好ましい。また、表示ボックスの配列が2行3列の場合は、1行2列目或いは2行2列目の表示ボックスに検索クエリ画像のサムネイル画像を表示することが好ましい。また、表示ボックスの配列が3行3列の場合は、2行2列目の表示ボックスに検索クエリ画像のサムネイル画像を表示することが好ましい。こうすることで、常に、レイアウト領域720には、対象診断症例に対して類似症例が隣接して表示されることになる。
ユーザが設定したレイアウト領域720のレイアウト情報は、図42又は図43に示すレイアウト管理情報4200に登録される。
なお、レイアウト管理情報4200を保存するボックスレイアウト管理部111は、症例検索システム300が備えてもよい。
同じユーザであっても情報端末100のディスプレイ101のサイズや画面のタイプ(縦型又は横型)に適合するようにレイアウト領域720のレイアウトが変更されることもある。そのため、図42に示すように、ユーザが設定したレイアウト情報は、ユーザIDと端末IDと関連付けてレイアウト管理情報4200に登録されてもよい。図42は、レイアウト管理情報4200の一例を示す図である。このレイアウト管理情報4200では、「ユーザID」、「端末ID」、「列数」、「行数」、及び「診断対象症例の位置」とが対応付けられている。ここで、「ユーザID」は情報端末100を使用するユーザに対して予め付与されたユーザの識別子である。「端末ID」は、該当するユーザの使用が想定される情報端末100の識別子である。
図42の例では、ユーザID「U01」のユーザは、端末ID「T02」及び「T04」の使用が想定されているため、ユーザID「U01」が端末ID「T02」、「T04」と対応付けられている。「行数」及び「列数」は該当するユーザが設定したレイアウト領域720の行数及び列数が登録されている。「診断対象症例の位置」は、診断対象症例を表示する表示ボックスの位置である。例えば、端末ID「T04」の情報端末100では、レイアウト領域720が2行3列に設定されており、診断対象症例を全ての類似症例と隣接表示させるために、「診断対象症例の位置」として2行1列を示す(2、1)が登録されている。
なお、図42では、レイアウト情報をユーザIDと端末IDと対応付けて管理する態様を示したが、レイアウト情報はユーザIDと対応付けて管理されてもよい。図43は、レイアウト管理情報4200の一例を示す図である。図43に示すレイアウト管理情報4200では、図42に示すレイアウト管理情報4200において、「端末ID」の欄が省かれている。それ以外、図43のレイアウト管理情報4200は図42のレイアウト管理情報4200と同じである。なお、図43の態様では、1のユーザは1の情報端末100の使用が想定されているため、「端末ID」の欄が省かれている。
なお、レイアウト情報が症例検索システム300で管理される場合、図39のS650において、該当するユーザのレイアウト情報が情報端末100に送信される。
次に、S640で送信された類似症例データ及びS660で保存した表示ボックス管理情報4410を用いて、表示制御部104は、類似症例検索結果が表示された初期の基本画面K2を生成する(S670)。
この場合、ディスプレイ101bには図6に示す基本画面K2が表示される。また、ディスプレイ101aには、検索クエリ画像が表示されている。
図44は、図39のS670に示す初期の基本画面K2を生成する処理の詳細を示すフローチャートである。
まず、S1000にて、表示制御部104は、図39のS640で受信された類似症例の数をカウントし、カウント値を検索結果件数表示領域713に表示する。
次に、S1100にて、表示制御部104は、表示条件表示領域714に、「全疾患」と表示する。ここで、「全疾患」と表示されるのは、初期の基本画面K2では、ユーザにより病名や病変分布での絞り込みがかけられていないからである。
次に、S1200にて、表示制御部104は、図39のS640で受信された類似症例のうち、症例表示領域710にサムネイル画像が表示可能な類似症例の件数分だけ、症例表示領域710に類似症例のサムネイル画像を表示すると共に、各サムネイル画像に対応付けて確定診断及び類似度を表示する。
症例表示領域710に表示可能な類似症例の件数の最大値は、図6の例では20である。この最大値は予め定められている。また、この最大値はユーザが自由に変更できる構成にしてもよい。図39のS640で受信された類似症例の数が、最大値よりも多い場合、表示制御部104は、症例表示領域710の右端に縦方向に長尺のスクロールバー715を表示する。これにより、ユーザは、スクロールバー715を移動させ、初期の基本画面K2で非表示であった類似症例のサムネイル画像を閲覧できる。
次に、S1300にて、病名リストが生成されて表示される。まず、図39のS640で受信された類似症例から、病名リストが生成される。病名リストは、S640で受信された類似症例が、確定診断病名毎に分類されたリストである。
ここで、S640で受信された類似症例の件数をNC件とする。病名リスト管理部108は、NC件の類似症例データ4000のそれぞれに登録されている確定診断(大分類病名)4700及び確定診断(詳細分類病名)4800を用いて、病名リストを生成する。生成された病名リストは、図46に示すようにテーブル形式のデータとして、病名リスト管理部108で管理される。
図46は、図44のS1300で生成される病名リストのデータ構成を示す図である。病名リストには、「病名ID」、「大分類病名」、「詳細分類病名」、「件数」、及び「類似症例ID」の欄が含まれる。「病名ID」は、確定診断病名毎に付与される識別子である。ここでは、大分類病名と詳細分類病名との1つの組み合わせに対して1つの病名IDが付与されている。
「大分類病名」は、類似症例データ4000に登録された確定診断(大分類病名)4700が示す確定診断病名である。「詳細分類病名」は、類似症例データ4000に登録された確定診断(詳細分類病名)4800が示す確定診断病名である。「件数」は、「病名ID」が示す確定診断病名に該当する類似症例の件数である。「類似症例ID」は、「病名ID」が示す病名に該当する類似症例を示す類似症例IDである。
病名リスト管理部108は、S640で受信した全ての類似症例データ4000について、確定診断(大分類病名)4700及び確定診断(詳細分類病名)4800を抽出し、両者が同じ類似症例データ4000を同じ確定診断病名の類似症例として分類する。そして、病名リスト管理部108は、確定診断病名が同じ類似症例の件数をカウントし、該当する確定診断病名のレコードの「件数」の欄に登録する。また、病名リスト管理部108は、同じ確定診断病名に分類した類似症例の類似症例IDを該当する確定診断病名のレコードの「類似症例ID」の欄に登録する。
図46の例では、大分類病名が「腫瘍性」、詳細分類病名が「原発性肺癌」の確定診断病名に対して病名ID「DIS528」が付与されている。そして、この確定診断病名に該当する類似症例の件数が10件であったため、該当するレコードの「件数」の欄に10が登録され、この確定診断病名に該当する類似症例の類似症例ID「SIM258」、「SIM551」、「SIM1209」、及び「SIM2341」等が、該当するレコードの「類似症例ID」の欄に登録されている。
そして、表示制御部104は、このようにして生成された病名リストを用いて病名リスト表示領域730を生成し、ディスプレイ101に表示する。
図47、図48、図49は、それぞれ、病名リスト表示領域730の第1表示例、第2表示例、第3表示例を示した図である。図47に示すように第1表示例では、類似症例検索の結果得られた類似症例が、詳細分類病名の件数の多い順に件数と対応付けて一覧表示されている。
図48に示すように第2表示例では、類似症例検索の結果得られた類似症例が、大分類病名の件数の多い順に件数と対応付けて一覧表示されている。
図49に示すように第3表示例では、類似症例検索の結果得られた類似症例が、大分類病名の件数の多い順に件数と対応付けて一覧表示され、且つ、大分類病名毎にその中に含まれる詳細分類病名が件数の多い順に件数と対応付けて一覧表示されている。この場合、患確定診断病名が、大分類病名と詳細分類病名との階層構造で表現される。
図50は、図48に示す病名リスト表示領域730の画面遷移を示す図である。図50の上段に示すように、一覧表示された大分類病名のうち、1の大分類病名がユーザにより選択される操作を入力制御部103が検知すると、表示制御部104は、図50の下段に示すように、選択された大分類病名に属する詳細分類病名を件数が多い順に件数と対応付けて表示する。ここで、ユーザは、例えば、病名リスト表示領域730において一覧表示された大分類病名のうち、所望する1の大分類病名を例えばダブルクリック或いはシングルクリックすることで1の大分類病名を選択すればよい。図50の例では非腫瘍性がダブルクリックされているため、非腫瘍性に属する詳細分類病名が一覧表示されている。
図50の下段において、詳細分類病名が一覧表示されている領域がユーザによりダブルクリック或いはシングルクリックされると、表示制御部104は、該当する領域に表示されていた詳細分類病名を非表示にすればよい。
なお、表示制御部104は、病名リスト(図46)を参照することで、大分類病名に属する詳細分類病名を判定すればよい。例えば、図46の例では、真菌症に対して、アスペルギルス症及びクリプトコッカス症が対応付けられているため、表示制御部104は、真菌症にはアスペルギルス症及びクリプトコッカス症が属すると判断すればよい。
図44に戻り、S1400にて、分布リストが生成されて表示される。まず、S640で受信された類似症例から、分布リストが生成される。分布リストは、S640で受信された類似症例が、病変分布毎に分類されたリストである。
病名リスト管理部108は、NC件の類似症例データ4000のそれぞれに登録されている病変分布情報4600を用いて、分布リストを生成する。生成された分布リストは、図51に示すようにテーブル形式のデータとして、分布リスト管理部109で管理される。
図51は、図44のS1400で生成される分布リストのデータ構成を示す図である。分布リストには、「分布名」、「症例数」、及び「類似症例ID」の欄が含まれる。「分布名」は、びまん性、区域性といった予め定められた複数の病変分布の名称である。「症例数」は、病変分布に該当する類似症例の件数である。「類似症例ID」は、病変分布に該当する類似症例を示す類似症例IDである。
分布リスト管理部109は、S640で受信した全ての類似症例データ4000について、病変分布情報4600を抽出し、抽出した病変分布情報4600において、分布フラグ値に1(該当)が設定されている病変分布の数をカウントし、カウント値を該当する病変分布のレコードの「症例数」の欄に登録する。また、分布リスト管理部109は、分布フラグ値に1が設定されている類似症例の類似症例IDを該当する病変分布のレコードの「類似症例ID」の欄に登録する。
図51の例では、びまん性に該当する類似症例の件数が3件であったため、びまん性のレコードの「症例数」の欄に3が登録されている。また、びまん性に該当する類似症例の類似症例ID「SIM2521」、「SIM4123」、及び「SIM5225」がびまん性のレコードの「類似症例ID」の欄に登録されている。
そして、表示制御部104は、このようにして生成された分布リストを用いて分布リスト表示領域750を生成し、ディスプレイ101に表示する。
図52は、図51に示す分布リストを用いて生成された分布リスト表示領域750を示す図である。図51において、区域性及び胸膜下の症例数は0であるため、図52では、区域性752及び胸膜下756が非アクティブ状態で表示され、これら以外の病変分布は、症例数が1以上であるため、アクティブ状態で表示されている。
図44に戻り、S1500にて、レイアウト領域720が表示される。この処理は、表示制御部104によって行われる。
図45は、図44に示すS1500の処理を示すフローチャートである。S1510にて、表示制御部104は、レイアウト領域720を構成する表示ボックスの行数及び列数を、S660で設定された表示ボックス管理情報4410から取得する。図40の表示ボックス管理情報4410の例では、行数及び列数として2行2列が設定されているため、「2行2列」という情報が取得される。なお、ユーザが表示ボックスの行数及び列数を変更した場合、レイアウト領域720を構成する表示ボックスの行数及び列数は、図42又は図43に示すレイアウト管理情報4200から取得される。
次に、S1520にて、表示制御部104は、S1510で取得した表示ボックスの行数及び列数に合わせて、表示ボックスを描画する。
最後に、S1530にて、表示制御部104は、表示ボックス管理情報4410から各表示ボックスのスライスIDを特定し、特定したスライスIDに対応するサムネイル画像を、対応する各表示ボックス内に描画する。
図40の例では、1行1列目の表示ボックスに診断対象症例のスライスIDが格納されている。そのため、表示制御部104は、図35のS600で送信された診断対象症例のスライス画像からサムネイル画像を生成し、生成したサムネイル画像を表示ボックス721に描画する。
この段階では、残りの表示ボックス(1行2列目、2行1列目、2行2列目の表示ボックス722、723、724)にはスライスIDが格納されていないため、表示制御部104は、これらの表示ボックスに何も表示しない。これらの表示ボックスには、後述する処理により、類似症例のサムネイル画像が表示されることになる。
図39に戻り、通信制御部110は、表示ボックス管理部106に格納された表示ボックス管理情報4410を表示制御部104に送信する(S680)。
次に、表示制御部104は、レイアウト領域720の表示状態及びレイアウトと同じ表示状態及びレイアウトで医用画像ビューワを起動させる(S690)。
ここでは、症例検索システム300が画像特徴を抽出する例を示したが、情報端末100が画像特徴を抽出してもよい。図53は、症例検索システム300が画像特徴を抽出する態様を採用した場合の情報端末100、医用情報管理システム200、及び症例検索システム300のブロック図である。
図2との違いは、情報端末100に画像特徴抽出部113が追加された点、及び症例検索システム300から画像特徴抽出部302が省かれた点にある。
図54は、情報端末100が、医用情報管理システム200から診断対象症例を取得した後、症例検索システム300が類似症例検索の要求を受け取るまでの処理を示すシーケンス図である。
図35との違いは、ROI管理部105が、診断対象症例のスライス画像を通信制御部110に送信する処理(S600)の後、画像特徴の抽出が情報端末100で行われ(S603)、抽出された画像特徴が症例検索システム300に送信(S604)されている点にある。画像特徴の抽出(S604)の処理内容は、画像特徴の抽出が症例検索システム300で行われる場合と同様である。
図55は、症例検索システム300が類似症例検索の要求を受け取った後、類似症例検索結果を、情報端末100に返すまでの処理を示すシーケンス図である。図39との違いは、画像特徴の抽出が情報端末100側で行われるため、図55では、図39にはあった画像特徴の抽出(S610)が省かれている点にある。
次に、図8〜図11を用いて説明された、症例表示領域710に表示されているサムネイル画像の拡大処理を説明する。
図56は、症例表示領域710に表示されているサムネイル画像の拡大処理を示すフローチャートである。
S4000では、拡大画像生成部112は、ユーザが選択したサムネイル画像(図8では1行4列目)の類似症例ID4100(図33)を取得する。以下では、ユーザが選択したサムネイル画像を基準サムネイル画像と呼ぶ。拡大画像生成部112は、この基準サムネイル画像に対するユーザの拡大操作と連動させて、症例表示領域710に表示されている他のサムネイル画像の拡大率を決定する。
S4100では、拡大画像生成部112は、ユーザが操作部102に入力した基準サムネイル画像に対する拡大操作の操作量を、入力制御部103から取得する。そして、拡大画像生成部112は、取得した操作量に基づき、基準サムネイル画像に対する拡大率を決定する。
具体的には、入力制御部103は、操作部102に拡大操作として入力されるマウスのホイールの回転量を検知する。入力制御部103は、検知した回転量を拡大画像生成部112に通知する。拡大画像生成部112は、回転量に予め定められた係数を掛けることにより、基準サムネイル画像に対する拡大率を算出する。
上述のように、ユーザによる拡大操作は、キーボードの上方向キーまたは下方向キーでもよい。この場合には、入力制御部103は、キーの押下時間を検知してもよい。拡大画像生成部112は、キーの押下時間に予め定められた係数を掛けることにより、基準サムネイル画像に対する拡大率を算出してもよい。
S4200では、拡大画像生成部112は、症例検索システム300から取得した多数の類似症例のうち、拡大処理を行う対象の類似症例を決定する。表示制御部104は、図6に示されるように、症例検索システム300の類似症例検索部303により検索されたNC件(図6ではNC=62)の類似症例データ中の、症例表示領域710で予め定められた最大表示件数ND(この実施の形態ではND=20)の類似症例のサムネイル画像を症例表示領域710に表示している。
本ステップでは、拡大画像生成部112は、ユーザが選択したサムネイル画像を含むようにND以下の範囲で拡大処理を行う対象の類似症例を決定する。この実施の形態では、拡大画像生成部112は、拡大処理を行う対象をNZ個の類似症例に決定する。ここで、NZ≦NDである。本ステップにより、NC件の全ての類似症例のサムネイル画像を拡大する場合と比較して、情報端末100における処理負荷を軽減することができる。
S4300では、拡大画像生成部112は、類似症例i(iは処理対象の類似症例を特定するインデックスであり1以上の整数)のサムネイル画像を処理対象のサムネイル画像として決定する。そして、拡大画像生成部112は、インデックスiがNZに到達するまで(S4300でYES)、S4400、S4500の処理を繰り返す。拡大画像生成部112は、S4400、S4500の処理を実行する度に、インデックスiを1ずつインクリメントする。インデックスiがNZを超えると(S4300でNO)、図56の処理は終了する。
S4400では、拡大画像生成部112は、拡大対象の類似症例iのサムネイル画像の拡大率を算出する。S4100で決定した基準サムネイル画像に対する拡大率と、基準サムネイル画像に対応する類似症例の関心領域情報4300(図33)と、拡大対象の類似症例iの関心領域情報4300(図33)とに基づき、拡大画像生成部112は、拡大対象の類似症例iの拡大率を算出する。
図57は、図56のS4400のサブルーチンの処理を示すフローチャートである。
S4410では、拡大画像生成部112は、基準サムネイル画像に対応する類似症例の関心領域情報4300に基づき、基準サムネイル画像の関心領域の面積を算出する。ここで、基準サムネイル画像の関心領域の面積をSrとし、関心領域の左上の座標を(xl、yt)とし、関心領域の右下の座標を(xr、yb)とすると、関心領域の面積Srは以下の式で算出することができる。
Sr=|xl−xr|×|yt−yb|
S4420では、拡大画像生成部112は、拡大対象の類似症例iの関心領域情報4300に基づき、拡大対象の類似症例iのサムネイル画像の関心領域の面積を算出する。ここで、拡大対象の類似症例iのサムネイル画像の関心領域の面積をSiとし、関心領域の左上の座標を(xli、yti)とし、関心領域の右下の座標を(xri、ybi)とすると、関心領域の面積Siは以下の式で算出することができる。
Si=|xli−xri|×|yti−ybi|
S4430では、拡大画像生成部112は、S4410で算出した基準サムネイル画像の関心領域の面積Srと、S4420で算出した拡大対象の類似症例iのサムネイル画像の関心領域の面積Siと、S4100で決定した基準サムネイル画像に対する拡大率とに基づき、拡大対象の類似症例iの拡大率を算出する。ここで、基準サムネイル画像に対する拡大率をkrとすると、拡大対象の類似症例iの拡大率kiは、以下の式で算出することができる。
ki=kr(Sr/Si)
図58は、拡大処理前後の基準サムネイル画像及び拡大対象のサムネイル画像を概略的に示す図である。図58の上左図は、拡大処理前の基準サムネイル画像を示す。図58の上右図は、拡大処理後の基準サムネイル画像を示す。図58の下左図は、拡大処理前の拡大対象のサムネイル画像を示す。図58の下右図は、拡大処理後の拡大対象のサムネイル画像を示す。
図58の上左図に示される基準サムネイル画像を拡大率krで拡大すると、図58の上右図に示されるサムネイル画像が得られる。拡大画像生成部112は、図58の上右図において、関心領域ROIの中心位置が表示領域720dの中心位置に一致するように、表示領域720dを決定する。拡大画像生成部112は、表示領域720dのサイズを拡大処理前の表示領域720cのサイズと同じサイズに維持している。
図58の下左図に示される拡大対象のサムネイル画像を拡大率kiで拡大すると、図58の下右図に示されるサムネイル画像が得られる。拡大画像生成部112は、図58の下右図において、関心領域ROIの中心位置が表示領域720fの中心位置に一致するように、表示領域720fを決定する。拡大画像生成部112は、表示領域720fのサイズを拡大処理前の表示領域720eのサイズと同じサイズに維持している。
図58では、基準サムネイル画像の拡大率krに対して、関心領域の面積比に応じて拡大対象のサムネイル画像iの拡大率kiを決定している。したがって、図58に示すように、拡大後の関心領域ROIのサイズが一致している。
図56に戻って、S4500では、拡大画像生成部112は、S4400で算出した拡大率と、類似症例データ4000(図33)内の、関心領域情報4300及びサムネイル画像データ4500とに基づき、拡大対象の類似症例iの拡大されたサムネイル画像を生成する。表示制御部104は、拡大画像生成部112により生成されたサムネイル画像を表示する。
図59は、図56のS4500のサブルーチンの処理を示すフローチャートである。図60は、拡大率と表示領域との関係を概略的に表す図である。以下、図59及び図60を用いて、関心領域の中心位置が拡大されたサムネイル画像の中心位置に一致するように、拡大画像を生成する処理の詳細について説明する。
S4510では、拡大画像生成部112は、S4400で算出した拡大率と、類似症例データ4000(図33)内のサムネイル画像データ4500とに基づき、拡大画像を生成する。拡大率がki倍の場合は、図60の左図に示されるサムネイル画像から図60の右図に示される拡大されたサムネイル画像が生成される。
S4520では、拡大画像生成部112は、類似症例データ4000(図33)内の関心領域情報4300と、S4400で算出した拡大率とに基づき、拡大後のサムネイル画像における関心領域の中心座標を算出する。ここで、拡大前の関心領域の中心座標を(xc,yc)とすると、図60に示すように、拡大前の関心領域の中心座標に拡大率を掛けて得られる座標(ki×xc,ki×yc)が拡大後の関心領域の中心座標となる。
S4530では、拡大画像生成部112は、S4520で算出した拡大後の関心領域の中心座標(ki×xc,ki×yc)と、予め定められた表示領域のサイズとから、拡大後のサムネイル画像iにおける表示領域を決定する。ここで、図60の左図に示されるように、表示領域720aは、横寸法w、縦寸法hに設定されている。この場合、図60の右図に示される矩形領域が表示領域720bとなる。この表示領域720bの左上座標は(ki×xc−w/2,ki×yc−h/2)であり、右下座標は(ki×xc+w/2,ki×yc+h/2)である。
S4540では、表示制御部104は、拡大画像生成部112によりS4510で生成された拡大画像のうち、S4530で算出された表示領域720bの画像を、症例表示領域710の類似症例iの表示領域に表示する。図59に示される処理により、関心領域の中心位置が表示領域の中心位置となる拡大されたサムネイル画像iを生成することが可能となる。
以上の処理により、症例表示領域710には、ユーザが指定した任意の拡大率で、サムネイル画像が表示される。ユーザによる一つのサムネイル画像に対する拡大操作で症例表示領域710内の全てのサムネイル画像の拡大率を変更できる。このため、ユーザの操作負担が減少する。また、症例表示領域710において、関心領域のサイズが揃えられてサムネイル画像が表示される。このため、関心領域が一部の類似医用画像において小さい状態で拡大されたために見落とされる事態が発生することを防止し、診断精度の向上を図ることができる。さらに、類似症例検索で得られた全ての類似症例ではなく、症例表示領域710で表示される類似症例に対して、拡大処理が行われる。このため、システムへの負荷が大幅に軽減される。
次に、情報端末100に類似症例検索結果のサムネイル画像を拡大表示した後、ユーザの操作によりサムネイル画像の表示領域を変更するまでの処理について説明する。
図61は、情報端末100のディスプレイ101bに類似症例検索結果のサムネイル画像を拡大表示した後、表示領域を変更するまでの処理を示すシーケンス図である。
まず、情報端末100の入力制御部103は、操作部102に対するユーザの操作(例えばマウスの左ボタンの操作)によるサムネイル画像の選択を検知する(S5000)。
次に、ユーザがマウス位置を変更する(ドラッグ)操作を行うと、入力制御部103は、マウスの移動量を検知し、検知したマウスの移動量を拡大画像生成部112に通知する(S5100)。
続いて、拡大画像生成部112は、検知されたマウスの移動量を用いて、サムネイル画像の表示領域の移動量を決定し、決定した量だけ表示領域を移動したサムネイル画像を生成する(S5200)。
次いで、表示制御部104は、拡大画像生成部112によって生成されたサムネイル画像を症例表示領域710に表示する(S5300)。
上記S5200の処理の詳細について説明する。S5200の処理は拡大画像生成部112により行われる。以下では、まず拡大画像生成部112の処理ブロックの詳細について説明し、その後、表示領域の変更処理のフローについて説明する。
図62は、拡大画像生成部112の詳細な構成を示すブロック図である。拡大画像生成部112は、入力判定部1121、基準拡大率決定部1122、対象決定部1123、拡大率決定部1124、画像拡大部1125、第1表示領域決定部1126、移動量決定部1127、表示画像生成部1129、及び第2表示領域決定部1128を含む。拡大画像生成部112は、拡大率変更処理と表示領域変更処理とを行う。以下、拡大画像生成部112の各部について説明する。
入力判定部1121は、入力制御部103から通知された、操作部102に対するユーザの操作内容を判定する。判定した操作内容が拡大率変更操作(例えばマウスのホイールの回転)の場合には、入力判定部1121は、その操作量(ホイールの回転量)と操作種類(マウスのホイールの回転)とを、基準拡大率決定部1122に出力する。また、入力判定部1121は、対象決定部1123及び拡大率決定部1124に、操作内容情報を出力する。ここで出力される操作内容情報は、拡大率変更を表す情報である。例えば、拡大率変更を表す情報に対応する値として予め設定された値「1」が、入力判定部1121から対象決定部1123及び拡大率決定部1124に出力される。
なお、拡大率変更操作として入力制御部103から通知される操作内容は、マウスのホイールの回転操作に限られない。例えば、上述のように、キーボードの上方向キーまたは下方向キーでもよい。その場合には、入力制御部103は、上方向キーまたは下方向キーが押されている時間をカウントすればよい。入力判定部1121は、上方向キーまたは下方向キーが押されている時間を操作量とすればよい。
判定した操作内容が表示領域変更操作(例えばマウスのドラッグ)の場合には、入力判定部1121は、その操作量(例えばマウスのドラッグの開始位置及び終了位置)を移動量決定部1127に出力する。また、入力判定部1121は、対象決定部1123に、操作内容情報を出力する。ここで出力される操作内容情報は、表示領域変更を表す情報である。例えば、表示領域変更を表す情報に対応する値として予め設定された値「2」が、入力判定部1121から対象決定部1123に出力される。
なお、表示領域変更操作として入力制御部103から通知される操作内容は、マウスのドラッグに限られない。例えば、キーボードのコントロールボタン及び方向キーの同時操作でもよい。その場合には、入力制御部103は、コントロールボタン及び方向キーが押されている時間をカウントすればよい。入力判定部1121は、コントロールボタン及び方向キーが押されている時間を操作量とすればよい。また、入力判定部1121は、操作された方向キーの方向を移動方向と判定すればよい。
判定した操作内容が病変分布の選択(分布リスト表示領域750のチェックボックスに対するチェックマークの入力)である場合には、入力判定部1121は、その選択された病変分布を表す情報を拡大率決定部1124に出力する。また、入力判定部1121は、対象決定部1123に、操作内容情報を出力する。ここで出力される操作内容情報は、病変分布の選択による拡大率変更を表す情報である。例えば、病変分布の選択による拡大率変更を表す情報に対応する値として予め設定された値「3」が、入力判定部1121から対象決定部1123に出力される。
なお、入力判定部1121から拡大率決定部1124に出力される情報は、選択された病変分布を表す情報に限られない。後述のように、病変分布は、第1分布情報、第2分布情報、及び第3分布情報に分けられている。そこで、入力判定部1121は、選択された病変分布が属する分布情報(第1分布情報、第2分布情報または第3分布情報)を、拡大率決定部1124に出力するようにしてもよい。
基準拡大率決定部1122は、ユーザが選択したサムネイル画像の拡大率を決定する。基準拡大率決定部1122には、上述のように、入力判定部1121から、ユーザが操作部102を用いて操作した操作量及び操作種類が出力される。基準拡大率決定部1122は、入力制御部103から、ユーザが選択した領域を表す情報(例えば図12では2行4列目)を取得する。基準拡大率決定部1122は、ユーザが選択したサムネイル画像の類似症例データ4000(図33)を参照して、その類似症例ID4100を取得する。
基準拡大率決定部1122は、操作種類がマウスのホイールの回転の場合には、操作量としてホイールの回転量を取得する。基準拡大率決定部1122は、操作種類がキーボードの方向キーの場合は、操作量として方向キーの押下時間を取得する。基準拡大率決定部1122は、操作量に予め定められた係数を掛けた値を算出し、算出値を基準サムネイル画像に対する拡大率に決定する。基準拡大率決定部1122は、類似症例ID4100と決定された拡大率とを拡大率決定部1124に出力する。
対象決定部1123は、入力判定部1121から入力された操作内容情報に基づき、サムネイル画像の拡大処理又は表示領域の変更処理を行う対象とする類似症例を決定する。
操作内容情報が拡大率変更を表す情報の場合には、対象決定部1123は、入力制御部103から、ユーザが選択した領域を表す情報(例えば図12では2行4列目)を取得する。対象決定部1123は、ユーザが選択したサムネイル画像の類似症例データ4000(図33)を参照して、その類似症例ID4100を取得する。対象決定部1123は、ユーザが選択したサムネイル画像を含むようにND個以下の類似症例を拡大対象に決定する。対象決定部1123は、その個数と類似症例ID4100とを拡大率決定部1124に出力する。
操作内容情報が表示領域変更を表す情報の場合には、対象決定部1123は、拡大率変更処理時に決定した拡大対象の類似症例を、そのまま表示領域変更処理の対象として採用する。
操作内容情報が病変分布の選択による拡大率変更を表す情報の場合には、対象決定部1123は、病変分布の選択時に絞り込まれた類似症例ID4100と、その個数とを拡大率決定部1124に出力する。
拡大率決定部1124は、対象決定部1123で決定された拡大対象となる類似症例の拡大率を決定する。入力判定部1121から、操作内容情報として選択された病変分布を表す情報が入力されている場合には、拡大率決定部1124は、選択された病変分布に対応する所定の拡大率を算出する。拡大率決定部1124は、決定した拡大率と、対象決定部1123から入力された拡大対象の類似症例ID4100及びその個数とを画像拡大部1125に出力する。病変分布に対応する所定の拡大率は、上記図21〜図26を参照して説明された通りである。
入力判定部1121から、操作内容情報として拡大率変更を表す情報が入力されている場合には、拡大率決定部1124は、対象決定部1123から入力された拡大対象の類似症例ID4100(図33)に対応する関心領域情報4300を抽出する。拡大率決定部1124は、抽出した関心領域情報4300と、基準拡大率決定部1122から入力された基準サムネイル画像に対する拡大率とを用いて、上記図57で説明された手順により、各類似症例の拡大率を算出する。拡大率決定部1124は、算出された拡大率と、拡大対象の類似症例ID4100及びその個数とを画像拡大部1125に出力する。
画像拡大部1125は、拡大率決定部1124から入力された拡大率と、拡大対象の類似症例ID4100及びその個数とを用いて、入力された類似症例ID4100のサムネイル画像を拡大したサムネイル画像を生成する。画像拡大部1125は、生成した拡大されたサムネイル画像を表示画像生成部1129に出力する。
第1表示領域決定部1126は、拡大対象となる類似症例の拡大後のサムネイル画像における表示領域を決定する。第1表示領域決定部1126は、拡大率決定部1124から入力された拡大対象の類似症例ID4100(図33)に対応する関心領域情報4300を抽出する。第1表示領域決定部1126は、拡大率決定部1124から入力された拡大率と、抽出した関心領域情報4300とを用いて、上記図59のS4520,S4530の手順により、拡大後のサムネイル画像における表示領域の座標を算出する。第1表示領域決定部1126は、拡大対象の類似症例ID4100と、対応する表示領域の座標とを、表示画像生成部1129及び第2表示領域決定部1128に出力する。
移動量決定部1127は、拡大後のサムネイル画像における表示領域の移動量を決定する。移動量決定部1127は、入力判定部1121から入力された操作量(例えばマウスのドラッグの開始位置及び終了位置)に、予め定められた係数を掛けた値を算出し、この算出値を拡大後のサムネイル画像における表示領域の移動量に決定する。
例えば、ユーザによる操作部102の操作がマウスのドラッグである場合を考える。また、x方向の係数がaと定義され、y方向の係数がbと定義され、ドラッグの開始位置がps(xs,ys)と定義され、ドラッグの終了位置がpe(xe,ye)と定義される。この場合、移動量dは、下式で表される。
d(a(xe−xs),b(ye−ys))
移動量決定部1127は、算出した移動量を第2表示領域決定部1128に出力する。
図63は、拡大後のサムネイル画像における表示領域の移動を概略的に表す図である。図63の左図は、図60の右図に相当し、拡大後のサムネイル画像を示す。図63の右図は、図63の左図から移動された表示領域を示す。
図63の左図では、拡大後のサムネイル画像の表示領域A631の中心座標が下式で表されている。
(ki×xd,ki×yd)
このサムネイル画像の表示領域が、図63の左図の状態から上記移動量dだけ移動した場合には、図63の右図に示される移動後の表示領域A632の中心座標は、下式で表される。
(ki×xd+a(xe−xs),ki×yd+b(ye−ys))
このとき、表示領域A631,A632のサイズに変更はなく、拡大されたサムネイル画像に対する表示領域の位置が変更される。
図62に戻り、第2表示領域決定部1128は、表示領域の移動時における類似症例のサムネイル画像の表示領域を決定する。第2表示領域決定部1128は、移動量決定部1127から入力された移動量と、第1表示領域決定部1126から入力された、拡大対象の類似症例ID4100に対応する表示領域とを用いて、表示領域が移動した後の表示領域の座標を決定する。第2表示領域決定部1128は、決定した表示領域の座標を表示画像生成部1129に出力する。
表示画像生成部1129は、画像拡大部1125、第1表示領域決定部1126、及び第2表示領域決定部1128から入力された情報において、表示画像に変更がある場合には表示画像を更新する。
具体的には、表示画像生成部1129は、画像拡大部1125から入力された、拡大対象の類似症例の拡大されたサムネイル画像に対する、第1表示領域決定部1126または第2表示領域決定部1128から入力された、表示領域の座標の範囲を、拡大されたサムネイル画像として生成する。表示画像生成部1129は、その生成したサムネイル画像を表示制御部104に出力する。
なお、上述のように、病変分布の選択による拡大率変更が行われた場合において、両側性754が選択されたときは(図21)、拡大率が1.0でサムネイル画像全体が表示されるため(図22)、表示領域の変更は行われない。図20において、びまん性751、多発性755、及び血行性757が選択されたときも同様である。これらの「びまん性」、「両側性」、「多発性」、及び「血行性」の病変分布は、第1分布情報(後述)に属する。すなわち、第1分布情報に属する病変分布が選択されたときには、拡大率が1.0でサムネイル画像全体が表示され、表示領域の変更は行われない。
したがって、第1分布情報に属する病変分布の選択により拡大率変更が行われた場合には、入力判定部1121は、判定した操作内容が表示領域変更操作であっても、その操作量を移動量決定部1127に出力しなくてもよい。また、対象決定部1123は、いずれの類似症例も、表示領域変更処理の対象にしないと決定してもよい。
次に、拡大されたサムネイル画像の表示領域の変更処理の流れについて説明する。
図64は、拡大されたサムネイル画像の表示領域の変更処理を示すフローチャートである。S6000では、入力判定部1121は、入力制御部103から、操作部102に対するユーザの操作内容及び操作量を取得する。
S6100では、入力判定部1121は、S6000で取得した操作内容を判定する。判定した操作内容が拡大率変更操作である場合には、処理は、例えば図56に示される拡大処理に進む。判定した操作内容が病変分布の選択である場合には、処理は、例えば図71(後述)に示される処理に進む。判定した操作内容が表示領域変更操作である場合には、処理は、S6200に進む。
S6200では、対象決定部1123は、表示領域の変更処理を行う移動対象の類似症例を取得する。この実施の形態では、対象決定部1123は、S6200において、拡大率変更処理で拡大率を変更した類似症例を移動対象の類似症例として採用する。表示領域の変更処理を行う時には、症例表示領域710に、類似症例検索部303から受信したNC個の類似症例のうち、症例表示領域710に表示可能なND個(この実施の形態ではND=20)以下のNZ個の類似症例のサムネイル画像が拡大表示されている。図12の例では、20個のサムネイル画像が拡大表示されている。
S6300では、拡大画像生成部112は、類似症例i(iは処理対象の類似症例を特定するインデックスであり1以上の整数)のサムネイル画像を処理対象のサムネイル画像として決定する。そして、拡大画像生成部112は、インデックスiがNZに到達するまで(S6300でYES)、S6400〜S6700の処理を繰り返す。拡大画像生成部112は、S6400〜S6700の処理を実行する度に、インデックスiを1ずつインクリメントする。インデックスiがNZを超えると(S6300でNO)、図64の処理は終了する。
S6400では、移動量決定部1127は、処理対象の類似症例iのサムネイル画像の移動量を算出する。移動量決定部1127は、入力判定部1121から入力された操作量に、予め定められた係数を掛けた値を算出し、この算出値を表示領域の移動量に決定する。
S6500では、第2表示領域決定部1128は、S4530(図59)で決定した表示領域と、S6400で決定した移動量とから、変更後のサムネイル画像の表示領域を決定する。S6600では、表示画像生成部1129は、S4510(図59)で生成された拡大画像を取得する。S6700では、表示画像生成部1129は、S6500で決定した表示領域とS6600で取得した拡大画像とから、表示画像を生成する。
なお、上述のように、第1分布情報に属する病変分布が選択されたときには、表示領域の変更は行われない。したがって、第1分布情報に属する病変分布の選択により拡大率変更が行われた後の場合には、S6200において、対象決定部1123は、いずれの類似症例も、表示領域変更処理の対象にしないと決定して、処理を終了してもよい。あるいはまた、S6200において、対象決定部1123は、NZを超える値にインデックスiを設定して、S6300でNOとなるようにしてもよい。
なお、拡大画像生成部112による表示領域の変更処理は、上記図62の構成に限られない。次に、表示領域の変更処理の変形例について説明する。以下では、まず拡大画像生成部112の処理ブロックの詳細について説明し、その後、表示領域の変更処理のフローについて説明する。
図65は、図62と異なる拡大画像生成部112の詳細な構成を示すブロック図である。拡大画像生成部112は、入力判定部1121、基準拡大率決定部1122、対象決定部1123、拡大率決定部1124、移動量決定部1130、表示領域決定部1131、及び画像拡大部1132を含む。図65では、図62と同じ処理ブロックには同じ符号が付され、詳細な説明は省略される。
移動量決定部1130は、基準拡大率決定部1122から、基準サムネイル画像の拡大率を取得する。移動量決定部1130は、拡大率決定部1124から、決定された各サムネイル画像の拡大率を取得する。移動量決定部1130は、入力判定部1121から、操作量を取得する。移動量決定部1130は、各サムネイル画像の拡大率と操作量とから,拡大前のサムネイル画像における移動量を算出する。移動量決定部1130は、算出した移動量と、各サムネイル画像の拡大率とを、表示領域決定部1131に出力する。
表示領域決定部1131は、第1表示領域決定部1126と同様に、拡大対象となる類似症例の拡大後のサムネイル画像における表示領域を決定する。すなわち、表示領域決定部1131は、拡大率決定部1124から拡大対象の類似症例ID4100(図33)を取得する。表示領域決定部1131は、取得した拡大対象の類似症例ID4100(図33)に対応する関心領域情報4300を抽出する。表示領域決定部1131は、拡大率決定部1124から入力された拡大率と、抽出した関心領域情報4300とを用いて、上記図59のS4520,S4530の手順により、拡大後のサムネイル画像における表示領域の座標を算出する。
表示領域決定部1131は、基準拡大率決定部1122から、基準サムネイル画像の拡大率を取得する。表示領域決定部1131は、拡大率決定部1124から、各サムネイル画像の拡大率を取得する。表示領域決定部1131は、移動量決定部1130から、拡大前のサムネイル画像における移動量を取得する。表示領域決定部1131は、算出した拡大後のサムネイル画像における表示領域の座標と、取得した拡大率とから,移動前の拡大前のサムネイル画像における表示領域の座標を算出する。
表示領域決定部1131は、算出した移動前の拡大前のサムネイル画像における表示領域の座標に、取得した拡大前のサムネイル画像における移動量を加えて、移動後の拡大前のサムネイル画像における表示領域の座標を算出する。表示領域決定部1131は、算出した移動後の拡大前のサムネイル画像における表示領域の座標を画像拡大部1132に出力する。
画像拡大部1132は、基準拡大率決定部1122から、基準サムネイル画像の拡大率を取得する。画像拡大部1132は、拡大率決定部1124から、各サムネイル画像の拡大率を取得する。画像拡大部1132は、表示領域決定部1131から入力された、移動後の拡大前のサムネイル画像における表示領域の座標と、取得した各サムネイル画像の拡大率とから、その表示領域内のサムネイル画像を拡大する。画像拡大部1132は、生成した拡大されたサムネイル画像を表示制御部104に出力する。
図66は、図65の構成を用いた場合の表示領域の変更処理を示すフローチャートである。図67Aは、拡大後のサムネイル画像の一例を示す図である。図67Bは、図67Aに示されるサムネイル画像の拡大前のサムネイル画像全体を示す図である。図67Cは、拡大前のサムネイル画像における表示領域の移動を概略的に示す図である。なお、図64と同じステップには同じ符号が付され、詳細な説明は省略される。
S6800では、移動量決定部1130は、取得した操作量と各サムネイル画像の拡大率とから、拡大前のサムネイル画像における移動量を算出する。
例えば、ユーザによる操作部102の操作がマウスのドラッグである場合を考える。また、x方向の係数がaと定義され、y方向の係数がbと定義され、ドラッグの開始位置がps(xs,ys)と定義され、ドラッグの終了位置がpe(xe,ye)と定義される。この場合、表示領域の位置を移動させると、拡大後のサムネイル画像におけるx,y方向の移動量daは下式で表される。
da=(a(xe−xs),b(ye−ys))
また、拡大前のサムネイル画像におけるx,y方向の移動量dbは下式で表される。
db=(a(xe−xs)/ki,b(ye−ys)/ki)
S6900では、表示領域決定部1131は、算出した移動前の拡大前のサムネイル画像における表示領域の座標に、移動量決定部1130から入力された、拡大前のサムネイル画像における移動量を加えて、移動後の拡大前のサムネイル画像における表示領域の座標を算出する。
図67Aに示すように、拡大後のサムネイル画像の表示領域の中心座標が(xdp,ydp)と定義され、このサムネイル画像の拡大率がkiと定義される。この場合、図67Bに示される拡大前のサムネイル画像における中心座標C67Bは、下式で表される。
(xdp/ki,ydp/ki)
図67Cの左図に示される、ユーザによる移動操作後の拡大前のサムネイル画像における表示領域の中心座標C67Cは、上記移動量dbを用いると、下式で表される。
(xdp/ki+a(xe−xs)/ki,ydp/ki+b(ye−ys)/ki)
したがって、拡大前のサムネイル画像における移動後の表示領域は、図67Cの左図に示されるサムネイル画像における矩形領域A67Cとなる。この矩形領域A67Cの右下座標R67Cは、下式で表される。
(xdp/ki+a(xe−xs)+wd/2ki,ydp/ki+b(ye−ys)/ki+hd/2ki)
図66に戻って、S7000では、画像拡大部1132は、表示領域決定部1131から入力された、移動後の拡大前のサムネイル画像における表示領域の座標と、取得した各サムネイル画像の拡大率とから、その表示領域における拡大されたサムネイル画像を生成する。すなわち、画像拡大部1132は、図67Cの左図に示す矩形領域A67C内の画素値を拡大対象とし、サムネイル画像を拡大して、図67Cの右図に示す拡大されたサムネイル画像を生成する。
次に、症例表示領域710に拡大されたサムネイル画像が表示された後に、ユーザがスクロールバー715を操作した場合のサムネイル画像の拡大処理の流れを説明する。なお、この実施の形態では、図10または図11に示されるように、症例表示領域710に表示されているサムネイル画像の全てが拡大されている。
図68は、拡大されたサムネイル画像が症例表示領域710に表示された後に、ユーザがスクロールバー715を操作した場合のサムネイル画像の拡大処理を示すフローチャートである。図69は、拡大されたサムネイル画像が症例表示領域710に表示された状態の基本画面K2を示す図である。
図69に示される状態において、ユーザがスクロールバー715を下向きに操作すると、その操作量を入力制御部103が検知し、検知した操作量を拡大画像生成部112に通知する。すると、拡大画像生成部112は、図68の処理を開始する。
S4600では、拡大画像生成部112は、ユーザによるスクロールバー715の操作によって、新たに症例表示領域710に表示される症例数Nsを取得する。具体的には、拡大画像生成部112は、症例表示領域710で予め定められた最大表示件数NDを表示制御部104から取得する。この実施形態では、図6に示されるように、最大表示件数NDは、4行5列の20件である。したがって、新たに5個のサムネイル画像が表示対象となるため、拡大画像生成部112は、Ns=5を取得する。
また、S4600では、拡大画像生成部112は、新たに症例表示領域710に表示されるサムネイル画像の類似症例IDを特定する。このとき、拡大画像生成部112は、症例検索システム300の類似症例検索部303から受信した類似症例の類似度を参照する。現在は、表示制御部104は、類似度の最も高い類似症例からND件の類似症例のサムネイル画像を表示している。そこで、拡大画像生成部112は、類似度の最も高い類似症例から数えて(ND+1)番目から(ND+Ns)番目までの類似症例を拡大対象症例とする。拡大画像生成部112は、これらの拡大対象の類似症例IDを特定する。
S4700では、拡大画像生成部112は、類似症例i(iは処理対象の類似症例を特定するインデックスであり1以上の整数)のサムネイル画像を処理対象のサムネイル画像として決定する。そして、拡大画像生成部112は、インデックスiがNsに到達するまで、S4800、S4500の処理を繰り返す。拡大画像生成部112は、S4800、S4500の処理を実行する度に、インデックスiを1ずつインクリメントする。インデックスiがNsを超えると(S4700でNO)、図68の処理は終了する。
S4800では、拡大画像生成部112は、拡大対象の類似症例iの拡大率kiを算出する。すでに症例表示領域710には拡大されたサムネイル画像が表示されている。そこで、拡大画像生成部112は、図56のS4100で決定した基準サムネイル画像に対する拡大率krを用いる。そして、拡大画像生成部112は、図56のS4400と同様にして、拡大対象の類似症例iの拡大率kiを算出する。続くS4500は、図56のS4500と同じであるため、詳細な説明は省略する。図68の処理により、図70に示される画面が得られる。
図70は、拡大されたサムネイル画像が図69の状態から移動した基本画面K2を示す図である。図70に示されるように、症例表示領域710に表示されている類似症例のサムネイル画像は、スクロールバー715の操作により上方向に移動している。
なお、ユーザがスクロールバー715の操作を続けた場合には、拡大画像生成部112は、さらに、図68の処理を実行する。
以上の処理により、類似症例が多数であっても、拡大画像生成部112は、スクロールバー715の操作により新たに症例表示領域710に表示されるサムネイル画像に対して拡大処理を行えばよい。このため、システムへの負荷が大幅に軽減される。
次に、図21、図23、図25に示す分布リスト表示領域750に表示された病変分布が選択されたときの拡大処理について説明する。図71は、分布リスト表示領域750に表示された病変分布が選択されたときの処理を示すフローチャートである。
S2000では、分布リスト表示領域750に表示された病変分布(分布チェック項目)のうち、いずれか1の分布チェック項目を選択する操作を入力制御部103が検知すると、拡大画像生成部112は、検知された分布チェック項目が第1〜第3分布情報のいずれに該当するかを判定する。第1分布情報の場合、処理がS1301に進められ、第2分布情報の場合、処理がS1302に進められ、第3分布情報の場合、処理がS1303に進められる。
第1分布情報は、症例表示領域710に一覧表示された類似症例のサムネイル画像のうち、関心領域の大きさが、肺の領域に対して広範囲であることを示す所定の第1範囲に属するサムネイル画像を選択させるための情報である。ここでは、第1分布情報としては、「両側性」、「多発性」、「びまん性」、及び「血行性」が該当する。よって、第1範囲としては、これらの病変分布を診断する際に設定される関心領域のサイズが属するような値域が採用される。
第2分布情報は、症例表示領域710に一覧表示された類似症例のサムネイル画像のうち、関心領域の大きさが、肺の領域の一部であることを示す所定の第2範囲(第1範囲より低い:第2範囲の上限値が第1範囲の下限値以下)に属するサムネイル画像を選択させるための情報である。ここでは、第2分布情報としては、「気道性」及び「区域性」が該当する。よって、第2範囲としては、これらの病変分布を診断する際に設定される関心領域のサイズが属するような値域が採用される。
第3分布情報は、症例表示領域710に一覧表示された類似症例のサムネイル画像のうち、関心領域の大きさが、胸膜の辺縁に存在するサムネイル画像を選択させるための情報である。ここでは、第3分布情報としては、「胸膜下」が該当する。
S1301では、拡大画像生成部112は、類似症例検索により得られた類似症例であって、ユーザが第1分布情報として選択した病変分布の類似症例のうち、症例表示領域710のサムネイル画像の最大表示件数(この実施の形態では20件)以下の類似症例を類似度が高い順に抽出し、抽出した類似症例の数を拡大対象の類似症例数NZ1として決定する。そして、拡大画像生成部112は、抽出した類似症例i(iは抽出された類似症例を特定するインデックスであり1以上の整数)のサムネイル画像を処理対象のサムネイル画像として決定する。そして、拡大画像生成部112は、インデックスiがNZ1に到達するまで、S2100、S1501の処理を繰り返す。拡大画像生成部112は、S2100、S1501の処理を実行する度に、インデックスiを1ずつインクリメントする。インデックスiがNZ1を超えると(S1301でNO)、図71の処理は終了する。
S2100では、拡大画像生成部112は、類似症例iについての第1分布情報に対応する第1拡大率を算出する。ここでは、第1拡大率としては、例えば、1.0が採用される。但し、これは一例であり第1分布情報が示す病変分布を診断する際に設定される関心領域の全域が表示領域に収まるような値であれば、1.0以外の拡大率が第1拡大率として採用されてもよい。
S1501では、図56のS4500と同様に処理が行われる。その結果、表示制御部104は、類似症例iのサムネイル画像を類似症例iの第1拡大率で拡大した画像を症例表示領域710に表示する。
上述の図22では、両側性が選択されている。この場合、類似症例のうち病変分布が両側性に該当する類似症例のサムネイル画像が症例表示領域710に表示される。また、この場合、拡大率は1.0であるため、症例表示領域710において、類似検索結果が得られた直後に表示されたサムネイル画像と同じ表示態様でサムネイル画像が表示されている。すなわち、関心領域ROIの中心が表示領域6801の中心に位置するようにサムネイル画像の表示位置が調整されず、且つ、拡大されずに、サムネイル画像が表示される。
S1302では、拡大画像生成部112は、類似症例検索により得られた類似症例であって、ユーザが第2分布情報として選択した病変分布の類似症例のうち、症例表示領域710のサムネイル画像の最大表示件数以下の類似症例を類似度が高い順に抽出し、抽出した類似症例の数を拡大対象の類似症例数NZ2として決定する。そして、拡大画像生成部112は、抽出した類似症例iのサムネイル画像を処理対象のサムネイル画像として決定する。そして、拡大画像生成部112は、インデックスiがNZ2に到達するまで、S2200、S1502の処理を繰り返す。拡大画像生成部112は、S2200、S1502の処理を実行する度に、インデックスiを1ずつインクリメントする。インデックスiがNZ2を超えると(S1302でNO)、図71の処理は終了する。
S2200では、拡大画像生成部112は、症例表示領域710において、1つのサムネイル画像に対して予め定められた表示領域のサイズと、類似症例iの関心領域情報とを用いて、類似症例iについての第2分布情報に対応する第2拡大率を算出する。
第2分布情報が選択された場合、拡大画像生成部112は、類似症例iを、関心領域のサイズが表示領域のサイズの1/2程度になるように、拡大する。そのため、拡大画像生成部112は、例えば、下記の数式で類似症例iに対する第2拡大率kiを計算する。表示領域の面積をSd、拡大対象の類似症例iのサムネイル画像の関心領域の面積をSiとすると、第2拡大率kiは以下の式で算出できる。
ki=1/2(Sd/Si)
S1502では、図56のS4500と同様に処理が行われる。その結果、拡大画像生成部112は、類似症例iのサムネイル画像を第2拡大率kiで拡大する。表示制御部104は、サムネイル画像の関心領域の中心が表示領域の中心に位置するように症例表示領域710に拡大画像生成部112により拡大されたサムネイル画像を表示する。
上述の図24では、気道性が選択されている。この場合、類似症例のうち病変分布が気道性に該当する類似症例のサムネイル画像が症例表示領域710に表示される。また、症例表示領域710において、全てのサムネイル画像は関心領域ROIの中心が表示領域6901の中心に位置するように第2拡大率で拡大されている。
S1303では、拡大画像生成部112は、類似症例検索により得られた類似症例であって、ユーザが第3分布情報として選択した病変分布の類似症例のうち、症例表示領域710のサムネイル画像の最大表示件数以下の類似症例を類似度が高い順に抽出し、抽出した類似症例の数を拡大対象の類似症例数NZ3として決定する。そして、拡大画像生成部112は、抽出した類似症例iのサムネイル画像を処理対象のサムネイル画像として決定する。そして、拡大画像生成部112は、インデックスiがNZ3に到達するまで、S2300、S1503の処理を繰り返す。拡大画像生成部112は、S2300、S1503の処理を実行する度に、インデックスiを1ずつインクリメントする。インデックスiがNZ3を超えると(S1303でNO)、図71の処理は終了する。
S2300では、拡大画像生成部112は、症例表示領域710において、1つのサムネイル画像に対して予め定められた表示領域のサイズと、類似症例iの関心領域情報と、胸膜領域情報4900とを用いて、類似症例iについての第3分布情報に対応する第3拡大率を算出する。
図72は、胸膜領域情報4900が追加された類似症例データ4000のデータ構成を示す図である。なお、類似症例データ4000に胸膜領域情報4900が登録されていない場合、胸膜領域情報4900が得られない。この場合、拡大画像生成部112は、第3拡大率を、第1拡大率と同じ値である1.0に設定すればよい。ここで、胸膜領域情報4900は、類似症例において、胸膜領域を示す情報である。
S1503では、図56のS4500と同様に処理が行われる。その結果、拡大画像生成部112は、類似症例iのサムネイル画像でを第3拡大率kiで拡大する。表示制御部104は、サムネイル画像の関心領域の中心が表示領域の中心に位置するように症例表示領域710に拡大画像生成部112により拡大されたサムネイル画像を表示する。
図73は、胸膜領域7101を説明する図である。図73に示すように、胸膜領域7101は、胸膜を含む領域であって、中心が関心領域ROIの中心に位置し且つ関心領域ROIよりも少しサイズの大きな矩形状の領域である。ここで、胸膜領域情報4900には、胸膜領域7101の左上の頂点の座標(xpl、ypt)と右下の頂点の座標(xpr、ypb)との4値が含まれる。第3分布情報が選択された場合には、胸膜領域を拡大表示するため、拡大画像生成部112は、以下の式で第3拡大率kiを計算する。表示領域7102の面積をSd、胸膜領域7101の面積をSpとすると第3拡大率kiは、以下の式で算出できる。
ki=Sd/Sp
なお、胸膜領域情報4900は、類似症例データ4000の作成時に関心領域情報と共にユーザにより入力されてもよい。或いは、胸膜領域情報4900は、画像処理装置により、スライス画像から肺の領域を自動的に抽出させ、胸膜位置を判定させることで自動的に作成されてもよい。
上述の図26では、胸膜下が選択されている。この場合、類似症例のうち病変分布が胸膜下に該当する類似症例のサムネイル画像のみが症例表示領域710に表示される。また、症例表示領域710において、全てのサムネイル画像は関心領域ROIの中心が表示領域7001の中心に位置するように第3拡大率で拡大されている。
以上の処理により、症例表示領域710には、病変分布に関する診断内容が反映された拡大率でサムネイル画像が表示される。そして、症例表示領域710において、関心領域のサイズが揃えられてサムネイル画像が表示される。そのため、関心領域が一部の類似医用画像において小さい状態で拡大されたために見落とされる事態が発生することを防止し、診断精度の向上を図ることができる。さらに、類似症例検索で得られた全ての類似症例ではなく、症例表示領域710で表示される類似症例に対して、拡大処理が行われるため、システムへの負荷が大幅に軽減される。
(実施の形態2)
上記実施の形態1では、ユーザの操作部102に対する操作量に応じて、類似症例のサムネイル画像の拡大率を制御している。これに対して、実施の形態2では、基本画面に設けられた拡大率変更ボタンに対するユーザの操作によって、拡大率を制御している。
図74は、実施の形態2において、類似症例検索により検索された類似症例のサムネイル画像が症例表示領域710に表示された状態の基本画面K2を示す図である。以下では、上記実施の形態1と異なる部分を中心に説明する。
実施の形態2では、基本画面K2は、拡大率変更ボタン716(指示ボタンの一例)を備える。図74に示されるように、基本画面K2は、拡大率変更ボタン716として、第1指示ボタン717、第2指示ボタン718、及び第3指示ボタン719を含む。
実施の形態2において、拡大率変更ボタン716に含まれる第1指示ボタン717、第2指示ボタン718、及び第3指示ボタン719のいずれかをユーザが選択すると、その選択を入力制御部103が検知する。すると、入力制御部103は、ユーザが選択したボタンの情報を拡大画像生成部112に通知する。拡大画像生成部112は、通知されたボタンの情報に応じて、症例表示領域710に表示されている全てのサムネイル画像の拡大率を変更する。
拡大画像生成部112は、第1指示ボタン717がユーザにより選択されると、拡大率を1.0と算出する。なお、類似症例検索後の初期の基本画面K2では、第1指示ボタン717が選択された状態になっている。このため、図74の基本画面K2におけるサムネイル画像の拡大率は1.0倍である。また、図74では、表示制御部104は、第1指示ボタン717の色を変更している。
図75は、第2指示ボタン718がユーザにより選択された場合の基本画面K2を示す図である。図76は、第3指示ボタン719がユーザにより選択された場合の基本画面K2を示す図である。
図75では、表示制御部104は、第2指示ボタン718の色を変更している。また、図76では、表示制御部104は、第3指示ボタン719の色を変更している。
拡大画像生成部112は、図74または図76に示される基本画面K2において、第2指示ボタン718がユーザにより選択されると、図75に示されるように、関心領域ROIのサイズが表示領域5801のサイズの1/2程度に拡大されるように、各サムネイル画像の拡大率を算出する。
拡大画像生成部112は、図74または図75に示される基本画面K2において、第3指示ボタン719がユーザにより選択されると、図76に示されるように、関心領域ROIのサイズが表示領域5901のサイズと同程度に拡大されるように、各サムネイル画像の拡大率を算出する。
図75、図76では、最大表示件数ND(この実施の形態ではND=20)の症例表示領域710に、M個(図75、図76ではM=20)の類似症例のサムネイル画像が表示されており、M個(図75、図76では20個)のサムネイル画像が拡大されている。このように、実施の形態2では、症例表示領域710に表示されている全てのサムネイル画像が拡大されている。例えば図18のようにM=14の場合には、14個全てのサムネイル画像が拡大されることになる。
図77は、第2指示ボタン718がユーザにより選択された場合の基本画面K2(図75)が表示された状態でユーザによって行われるドラッグ操作7701を概略的に示す図である。図78は、第3指示ボタン719がユーザにより選択された場合の基本画面K2(図76)が表示された状態でユーザによって行われるドラッグ操作7701を概略的に示す図である。
図77、図78に示すように、ユーザは、拡大されたサムネイル画像の一つを症例表示領域710から選択する。図77、図78では、3行3列目の表示領域7702のサムネイル画像が選択されている。この状態で、ユーザによってドラッグ操作7701が行われると、入力制御部103は、マウスの移動量を検知し、検知した移動量を拡大画像生成部112に通知する。すると、拡大画像生成部112は、検知されたマウス移動量を用いて、サムネイル画像の表示領域の移動量を決定し、決定した量だけ表示領域を移動したサムネイル画像を生成する。表示制御部104は、拡大画像生成部112によって移動されたサムネイル画像を症例表示領域710に表示する。
具体的には、図77、図78に示されるように、ユーザがマウスのドラッグ操作7701を左向きに行った場合には、症例表示領域710に拡大表示されている20個のサムネイル画像の表示領域は、対応関心領域CROIのより右側が表示されるように移動する。これにより、ユーザは症例表示領域710で拡大表示されている20個の類似症例を個々に移動操作をする必要がなくなり、操作数を大幅に削減できる。
次に、ユーザが拡大率変更ボタン716の選択を行ったときの拡大処理について説明する。
図79は、ユーザが拡大率変更ボタン716の選択を行ったときの拡大処理を示すフローチャートである。
S2800では、拡大画像生成部112は、類似症例検索により取得した多数の類似症例のうち、拡大処理を行う対象を決定する。
実施の形態2では、実施の形態1の図56のS4100のような、基準となる類似症例のサムネイル画像の選択がユーザにより行われず、拡大率変更ボタン716の選択がユーザにより行われる。そのため、拡大画像生成部112は、ユーザによる拡大率変更ボタン716の選択時に症例表示領域710に表示されている全ての類似症例を、拡大処理を行う対象とする。そこで、拡大画像生成部112は、症例表示領域710に表示されている全てのサムネイル画像の類似症例IDを、類似症例データ4000(図33)から取得する。
S2400では、拡大画像生成部112は、入力制御部103から通知されたボタンの情報に基づき、ユーザが選択したボタンの種類を判定する。ユーザにより選択されたボタン種が第1指示ボタン717の場合はS2451に進み、選択されたボタン種が第2指示ボタン718の場合はS2452に進み、選択されたボタン種が第3指示ボタン719の場合はS2543に進む。
S2451では、拡大画像生成部112は、類似症例i(iは処理対象の類似症例を特定するインデックスであり1以上の整数)のサムネイル画像を処理対象のサムネイル画像として決定する。そして、拡大画像生成部112は、インデックスiがNDに到達するまで、S2500、S4501の処理を繰り返す。拡大画像生成部112は、S2500、S4501の処理を実行する度に、インデックスiを1ずつインクリメントする。インデックスiがNDを超えると(S2451でNO)、図79の処理は終了する。
S2500では、第1指示ボタン717がユーザにより選択されている。このため、S2500では、拡大画像生成部112は、拡大率を1.0として算出する。
S4501では、図56のS4500と同様に処理が行われる。その結果、拡大率は1.0であるため、表示制御部104は、図74に示されるように、症例表示領域710において、類似検索結果が得られた直後に表示されたサムネイル画像と同じ表示態様でサムネイル画像を表示する。
S2452では、拡大画像生成部112は、類似症例i(iは処理対象の類似症例を特定するインデックスであり1以上の整数)のサムネイル画像を処理対象のサムネイル画像として決定する。そして、拡大画像生成部112は、インデックスiがNDに到達するまで、S2600、S4502の処理を繰り返す。拡大画像生成部112は、S2600、S4502の処理を実行する度に、インデックスiを1ずつインクリメントする。インデックスiがNDを超えると(S2452でNO)、図79の処理は終了する。
S2600では、第2指示ボタン718がユーザにより選択されている。このため、S2600では、拡大画像生成部112は、上述のように、関心領域のサイズが表示領域のサイズの1/2程度になるように、拡大対象のサムネイル画像iの拡大率を算出する。拡大画像生成部112は、表示領域のサイズと、拡大対象のサムネイル画像iの類似症例データ4000(図33)内の関心領域情報4300とに基づき、拡大率を算出する。拡大画像生成部112は、以下のような式で拡大率kiを計算する。表示領域5701(図74)の面積をSd、拡大対象のサムネイル画像iの関心領域ROI(図74)の面積をSiとすると、拡大対象の類似症例iのサムネイル画像の拡大率kiは、以下の式で算出できる。
ki=1/2(Sd/Si)
S4502では、図56のS4500と同様に処理が行われる。その結果、拡大画像生成部112は、類似症例iのサムネイル画像の関心領域の中心が表示領域の中心に位置するように、サムネイル画像を拡大する。表示制御部104は、拡大画像生成部112により生成された、拡大されたサムネイル画像を症例表示領域710に表示する。
なお、この実施の形態2では、拡大画像生成部112は、第2指示ボタン718が選択されたときの拡大率を、表示領域のサイズに対する関心領域のサイズの比率が1/2程度になるように算出している。しかし、本開示では、上記比率は1/2に限られない。例えば、上記比率は1/3、2/3などの他の値でもよい。
S2453では、拡大画像生成部112は、類似症例i(iは処理対象の類似症例を特定するインデックスであり1以上の整数)のサムネイル画像を処理対象のサムネイル画像として決定する。そして、拡大画像生成部112は、インデックスiがNDに到達するまで、S2700、S4503の処理を繰り返す。拡大画像生成部112は、S2700、S4503の処理を実行する度に、インデックスiを1ずつインクリメントする。インデックスiがNDを超えると(S2453でNO)、図79の処理は終了する。
S2700では、第3指示ボタン719がユーザにより選択されている。このため、S2700では、拡大画像生成部112は、上述のように、関心領域のサイズが表示領域のサイズと同程度になるように、拡大対象のサムネイル画像iの拡大率を算出する。拡大画像生成部112は、表示領域のサイズと、拡大対象の類似症例iの類似症例データ4000(図33)内の関心領域情報4300とに基づき、拡大率を算出する。拡大画像生成部112は、以下のような式で拡大率kiを計算する。表示領域5701(図74)の面積をSd、拡大対象の類似症例iのサムネイル画像の関心領域ROI(図74)の面積をSiとすると、拡大対象の類似症例iのサムネイル画像の拡大率kiは、以下の式で算出できる。
ki=Sd/Si
S4503では、図56のS4500と同様に処理が行われる。その結果、拡大画像生成部112は、類似症例iのサムネイル画像の関心領域の中心が表示領域の中心に位置するように、サムネイル画像を拡大する。表示制御部104は、拡大画像生成部112により生成された、拡大されたサムネイル画像を症例表示領域710に表示する。
なお、この実施の形態2では、拡大画像生成部112は、第3指示ボタン719が選択されたときの拡大率を、表示領域のサイズに対する関心領域のサイズの比率が1.0程度になるように算出している。しかし、本開示では、上記比率は1.0に限られない。例えば、上記比率は1.1、0.9などの他の値でもよい。
以上の処理により、症例表示領域710において、個々の表示領域内の関心領域ROIのサイズを揃えることができる。その結果、関心領域が一部の類似医用画像において小さい状態で拡大されたために見落とされる事態が発生することを防止し、診断精度の向上を図ることができる。このとき、類似症例検索で得られた全ての類似症例ではなく、症例表示領域710で表示される類似症例に対して、拡大処理が行われる。このため、システムへの負荷が大幅に軽減される。
次に、情報端末100に類似症例検索結果のサムネイル画像を拡大表示した後、ユーザの操作によりサムネイル画像の表示領域を変更するまでの処理について説明する。以下では、まず拡大画像生成部112の処理ブロックの詳細について説明し、その後、表示領域の変更処理のフローについて説明する。
図80は、実施の形態2における拡大画像生成部112の詳細な構成を示すブロック図である。拡大画像生成部112は、入力判定部1141、対象決定部1142、拡大率決定部1143、画像拡大部1125、第1表示領域決定部1126、移動量決定部1127、表示画像生成部1129、及び第2表示領域決定部1128を含む。拡大画像生成部112は、拡大率変更処理と表示領域変更処理とを行う。なお、実施の形態1と同一の処理ブロックについては同一符号を付し、詳細な説明は省略する。
入力判定部1141は、入力制御部103から通知された、操作部102に対するユーザの操作内容を判定する。判定した操作内容が拡大率変更操作(この実施の形態2ではボタン選択)の場合には、入力判定部1141は、その選択されたボタンの種別(つまり第1指示ボタン717、第2指示ボタン718、又は第3指示ボタン719)を拡大率決定部1143に出力する。入力判定部1141は、対象決定部1142に、操作内容情報(拡大率変更を表す情報、例えば、拡大率変更を表す情報に対応する値として予め設定された値「1」)を出力する。
判定した操作内容が表示領域変更操作(例えばマウスのドラッグ)の場合には、入力判定部1141は、その操作量(例えばマウスのドラッグの開始位置及び終了位置)を移動量決定部1127に出力する。また、入力判定部1141は、対象決定部1142に、操作内容情報(表示領域変更を表す情報、例えば、表示領域変更を表す情報に対応する値として予め設定された値「2」)を出力する。
判定した操作内容が病変分布の選択(分布リスト表示領域750のチェックボックスに対するチェックマークの入力)である場合には、入力判定部1141は、その選択された病変分布が属する分布情報、つまり第1分布情報、第2分布情報、又は第3分布情報を拡大率決定部1143に出力する。入力判定部1141は、対象決定部1142に、操作内容情報(病変分布の選択による拡大率変更を表す情報、例えば、病変分布の選択による拡大率変更を表す情報に対応する値として予め設定された値「3」)を出力する。
対象決定部1142は、入力判定部1141から入力された操作内容情報に基づき、サムネイル画像の拡大処理又は表示領域の変更処理を行う対象とする類似症例を決定する。
この実施の形態2では、拡大率変更操作は、第1指示ボタン717、第2指示ボタン718、または第3指示ボタン719の操作である。そこで、操作内容情報が拡大率変更を表す情報の場合には、対象決定部1142は、ディスプレイ101に表示されている全て(図74〜図76の例では20個)の類似症例を拡大処理の対象に決定する。対象決定部1142は、その個数と類似症例ID4100とを拡大率決定部1143に出力する。
操作内容情報が表示領域変更を表す情報の場合には、対象決定部1142は、拡大率変更処理時に決定した拡大対象の類似症例を、そのまま表示領域変更処理の対象として採用する。
操作内容情報が病変分布の選択による拡大率変更を表す情報の場合には、対象決定部1142は、病変分布の選択時に絞り込まれた類似症例ID4100と、その個数とを拡大率決定部1143に出力する。
拡大率決定部1143は、対象決定部1142で決定された拡大対象となる類似症例の拡大率を決定する。入力判定部1141から、操作内容情報として選択された病変分布を表す情報が入力されている場合には、拡大率決定部1143は、選択された病変分布に対応する所定の拡大率を算出する。拡大率決定部1143は、決定した拡大率と、対象決定部1142から入力された拡大対象の類似症例ID4100及びその個数とを画像拡大部1125に出力する。病変分布に対応する所定の拡大率は、上記図21〜図26を参照して説明された通りである。
入力判定部1141から、操作内容情報として拡大率変更を表す情報が入力されている場合には、拡大率決定部1143は、対象決定部1142から入力された拡大対象の類似症例ID4100(図33)に対応する関心領域情報4300を抽出する。拡大率決定部1143は、抽出した関心領域情報4300と、入力判定部1141から入力されたボタンの種別(つまり第1指示ボタン717、第2指示ボタン718、又は第3指示ボタン719)とを用いて、上記図79で説明された手順により、各類似症例の拡大率を算出する。拡大率決定部1143は、算出された拡大率と、拡大対象の類似症例ID4100及びその個数とを画像拡大部1125に出力する。
なお、この実施の形態2においても、上記実施の形態1と同様に、第1分布情報に属する病変分布が選択されたときには、表示領域の変更は行われない。さらに、この実施の形態2では、第1指示ボタン717の操作により拡大率変更が行われた場合には、図74に示されるように、拡大率が1.0でサムネイル画像全体が表示される。このため、第1指示ボタン717の操作により拡大率変更が行われた場合にも、表示領域の変更は行われない。
したがって、この実施の形態2では、第1分布情報に属する病変分布の選択及び第1指示ボタン717の操作により拡大率変更が行われた場合には、入力判定部1141は、判定した操作内容が表示領域変更操作であっても、その操作量を移動量決定部1127に出力しなくてもよい。また、対象決定部1142は、いずれの類似症例も、表示領域変更処理の対象にしないと決定してもよい。
次に、拡大されたサムネイル画像の表示領域の変更処理の流れについて説明する。
図81は、拡大されたサムネイル画像の表示領域の変更処理を示すフローチャートである。図64と同一のステップには、同一の符号が付され、詳細な説明は省略される。
S7100では、対象決定部1142は、表示領域の変更処理を行う移動対象の類似症例を取得する。この実施の形態2では、上記実施の形態1と同様に、対象決定部1142は、S7100において、拡大率変更処理で拡大率を変更した類似症例を移動対象の類似症例として採用する。本ステップにより、類似症例検索部303から受信したNC個の全ての類似症例の表示領域を移動する場合と比較して、情報端末100における処理負荷を軽減することができる。
なお、上述のように、この実施の形態2では、第1分布情報に属する病変分布の選択及び第1指示ボタン717の操作により拡大率変更が行われた場合には、表示領域の変更は行われない。
したがって、第1分布情報に属する病変分布の選択及び第1指示ボタン717の操作により拡大率変更が行われた後の場合には、S7100において、対象決定部1142は、いずれの類似症例も、表示領域変更処理の対象にしないと決定して、処理を終了してもよい。あるいはまた、S7100において、対象決定部1142は、NZを超える値にインデックスiを設定して、S6300でNOとなるようにしてもよい。
なお、拡大画像生成部112による表示領域の変更処理は、上記図80の構成に限られない。次に、表示領域の変更処理の変形例について説明する。
図82は、図80と異なる拡大画像生成部112の詳細な構成を示すブロック図である。拡大画像生成部112は、入力判定部1141、対象決定部1142、拡大率決定部1143、移動量決定部1130、表示領域決定部1131、及び画像拡大部1132を含む。図82では、図65、図80と同じ処理ブロックには同じ符号が付されている。
移動量決定部1130は、拡大率決定部1143から、決定された各サムネイル画像の拡大率を取得する。移動量決定部1130は、入力判定部1121から、操作量を取得する。移動量決定部1130は、各サムネイル画像の拡大率と操作量とから,拡大前のサムネイル画像における移動量を算出する。移動量決定部1130は、算出した移動量と、各サムネイル画像の拡大率とを、表示領域決定部1131に出力する。
表示領域決定部1131は、第1表示領域決定部1126と同様に、拡大対象となる類似症例の拡大後のサムネイル画像における表示領域を決定する。すなわち、表示領域決定部1131は、拡大率決定部1143から拡大対象の類似症例ID4100(図33)を取得する。表示領域決定部1131は、取得した拡大対象の類似症例ID4100(図33)に対応する関心領域情報4300を抽出する。表示領域決定部1131は、拡大率決定部1143から入力された拡大率と、抽出した関心領域情報4300とを用いて、上記図59のS4520,S4530の手順により、拡大後のサムネイル画像における表示領域の座標を算出する。
表示領域決定部1131は、拡大率決定部1143から、各サムネイル画像の拡大率を取得する。表示領域決定部1131は、移動量決定部1130から、拡大前のサムネイル画像における移動量を取得する。表示領域決定部1131は、算出した拡大後のサムネイル画像における表示領域の座標と、取得した拡大率とから,移動前の拡大前のサムネイル画像における表示領域の座標を算出する。
表示領域決定部1131は、算出した移動前の拡大前のサムネイル画像における表示領域の座標に、取得した拡大前のサムネイル画像における移動量を加えて、移動後の拡大前のサムネイル画像における表示領域の座標を算出する。表示領域決定部1131は、算出した移動後の拡大前のサムネイル画像における表示領域の座標を画像拡大部1132に出力する。
画像拡大部1132は、拡大率決定部1143から、各サムネイル画像の拡大率を取得する。画像拡大部1132は、表示領域決定部1131から入力された、移動後の拡大前のサムネイル画像における表示領域の座標と、取得した各サムネイル画像の拡大率とから、その表示領域内のサムネイル画像を拡大する。画像拡大部1132は、生成した拡大されたサムネイル画像を表示制御部104に出力する。
ここで、図65及び図82に示される変形例の意義が説明される。図60を用いて説明されたように、図60の左図に示される元のサムネイル画像から、図60の右図に示される拡大されたサムネイル画像が生成される。例えば、図60の右図に示される拡大されたサムネイル画像全体が保存されている場合には、図63を用いて説明されたように、拡大されたサムネイル画像において、ユーザの操作量に基づき、表示領域を変更(移動)すればよい。
一方、図60の右図に示される拡大されたサムネイル画像のうち、図67Aに示される表示領域の部分だけが保存されている場合があり得る。特に、実施の形態2では、拡大変更処理は、びまん性751〜血行性757(例えば図20)の病変分布の選択または第1〜第3指示ボタン717〜719(例えば図74)の操作によって行われる。すなわち、実施の形態2では、拡大率は、ユーザの操作量に依存せず、予め定められている。
そこで、実施の形態2では、元のサムネイル画像が定められた拡大率で拡大されたサムネイル画像を予め作成し、症例表示領域710に表示される表示領域の部分(図67A)だけを保存しておくことが考えられる。この場合には、拡大されたサムネイル画像において直接、表示領域を移動させる図63のような手法は困難となる。この場合、図65及び図82に示される変形例の構成によって、図67A〜67Cを用いて説明された手順で表示領域を変更(移動)することが有効となる。
以上では、サムネイル画像の拡大率の変更処理を情報端末100において実行する例を示した。実施の形態2における拡大率変更ボタン716を用いた拡大率の変更処理の場合には、拡大率の変更処理を症例検索システム300で実行してもよい。この場合には、症例検索システム300は、拡大率が変更されたサムネイル画像を予め生成しておいてもよい。そして、拡大率変更ボタンが操作された時に、症例検索システム300から情報端末100にサムネイル画像を送信してもよい。
図83は、症例検索システム300が類似症例検索結果を情報端末100に送信した後、情報端末100において拡大率変更ボタン716が選択されてから拡大されたサムネイル画像を情報端末100のディスプレイ101bに表示するまでの処理を示すシーケンス図である。図84は、症例検索システム300において実行される事前処理と、図83に示される処理とを示すフローチャートである。図84では、図83に示される処理と同じ処理については同じ符号が付されている。図83、図84を用いて、処理の詳細を説明する。
まず、症例検索システム300で実行される事前処理が説明される。図84のS3100では、症例検索システム300は、拡大率変更ボタン716の第1指示ボタン717、第2指示ボタン718、第3指示ボタン719の各々に対して各サムネイル画像の拡大率を決定する。なお、拡大率決定の手順は、上述の図79のS2500、S2600、S2700で説明された手順を用いればよい。
S3110では、症例検索システム300は、S3100で決定した拡大率と、類似症例データ4000(図33)のサムネイル画像データ4500とに基づき、第1指示ボタン717、第2指示ボタン718、第3指示ボタン719に対する拡大されたサムネイル画像データをそれぞれ生成する。症例検索システム300は、生成した拡大サムネイル画像データを、図85に示すように、類似症例データ4000(図33)とは別に、拡大サムネイルデータ5000として、類似症例データ蓄積部301に格納する。
図85は、拡大サムネイルデータ5000のデータ構成を示す図である。拡大サムネイルデータ5000は、拡大されたサムネイル画像データを類似症例データ蓄積部301に保存するためのデータである。拡大サムネイルデータ5000は、図85に示されるように、類似症例ID5100に対応付けられて、第1指示ボタン717に対応する拡大サムネイル画像データ5200と、第2指示ボタン718に対応する拡大サムネイル画像データ5300と、第3指示ボタン719に対応する拡大サムネイル画像データ5400とを含む。
次に、図83、図84を用いて、情報端末100において、ユーザにより拡大率変更ボタンが選択された場合の処理について説明する。
S3010では、入力制御部103は、ユーザが拡大率変更ボタン716を選択したときの指示ボタンの種類を検知する。つまり、入力制御部103は、第1指示ボタン717、第2指示ボタン718、第3指示ボタン719のいずれをユーザが選択したかを検知する。
S3020では、表示制御部104は、拡大率変更ボタン716がユーザにより選択された時に症例表示領域710に表示されているND個(この実施の形態ではND=20)の類似症例の類似症例IDを類似症例データ4000(図33)から取得する。また、表示制御部104は、取得した類似症例IDを拡大対象の類似症例として決定する。
S3030では、通信制御部110は、S3010で入力制御部103が検知した拡大率変更ボタン716の種類と、S3020で表示制御部104が取得した拡大対象の類似症例ID(ND個)とを、症例検索システム300に送信する。
S3040では、症例検索システム300の通信制御部304は、S3030で情報端末100から送信された拡大率変更ボタン716の種類と拡大対象の類似症例ID(ND個)とを受信する。
S3050では、症例検索システム300は、受信した類似症例IDと拡大率変更ボタン716の種類とから、拡大サムネイルデータ5000の拡大サムネイル画像データ5200,5300,5400のうち表示に使用する画像データを特定する。症例検索システム300の通信制御部304は、特定した拡大サムネイル画像データを情報端末100に送信する。
S3060では、情報端末100の通信制御部110は、症例検索システム300から送信された拡大サムネイル画像データを受信する。
S3070では、情報端末100の表示制御部104は、S3060で通信制御部110が受信した拡大サムネイル画像データに基づき、類似症例の拡大されたサムネイル画像を情報端末100のディスプレイ101bの症例表示領域710に表示する。
(実施の形態1の補足)
次に、図35、図39のシーケンス図をアプリケーションのレベルで着目したときの情報端末100、医用情報管理システム200、及び症例検索システム300の処理について説明する。
図86は、図35及び図39のシーケンス図をアプリケーションのレベルで着目したときのシーケンス図である。図86において、図35、図39と同じ処理には同じ符号を付している。
図86、図87において、「A」は情報端末100が実行する医用情報管理アプリケーションの処理を示し、「B」は情報端末100が実行する類似症例検索アプリケーションの処理を示す。以下、医用情報管理アプリケーションを「アプリA」と記述し、類似症例検索アプリケーションを「アプリB」と記述する。
まず、アプリAは、ユーザから読影対象となる検査リストの表示要求を受け付け、医用情報管理システム200に送信する(S510)。医用情報管理システム200は検査リストの表示要求を受信すると、画像検査が実施後で読影が未終了の検査をリスト化し、読影対象となる検査リストを生成し、アプリAに送信する。
検査リストを受信したアプリAは、図36に示すように、検査リストをディスプレイ101に表示し、検査リストの中から1の検査がユーザにより選択されると(S530)、選択された検査の表示要求を医用情報管理システム200に送信する(S540)。
検査の表示要求を受信した医用情報管理システム200は、検査の表示要求が指定する検査IDに含まれる全シリーズの全スライス画像をアプリAに送信する(S550)。
次に、アプリAは、図37に示すように、指定された検査IDに含まれる全シリーズに関する情報を一覧表示するシリーズリストを表示する(S560)。
次に、アプリAは、シリーズリストの中から読影対象のシリーズがユーザにより選択されると、選択されたシリーズの最初のスライド位置のスライド画像を医用画像ビューワ610に表示する(S570)。このとき、ユーザは、スライス送りする操作を入力し、医用画像ビューワ610に所望のスライス画像を表示させる。
次に、アプリAは、医用画像ビューワ610に表示されたスライス画像において、関心領域を設定する操作をユーザから受け付ける(S580)。
次に、アプリAは、ユーザにより設定された関心領域を示す関心領域情報を生成し、関心領域が設定されたスライス画像(診断対象症例のスライス画像)と共に、アプリBに送信する(S590、S600)。
次に、アプリBは、診断対象症例のスライス画像及び関心領域情報を受信すると、そのスライス画像及び関心領域情報を症例検索システム300に送信する(S601、S602)。
スライス画像及び関心領域情報を受信すると、症例検索システム300は、図39と同様、S610〜S640の処理を実行する。
次に、アプリBは、S640で送信された類似症例データ及び表示ボックス管理情報4410を用いて初期の基本画面を生成する(S670)。そして、アプリBは、図44に詳細が示されるS670の処理を実行する。
図87は、図54及び図55のシーケンス図をアプリケーションのレベルで着目したときのシーケンス図である。図87において、図54、図55と同じ処理には同じ符号を付している。
図86との相違点は、S603、S604にある。図87では、画像特徴は情報端末100で抽出されている。よって、アプリBが診断対象症例のスライス画像に設定された関心領域から画像特徴を抽出し(S603)、抽出した画像特徴を症例検索システム300に送信している(S604)。