(本開示に係る一態様を開示するに至った経緯)
まず、本開示に係る一態様の着眼点について説明する。
特許文献1は、診断対象画像に基づく画像診断時に疾患の判断に有用な症例画像又はその疾患に関する統計情報等を提示する画像診断支援装置を開示する。当該画像診断支援装置による検索結果の画面は、診断対象画像及び疾患別の代表症例の情報を表示する。具体的には、前記検索結果の画面は、i)上位3つの疾患A、D、Gの代表症例の画像、ii)疾患別に診断対象画像との類似度、登録症例数及び代表症例数、iii)検索件数(検索された疾患の総数)、及び、iv)一画面に表示できない他の疾患の情報を参照するための「ページ送り」のソフトボタン等を表示する(段落[0062]から[0063]及び図6(E))。
しかし、特許文献1では、検索結果の画面において、代表症例の画像を拡大させることについての記載は一切ない。したがって、特許文献1は、単純に代表症例の画像を拡大することさえ開示をしないので、画像表示数に制約がある検索結果の画面において、例えば、代表症例の画像に含まれる病変部位を中心に、前記代表症例の画像の各々を拡大させる等の工夫をも開示していない。
特許文献2は、同一患者の医用画像について比較読影の効率向上を実現する医用画像表示装置を開示する。ここで、比較読影とは、i)同一の患者に対し異なる画像診断装置あるいは撮影条件によって得られた画像データを用いた比較読影又はii)同一の患者に対し、同一画像診断装置によって得られた過去及び最新の画像データを用いた比較読影をいう。即ち、特許文献2の比較読影は、同一の患者の画像データを用いた比較読影である。当該医用画像表示装置の表示画面には、サムネイル表示エリアに表示されるサムネイル画像を拡大又は縮小するための「標準」、「拡大率基準」及び「サイズ基準」の3種類のソフトボタンが表示される(段落[0040]及び図6)。「拡大率基準」又は「サイズ基準」が選択されると、サムネイル画像は、病変範囲又は病変位置を含むように拡大して表示される。これにより、一覧表示されたサムネイル画像による病変確認は、「標準」が選択された場合と比較して容易になる。また、「サイズ基準」が選択された場合、サムネイル画像のサムネイルサイズは、表示一覧性を保持するため、「標準」が選択された場合と同一サイズになる(段落[0041]から[0043]及び図7)。尚、特許文献2では、サムネイル画像は時系列順に表示される(例えば、特許文献2の図6参照)。
しかし、特許文献2では、「拡大率基準」又は「サイズ基準」が選択されると、病変範囲又は病変位置を含む全てのサムネイル画像が拡大されることになる。即ち、サムネイル表示エリアに表示されているサムネイル画像に加え、サムネイル表示エリアに表示し切れないサムネイル画像も拡大される(例えば、特許文献2の図6及び図7参照)。これは、同一患者の画像を時間の経過を追って比較すること(比較読影)を前提としているためである。なぜならば、比較読影は、主に経過観察のため、半年又は1年近くの期間を置いて医用画像が撮影されることが通常だからである。そのため、医用画像数が膨大である可能性が低く、全てのサムネイル画像を拡大したとしても、システムの処理負荷はさほど大きくなることはない。また、サムネイル画像は全て同一患者の画像であるため、読影対象の画像と他の患者の画像とを比較する場合とは異なり、各サムネイル画像が類似しているか否かを検討する作業は不要となる。即ち、特許文献2のサムネイル画像は、同一患者の病変変化を時系列に沿って検討するために用いられる。そのため、拡大表示する際に、他の患者の画像との類似関係に基づき一部のサムネイル画像は拡大し、他のサムネイル画像は拡大しないといった作業はそもそも発生しない。
非特許文献1は、病変画像を用いて過去の類似症例を検索する機能により、上述のPACSなどに蓄積された臨床知識から、瞬時に的確な情報を抽出して提示し、医師の画像診断をサポートする類似症例検索システムを開示する。具体的には、本システムは、検査画像の病変の特徴が類似した症例画像を検索し、類似順に複数表示する。そして、表示された複数の症例画像より1つの参考症例画像を選択し、検査画像と並列に表示する(p.12「2.2 本システムの特徴」及びFig.3)。
しかし、非特許文献1に開示されたシステムは、類似順に複数表示された症例画像を拡大させることについての記載は一切ない。したがって、非特許文献1は、単純に症例画像を拡大することさえ開示をしないので、画像表示数に制約がある検索結果の画面において、例えば、代表症例の画像に含まれる病変部位を中心に、前記代表症例の画像の各々を拡大させる等の工夫をも開示しない。
未だ病名が特定されていない読影対象の医用画像に表れている病変を検討するにあたって、既に病名が特定されている他の医用画像の中で読影対象の医用画像と類似する類似医用画とを参照することは有効であると考えられる。しかし、このようなシステムを構築した場合、医用画像データベースに膨大な数の医用画像が登録されることになる。このような場合であっても、読影対象の医用画像を診断する上で参考となる類似医用画像を効果的に医師に提示することが望まれる。
以上の考察により、本願発明者らは、以下の開示の各態様を想到するに至った。
本開示の一態様は、
医用画像を登録する医用画像データベースを参照して医用画像を検索する症例検索システムに接続し、ディスプレイを有する情報端末の制御方法であって、
前記情報端末のコンピュータに対して、
読影対象の医用画像である対象医用画像と所定の類似度を有するNC(NCは2以上の整数)個の類似医用画像を前記症例検索システムから受信させ、
前記NC個の類似医用画像の各々は前記各類似医用画像の中の病変部を示す病変部情報を含み、
前記NC個の類似医用画像の中のM(Mは1以上NC以下の整数)個の類似医用画像を表示するM個の個別領域を含む第1表示領域と、前記第1表示領域に表示される前記M個の類似医用画像の表示数を変更させる指示機能とを含む表示画面を、前記ディスプレイに表示させ、
前記指示機能による指示を検知した場合、前記各類似医用画像の病変部の表示サイズを同一サイズに維持しつつ前記各個別領域の表示サイズを変化させ、前記第1表示領域に表示される前記M個の類似医用画像の表示数を変更させるものである。
本態様によると、対象医用画像と所定の類似度を有するNC個の類似医用画像が症例検索システムから受信され、NC個中のM個の類似医用画像がディスプレイに表示される。これにより、医用画像データベースに登録されている膨大な医用画像の中から、対象医用画像に表れている病変の病名を検討するために参考となる類似医用画像を効率的に抽出して、医師に提示できる。読影対象の医用画像を診断する上で参考となる類似医用画像を効果的に医師に提示することが可能になる。
また、本態様によると、第1表示領域に表示されるM個の類似医用画像の表示数を変更することもできる。その際、各類似医用画像の病変部の表示サイズを同一サイズに維持しつつ、第1表示領域に含まれる各個別領域の表示サイズを変化させることにより、第1表示領域に表示されるM個の類似医用画像の表示数が変更される。即ち、医師は第1表示領域に表示される類似医用画像の表示数を任意に変更することができる。その結果、症例検索システムの検索結果画面の一覧性が向上でき、診断精度の向上に寄与できる。
また、本態様において、病変部の表示サイズを同一サイズに維持する理由は、症例検索において医師が関心を持つ領域が各類似医用画像の病変部だからである。即ち、医師は、類似医用画像の病変部を中心に、対象医用画像と類似する症例であるか否かを診断する。そのため、各類似医用画像の病変部の表示サイズを同一サイズに維持することは、診断に必要な情報を劣化させずに維持することに相当する。さらに、病変部の表示サイズを同一サイズに維持することは、病変部の表示サイズを拡大することと比較して診断上有益な場合もあり得る。即ち、病変部の表示サイズが同一サイズに維持されるため、各個別領域の表示サイズが変更された後であっても、医師は各類似医用画像の中の病変部の大きさを容易に把握することができる。仮に、病変部の表示サイズを拡大する場合、第1表示領域に表示される類似医用画像を見ただけでは、各類似医用画像の中の病変部の大きさを容易に把握することができない恐れが生じ得る。すると、医師が対象医用画像と各類似医用画像とを比較する際に、病変部の大きさが共通するか否かという判断が容易に行えない場合も生じ得る。そこで、本態様では、病変部の表示サイズを同一サイズに維持している。一方、各個別領域の表示サイズを変更する理由、即ち、病変部以外の領域をトリミングする理由は、トリミングにより削除される領域が病変部と比較して診断に必要な情報としての重要度が低いからである。
従って、本態様によると、検索結果画面の一覧性を向上しつつ、診断に必要な情報を医師に適切に提示することができる。その結果、医師による診断精度の向上に寄与できる。
また、上記態様において、例えば、
前記指示機能により前記表示数を増加させる指示を検知した場合、前記各類似医用画像の病変部の表示サイズを同一サイズに維持しつつ前記各個別領域の表示サイズを小さくさせ、前記第1表示領域に表示される前記M個の類似医用画像の表示数を増加させてもよい。
ここで、各類似医用画像の病変部の表示サイズを同一サイズに維持しつつ、各個別領域の表示サイズを小さくすることは、各類似医用画像について病変部以外の領域がトリミングにより削除されることに相当する。換言すれば、トリミングにより削除された領域の分だけ、各個別領域の表示サイズが小さくなる。すると、各個別領域の表示サイズは小さくなるため、第1表示領域に表示可能なM個の類似医用画像の表示数は多くなる。その結果、各個別領域の表示サイズが原寸サイズでは第1表示領域に表示仕切れなかったNC個の類似医用画像まで第1表示領域に表示することが可能となり得る。
従って、本態様によると、第1表示領域にNC個の類似医用画像を表示可能となり得るため、症例検索システムの検索結果画面の一覧性が向上する。
また、上記態様において、例えば、
前記指示機能はスクロールバーであり、
前記スクロールバーの移動を検知すると、前記各類似医用画像の病変部の表示サイズを同一サイズに維持しつつ前記各個別領域の表示サイズを変化させ、前記第1表示領域に表示される前記M個の類似医用画像の表示数を増加させてもよい。
本態様によると、スクロールバーの移動に応じて、第1表示領域に表示されるM個の類似医用画像の表示数が変更される。これにより、医師は簡易な操作によって、第1表示領域に表示されるM個の類似医用画像の表示数を変更することができる。よって、医師の操作負担が軽減され、その分、医師を専門的な診断に集中させて、診断精度の向上を図ることができる。
また、上記態様において、例えば、
前記スクロールバーにより前記表示数を増加させる指示を検知した場合、
前記スクロールバーの移動距離が長いほど、前記各個別領域の表示サイズを小さくしてもよい。
本態様によると、スクロールバーの移動距離に応じて、第1表示領域に表示されるM個の類似医用画像の表示数が増加する。即ち、第1表示領域に表示されるM個の類似医用画像の表示数について、医師はスクロールバーの移動距離を調整するという簡易な操作によって、制御することができる。よって、医師の操作負担を軽減し、その分、医師を専門的な診断に集中させて、診断精度の向上を図ることができる。
また、上記態様において、例えば、
前記第1表示領域に表示される前記各個別領域の各々の表示サイズは同一であるとしてもよい。
本態様によると、第1表示領域に表示される各個別領域の各々の表示サイズは同一であるため、各個別領域の表示サイズが不均一の場合と比較して一覧性が向上する。
また、上記態様において、例えば、
前記対象医用画像及び前記類似医用画像は、断層撮影法により撮影された医用画像であり、
前記類似医用画像の各々は、前記断層撮影法による撮影条件を示す撮影条件情報を含み、
前記第1表示領域に、前記撮影条件情報を基に、前記撮影条件毎に前記M個の類似医用画像を区分けして表示させてもよい。
ここで、撮影条件情報には、例えば、核磁気共鳴画像法により撮影されたT1強調画像又はT2強調画像のいずれかであることが含まれる。T1強調画像は、脂肪などが白く映し出され、血液などが黒く映し出される。一方、T2強調画像は、脂肪及び血液などが白く映し出され、石灰化などが黒く映し出される。即ち、T1強調画像であるか、T2強調画像であるかによって、白く映し出される対象が異なる。よって、第1表示領域にM個の類似医用画像が表示される際に、T1強調画像又はT2強調画像が混在して表示されると、医師に混乱を生じさせる恐れがある。
従って、本態様によると、撮影条件毎に、M個の類似医用画像が区分けして第1表示領域に表示される。これにより、各類似医用画像の撮影条件を一見で判別することが可能となるため、診断を行う医師に混乱が生じる恐れはない。さらに、撮影条件毎に類似判断が可能となるため、診断精度の向上を図ることができる。
また、上記態様において、例えば、
前記類似医用画像には、同一の撮影対象について前記撮影条件が異なる関連類似医用画像が付加されており、
前記第1表示領域に、前記撮影条件毎に、前記各類似医用画像と前記各類似医用画像の関連類似医用画像とを同一の列方向又は同一の行方向に区分けして表示させてもよい。
ここで、患者に対して核磁気共鳴画像法により画像を撮影する際、一回の撮影にて複数の撮影条件によって撮影することがある。即ち、一回の撮影において複数の医用画像が得られる。得られた複数の医用画像のうち1枚が類似医用画像となる場合、その他の医用画像は関連類似医用画像となる。かかる関連類似医用画像は、類似医用画像からだけでは得られない情報が得られるため、対象医用画像に類似する症例を検討するに際して有益な情報である。
本態様によると、第1表示領域に表示される各類似医用画像が、対象医用画像に類似するか否かを判断するに際し、関連類似医用画像と併せて検討することが可能となるため、診断精度の向上を図ることができる。
また、上記態様において、例えば、
前記症例検索システムから受信した前記NC個の類似医用画像を前記第1表示領域に表示させる際、
受信した前記NC個の類似医用画像に含まれる撮像条件数に応じて、前記各類似医用画像の病変部の表示サイズを同一サイズに維持しつつ、前記各個別領域の表示サイズを変化させ、
かつ、前記撮影条件に基づき、前記各類似医用画像と前記各類似医用画像の関連類似医用画像とを同一の列方向又は同一の行方向に区分けして表示させてもよい。
本態様によると、症例検索システムから受信したNC個の類似医用画像に含まれる撮影条件数に応じて、自動的に、各類似医用画像の病変部の表示サイズを同一サイズに維持しつつ、各個別領域の表示サイズを変化させ、かつ、類似医用画像と関連類似医用画像とが同一の列方向又は同一の行方向に区分けして表示される。即ち、初期検索結果の画面において、医師は何ら操作することなく、上記のような表示画面が表示されることとなる。よって、医師の操作負担を軽減し、その分、医師を専門的な診断判断に集中させて、診断精度の向上を図ることができる。
また、上記態様において、例えば、
前記制御方法は、
前記情報端末のコンピュータに対して、
前記対象医用画像の中の関心領域を示す指定情報を検知させ、
前記関心領域の特徴量を示す情報を前記症例検索システムに送信させ、
前記関心領域の特徴量と前記所定の類似度を有する類似医用画像を前記症例検索システムから受信させるとしてもよい。
また、上記態様において、例えば、
前記制御方法は、
前記情報端末のコンピュータに対して、
前記対象医用画像の中の関心領域を示す指定情報を検知させ、
前記対象医用画像及び前記指定情報を前記症例検索システムに送信させ、
前記対象医用画像及び前記指定情報から得られる前記関心領域の特徴量と前記所定の類似医用画像を前記症例検索システムから受信させてもよい。
本開示の一態様は、情報端末に第2の複数のサムネイル画像と第3の複数のサムネイル画像を含む第1の複数のサムネイル画像を受信させ、第1の複数のサムネイル画像の各々は病変領域を含み、複数の類似画像はそれぞれ読影対象の医用画像と所定の類似度を有し、前記複数の類似画像と前記第1の複数のサムネイル画像は各々対応し、前記第1の複数のサムネイル画像の各々は、前記複数の類似画像のうち対応する類似画像に基づいて生成され、ディスプレイに第1の複数の画像を所定領域に表示させ、前記第1の複数の画像と前記第2の複数のサムネイル画像は各々対応し、前記第1の複数の画像の各々は、前記第2の複数のサムネイル画像に含まれる対応するサムネイル画像に基づいて生成され、前記所定領域に表示させる画像の数を前記第1の複数の画像の数より増加させる指示を受付け、前記指示を受け付けた後、前記ディスプレイに第2の複数の画像と第3の複数の画像を前記所定領域に表示させ、前記第2の複数の画像と前記第2の複数のサムネイル画像は各々対応し、前記第3の複数の画像と前記第3の複数のサムネイル画像は各々対応し、前記第2の複数の画像の各々は前記第2の複数のサムネイル画像に含まれる対応するサムネイル画像に基づいて生成され、前記第3の複数の画像の各々は前記第3の複数のサムネイル画像に含まれる対応するサムネイル画像に基づいて生成され、前記第1の複数の画像に含まれる第1画像と、前記第2の複数の画像に含まれる第2画像が前記第2の複数のサムネイル画像のうち同一のサムネイル画像に基づいて作成された時、前記第1画像の大きさは前記第2画像の大きさより大きく、前記第1画像に含まれる病変領域の大きさと前記第2画像に含まれる病変領域の大きさは同じである制御方法である。
また、前記第1の複数の画像が前記所定領域に表示される場合、前記所定領域は前記第1の複数の画像の数と同じ数の領域に分割され、前記第2の複数の画像と前記第3の複数の画像が前記所定領域に表示される場合、前記所定領域は第2の複数の画像の数と第3の複数の画像の数の合計数と同じ数の領域に分割されてもよい。
(実施の形態1)
以下、本開示の一実施の形態について、図面を参照しながら説明する。なお、各図面において、同じ構成要素については同じ符号が用いられている。
図1は、本実施の形態における情報端末が適用された病院情報システムの全体構成図である。図1に示すように、病院情報システムは、情報端末100、医用情報管理システム200、及び症例検索システム300を備えている。
情報端末100、医用情報管理システム200、及び症例検索システム300はネットワーク400を介して相互に通信可能に接続されている。
なお、医用情報管理システム200及び症例検索システム300は必ずしも病院の中に配置される必要はなく、病院外のデータセンター、プライベートクラウドサーバ、パブリッククラウドサーバ等の上で動作するソフトウェアであってもよい。医用情報管理システム200及び症例検索システム300が病院内に設置されている場合、ネットワーク400としては、ローカルエリアネットワークが採用できる。ローカルエリアネットワークとしては、IEEE802.3シリーズの有線LAN、IEEE802.11シリーズの無線LAN、或いは両者が混在するネットワークが採用できる。医用情報管理システム200及び症例検索システム300が病院外のサーバを用いて実現される場合、ネットワーク400としては、インターネットが採用できる。
情報端末100としては、パーソナルコンピュータやタブレット端末等の情報端末が採用される。医用情報管理システム200としては、PACS(Picture Archiving and Communication Systems)や電子カルテシステム等が採用される。
図2は、情報端末100、医用情報管理システム200、および症例検索システム300の構成を示すブロック図である。図2に示すように、情報端末100は、ディスプレイ101、操作部102、入力制御部103、表示制御部104、ROI管理部105、表示ボックス管理部106、病名リスト管理部108、分布リスト管理部109、通信制御部110、及びトリミング画像生成部112を備える。
ディスプレイ101は、例えば、液晶モニタにより構成され、診断対象となる医用画像及びカルテ画像を表示すると共に、診断結果を記入するためのレポート入力画像等を表示する。なお、ディスプレイ101は最低1台必要だが、通常、画像診断においては2〜3台のディスプレイ101が用いられる。本実施の形態では2台のディスプレイ101が用いられ、一方のディスプレイ101をディスプレイ101a(第2ディスプレイの一例)とし、他方のディスプレイ101をディスプレイ101b(第1ディスプレイの一例)とする(図3参照)。
また、ディスプレイ101aの表示画面は第2表示画面の一例であり、ディスプレイ101bの表示画面は第1表示画面の一例である。図3は、2台のディスプレイ101a、101bの外観図である。図3では、ディスプレイ101aには、4つの医用画像ビューワが2行2列の配置で表示されており、ディスプレイ101bには症例検索システム300の画面が表示されている。なお、ディスプレイ101を1台とした場合、第1表示画面及び第2表示画面は1台のディスプレイ101の表示画面上に領域を分けて表示される。
操作部102は、例えば、キーボード及びマウスを含み、情報端末100に対してユーザにより入力される種々の操作を受け付ける。例えば、操作部102は、ディスプレイ101に表示される医用画像及びカルテ画像に対するユーザからの操作、並びにレポート入力画面に対して診断結果を入力する操作等を受け付ける。
入力制御部103は、操作部102へのユーザの操作を検知すると、その操作の内容を解釈し、他の構成要素に操作内容を通知する。例えば、入力制御部103は、操作部102としてのマウスから出力される座標データからディスプレイ101上におけるマウスポインタの位置を検知し、ディスプレイ101上にマウスポインタを表示させる。そして、入力制御部103は、マウスがクリックされたことを検知したときにマウスポインタの表示位置に表示制御部104で生成されたGUI部品(例えば、GUIボタン)が表示されていれば、そのGUIをユーザが選択したと判定し、他の構成要素にそのGUI部品がユーザにより選択されたことを通知する。
表示制御部104は、情報端末100のGUI(Graphical User Interface)を生成し、ディスプレイ101に表示させる。表示制御部104は、ディスプレイ101に表示させる情報を生成してもよい。表示制御部104は、生成した情報をディスプレイ101に表示させてもよい。
ROI管理部105は、類似症例検索を行う際に、後述する検索クエリ画像に対して設定される関心領域(Region Of Interest)を示す指定情報を生成してメモリに格納し、指定情報を管理する。
表示ボックス管理部106は、後述する表示ボックス管理情報4410(図35)をメモリに格納し、表示ボックス管理情報4410を管理する。
病名リスト管理部108は、症例表示領域710(図6)に表示された類似症例の病名リスト(図29)を生成してメモリに格納し、病名リストを管理する。
分布リスト管理部109は、症例表示領域710に表示された類似症例の病変分布を示す分布リスト(図34)を生成してメモリに格納し、分布リストを管理する。
通信制御部110は、例えば、情報端末100をネットワーク400に接続するための通信装置を含み、情報端末100及び医用情報管理システム200間の通信や、情報端末100及び症例検索システム300間の通信を制御する。また、通信制御部110は、他のブロックから種々のデータの送信依頼を受け付けて、医用情報管理システム200又は症例検索システム300に送信すると共に、医用情報管理システム200又は症例検索システム300から送信されたデータを受信し、該当するブロックに渡す。
トリミング画像生成部112は、類似医用画像をトリミングし、トリミング画像を生成する。トリミング画像生成部112は、類似症例検索部303からは類似症例データ4000(図20)を受信し、類似症例検索により取得した類似医用画像のうち、症例表示領域710(図6)に表示される類似医用画像に対して、関心領域(ROI)以外の領域をトリミングし、症例表示領域710に表示させる。ここで、症例表示領域710に表示される類似医用画像の個数は、操作部102がユーザの操作に従って取得したサムネイル表示変更情報(後述する)が示す値に応じて予め定められた値が採用できる。
図2に示すように、医用情報管理システム200は、患者情報蓄積部201、患者情報管理部202、医用画像データ蓄積部203、医用画像データ管理部204、診断レポート管理部205、及び通信制御部206を備える。
患者情報蓄積部201は、患者の性別及び年齢等の個人情報、既往歴等の臨床情報、並びに血液検査等の検査情報が登録された患者情報1000(図16)を蓄積する。
患者情報管理部202は、患者情報蓄積部201に蓄積された患者情報1000(図16)に対して、ユーザから入力されたデータを登録して患者情報1000を更新する処理、及び患者情報1000を表示制御部104に出力する処理等を実行し、患者情報1000を管理する。医用画像データ蓄積部203は、患者の検査画像である医用画像データを蓄積する。
医用画像データ管理部204は、医用画像データを医用画像データ蓄積部203に蓄積し、医用画像データを管理する。
診断レポート管理部205は、患者に対して行われた各検査に対する医師による診断結果を示す診断レポート3000(図19)を管理する。
通信制御部206は、例えば、医用情報管理システム200をネットワーク400に接続するための通信装置を含み、他のブロックから種々のデータの送信依頼を受け付けて、情報端末100又は症例検索システム300に送信すると共に、情報端末100又は症例検索システム300から送信されたデータを受信し、該当するブロックに渡す。
図2に示すように、症例検索システム300は、類似症例データ蓄積部301、画像特徴抽出部302、類似症例検索部303、及び通信制御部304を備える。
類似症例データ蓄積部301は、予め、医用情報管理システム200に管理されている類似症例のうち、類似症例検索の対象データとして選定された多数の類似症例から抽出された画像特徴や、生成されたサムネイル画像等が登録された類似症例データ4000(図20)を蓄積する。
画像特徴抽出部302は、情報端末100の通信制御部110から送信された検索クエリ画像の関心領域の画像特徴を抽出する。なお、関心領域情報は、関心領域を示す指定情報の一例である。
類似症例検索部303は、画像特徴抽出部302で抽出された画像特徴と、類似症例データ蓄積部301に蓄積された1以上の類似症例の画像特徴とをそれぞれ比較することで類似症例検索結果を生成する。
通信制御部304は、例えば、症例検索システム300をネットワーク400に接続させる通信装置で構成され、他のブロックから種々のデータの送信依頼を受け付けて、情報端末100又は医用情報管理システム200に送信すると共に、情報端末100又は医用情報管理システム200から送信されたデータを受信し、該当するブロックに渡す。
図4は、情報端末100の実装形態の構成例を示す図である。図4に示すように、情報端末100は、アプリケーション501、OS(Operating System)502、メモリ503、及び図示しないその他のハードウェアを備えている。
アプリケーション501は、パーソナルコンピュータやタブレット端末を情報端末100として機能させるためのアプリケーションソフトウェアであり、情報端末100のプロセッサにより実行される。情報端末100は、コンピュータ読み取り可能な記録媒体からアプリケーション501を読み出してアプリケーション501を実装してもよいし、ネットワークからアプリケーション501をダウンロードすることでアプリケーション501を実装してもよい。
ここで、アプリケーション501は、医用情報管理アプリケーション及び類似症例検索アプリケーションを含む。医用情報管理アプリケーションは、情報端末100を医用情報管理システム200と連携させるためのアプリケーションであり、類似症例検索アプリケーションは、情報端末100を症例検索システム300と連携させるためのアプリケーションである。そして、両アプリケーションは、相互にデータを送受し、情報端末100において、医用情報管理システム200及び症例検索システム300が提供するサービスを統合させる。
OS502は、情報端末100の基本ソフトウェアであり、情報端末100のプロセッサにより実行される。メモリ503は、情報端末100が備えるRAM、ROM等の記憶装置により構成され、アプリケーション501に含まれるデータ群を記憶する。
情報端末100のプロセッサがアプリケーション501を実行することで、図2に示す入力制御部103、表示制御部104、ROI管理部105、表示ボックス管理部106、病名リスト管理部108、分布リスト管理部109、通信制御部110、及びトリミング画像生成部112の機能が実現される。
但し、本実施の形態では、情報端末100は、アプリケーション501単独で実装されてもよいし、アプリケーション501及びOS502で実装されてもよいし、アプリケーション501、OS502、及びメモリ503で実装されてもよいし、アプリケーション501、OS502、メモリ503、及びその他の図示しないハードウェアで実装されてもよい。いずれの実装形態においても本実施の形態の情報端末100を実現することは可能である。
図5は、情報端末100にて類似症例検索アプリケーションを起動した直後にディスプレイ101aに表示される基本画面K1の一例を示す図である。図5に示す基本画面K1は、4つの医用画像ビューワ610〜640で構成されている。医用画像は、通常、DICOM(Digital Imaging and Communication in Medicine)フォーマットで記録されており、医用画像ビューワ610〜640はDICOMを扱えるビューワである。本実施の形態で扱う医用画像は、DICOMフォーマットの多数の断層画像(以下、スライス画像と呼ぶ。)で構成される胸部CT画像とする。但し、これは一例に過ぎず、他の部位(例えば、頭部、腹部、脚、或いは腕)のCT画像が採用されてもよい。
医用画像ビューワ610〜640に表示された胸部CT画像は、マウスやキーボードの操作により、スライス画像が切り替えられる。ここで、胸部CT画像を構成するスライス画像は、例えば、首側から腹側に向かう順番に配置されている。
例えば、医用画像ビューワ610上にマウスポインタが位置決めされ、マウスホイールの回転が入力制御部103で検知されると、表示制御部104は、検知された回転量に応じて医用画像ビューワ610に表示されているスライス画像を切り替えて表示させる。ここで、表示制御部104は、例えば、医用画像ビューワ610において、マウスホイールがマウスの後方側に1クリック分回転されると、表示中のスライス画像を次のスライス位置のスライス画像に切り替えて表示させる。一方、表示制御部104は、例えば、医用画像ビューワ610において、マウスホイールがマウスの前方側に1クリック分回転されると、表示中のスライス画像をスライス位置が1つ前のスライス画像に切り替えて表示させる。よって、医師等のユーザはマウスホイールを前方側又は後方側に回転させながら、医用画像ビューワ610に表示されるスライス画像を適宜切り替え、所望のスライス画像を探索する。
なお、医用画像としては、胸部CT画像に代えて、MRI(Magnetic Resonance Imaging)画像や単純X線画像が採用されてもよい。また、図5の例では、医用画像ビューワの個数は4個とされているが、これは一例にすぎず、6個や8個等別の個数が採用されてもよい。医用画像ビューワの個数が多くなると同時に比較できる画像が増えるが、1画像当たりの表示面積が狭くなる。そのため、この個数はディスプレイ101aの表示サイズに応じて適宜変更可能な構成を採用すればよい。ここでは、医用画像ビューワの個数は、ユーザ又は管理者が自由に変更できるものとする。
類似症例検索アプリケーションが起動される前には、ディスプレイ101aの全域には、ある患者の胸部CT画像のスライス画像が表示されている。そして、この状態で、読影者等のユーザにより類似症例検索アプリケーションが起動されると医用画像ビューワ610には、ディスプレイ101aの全域に表示されていたスライス画像が表示される。
つまり、医用画像ビューワ610には、ユーザが類似症例検索アプリケーションを起動させたときに、ディスプレイ101aの全域に表示されていた検索クエリ画像が初期表示される。なお、表示制御部104は、検索クエリ画像上に類似症例検索を行う対象の関心領域(ROI:Region Of Interest)を重畳表示させてもよい。検索クエリ画像は読影対象の対象医用画像の一例である。
図5では、他の医用画像ビューワ620〜640には何の画像も表示されていないが、読影対象となる患者の検査画像が複数あり、類似症例検索アプリケーションが起動される前に、ディスプレイ101aに複数の検査画像が表示されていた場合、表示制御部104は、医用画像ビューワ620〜640にこれら複数の検査画像をそのまま表示させればよい。
図6は、情報端末100にて類似症例検索アプリケーションを起動した直後にディスプレイ101bに表示される基本画面K2の一例を示す図である。図6に示す基本画面K2は、症例表示領域710、レイアウト領域720、病名リスト表示領域730、及び分布リスト表示領域750を備える。なお、症例表示領域710は第1表示領域の一例である。
症例表示領域710は、検索クエリ画像に類似した類似症例のサムネイル画像を類似度順に表示する領域である。ここで、類似症例のサムネイル画像は、類似医用画像の一例である。
症例表示領域710には多数の類似症例が表示されるため、解像度や画素値の変換をその場で行うと処理に時間がかかってしまう。よって、サムネイル画像は、オリジナルのスライス画像から予め作成され、症例検索システム300に保存されている。
以下、解像度や画素値の変換について少し補足する。オリジナルのスライス画像の解像度は512×512画素であるが、サムネイル画像はより低解像であるため、解像度変換を行う必要がある。そこで、サムネイル画像は、元となるスライス画像に対して低解像度処理及び階調変換処理が行われて生成される。
階調変換処理は例えば、下記のように行われる。CTで取得したスライス画像は各画素値(CT値)が−1000〜+1000(単位HU:Hounsfield Unit)の2000階調の値をとり、そのままでは通常の8ビット階調のディスプレイに表示できない。また、表示できたとしても、2000階調の中で、肺気腫領域(CT値:−1000HU)、肺野の正常組織(CT値:約−900HU)、すりガラス領域(CT値:−800HU)、軟部組織(CT値:−100〜−50HU)、水(CT値:0HU)、及び骨(CT値:1000HU)を人間が肉眼で区別することは難しい。
よって、通常、スライス画像は、各画素値に対してウィンドウレベル及びウィンドウ幅が設定され、8ビットの画素値に再構成されて、ディスプレイに表示される。ここで、ウインドウレベルは、ウィンドウの中心となるCT値を示し、ウィンドウ幅は、ウィンドウ中心の上下の幅を示す。
例えば、肺野条件でDICOM画像が再構成される場合、ウィンドウレベルが−550〜−800に設定され、ウィンドウ幅が1000〜1600に設定される。したがって、サムネイル画像も、元となるスライス画像から上記の処理によって画素値が8ビットに落とされることで生成される。
なお、症例表示領域710に表示されるサムネイル画像は、診断対象症例の特徴ベクトルに対する距離が所定の閾値以下の類似症例を示すサムネイル画像である。ここでは距離としては、例えば、ユークリッド距離が用いられる。なお、距離としては、市街地距離等の別の距離尺度が採用されてもよい。比較対象となる2つの画像は、距離が近いほど類似している。また、特徴ベクトルは、サムネイル画像から得られたものではなく、元画像であるスライス画像から得られたものが採用される。
図7は、症例表示領域710に表示されるある1つの類似症例の表示領域を取り出して示した図である。類似症例の表示領域には、サムネイル画像が表示されており、このサムネイル画像の下部には、確定診断病名表示領域711及び距離表示領域712が配置されている。確定診断病名表示領域711には、対象となる類似症例の確定診断病名が表示される。確定診断病名とは、対象となる類似症例に対して診断が確定された病名を指す。距離表示領域712には、対象となる類似症例のスライス画像の特徴ベクトルと、検索クエリ画像の特徴ベクトルとの距離が表示される。図7の例では、確定診断病名表示領域711には、「非結核性抗酸菌症」と表示されているため、このサムネイル画像は「非結核性抗酸菌症」と確定診断がされた類似症例のサムネイル画像を示す。また、距離表示領域712には、「0.05」と表示されているため、この類似症例のスライス画像と探索クエリ画像との距離が「0.05」であることが示されている。
(症例表示領域710:拡大操作時の画面)
症例表示領域710では、ユーザが指定したサムネイル画像の表示枚数に応じて検索クエリに類似する類似医用画像をトリミングして表示する。図42は類似症例検索直後の基本画面K2の一例を示す図である。図42の例では、症例表示領域710において、表示対象となる類似症例のサムネイル画像が2行×3列で表示されている。但し、3行目のサムネイル画像は、下側のほぼ半分の領域が非表示にされている。基本画面K2において、症例表示領域710の右上には、スクロールバー1700が配置されている。スクロールバー1700は、症例表示領域710に表示させるサムネイル画像の表示数を変更するためのGUI部品である。ここでは、スクロールバー1700は、横方向に長尺であるが、これは一例であり、縦方向に長尺であってもよい。
ユーザは症例表示領域710上で、スクロールバー1700を左右にスライドさせることでサムネイル画像の表示数の変更を指示することができる。
図42において、スクロールバー1700は、スクロールバー1700のスライド可能領域において左端に位置している。そのため、図42では、表示対象となる類似症例のサムネイル画像がデフォルトのサイズで表示されている。
症例表示領域710の右側には縦方向に長尺のスクロールバー715が配置されており、医師はこのスクロールバー715を上下にスライドさせることで、非表示の類似症例のサムネイル画像を表示させることができる。しかしながら、これでは、注目する複数のサムネイル画像が症例表示領域710において離れて配置されていると、医師はスクロールバー715をスライドさせる操作を繰り返し入力して、注目する複数のサムネイル画像と検索クエリ画像との比較を行わなければならず、負担が増大する。
そこで、本実施の形態では、サムネイル画像の表示枚数が変更可能なスクロールバー1700を設けた。これにより、医師は、スクロールバー1700をスライドさせることにより、症例表示領域710に一度に表示できるサムネイル画像の表示数を調整できる。したがって、注目する複数のサムネイル画像が症例表示領域710において離れて配置されていても、注目する複数のサムネイル画像を症例表示領域710に同時に表示させることができ、医師は注目する複数のサムネイル画像と検索クエリ画像との比較をスムーズに行うことができる。
ユーザにより表示枚数の変更指示が入力制御部103により検知されると、図43に示すように、トリミング画像生成部112は、検索クエリ画像に類似した類似症例のサムネイル画像のうち、表示対象となる類似症例のサムネイル画像に対して、ROIの大きさを維持した状態で、ROI以外の画像領域をトリミングする。これにより、個々のサムネイル画像のサイズが小さくなるので、大きさが一定である症例表示領域710に表示させることができるサムネイル画像の個数を増大させることができる。そして、表示制御部104は、トリミングされた類似症例のサムネイル画像を類似度が高い順て症例表示領域710に一覧表示させる。なお、サムネイル画像に対するトリミング処理の詳細は後述する。
図43では、図42において、スライド可能領域の左端に表示されていたスクロールバー1700が右方向にずらされている。これにより、図43の例では、図42において、症例表示領域710内に3行×3列で9個しか表示されていなかったサムネイル画像が、トリミングによりサイズが小さくされ、3行×4列で12個表示されており、3個分、増大されていることが分かる。
具体的には、図42において2行1列目に表示されていたサムネイル画像が、図43では1行4列目に表示され、図42において2行2列目に表示されていたサムネイル画像が、図43では2行1列目に表示されるというように、各サムネイル画像は1つずつ詰めて表示される。
これにより、診断時に必要なROI内の画像サイズを保った状態で、サムネイル画像のサイズを小さくすることができるため、医師は一つの指示にて検索クエリ画像と検索結果の画像群との類似性を比較することができ、操作時間を大幅に軽減できる。
なお、図43の例では、症例表示領域710において、1行目には左から右に向けて類似度が1番目から4番目までの4つの類似症例のサムネイル画像が類似度の高い順で表示され、2行目には左から右に向けて類似度が5番目から8番目までの4つの類似症例のサムネイル画像が類似度の高い順で表示されるというように、類似症例のサムネイル画像は、左上から右下にかけて類似度が高い順で蛇行するように表示されている。これにより、ユーザは、症例表示領域710に表示された個々のサムネイル画像が検索クエリ画像に対して何番目に類似した類似症例を表しているのかを速やかに認識できる。
図44では、スクロールバー1700が更に右側にスライドされ、スクロールバー1700がスライド範囲の右端までスライドされている。これにより、図44の例では、図43において、症例表示領域710内に3行×4列で12個しか表示されていなかったサムネイル画像が、トリミングによりサイズが小さくされ、3行×5列で15個表示されており、図43に比べて3個分増大されていることが分かる。
図6に戻り、基本画面K2の例えば左上には、検索結果件数表示領域713が配置されている。検索結果件数表示領域713には、検索処理の結果、症例検索システム300から取得された、診断対象症例に類似する類似症例の数が表示される。
なお、類似症例の数が膨大である場合、症例表示領域710は全ての類似症例を一度に表示することができない。そこで、症例表示領域710の例えば右側には、上下方向に長尺のスクロールバー715が設けられている。表示制御部104は、スクロールバー715の移動量に応じて、症例表示領域710内に表示されているサムネイル画像を上下方向にスクロール表示させる。これにより、ユーザは、非表示状態にあった類似症例を症例表示領域710に表示させ、その類似症例を観察できる。
なお、スクロールバー715は左右方向に長尺であってもよい。この場合、表示制御部104は、スクロールバー715の移動量に応じて、症例表示領域710内に表示されているサムネイル画像を左右方向にスクロール表示させればよい。或いは、症例表示領域710にマウスポインタが位置決めされた状態で、キーボードの方向キーが押されると、表示制御部104は、キーが押されている間、押されているキーの方向に症例表示領域710内に表示されているサムネイル画像をスクロール表示させてもよい。
なお、情報端末100は、探索クエリ画像との距離が所定の閾値以下のサムネイル画像を症例検索システム300から取得するとしたが、これは一例に過ぎない。例えば、情報端末100は、類似度が高い順に、常に一定数のサムネイル画像を症例検索システム300から取得してもよい。或いは、情報端末100は、常にある確定診断病名のサムネイル画像が一定数含まれるようにサムネイル画像を症例検索システム300から取得してもよい。
なお、症例表示領域710におけるサムネイル画像の表示手法としては、例えば、最上段の行の左端に検索クエリ画像との距離が最短のサムネイル画像を表示し、右側に向かうにつれて距離が順次に大きくなるようにサムネイル画像を表示し、同一行の右端に達すると上から2行目の左端に次に距離が大きいサムネイル画像を表示するという表示手法が採用できる。つまり、症例表示領域710において、左上から右下に向けて蛇行するように距離が小さい順にサムネイル画像を表示するという表示手法が採用できる。
もちろん、本実施の形態は別の表示手法が採用されてもよい。例えば、左から1列目の上端に距離が最短のサムネイル画像を表示し、下側に向かうにつれて距離が順次に大きくなるようにサムネイル画像を表示し、同一列の下端に達すると、左から2列目の上端に次に距離が大きいサムネイル画像を表示するという表示手法が採用されてもよい。また、これら複数の表示手法をユーザが切り替え可能な構成が採用されてもよい。
また、上記の例では、類似度として距離が採用されたが、コサイン類似度のような画像同士の類似性を示す指標であればどのような指標が採用されてもよい。コサイン類似度が採用された場合、値が1に近づくにつれて比較対象となる2つの画像の類似性が高くなる。
なお、詳細は後述するが、症例表示領域710に表示する類似症例は、病名リスト表示領域730に表示された病名や、分布リスト表示領域750に表示された病変分布で絞り込むことができる。現在設定されている類似症例の絞込条件は、表示条件表示領域714に表示される。図6の例では、類似症例検索直後の状態であり、何も絞り込みがなされていないため、表示条件表示領域714には「全疾患」と表示されている。
レイアウト領域720は、例えば、図6に示す基本画面K2の左下に配置されている。そして、レイアウト領域720は、症例表示領域710に表示された類似症例サムネイル画像のうちユーザが詳細に観察したい画像を、ディスプレイ101aの医用画像ビューワに表示させるために用いられる。図5に示す通り、ディスプレイ101aには4つの医用画像ビューワ610〜640が2行2列で表示されている。また、レイアウト領域720には、2行2列で4つの表示ボックス721〜724が存在する。このように、ディスプレイ101aに表示される医用画像ビューワ610〜640の数及び配置と、レイアウト領域720における表示ボックス721〜724の数及び配置とは揃えられている。図5の通り、医用画像ビューワ610に、検索クエリ画像が表示されているのに合わせ、表示ボックス721には、検索クエリ画像のサムネイル画像が初期表示される。
他の表示ボックス722〜724には、医用画像ビューワ620〜640と連動させて類似症例のサムネイル画像が表示される。つまり、入力制御部103が表示ボックス722〜724のいずれか1の表示ボックスに症例表示領域710に表示された1のサムネイル画像のドラッグアンドドロップを検知すると、表示制御部104はその表示ボックスに1のサムネイル画像を表示させると共に、その表示ボックスに対応する医用画像ビューワにそのサムネイル画像に対応するスライス画像を表示させる。このように、医用画像ビューワ610〜640は、表示ボックス721〜724と1対1で対応付けられている。
図6の例では、表示ボックス722〜724は空白であるため、図5に示す医用画像ビューワ620〜640も空白になっている。
ユーザは、マウスをドラッグアンドドロップすることで、詳細に観察したいサムネイル画像を、症例表示領域710からレイアウト領域720に移動させる。例えば、ユーザが表示ボックス722にサムネイル画像を移動させたとすると、表示ボックス722に対応する医用画像ビューワ620には、このサムネイル画像に対応するスライス画像が表示される。同様に、ユーザが表示ボックス723にサムネイル画像を移動させたとすると、表示ボックス723に対応する医用画像ビューワ630には、このサムネイル画像に対応するスライス画像が表示される。すなわち、表示ボックス721〜724のうち任意の表示ボックスにサムネイル画像を移動させると、検索クエリ画像のサムネイル画像に隣接して類似症例のサムネイル画像が表示される。そのため、ユーザはサムネイル画像のレベルで診断対象症例と類似症例との対比ができ、両症例の類似性を速やかに判断できる。つまり、サムネイル画像は、スライス画像に比べて情報量が少ないため、ユーザは、レイアウト領域720において隣接配置された診断対象症例と類似症例とがどの程度類しているかのおよその検討をつけることができる。そのため、ユーザは、症例表示領域710に表示された多数の類似症例の中から、診断対象症例との比較をスライス画像のレベルで詳細に行う必要がある類似症例の最終候補の絞り込みを効率良く行うことができる。
同様に、ディスプレイ101aにも、レイアウト領域720と同じ配置関係で検索クエリ画像及び類似症例のスライス画像が表示される。そのため、レイアウト領域720において最終候補となる類似症例を絞り込む作業が終了すると、何らの操作を入力しなくても、ディスプレイ101aには、診断対象症例と最終候補として絞り込んだ類似症例とがスライス画像のレベルで表示されている。そのため、ユーザは診断対象症例と最終候補の類似症例とを詳細に読影するという次の作業ステップに円滑に移行できる。
図6に示す基本画面K2の左側の上段には、「病名リスト」との見出しが付けられた病名リスト表示領域730が配置されている。病名リスト表示領域730には、類似症例の検索結果として取得された全ての類似症例の確定診断病名が表示される。診断対象症例は、診断が終了して確定診断病名が付与された後、類似症例として、症例検索システム300に蓄積される。したがって、各類似症例には、それぞれ、診断によって付与された確定診断病名が予め付与されている。
図8は、病名リスト表示領域730の拡大図である。図8では、確定診断病名は、大分類の病名(731、734、737、741、744)と詳細分類の病名(732、733、735、736、738、739、740、742、743、745)とに分けて表示されている。図8の例では、大分類の病名として、真菌症731(mycosis)、腫瘍性734(neoplastic)、非腫瘍性737(nonneoplastic)、ミコバクテリア症741(mycobacteriosis)、及びその他744が表示されている。
また、図8の例では、真菌症731の詳細分類の病名として、アスペルギルス症732(aspergillosis)、クリプトコッカス症733(cryptococcosis)が表示されている。また、腫瘍性734の詳細分類の病名として、原発性肺癌735(lung cancer)、転移性肺癌736(metastatic lung
cancer)が表示されている。また、非腫瘍性737の詳細分類の病名として、肺膿瘍738(lung abscess)、サルコイドーシス739(sarcoidosis)、敗血性塞栓740(septic emboli)が表示されている。また、ミコバクテリア症741の詳細分類の病名として、非結核性抗酸菌症742(NTM:nontuberculous mycobacteria)、肺結核743(tuberculosis)が表示されている。また、その他744の詳細分類の病名として気管支拡張症745(bronchiectasis)が表示されている。
また、大分類の病名及び詳細分類の病名の横には、その病名の症例数が表示されている。ユーザは、この病名リスト表示領域730における大分類の病名または詳細分類の病名の任意の行を選択することで、症例表示領域710に表示される類似症例を絞り込むことができる。図6に示すように類似症例の検索直後の状態では、多様な疾患を含む62個の類似症例が表示対象になっているが、図8の真菌症731の行がマウスでクリックされた場合、表示制御部104は、図9に示すように真菌症の類似症例を症例表示領域710に表示させる。また、図8の転移性肺癌736の行がマウスでクリックされた場合は、表示制御部104は、図10に示すように、転移性肺癌の類似症例を症例表示領域710に表示する。
この時、表示制御部104は、現在、症例表示領域710に表示されている類似症例がどのような絞り込み条件であるが分かるように、表示条件表示領域714に、絞り込んだ病名を表示させる。図9は、「真菌症」で類似症例が絞り込まれたときの基本画面K2を示す図である。図10は、「転移性肺癌」で類似症例が絞り込まれたときの基本画面K2を示す図である。
図9の例では、「真菌症」で絞り込みがかけられたため、表示条件表示領域714には「真菌症」と表示され、図10の例では「転移性肺癌」で絞り込みがかけられたため、表示条件表示領域714には「転移性肺癌」と表示されている。
また、この時、表示制御部104は、現在、症例表示領域710に表示されている類似症例の件数が分かるように、検索結果件数表示領域713にその件数を表示させる。図9の例では、「真菌症」に該当する類似症例は14件であったため、検索結果件数表示領域713には14件と表示され、図10の例では、「転移性肺癌」に該当する類似症例は3件であったため、検索結果件数表示領域713には3件と表示されている。
この機能により、画像診断の対象として医師が想定する病名の類似症例が症例表示領域710に表示され、医師は、診断対象症例が想定した病名と矛盾しないかどうかを容易に確認できる。
図6に示す基本画面K2の左側の中段には、「病変分布」との見出しが付けられた分布リスト表示領域750が配置されている。分布リスト表示領域750には、類似症例を検索した結果、症例検索システム300から取得された全ての類似症例の病変分布の種類が表示される。
図11は分布リスト表示領域750の拡大図である。図11の例では、7つの病変分布の名称が表示されており、各病変分布の名称の左側にはチェックボックスが配置されている。図11の例では病変分布として、びまん性751(diffuse)、区域性752(segmental)、気道性753(bronchial)、両側性754(bilateral)、多発性755(multiple)、胸膜下756(subpleural)、及び血行性757(hematogenous)が表示されている。
これらの病変分布は予め定義されており、各類似症例には、予め、びまん性751〜血行性757のいずれに該当するか否かを示す分布フラグ値(該当:1、非該当:0)が付与されている。類似症例によっては、全ての分布フラグ値が非該当(:0)に設定されている場合もあれば、複数の分布フラグ値が該当(:1)に設定されている場合もある。
本実施の形態の症例検索システム300は、ユーザが診断対象症例のスライス画像に設定した関心領域に対し、類似する関心領域を持つ類似症例を検索する。ユーザが関心領域を設定したスライス画像以外にも、病変は存在することもある。そして、ユーザは関心領域を設定したスライス画像で類似症例を検索した後、そのスライス画像以外のスライス画像と、検索された類似症例とを比較したい場合もある。この場合、ユーザは、医用画像ビューワ610において、スライス送りの操作を入力して他のスライス画像を表示させ、検索された類似症例と比較する作業を行う。この場合、検索された全ての類似症例のうち注目する病変に関連する類似症例が症例表示領域710に表示されていれば、関心領域が設定されたスライス画像以外のスライス画像の中から所望の病変を持つスライス画像を抽出する作業をスムーズに行うことができる。そこで、本実施の形態では、この作業をよりスムーズに行うために、検索された類似症例を所望の病変分布で絞りこむ機能が設けられている。
本実施の形態では、肺野領域内での病変分布として、図11のびまん性751〜血行性757で示す病変分布が採用されている。また、図11のように、チェックボックス及び病名分布の名称について、表示制御部104は、絞り込みが可能な病変分布をアクティブ状態で表示させ、絞り込みが不可能な病変分布を非アクティブ状態で表示させる。ここでは、アクティブ状態としては、輝度が非アクティブ状態に比べて高い状態が採用され、非アクティブ状態としては、輝度がアクティブ状態に比べて低い状態が採用されている。
図11の例では、びまん性751、気道性753〜多発性755、及び血行性757がアクティブ状態で表示され、区域性752及び胸膜下756は、非アクティブ状態で表示されている。これは、現在、類似症例検索によって取得された全ての類似症例のうち、少なくともいずれか1つの類似症例において、びまん性751、気道性753〜多発性755、及び血行性757の分布フラグ値が1(該当)に設定され、取得された全ての類似症例のうち、いずれの類似症例においても、区域性752及び胸膜下756の分布フラグ値が0(非該当)に設定されていたからである。
アクティブ状態のチェックボックスのうち、1以上のチェックボックスにチェックマークが入力されたことを入力制御部103が検知すると、表示制御部104は、チェックマークが入力された病変条件に該当する類似症例のみを症例表示領域710に表示させる。
なお、区域性752や胸膜下756については、検索結果として取得された類似症例のいずれにおいても分布フラグ値が0(非該当)に設定されている。そのため、区域性752や胸膜下756にチェックマークが入力可能な構成を採用すると、これらの病変分布にチェックマークを入力した場合、症例表示領域710には類似症例が何も表示されず、チェックマークを入力する意味が無くなってしまう。そこで、本実施の形態では、このような事態を避けるために、検索結果として取得された類似症例のいずれにおいても分布フラグ値が0(非該当)である病変分布は非アクティブ状態で表示する。
図12は、チェックマークが入力された分布リスト表示領域750を示す図である。図13は、気道性の病変分布で絞り込みがかけられた基本画面K2を示した図である。図12に示すように、気道性753のチェックボックスにチェックマークが入力された場合、表示制御部104は、図13に示すように、症例表示領域710に、気道性の病変分布を持つ類似症例を表示させる。この例では、気道性の病変分布を持つ類似症例は17件であった。そのため、表示制御部104は、検索結果件数表示領域713に「17件」と表示させている。また、表示制御部104は、表示条件表示領域714に、表示対象の病名と、病変分布の名称である「気道性」とを表示させる。図13の例では、病名リスト表示領域730に挙げられた病名による絞り込みがかけられていないため、表示条件表示領域714には「全疾患」と表示されている。
図14は、複数のチェックマークが入力された分布リスト表示領域750を示す図である。図15は、複数の病変分布で絞り込みがかけられた基本画面K2を示した図である。図14の例では、びまん性751と血行性757とにチェックマークが入力されている。そのため、表示制御部104は、図15に示すように、びまん性及び血行性の病変分布を持つ類似症例を症例表示領域710に表示させる。この例では、びまん性及び血行性の病変分布を持つ類似症例は11件であった。そのため、表示制御部104は検索結果件数表示領域713に11件と表示させている。また、表示制御部104は、表示条件表示領域714に、表示対象の病名(ここでは、病名による絞り込みがかけられていないため「全疾患」)と、病変分布の名称である「びまん性&血行性」とを表示させる。
図16は、患者情報1000のデータ構成を示す図である。患者情報1000は、医用情報管理システム200における患者情報管理部202により、患者別に患者情報蓄積部201に蓄積されて管理される。患者情報1000には、患者の性別及び年齢等の個人情報、既往歴等の臨床情報、並びに血液検査等の検査情報が登録されている。図16に示すように、患者情報1000は、患者ID1100、氏名1200、年齢1300、性別1400、既往歴1500、家族歴1600、主訴17001、検査情報1800、及び確定診断1900を備える。
患者ID1100は、患者に固有の識別子である。氏名1200、年齢1300、性別1400、既往歴1500、家族歴1600、及び主訴17001は、それぞれ、患者ID1100の患者の氏名、年齢、性別、既往歴、家族歴、及び主訴である。検査情報1800は、図17に示すように、当該患者が過去に受けた1以上の検査に関する情報を表す。
図17は、図16に示す患者情報1000に登録された検査情報1800のデータ構成を示す図である。検査情報1800は、患者に対して行われた検査に関する情報であり、1つの検査に対応して1つずつ作成される。検査情報1800は、検査ID1810、検査日時1820、検査種1830、及び検査結果1840を備える。検査ID1810は、検査に固有の識別子である。検査日時1820は、検査が行われた日時である。検査種1830は、検査の種類である。検査の種類としては、例えば、血液検査、呼吸機能検査、内視鏡検査、単純X線撮影、CT撮影等がある。
検査結果1840は、血液検査であれば、白血球数、LDH、及びGPT等各種指標の値が該当する。また、検査結果1840は、各種指標を基に医師が下した判断等も該当する。また、単純X線撮影やCT撮影等の画像検査であれば、撮影された画像へのポインタ情報や画像診断結果のレポートへのポインタ情報が検査結果1840に含まれる。なお、検査で撮影された画像は、DICOMのフォーマットで医用情報管理システム200の医用画像データ蓄積部203に蓄積される。
また、検査種1830が単純X線、CT、MRI、PET等の画像検査の場合、これらの医用画像データは医用情報管理システム200の医用画像データ蓄積部203が記憶する医用画像データベース2000に蓄積される。
図18は、医用画像データベース2000のデータ構成を示す図である。医用画像データベース2000は、検査ID1810及びシリーズID2100を持つ。1回の検査で、複数の種類の撮影(例えば、単純CTと造影CT等)が行われる場合があるので、1つの検査ID1810に対し、複数のシリーズID2100が対応付けられている場合もある。つまり、撮影の種類に応じた個数のシリーズが得られるのである。
また、シリーズは、撮影の種類以外にも、撮影された画像の再構成の条件毎に得られる。例えば、撮影された画像が肺野条件及び縦隔条件で再構成された場合、これらの条件毎に1つのシリーズが得られる。なお、肺野条件で再構成された画像は肺の中の血管、気管支、及び肺胞等が強調表示される。また、縦隔条件で再構成された画像は、血管やリンパ節等の縦隔が強調表示される。肺野条件及び縦隔条件は1度の撮影で得られた画像を再構成することで得られるため、単純CTと造影CTとで2度の撮影が行われ、これら2度の撮影のそれぞれにつき肺野条件及び縦隔条件で画像が再構成された場合、2つの肺野条件のシリーズが得られ、2つの縦隔条件のシリーズが得られる。
CT及びMRIの画像検査の場合、1回の撮影で複数のスライス画像が取得されるので、1つのシリーズID2100には、複数のスライスID2200が対応付けられている。図18の検査ID「13227989」には2つのシリーズID「CT149123」、「CT149124」が対応付けられているため、この検査から2つのシリーズのCT画像が得られたことが分かる。また、シリーズID「CT149123」、「CT149124」のそれぞれに対して、スライスID2200が複数対応付けられていることが分かる。
ここで、スライスID2200には、CT149123001_1、CT149123001_2、・・・というように、アンダーバーの後に枝番号が付加されている。ここで、枝番号は、「1」は、例えば単純CT、「2」は造影CT、「3」はT1強調、「4」はT2強調というように、後述するスライス画像の撮影条件が予め対応付けられている。なお、医用画像データベース2000は、スライスID2200示す撮影条件毎の画像データを含む(図示せず)。したがって、表示制御部104は、枝番号を参照することで、その枝番号に対応付けられた撮影条件で撮影されたスライス画像を得ることができる。
検査種1830が単純X線、CT、MRI、PET等の画像検査の場合、医用情報管理システム200における診断レポート管理部205には、図19に示すような診断レポート3000が蓄積される。診断レポート3000には、各検査に対する医師による診断結果が登録されている。図19は、診断レポート3000のデータ構成を示す図である。
診断レポート3000は、検査ID1810、所見3100、及び診断3200を備える。検査ID1810は、図17で示した検査ID1810と同じである。これにより、診断レポート3000と検査情報1800とが対応付けられる。所見3100は、検査に対する医師の所見を示す文言が登録されている。診断3200は、検査に対する医師の診断を示す文言が登録されている。
図20は、類似症例データ4000のデータ構成を示す図である。類似症例データ4000は、診断対象症例に対して類似する類似症例を検索する際に参照されるデータであり、1つの類似症例に対応して1つずつ作成されている。
類似症例データ4000は、症例検索システム300の類似症例データ蓄積部301において、類似症例毎に蓄積されている。図20に示すように、類似症例データ4000は、類似症例ID4100、スライスID4200、関心領域情報4300、画像特徴データ4400、サムネイル画像データ4500、病変分布情報4600、確定診断(大分類病名)4700、及び確定診断(詳細分類病名)4800を備える。
類似症例ID4100は、類似症例データ4000の識別子である。ここでは、類似症例のスライス画像に設定された関心領域毎に1つの類似症例データが生成されるため、類似症例ID4100は、関心領域の識別子とも言える。図20の例では、類似症例ID4100は、「SIM」とそれに続く番号とで構成される記号列で構成されている。
スライスID4200は、関心領域が設定されたスライス画像の識別子であり、図18に示すスライスID2200と同一である。関心領域情報4300は、スライス画像に設定された関心領域の位置を示す情報である。なお、関心領域情報4300は、類似医用画像の中の病変部を示す病変部情報の一例である。
図21は、スライス画像に設定された関心領域を模式的に示した図である。図21の例では、関心領域は矩形状に設定されている。したがって、関心領域情報4300は、関心領域の左上の頂点の座標(xl、yt)と、右下の頂点の座標(xr、yb)との4値で構成される。もちろん、関心領域は矩形以外の形状でもよく、その場合は、領域を一意に特定可能なパラメータが関心領域情報4300として採用される。例えば、関心領域が円形であれば、円の中心座標と半径とが関心領域情報4300として採用される。
画像特徴データ4400は、関心領域情報4300で定義される関心領域から抽出された所定次元(ここではN次元)の特徴値である。サムネイル画像データ4500は、スライスIDで特定されるDICOMフォーマットのスライス画像を基に、症例表示領域710に表示するために生成されたサムネイル画像の画像データである。ここで、サムネイル画像データ4500は、例えば、サムネイル画像の左上の頂点から右下の頂点に向かうラスタ走査順にサムネイル画像の画素値が配置されている。先に説明を行ったが、CT検査で得られたDICOM画像は、512×512画素の11ビット(画素値:−1000〜+1000)画像である。そこで、本実施の形態では、サムネイル画像の表示を高速化するために、サムネイル画像の元となるDICOM画像に対して低解像度処理及び階調変換処理が行われて8ビットの画素値を持つサムネイル画像が予め作成され、類似症例データ4000に登録されている。なお、サムネイル画像の作成は、例えば、医用情報管理システム200が作成し、症例検索システム300に送信するようにしてもよいし、症例検索システム300が医用情報管理システム200からDICOM画像を取得して作成してもよい。なお、サムネイル画像データ4500は、スライスID4200が示す撮影条件毎のサムネイル画像データを含む。
病変分布情報4600は、対象となる類似症例が予め定められたびまん性4610〜血行性4670で表される病変分布のいずれに該当するか否かを表す分布フラグ値(1:該当、0:非該当)である。
確定診断(大分類病名)4700は、対象となる類似症例に対して確定された大分類の病名である。確定診断(大分類名)4700は、類似症例を大分類の病名で絞り込む際に使用される。
確定診断(詳細分類病名)4800は、対象となる類似症例に対して確定された詳細分類の病名である。確定診断(詳細分類病名)4800は、類似症例を小分類の病名で絞り込む際に使用される。
予め、確定診断(大分類病名)4700は、確定診断(詳細分類病名)4800に対して一意に対応する大分類病名が定義されており、その対応関係を用いて類似症例データ4000に格納されている。
確定診断(詳細分類病名)4800は、医用画像データ蓄積部203において、図18に示すスライスID2200からシリーズID2100が特定される。そして、特定されたシリーズIDから患者情報蓄積部201において、検査ID1810が特定され、検査ID1810から対応する患者情報1000(図18)が特定され、特定された患者情報1000から該当する患者の確定診断1900が特定される。
(画像選択−類似症例検索)
次に、情報端末100が医用情報管理システム200と症例検索システム300と連携して読影作業開始から類似症例検索を開始するまでの流れを説明する。
図22は、情報端末100が、医用情報管理システム200から診断対象症例を取得した後、症例検索システム300に対して類似症例検索の要求を行い、症例検索システム300が類似症例検索の要求を受け取るまでの処理を示すシーケンス図である。なお、図22において、シーケンス図の左側に示す2列の矩形は、該当するステップの処理によりディスプレイ101a、101bに表示される画面を示す。また、図22において、情報端末の「A」は、医用情報管理アプリケーションを示し、「B」は、類似症例検索アプリケーションを示す。このシーケンスが開始される前に医用情報管理アプリケーションは予め起動されているものとする。
まず、情報端末100は、操作部102を通してユーザ(読影を行う医師)の読影対象となる検査リストの表示要求を受け付け、入力制御部103及び通信制御部110を通して、医用情報管理システム200の通信制御部206へ検査リストの表示要求を送信する(S510)。
医用情報管理システム200の患者情報管理部202は、画像検査が実施後で読影が未終了の検査をリスト化し、読影対象となる検査リストを生成する。そして、患者情報管理部202は、通信制御部206を通して、生成した検査リストを情報端末100の通信制御部110に送信する(S520)。ここで、検査リストには、該当する患者の患者情報1000及び検査情報1800が含まれる。
情報端末100の表示制御部104は、通信制御部110で受信された検査リストをディスプレイ101に表示させる(S530)。
この場合、ディスプレイ101aに検査リストが表示され、ディスプレイ101bには何も表示されない。
図23は、検査リストの画面図である。検査リストは、読影が未終了の検査を表示する領域800と、検査に含まれるシリーズに関する情報を表示する領域810とを備える。領域800には、「患者ID」、「患者氏名」、「検査日時」、「検査ID」、及び「検査種」の欄が設けられている。「患者ID」、「患者氏名」の欄には、患者情報1000に登録された患者ID1100及び氏名1200が表示され、「検査日時」、「検査ID」、及び「検査種」の欄には、検査情報1800に登録された検査日時1820、検査ID1810、及び検査種1830が表示される。領域810は、領域800でユーザにより選択された検査の詳細を表示するための領域であり、「シリーズID」、「定義」、及び「画像」の欄が設けられている。ここでは、領域800においてユーザにより検査(行に対応)が選択されていないために、領域810には何も表示されていない。
ユーザは、領域800に表示された検査の中から、これから読影を行う検査を選択する。この選択が入力制御部103で検知されると、図22に示すように、通信制御部110は、選択された検査の検査IDに含まれる全シリーズの表示要求を、医用情報管理システム200へ送信する(S540)。
医用情報管理システム200の通信制御部206がこの表示要求を受信すると、患者情報管理部202は、図18に示す医用画像データベース2000を参照し、表示要求が指定する検査IDに含まれる全シリーズの全スライス画像を取得し、通信制御部206を通して、情報端末100に送信する(S550)。例えば、図18の例において、検査ID「13227989」の検査がユーザにより選択されると、シリーズID「CT149123」、「CT149124」のシリーズに含まれる全てのスライス画像がS550で送信される。
情報端末100の通信制御部110が全シリーズの画像を取得すると、表示制御部104は、指定された検査IDに含まれる全シリーズに関する情報を一覧表示するシリーズリストを領域810に表示させ(S560)。
この場合、ディスプレイ101aに表示された検査リストの領域810には、領域800で選択された検査に対応するシリーズのシリーズリストが表示され、ディスプレイ101bには何も表示されない。
図24は、検査が選択された後の検査リストの画面図である。図24の領域800では選択された行の背後にハイライトが付されている。図24の例では、領域800において、2行目の「パナ太郎」の検査が選択されている。そのため、領域810では、選択された検査についての「シリーズID」、「定義」、及び「画像」が表示されている。ここで、「シリーズID」の欄には、医用画像データベース2000において、選択された検査の検査IDに対応付けられたシリーズIDが表示され、「画像」の欄には、表示されたシリーズIDを代表する1枚のスライス画像のサムネイル画像が表示される。ここで、シリーズIDを代表する1枚のスライス画像としては、所定のスライス位置の画像が採用される。所定のスライス位置としては先頭のスライス位置であってもよいし、中央のスライス位置であってもよい。「定義」は、該当するシリーズに対する撮影条件や再構成の条件を示す。この「定義」は、図示は省略されているが、例えば、図18の医用画像データベース2000において、シリーズIDと対応付けて登録されている。
領域810において、ユーザにより読影対象のシリーズが選択され、その選択を入力制御部103が検知すると、表示制御部104は、図41に示すように、選択されたシリーズの先頭のスライス画像をディスプレイ101aに表示させる(S570)。図41は、ユーザによりシリーズが選択された際にディスプレイ101aに表示されるスライス画像を示した図である。図41は、胸部CT撮影での先頭スライスを示す図であり、肺尖部よりももう少し頭方向の肩位置でのスライス画像である。ここで、表示制御部104は、選択されたシリーズの全てのスライス画像をシリーズ送りできる状態でディスプレイ101aに表示させる。なお、ディスプレイ101bには何も表示されない。例えば、ユーザにより、ディスプレイ101a上にマウスポインタが位置決めされマウスホイールを回転するスライス送りの操作が入力され、その操作を入力制御部103が検知する。すると、表示制御部104は、マウスホイールの回転量に応じて、ディスプレイ101aに表示されたスライス画像を別のスライス位置のスライス画像に切り替える。ユーザは、スライス送りの操作を入力しながら画像診断を行う。そして、ユーザは画像診断に迷った場合、類似症例検索アプリケーションを起動する。
ここで、類似症例検索アプリケーションは、操作部102のキーボードにおいて、予め定められたショートカットキーが入力されて起動されてもよいし、マウスの右クリックで医用画像ビューワのメニューを表示させ、そのメニューの中から類似症例検索メニューが指定されて起動されてもよい。類似症例検索アプリケーションの起動が指示されると、情報端末100の管理はROI管理部105に渡され、情報端末100は、関心領域(ROI)の受け付け待ち状態になる。
ユーザは、操作部102を通して、ディスプレイ101aに表示されたスライス画像上の病変に関心領域(ROI)を設定する(S580)。ここで、ユーザは、図21に示すように、例えば、マウスを左クリックして、関心領域の左上の頂点の座標を入力する。そして、ユーザは、左クリックした状態でマウスを右斜め下方向にドラッグし、左クリックを解除することで、関心領域の右下の頂点を入力すればよい。図25は、病変に対して関心領域を設定した後の画面の一例である。
関心領域を設定する操作を入力制御部103が検知すると、ROI管理部105は、入力制御部103から関心領域の左上及び右下の頂点の座標データを受け取り、受け取った座標データを関心領域情報として生成する。そして、ROI管理部105は、生成した関心領域情報を通信制御部110に送信する(S590)。
同時に、ROI管理部105は、診断対象症例のスライス画像を通信制御部110に送信する(S600)。この場合、S550において、情報端末100が医用情報管理システム200から受け取った全シリーズのスライス画像のうち、ユーザが選択したシリーズにおいてユーザにより関心領域が設定された1枚のスライス画像(検索クエリ画像)が送信される。
次に、通信制御部110は、ROI管理部105から送信された関心領域情報を受け取り、症例検索システム300の通信制御部304に送信する(S601)。
同時に、通信制御部110は、ROI管理部105から送信されたスライス画像を受け取り、症例検索システム300の通信制御部304に送信する(S602)。
ここで、S600、S601において、スライス画像そのものを送信するとしたが、スライス画像のスライスIDが送信されても構わない。この場合は、スライスIDを受信した症例検索システム300は、そのスライスIDを指定して、医用情報管理システム200からスライス画像を取得すればよい。
(類似症例検索−初期表示)
次に、症例検索システム300が類似症例検索を行い、情報端末100が類似症例検索結果を初期表示するまでの処理を説明する。
図26は、症例検索システム300が類似症例検索の要求を受け取った後、類似症例検索結果を、情報端末100に返すまでの処理を示すシーケンス図である。
症例検索システム300の画像特徴抽出部302は、検索クエリ画像に設定された関心領域から予め定められた複数次元の画像特徴を抽出する(S610)。
「画像特徴」としては、医用画像における臓器若しくは病変部分の形状に関する画像特徴、又は輝度分布に関する画像特徴等が採用できる。例えば、非特許文献:「根本,清水,萩原,小畑,縄野,“多数の特徴量からの特徴選択による乳房X線像上の腫瘤影判別精度の改善と高速な特徴選択法の提案”,電子情報通信学会論文誌D−II,Vol.J88−D−II,No.2,pp.416−426,2005年2月」には、490次元の画像特徴を用いることが記載されている。本実施の形態においては、例えば、この非特許文献に記載された画像特徴が採用される。但し、これは一例にすぎず、他の画像特徴が採用されてもよい。
類似症例検索部303は、画像特徴抽出部302で抽出された画像特徴と、類似症例データ蓄積部301に蓄積された各類似症例の画像特徴とを比較する(S620)。ここで、類似症例検索部303は、検索クエリ画像から抽出された画像特徴データと、類似症例データ蓄積部301に類似症例毎に蓄積された類似症例データ4000(図20)に登録された画像特徴データ4400との距離を算出することで、両画像特徴を比較する。
次に、類似症例検索部303は、距離が所定の閾値以下の類似症例を、距離が小さい順にソートし、送信対象の類似症例として決定する(S630)。次に、通信制御部304は、類似症例データ蓄積部301に蓄積された類似症例データ4000のうち、送信対象として決定された類似症例の類似症例ID4100、スライスID4200、関心領域情報4300、サムネイル画像データ4500、病変分布情報4600、確定診断(大分類病名)4700、確定診断(詳細分類病名)4800、及び類似症例検索部303で算出された距離を情報端末100に送信する(S640)。
以下、類似症例検索結果が表示された初期の基本画面K2(図6)を生成する処理が実行される。まず、初期の基本画面K2において、レイアウト領域720を生成する際に使用される管理情報について説明する。
まず、症例検索システム300の通信制御部304は、レイアウト情報を情報端末100に送信する(S650)。ここで、レイアウト情報は、レイアウト領域720を構成する表示ボックスの行数、列数を指定する情報である。
次に、情報端末100の通信制御部110がレイアウト情報を受信すると、表示ボックス管理部106は、送信されたレイアウト情報が指定する表示ボックスの行数及び列数を表示ボックス管理情報4410(図35)に登録すると共に、検索クエリ画像のスライスIDを表示ボックス管理情報4410(図35)に登録する(S660)。
図35は、表示ボックス管理情報4410のデータ構成を示す図である。表示ボックス管理情報4410には、行数及び列数が登録されるテーブル4411と、各表示ボックスに表示されるスライス画像のスライスIDが登録されるテーブル4412とが含まれる。したがって、表示ボックス管理部106は、症例検索システム300から送信されたレイアウト情報が指定する行数及び列数をテーブル4411の行数及び列数の欄に登録する。また、本実施の形態では、4つの表示ボックス721〜724のうち、左上の表示ボックス721に検索クエリ画像のサムネイル画像が表示される。そこで、表示ボックス管理部106は、医用情報管理システム200から送信された検索クエリ画像のスライスIDをテーブル4412の1行1列目の項目に登録する。
ここで、レイアウト領域720を構成する表示ボックスの行数及び列数のデフォルト値は症例検索システム300により予め設定されている。ここで、行数及び列数のデフォルト値は例えば2行及び2列である。そのため、図35に示す表示ボックス管理情報4410には、「2行2列」が登録されている。
次に、図26に参照を戻し、S640で送信された類似症例データ及びS660で保存した表示ボックス管理情報4410を用いて、表示制御部104は、類似症例検索結果が表示された初期の基本画面K2を生成する(S670)。
この場合、ディスプレイ101bには図6に示す基本画面K2が表示される。また、ディスプレイ101aには、検索クエリ画像が表示されている。
図27は、図26のS670に示す初期の基本画面K2を生成する処理の詳細を示すフローチャートである。
まず、S2700にて、表示制御部104は、図26のS640で受信された類似症例の数をカウントし、カウント値を検索結果件数表示領域713に表示させる。
次に、S2701にて、表示制御部104は、表示条件表示領域714に、「全疾患」と表示させる。ここで、「全疾患」と表示されるのは、初期の基本画面K2では、ユーザにより病名や病変分布での絞り込みがかけられていないからである。
次に、S2702にて、表示制御部104は、図26のS640で受信された類似症例のうち、症例表示領域710にサムネイル画像が表示可能な類似症例の件数分だけ、症例表示領域710に類似症例のサムネイル画像を表示させると共に、各サムネイル画像に対応付けて確定診断及び類似度を表示する。
症例表示領域710に表示可能な類似症例の件数の最大値は、図6の例では20である。この最大値は予め定められている。また、この最大値はユーザが自由に変更できる構成にしてもよい。図26のS640で受信された類似症例の数が、最大値よりも多い場合、表示制御部104は、症例表示領域710の右端に縦方向に長尺のスクロールバー715を表示させる。これにより、ユーザは、スクロールバー715を移動させ、初期の基本画面K2で非表示であった類似症例のサムネイル画像を閲覧できる。
次に、S2703にて、病名リストが生成されて表示される。まず、図26のS640で受信された類似症例から、病名リストが生成される。病名リストは、S640で受信された類似症例が、確定診断病名毎に分類されたリストである。
ここで、S640で受信された類似症例の件数をNC件とする。病名リスト管理部108は、NC件の類似症例データ4000のそれぞれに登録されている確定診断(大分類病名)4700及び確定診断(詳細分類病名)4800を用いて、病名リストを生成する。生成された病名リストは、図29に示すようにテーブル形式のデータとして、病名リスト管理部108で管理される。
図29は、図27のS2703で生成される病名リストのデータ構成を示す図である。病名リストには、「病名ID」、「大分類病名」、「詳細分類病名」、「件数」、及び「類似症例ID」の欄が含まれる。「病名ID」は、確定診断病名毎に付与される識別子である。ここでは、大分類病名と詳細分類病名との1つの組み合わせに対して1つの病名IDが付与されている。
「大分類病名」は、類似症例データ4000に登録された確定診断(大分類病名)4700が示す確定診断病名である。「詳細分類病名」は、類似症例データ4000に登録された確定診断(詳細分類病名)4800が示す確定診断病名である。「件数」は、「病名ID」が示す確定診断病名に該当する類似症例の件数である。「類似症例ID」は、「病名ID」が示す病名に該当する類似症例を示す類似症例IDである。
病名リスト管理部108は、S640で受信した全ての類似症例データ4000について、確定診断(大分類病名)4700及び確定診断(詳細分類病名)4800を抽出し、両者が同じ類似症例データ4000を同じ確定診断病名の類似症例として分類する。そして、病名リスト管理部108は、確定診断病名が同じ類似症例の件数をカウントし、該当する確定診断病名のレコードの「件数」の欄に登録する。また、病名リスト管理部108は、同じ確定診断病名に分類した類似症例の類似症例IDを該当する確定診断病名のレコードの「類似症例ID」の欄に登録する。
図29の例では、大分類病名が「腫瘍性」、詳細分類病名が「原発性肺癌」の確定診断病名に対して病名ID「DIS528」が付与されている。そして、この確定診断病名に該当する類似症例の件数が10件であったため、該当するレコードの「件数」の欄に10が登録され、この確定診断病名に該当する類似症例の類似症例ID「SIM258」、「SIM551」、「SIM1209」、及び「SIM2341」等が、該当するレコードの「類似症例ID」の欄に登録されている。
そして、表示制御部104は、このようにして生成された病名リストを用いて病名リスト表示領域730を生成し、ディスプレイ101に表示させる。
図30、図31、図32は、それぞれ、病名リスト表示領域730の第1表示例、第2表示例、第3表示例を示した図である。図30に示すように第1表示例では、類似症例検索の結果得られた類似症例が、詳細分類病名の件数の多い順に件数と対応付けて一覧表示されている。
図31に示すように第2表示例では、類似症例検索の結果得られた類似症例が、大分類病名の件数の多い順に件数と対応付けて一覧表示されている。
図32に示すように第3表示例では、類似症例検索の結果得られた類似症例が、大分類病名の件数の多い順に件数と対応付けて一覧表示され、且つ、大分類病名毎にその中に含まれる詳細分類病名が件数の多い順に件数と対応付けて一覧表示されている。この場合、確定診断病名が、大分類病名と詳細分類病名との階層構造で表現される。
図33は、図31に示す病名リスト表示領域730の画面遷移を示す図である。図33の上段に示すように、一覧表示された大分類病名のうち、1の大分類病名がユーザにより選択される操作を入力制御部103が検知すると、表示制御部104は、図33の下段に示すように、選択された大分類病名に属する詳細分類病名を件数が多い順に件数と対応付けて表示させる。ここで、ユーザは、例えば、病名リスト表示領域730において一覧表示された大分類病名のうち、所望する1の大分類病名を例えばダブルクリック或いはシングルクリックすることで1の大分類病名を選択すればよい。図33の例では非腫瘍性がダブルクリックされているため、非腫瘍性に属する詳細分類病名が一覧表示されている。
図33の下段において、詳細分類病名が一覧表示されている領域がユーザによりダブルクリック或いはシングルクリックされると、表示制御部104は、該当する領域に表示されていた詳細分類病名を非表示にさせればよい。
なお、表示制御部104は、病名リスト(図29)を参照することで、大分類病名に属する詳細分類病名を判定すればよい。例えば、図29の例では、真菌症に対して、アスペルギルス症及びクリプトコッカス症が対応付けられているため、表示制御部104は、真菌症にはアスペルギルス症及びクリプトコッカス症が属すると判断すればよい。
図27に戻り、S2704にて、分布リストが生成されて表示される。まず、S640で受信された類似症例から、分布リストが生成される。分布リストは、S640で受信された類似症例が、病変分布毎に分類されたリストである。
病名リスト管理部108は、NC件の類似症例データ4000のそれぞれに登録されている病変分布情報4600を用いて、分布リストを生成する。生成された分布リストは、図34に示すようにテーブル形式のデータとして、分布リスト管理部109で管理される。
図34は、図27のS2704で生成される分布リストのデータ構成を示す図である。分布リストには、「分布名」、「症例数」、及び「類似症例ID」の欄が含まれる。「分布名」は、びまん性、区域性といった予め定められた複数の病変分布の名称である。「症例数」は、病変分布に該当する類似症例の件数である。「類似症例ID」は、病変分布に該当する類似症例を示す類似症例IDである。
分布リスト管理部109は、S640で受信した全ての類似症例データ4000について、病変分布情報4600を抽出し、抽出した病変分布情報4600において、分布フラグ値に1(該当)が設定されている病変分布の数をカウントし、カウント値を該当する病変分布のレコードの「症例数」の欄に登録する。また、分布リスト管理部109は、分布フラグ値に1が設定されている類似症例の類似症例IDを該当する病変分布のレコードの「類似症例ID」の欄に登録する。
図34の例では、びまん性に該当する類似症例の件数が3件であったため、びまん性のレコードの「症例数」の欄に3が登録されている。また、びまん性に該当する類似症例の類似症例ID「SIM2521」、「SIM4123」、及び「SIM5225」がびまん性のレコードの「類似症例ID」の欄に登録されている。
そして、表示制御部104は、このようにして生成された分布リストを用いて分布リスト表示領域750を生成し、ディスプレイ101に表示させる。
図34に示す分布リストを用いて生成された分布リスト表示領域750は、図11である。図34において、区域性及び胸膜下の症例数は0であるため、図11では、区域性752及び胸膜下756が非アクティブ状態で表示され、これら以外の病変分布は、症例数が1以上であるため、アクティブ状態で表示されている。
図27に戻り、S2705にて、レイアウト領域720が表示される。この処理は、表示制御部104によって行われる。
図28は、図27に示すS2705の処理を示すフローチャートである。S1510にて、表示制御部104は、レイアウト領域720を構成する表示ボックスの行数及び列数を、S660で設定された表示ボックス管理情報4410から取得する。図35の表示ボックス管理情報4410の例では、行数及び列数として2行2列が設定されているため、「2行2列」という情報が取得される。
次に、S1520にて、表示制御部104は、S1510で取得した表示ボックスの行数及び列数に合わせて、表示ボックスを描画させる。
最後に、S1530にて、表示制御部104は、表示ボックス管理情報4410から各表示ボックスのスライスIDを特定し、特定したスライスIDに対応するサムネイル画像を、対応する各表示ボックス内に描画させる。
図35の例では、1行1列目の表示ボックスに診断対象症例のスライスIDが格納されている。そのため、表示制御部104は、図22のS600で送信された診断対象症例のスライス画像からサムネイル画像を生成し、生成したサムネイル画像を表示ボックス721に描画させる。
この段階では、残りの表示ボックス(1行2列目、2行1列目、2行2列目の表示ボックス722、723、724)にはスライスIDが格納されていないため、表示制御部104は、これらの表示ボックスに何も表示させない。これらの表示ボックスには、後述する処理により、類似症例のサムネイル画像が表示されることになる。
図26に戻り、通信制御部110は、表示ボックス管理部106に格納された表示ボックス管理情報4410を表示制御部104に送信する(S680)。
次に、表示制御部104は、レイアウト領域720の表示状態及びレイアウトと同じ表示状態及びレイアウトで医用画像ビューワを起動させる(S690)。
図36は、医用画像ビューワの起動処理を示すフローチャートである。
S3700にて、表示制御部104は、図22のS570で起動させた医用画像ビューワを閉じる。
S3701にて、表示制御部104は、表示ボックス管理情報4410に登録された表示ボックス分の医用画像ビューワを、表示ボックス管理情報4410に登録された行数及び列数のレイアウトで起動する。図35の表示ボックス管理情報4410では、2行×2列で4つの表示ボックスが登録されている。よって、表示制御部104は、図5に示すように、4個の医用画像ビューワ610〜640を2行×2列で起動させる。
S3702にて、表示制御部104は、処理対象となる医用画像ビューワを特定するための変数を初期化する。ここでは、1行1列目の医用画像ビューワが処理対象とされるため、この変数は1行1列にセットされる。
S3703にて、表示制御部104は、全て(ここでは4個)の医用画像ビューワに対する処理が終了したか否かをチェックする。処理済であれば(S3703でYES)、処理が終了され、未処理の医用画像ビューワがあれば(S3703でNO)、処理がS3704に進められる。
S3704にて、表示制御部104は、変数としてセットされた行数及び列数に対応づけられたスライスIDを持つスライス画像を処理対象の医用画像ビューワに表示させると共に、そのスライスIDを含むシリーズを医用画像ビューワに対応付ける。
例えば、図35に示す表示ボックス管理情報4410の例では、1行1列目にはスライスID「CT12353515_1」が登録されている。よって、スライスID「CT12353515_1」が医用画像ビューワ610に表示される。また、表示制御部104は、初期表示されるスライス画像に設定された関心領域を表す矩形をこのスライス画像にオーバラップして描画させる。なお、1行1列目に登録されたスライスIDを含むシリーズは、図22のS550で取得済みである。また、関心領域は、図22のS580で設定済みである。
図36に戻り、S3705にて、次の医用画像ビューワを処理対象の医用画像ビューワに設定する。1行1列目の次は、例えば、1行2列目、その次は、2行1列目、その次に2行2列目というように処理対象が設定される。
2ループ目のS3704では、1行2列目の医用画像ビューワ620が処理対象にされるが、図35の表示ボックス管理情報4410では、1行1列目以外にはスライスIDが対応づけられていない。そのため、表示制御部104は、1行2列目の医用画像ビューワに対して何も処理を実行せず、空の状態にしておく。このことは、2行1列目、2行2列目の医用画像ビューワ630、640に対しても同じである。
このフローチャートが終了した状態で、ディスプレイ101aには、図5に示す初期状態の基本画面K1が表示されている。1行1列目(左上)の医用画像ビューワ610には、検索クエリ画像が表示され、その上に関心領域を示す矩形がオーバラップして描画されている。
ここでは、症例検索システム300が画像特徴を抽出する例を示したが、情報端末100が画像特徴を抽出してもよい。図37は、症例検索システム300が画像特徴を抽出する態様を採用した場合の情報端末100、医用情報管理システム200、及び症例検索システム300のブロック図である。
図2との違いは、情報端末100に画像特徴抽出部1121が追加された点、及び症例検索システム300から画像特徴抽出部302が省かれた点にある。
図38は、情報端末100が、医用情報管理システム200から診断対象症例を取得した後、症例検索システム300が類似症例検索の要求を受け取るまでの処理を示すシーケンス図である。
図38において、図22との違いは、ROI管理部105が、診断対象症例のスライス画像を通信制御部110に送信する処理(S600)の後、画像特徴の抽出が情報端末100で行われ(S603)、抽出された画像特徴が症例検索システム300に送信(S604)されている点にある。画像特徴の抽出(S604)の処理内容は、画像特徴の抽出が症例検索システム300で行われる場合と同様である。
図39は、症例検索システム300が類似症例検索の要求を受け取った後、類似症例検索結果を、情報端末100に返すまでの処理を示すシーケンス図である。図26との違いは、画像特徴の抽出が情報端末100側で行われるため、図39では、図26にはあった画像特徴の抽出(S610)が省かれている点にある。
次に、図22、図26のシーケンス図をアプリケーションのレベルで着目したときの情報端末100、医用情報管理システム200、及び症例検索システム300の処理について説明する。図40は、図22及び図26のシーケンス図をアプリケーションのレベルで着目したときのシーケンス図である。図40において、図22と同じ処理には同じ符号を付している。
図40において、「A」は情報端末100が実行する医用情報管理アプリケーションの処理を示し、「B」は情報端末100が実行する類似症例検索アプリケーションの処理を示す。以下、医用情報管理アプリケーションを「アプリA」と記述し、類似症例検索アプリケーションを「アプリB」と記述する。
まず、アプリAは、ユーザから読影対象となる検査リストの表示要求を受け付け、医用情報管理システム200に送信する(S510)。医用情報管理システム200は検査リストを受信すると、画像検査が実施後で読影が未終了の検査をリスト化し、読影対象となる検査リストを生成し、アプリAに送信する。
検査リストを受信したアプリAは、図23に示すように、検査リストをディスプレイ101に表示し、検査リストの中から1の検査がユーザにより選択されると(S530)、選択された検査の表示要求を医用情報管理システム200に送信する(S540)。
検査要求を受信した医用情報管理システム200は、表示要求が指定する検査IDに含まれる全シリーズの全スライス画像をアプリAに送信する(S550)。
次に、アプリAは、図24に示すように、指定された検査IDに含まれる全シリーズに関する情報を一覧表示するシリーズリストを表示する(S560)。
次に、アプリAは、シリーズリストの中から読影対象のシリーズがユーザにより選択されると、選択されたシリーズの最初のスライス位置のスライス画像を医用画像ビューワ610に表示する(S570)。このとき、ユーザは、スライス送りする操作を入力し、医用画像ビューワ610に所望のスライス画像を表示させる。
次に、アプリAは、医用画像ビューワ610に表示されたスライス画像において、関心領域を設定する操作をユーザから受け付ける(S580)。
次に、アプリAは、ユーザにより設定された関心領域を示す関心領域情報を生成し、関心領域が設定されたスライス画像(診断対象症例のスライス画像)と共に、アプリBに送信する(S590、S600)。
次に、アプリBは、診断対象症例のスライス画像及び関心領域情報を受信すると、そのスライス画像及び関心領域情報を症例検索システムに送信する(S601、S602)。
スライス画像及び関心領域情報を受信すると、症例検索システム300は、図26と同様、S610〜S640の処理を実行する。
次に、アプリBは、S640で送信された類似症例データ及び表示ボックス管理情報4410を用いて初期の基本画面を生成する(S670)。そして、アプリBは、図27に詳細が示されるS670の処理を実行する。
(初期表示−表示枚数変更)
次に、情報端末100が類似症例検索結果を初期表示した後、ユーザにより情報端末100で表示枚数の変更する操作が入力され、トリミングされたサムネイル画像を情報端末100が再表示するまでの流れを説明する。
図53は、情報端末100が類似症例検索結果を初期表示した後、類似症例検索結果のサムネイル画像がトリミング表示される処理の流れを示すフローチャートである。この処理は全て情報端末100内で実行される処理である。
(操作情報の取得:S2000)
S2000では、操作部102は、症例表示領域710に表示されるサムネイル画像の表示数を変更する操作を受け付け、情報端末100の入力制御部103は、受け付けた操作にしたがってサムネイル表示変更情報を取得する。本実施の形態では、症例表示領域710に表示されるサムネイル画像の表示数は、図42に示すスクロールバー1700の操作量によって決定される。そのため、サムネイル表示変更情報は、例えば、図42のスクロールバー1700の操作量によって規定される。具体的には、図55の上段に示されるように、スクロールバー1700の移動距離dがサムネイル表示変更情報として採用される。
(トリミング対象症例選択取得:S2100)
次に、S2100では、トリミング画像生成部112は、類似症例検索により取得された類似症例の中から、任意の1つの類似症例をトリミング対象症例として選択し、その類似症例ID4100を取得する。ここで、トリミング画像生成部112は、類似症例検索により取得された類似症例のうち、まず、検索クエリ画像に対する類似度が最大の類似症例を選択し、次に、検索クエリ画像に対する類似度が2番目に大きい類似症例を選択するというように、類似度が高い順に1つずつトリミング対象症例を選択していけばよい。
(トリミング領域算出:S2200)
次に、S2200では、S2100で選択された1つのトリミング対象症例のサムネイル画像に対するトリミング領域を算出する。図54は、図53のS2200に示すトリミング領域の算出処理を示すフローチャートである。図55はトリミング領域の算出処理を説明する図である。以下、図54と図55とを用いてトリミング領域の算出処理について説明する。なお、図55において、上段は図42に示すスクロールバー1700を示し、下段はある1つのサムネイル画像G52を示している。
初めに、S2201では、トリミング画像生成部112は、図53のS2100において選択したトリミング対象症例のサムネイル画像においてROI及びサムネイル画像G52の各辺縁同士の距離を算出する。具体的には、トリミング画像生成部112は、図55に示すように、ROI及びサムネイル画像の左辺、右辺、上辺、及び下辺同士の距離lp,lr,lq,lsを算出する。
次に、S2202では、トリミング画像生成部112は、図53に示すS2000で取得されたサムネイル表示変更情報を用いて、トリミング率を算出する。この例では、サムネイル表示変更情報は、スクロールバー1700の移動距離dが該当する。トリミング率とは、S2201で算出された、距離lp,lr,lq,lsのそれぞれをトリミングするための比率を示す。ここで、図55の上段に示すように、スクロールバー1700の全長をlb、スクロールバー1700の移動距離をdとすると、トリミング画像生成部112は、トリミング率Rtを、例えば、以下の式で算出する。
Rt=d/lb
次に、S2203では、トリミング画像生成部112は、サムネイル画像の各辺縁に対するトリミング量を算出する。ここで、トリミング量とは、サムネイル画像が、各辺縁からトリミングされる距離を示す。トリミング画像生成部112は、S2201で算出したROI及びサムネイル画像の各辺縁同士の距離(lp、lq、lr、ls)にトリミング率Rtを乗じることで、各辺縁のトリミング量Trを算出する。図55を参照すると、トリミング画像生成部112は、ROIとサムネイル画像G52との下辺同士の距離lsのトリミング量Tr_lsを、例えば、以下の式で算出する。
Tr_ls=ls*Rt
トリミング画像生成部112は、同様に、ROI及びサムネイル画像G52の上辺、左辺、及び右辺同士の距離lq、lp、lrについても、下記の式を用いてトリミング量Tr_lq,Tr_lp,Tr_lrをそれぞれ算出する。
Tr_lq=lq*Rt
Tr_lp=lp*Rt
Tr_lr=lr*Rt
最後に、S2204では、トリミング画像生成部112は、S2203で算出したトリミング量Trを用いてトリミング領域G521を算出する。トリミング領域G521とは、トリミングされたサムネイル画像G52における矩形状の画像領域のことを示す。
そして、トリミング画像生成部112は、サムネイル画像G52の各辺縁をS2203で算出したトリミング量Tr分だけトリミングし、残った領域をトリミング領域G521として生成し、生成したトリミング領域G521の座標を算出する。
ここで、サムネイル画像G52は、図55に示すように、左下の頂点に原点(0,0)が設定され、垂直方向の上側に向けて値が増大するようにY軸が設定され、水平方向の右側に向けて値が増大するようにX軸が設定されているとする。
トリミング画像生成部112は、サムネイル画像G52の上辺を−Y方向にトリミング量Tr_lq分ずらした位置にトリミング領域G521の上辺を設定し、サムネイル画像G52の左辺をX方向右側にトリミング量Tr_lp分ずらした位置にトリミング領域G521の左辺を設定し、サムネイル画像G52の右辺を−X方向にトリミング量Tr_lr分ずらした位置にトリミング領域G521の右辺を設定し、サムネイル画像G52の下辺をY方向にトリミング量Tr_ls分ずらした位置にトリミング領域G521の下辺を設定する。そして、トリミング画像生成部112は、サムネイル画像G52から、設定したトリミング領域G521以外の領域(図55でグレーで示される領域)を取り除くことで、トリミング領域G521を生成する。
そして、トリミング画像生成部112は、例えば、トリミング領域G521の4つの頂点の座標をトリミング領域G521の座標として算出すればよい。
図55の例では、サムネイル画像G52の左下の頂点が原点に設定されているため、トリミング領域G521の例えば左上の頂点の座標は、(lp*Rt,ly−lq*Rt)、つまり、(Tr_lp,ly−Tr_lq)と表される。
以上のS2201〜2204の処理が、各トリミング対象症例のサムネイル画像G52に対して実行され、各トリミング対象症例のサムネイル画像G52が順次トリミングされていく。
(トリミング画像生成:S2300)
図53に参照を戻し、S2300では、トリミング画像生成部112は、サムネイル画像G52からS2200で算出されたトリミング領域G521を抽出し、トリミング領域G521を生成する。具体的には、S2100で選択されたトリミング対象症例のサムネイル画像G52に対して、S2200で算出したトリミング領域G521を切り出し、トリミング画像G521を生成する。
(全選択判定:S2400)
最後に、S2400では、トリミング画像生成部112は、S2100で類似症例検索により取得された全ての類似症例のうち、表示対象となる全ての類似症例がトリミング対象症例として選択されたか否かを判定する。そして、表示対象となる全ての類似症例がトリミング対象症例として選択されていなければ(S2400でNO)、トリミング画像生成部112は、処理をS2100へ戻す。そして、トリミング画像生成部112は、S2100で次のトリミング対象症例を選択し、選択したトリミング対象症例の類似症例IDを取得する。一方、表示対象となる全ての類似症例がトリミング対象症例として選択されたのであれば(S2400でYES)、処理は終了される。
そして、表示制御部104は、トリミングされた類似医用画像を類似度が高い順に症例表示領域710に配置させてゆき、ディスプレイ101に表示する。
図43の例では、表示制御部104は、症例表示領域710において、トリミングされた類似医用画像を、類似度が高い順に一定の間隔を設けてマトリックス状に配置させていく。これにより症例表示領域710において一度に表示可能な類似医用画像の個数が増大される。
ここで、表示対象となる全ての類似症例とは、症例表示領域710に一度に表示可能な個数分の類似症例を指す。サムネイル表示変更情報が分かれば、トリミング率Rtが分かるので、トリミング後のサムネイル画像のおよその表示サイズが分かる。そして、トリミング後のサムネイル画像のおよその表示サイズが分かれば、症例表示領域710に一度に表示可能な類似症例の個数が分かる。そこで、トリミング画像生成部112は、サムネイル表示変更情報と、症例表示領域710に一度に表示可能な類似症例の個数との関係が予め対応付けられたテーブルを保持しておき、このテーブルを用いて症例表示領域710に一度に表示可能な類似症例の個数を特定すればよい。そして、トリミング画像生成部112は、類似症例検索による得られた類似症例を類似度が高い順に特定して、順次にトリミングすればよい。
なお、症例表示領域710の右側に設けられたスクロールバー715が下方向にスライドされると、表示制御部104は、スライド量に応じて症例表示領域710を上方向にスクロール表示させる。これにより、非表示状態にあった類似医用画像がディスプレイ101に表示される。この場合、トリミング画像生成部112は、スクロールバー715のスライド量と類似度とを用いて、非表示となる類似医用画像と、新たに表示される類似医用画像とを特定し、新たに表示される類似医用画像をトリミングすればよい。そして、表示制御部104は、新たにトリミングされた類似医用画像を症例表示領域710に表示させると共に、非表示として特定された類似医用画像を症例表示領域710から消去すればよい。
本開示の情報端末100は、検索クエリ画像に対する類似度が高い順にNC個の類似症例のサムネイル画像を症例検索システム300から受信し、受信したNC個の類似症例のうち、症例表示領域710に同時に表示可能なM個の類似症例のサムネイル画像をディスプレイ101に表示する。これにより、医用画像データベースに登録されている膨大な医用画像の中から、検索クエリ画像に表れている病変の病名を検討する際に参考となる類似医用画像を効率的に抽出して、医師に提示できる。
また、本開示では、症例表示領域710に表示されているM個の類似医用画像の表示数を変更することもできる。その際、各類似医用画像の病変部の表示サイズ、つまり、各類似症例のサムネイル画像のROIの表示サイズを、同一サイズに維持しつつ、類似医用画像を表示するための個別領域の表示サイズが変化されている。これにより、症例表示領域710に表示されるM個の類似医用画像の表示数が変更される。即ち、医師は症例表示領域710に表示される類似医用画像の表示数を任意に変更することができる。その結果、症例検索システムの検索結果画面の一覧性が向上でき、診断精度の向上に寄与できる。
また、本開示において、病変部(ROI)の表示サイズを同一サイズに維持する理由は、類似症例検索において医師が関心を持つ領域が各類似医用画像の病変部だからである。即ち、医師は、類似医用画像の病変部を中心に、対象医用画像(検索クエリ画像)と類似する症例であるか否かを診断する。そのため、各類似医用画像の病変部の表示サイズを同一サイズに維持することは、診断に必要な情報を劣化させずに維持することに相当する。
さらに、病変部の表示サイズを同一サイズに維持することは、病変部の表示サイズを拡大することと比較して診断上有益な場合もあり得る。即ち、病変部の表示サイズが同一サイズに維持されるため、各個別領域の表示サイズが変更された後であっても、医師は各類似医用画像の中の病変部の大きさを容易に把握することができる。仮に、病変部の表示サイズを拡大する場合、症例表示領域710に表示される類似医用画像を見ただけでは、各類似医用画像の中の病変部の大きさを容易に把握することができない恐れが生じ得る。すると、医師が対象医用画像と各類似医用画像とを比較する際に、病変部の大きさが共通するか否かという判断が容易に行えない場合も生じ得る。そこで、本態様では、病変部の表示サイズを同一サイズに維持している。一方、個別領域の表示サイズを変更する理由、即ち、病変部以外の領域をトリミングする理由は、トリミングにより削除される領域が病変部と比較して診断に必要な情報としての重要度が低いからである。
従って、本態様によると、類似症例検索の検索結果を表示する表示画面の一覧性を向上しつつ、診断に必要な情報を医師に適切に提示することができる。その結果、医師による診断精度の向上に寄与できる。
また、各類似医用画像の病変部の表示サイズを同一サイズに維持しつつ、M個の類似医用画像を表示するM個の個別領域の表示サイズを小さくすることは、各類似医用画像について病変部以外の領域がトリミングにより削除されることに相当する。換言すれば、トリミングにより削除された領域の分だけ、各個別領域の表示サイズが小さくなる。すると、各個別領域の表示サイズは小さくなるため、症例表示領域710に表示可能なM個の類似医用画像の表示数は多くなる。その結果、各個別領域の表示サイズが原寸サイズでは症例表示領域710に表示仕切れなかった類似医用画像を症例表示領域710に表示することが可能となり得る。
従って、本態様によると、症例表示領域710に原寸サイズでは表示仕切れなかった類似医用画像が表示可能となり得るため、症例検索システム300による類似症例検索の検索結果を表示する表示画面の一覧性が向上する。
また、本態様によると、スクロールバー1700の移動に応じて、症例表示領域710に表示されるM個の類似医用画像の表示数を変更させる。これにより、医師は簡易な操作によって、症例表示領域710に表示されるM個の類似医用画像の表示数を変更することができる。よって、医師の操作負担を軽減し、その分、医師を専門的な診断に集中させて、診断精度の向上を図ることができる。
さらに、本態様によると、スクロールバー1700の移動距離に応じて、第1表示領域に表示されるM個の類似医用画像の表示数が増加する。即ち、症例表示領域710に表示されるM個の類似医用画像の表示数について、医師はスクロールバー1700の移動距離を調整するという簡易な操作によって、制御することができる。よって、医師の操作負担を軽減し、その分、医師を専門的な診断に集中させて、診断精度の向上を図ることができる。
(変形例1)
また、上記態様において、例えば、症例表示領域710において、類似症例のサムネイル画像が表示される個別領域の各々の表示サイズは、図42、図43等に示されるように同一であるとしてもよい。
本態様によると、症例表示領域710において、類似医用画像を表示するための個別領域の各々の表示サイズは同一であるため、図45に示されるように各個別領域の表示サイズが不均一の場合と比較して一覧性が向上する。
図49は、情報端末100に類似症例検索結果を初期表示した後、類似症例検索により得られたサムネイル画像が同一サイズでトリミング表示されるまでの処理の流れを示すフローチャートである。この処理は全て情報端末100内で実行される処理である。
(サムネイル表示変更情報の取得:S1000)
S1000では、ユーザが入力したサムネイル表示変更情報を取得する。この処理の詳細は、図53に示すS2000と同じである。
(拡大変更操作量取得:S1100)
次に、S1100では、トリミング画像生成部112は、S1000で取得したサムネイル表示変更情報に応じて、サムネイル画像のトリミング量Trを算出する。
図50はトリミング領域の算出処理を説明する図である。図50の上段に示すように、スクロールバー1700の全長をlb、スクロールバー1700の移動距離をd、表示対象のサムネイル画像G52の初期サイズをliとすると、トリミング量Trは以下の式で算出することができる。なお、図50の例では、症例表示領域710に表示される各サムネイル画像G52は正方形であるものとする。また、図50の例では、スクロールバー1700は、スライド可能領域の右端を起点に左方向にスライドされるものとする。したがって、スクロールバー1700の移動距離dは、スライド可能領域の右端から左方向へのスライド量で規定される。
Tr=li×d/2×lb
ここで、分母に2が乗じられているのは、li/lbを対向する2辺同士で分担させて、サムネイル画像G52の各辺縁のトリミング量Trを決定するためである。
(トリミング対象症例取得:S1200)
次に、S1200では、トリミング画像生成部112は、類似症例検索により取得されたNC個の類似症例のうち、表示対象となる類似症例をトリミング対象症例として取得する。ここで、表示対象となる類似症例は、症例表示領域710が一度に表示可能な個数分の類似症例を指す。この処理の詳細は、S2400で説明したので省略する。
(トリミング可否判定:S1300)
S1300では、トリミング画像生成部112は、S1200で取得された各トリミング対象症例に付与されているROIの座標とトリミング量Trとを用いて、当該トリミング対象症例に対してトリミング量Trによるトリミングが可能か否かを判定する。そして、トリミング可能と判断した場合、トリミング画像生成部112は、処理をS1600に進める。一方、トリミング不可と判断した場合、トリミング画像生成部112は、処理をS1400に進める。
図51は、図49のS1300に示すトリミング可否の判定処理の詳細を示すフローチャートである。以下、図51を使ってトリミング可否判定の判定処理について説明する。
まず、S1301では、トリミング画像生成部112は、図49のS1200で取得されたトリミング対象症例の中から1つのトリミング対象症例を取得する。ここで、トリミング画像生成部112は、S1200で取得されたトリミング対象症例の中から、類似度が高い順に1つのトリミング対象症例を選択すればよい。
次に、S1302では、トリミング画像生成部112は、S1301で取得された1つのトリミング対象症例に対して、ROI及びサムネイル画像G52の各辺縁同士の距離のうち、最小距離lmを算出する。
図52は、トリミング可否の判定処理の説明図である。図52に示すように、サムネイル画像G52の左上頂点に原点(0、0)が設定されており、サムネイル画像G52の辺縁の長さをli、ROIの左上頂点の座標を(xa、ya)、右下頂点の座標を(xb、yb)とすると、ROI及びサムネイル画像G52の各辺縁同士の距離は左辺がxa、上辺がya、右辺がli−xb、下辺がli―ybで算出される。そのため、これらのxa、ya、li−xb、li−ybの中で最も小さい値が、ROI及びサムネイル画像G52の各辺縁同士の最小距離lmとして算出される。
次に、S1303では、トリミング画像生成部112は、S1302で算出された最小距離lmがトリミング量Trより大きいか否かを判定する。そして、最小距離lmがトリミング量Tr以上の場合(S1303でYES)、トリミング画像生成部112は、S1301で選択された1つのトリミング対象症例はトリミング量Trでトリミング可能と判定する(S1304)。一方、最小距離lmがトリミング量Tr未満の場合(S1303でNO)、トリミング画像生成部112は、S1301で選択された1つのトリミング対象症例における最小距離lmを図略のメモリ503に記憶し(S1305)、該当するトリミング対象症例はトリミング量Trでトリミング不可と判定する(S1306)。この場合、トリミング画像生成部112は、既にメモリ503に最小距離lmが記憶されているのであれば、今回算出した最小距離lmがメモリ503に記憶されている最小距離lmより小さいか否かを判定し、小さいと判定した場合は、今回算出した最小距離lmでメモリ503に記憶されている最小距離lmを更新する。
これにより、トリミング不可と判定されたトリミング対象症例が複数ある場合、全てのトリミング対象症例の最小距離lmのうち最小の最小距離lmを用いて全てのトリミング対象症例がトリミングされることになる。その結果、全てのトリミング対象症例において、ROIがトリミングされることを防止できると同時に、トリミング後の全てのトリミング対象症例のサイズを同一サイズに維持できる。
S1307では、トリミング画像生成部112は、類似症例検索により得られた全ての類似症例がトリミング対象症例として選択されたか否かを判定し、選択されていないと判定した場合は(S1307でNO)、処理をS1301に戻し、次のトリミング対象症例を選択する。一方、全てのトリミング対象症例が選択されている場合(S1307でYES)、トリミング画像生成部112は、処理をS1308に進める。
以上のS1301〜1307の処理を行うことにより、各トリミング対象症例につきトリミング量Trでのトリミングが可能か否かが判定される。
S1308では、全てのトリミング対象症例のうちトリミング不可と判定されたトリミング対象症例が1以上であれば(S1308でYES)、トリミング画像生成部112は、全てのトリミング対象症例はトリミング量Trでトリミング不可と判定する(S1310)。この場合、図49のS1300の判定がトリミング不可となり、処理がS1400に進められる。
一方、トリミング不可と判定されたトリミング対象症例が0であれば(S1308でNO)、トリミング画像生成部112は、全てのトリミング対象症例はトリミング量Trでトリミング可能と判定する(S1309)。この場合、図49のS1300の判定がトリミング可能となり、処理がS1600に進められる。
(トリミング可能サイズ取得:S1400)
図49に参照を戻し、S1400では、トリミング画像生成部112は、図51のS1305でメモリ503に記憶された最小距離lmを読み出し、最小距離lmを取得する。
(トリミング画像生成:S1500)
S1500では、トリミング画像生成部112は、図51のS1400で取得した最小距離lmを用いて、全てのトリミング対象症例の各サムネイル画像に対してトリミングを行う。
具体的には、図50の下段に示すように、各トリミング対象症例のサムネイル画像G52のそれぞれに対し、各辺縁からトリミング量Tr(ここでは、最小距離lm)分の領域(グレー色の領域)が削除される。
より具体的には、サムネイル画像G52の上辺から下側に向けてトリミング量Trだけ離間した位置にトリミング領域G521の上辺が設定され、サムネイル画像G52の左辺から右側に向けてトリミング量Trだけ離間した位置にトリミング領域G521の左辺が設定され、サムネイル画像G52の右辺から左側に向けてトリミング量Trだけ離間した位置にトリミング領域G521の右辺が設定され、サムネイル画像G52の下辺から上側に向けてトリミング量Trだけ離間した位置にトリミング領域G521の下辺が設定される。そして、トリミング領域G521とサムネイル画像G52との間の枠状の領域(グレー色の領域)がサムネイル画像G52から削除され、サムネイル画像G52がトリミングされる。
このように、S1500では、トリミング不可と判定されたトリミング対象症例が1以上存在する場合、全てのトリミング対象症例の最小距離lmのうち最小の最小距離lmがトリミング量Trとして用いられて、全てのトリミング対象症例がトリミングされる。ここで、例えば、トリミング対象症例のうち最小距離lmが2番目に小さい最小距離lmをトリミング量Trとして用いてトリミング対象症例をトリミングすると、最小距離lmが最小であるトリミング対象症例はROIの一部がトリミングされてしまう。本開示では、最小の最小距離lmがトリミング量Trとして用いられて各トリミング対象症例がトリミングされるので、全てのトリミング対象症例のROIが削除されることを防止できると同時に、トリミング後の全てのトリミング対象症例を同一サイズに維持させることができる。
(トリミング画像生成:S1600)
S1600では、S1309(図51)において全てのトリミング対象症例について、S1100で算出したトリミング量Trでのトリミングが可能と判断されたため、トリミング画像生成部112は、S1100で算出したトリミング量Trを用いてトリミング対象症例の各サムネイル画像に対してトリミングを行う。S1600における処理の詳細はS1500と同じである。この場合、全てのトリミング対象症例の各サムネイル画像がトリミング量Trを用いて一律にトリミングされるので、トリミング後のトリミング対象症例のサイズは同一サイズになる。
以上のS1000〜S1600を実行することにより、症例表示領域710に表示されるサムネイル画像の各々の表示サイズは図43、図44に示すように同一にすることができる。そして、表示制御部104は、トリミングされたトリミング対象症例を類似度が高い順に症例表示領域710に配置させてゆき、ディスプレイ101に表示する。なお、この処理の詳細は、図53のS2400で説明したので省略する。
図45は、症例表示領域710に表示される類似医用画像が同一サイズに表示されていない場合の基本画面K2の一例を示す図である。図45では、図55に示す手法を用いて各類似医用画像がトリミングされており、トリミングされた類似医用画像が、症例表示領域710において類似度が高い順で2行×4列で表示されている。
なお、図55に示す手法では、トリミング量Trは、ROIとサムネイル画像との各辺縁同士の距離(lp、lq、lr、ls)にトリミング率Rtを乗じることで算出されている。ここで、サムネイル画像G52毎にROIのサイズは異なるので、各辺縁同士の距離(lp、lq、lr、ls)は、サムネイル画像G52毎に異なる。したがって、図55に示す手法を採用した場合、図45に示すように、症例表示領域710において各類似医用画像を同一サイズで表示できないおそれがある。
これに対して、図49のフローチャートに示す手法では、類似症例検索で得られたNC個の類似症例は、最小距離lmの最小値を用いて、ROI以外の領域がトリミングされているので、症例表示領域710において表示される各類似医用画像を同一サイズで表示できる。
(変形例2)
また、上記態様において、検索クエリ画像(対象医用画像)及び類似症例のサムネイル画像(類似医用画像)は、断層撮影法により撮影された医用画像である。ここで、断層撮影法としては、核磁気共鳴画像法(MRI:magnetic resonance imaging)又はコンピュータ断層撮影法(CT:Computed Tomography)が採用できる。そして、類似医用画像の各々は、核磁気共鳴画像法又はコンピュータ断層撮影法による撮影条件を示す撮影条件情報を含んでいる。そして、表示制御部104は、撮影条件情報を基に、類似症例検索により得られたNC個の類似医用画像のうち、症例表示領域710に表示されるM個の類似医用画像を撮影条件毎に区分けして表示させてもよい。
図46は、類似医用画像が撮影条件毎に区分して表示された症例表示領域710の一例を示す図である。この例では、表示対象となる類似医用画像は4つの異なる撮影条件で撮影されており、各類似医用画像は、4つの撮影条件毎に区分けして表示されている。ここで、撮影条件としては、単純CT、造影CT、MRIのT1強調、及びMRIのT2強調の4つが採用されている。
図20に示すように、類似症例データ4000において、スライスID4200には、CT149391025_1、CT149391025_2、・・・というように、アンダーバーの後に枝番号が付加されている。ここで、枝番号は、図18でも説明したように、「1」は、例えば単純CT、「2」は造影CT、「3」はT1強調、「4」はT2強調というように、撮影条件が予め対応付けられている。したがって、表示制御部104は、枝番号を参照することで、その枝番号に対応付けられた撮影条件で撮影された類似医用画像を得ることができる。この枝番号が撮影条件情報の一例に相当する。つまり、「1」の枝番号は単純CTの撮影条件情報を示し、「2」の枝番号は造影CTの撮影条件情報を示し、「3」の枝番号はT1強調の撮影条件情報を示し、「4」の枝番号はT2強調の撮影条件情報を示す。
T1強調画像は、脂肪などが白く映し出され、血液などが黒く映し出される画像である。一方、T2強調画像は、脂肪及び血液などが白く映し出され、石灰化などが黒く映し出される画像である。即ち、T1強調画像であるか、T2強調画像であるかによって、白く映し出される対象が異なるのである。よって、症例表示領域710にM個の類似医用画像が表示される際に、T1強調画像又はT2強調画像が混在して表示されると、医師に混乱を生じさせる恐れがある。
従って、本態様によると、撮影条件毎に、M個の類似医用画像が区分けして症例表示領域710に表示される。これにより、診断を行う医師は、各類似医用画像の撮影条件を一見で判別することが可能となるため、混乱することなく診断を行うことができる。さらに、撮影条件毎に類似判断が可能となるため、診断精度の向上を図ることができる。
(変形例3)
また、上記態様において、例えば、類似医用画像には、同一の撮影対象について撮影条件が異なる関連類似医用画像が付加されており、症例表示領域710には、撮影条件毎に、各類似医用画像と各類似医用画像の関連類似医用画像とを同一の列方向(縦方向)又は同一の行方向(横方向)に区分けして表示させるとしてもよい。
ここで、患者に対して核磁気共鳴画像法により画像を撮影する際、一回の撮影において複数の撮影条件で撮影することがある。即ち、一回の撮影において複数の類似医用画像が得られる。得られた複数の類似医用画像のうちある1つが類似医用画像となる場合、その他の類似医用画像は関連類似医用画像となる。かかる関連類似医用画像は、類似医用画像からは得られない情報が得られるため、検索クエリ画像の類似症例を検討するに際して有益な情報である。
図46では、各類似医用画像と各類似医用画像の関連類似医用画像とが同一の列方向(縦方向)に撮影条件毎に区分されて表示された例が示されている。図46では、症例表示領域710は、4列に区分されており、「CT」との見出しが付けられた左から1列目には単純CT画像、「造影CT」との見出しが付けられた左から2列目には造影CT画像、「T1強調」との見出しが付けられた左から3列目にはT1強調画像、「T2強調」との見出しが付けられた左から4列目にはT2強調画像が表示されている。ここで、1列目に表示された単純CT画像を類似医用画像とすると、2〜4列目に表示された、造影CT画像、T1強調画像、T2強調画像が関連類似医用画像となる。但し、これは一例であり、単純CT画像以外のある1つの撮影条件の医用画像が類似医用画像とされ、残り3つの撮影条件の類似医用画像が関連類似医用画像とされてもよい。
また、図46の例では、症例表示領域710には、1行目に肺膿瘍の類似医用画像が表示され、2行目には原発性肺癌の類似医用画像が表示されている。このように、図46の例では、各類似症例が4つの撮影条件に区分されて列方向(縦方向)に配列されている。また、図46の例では、類似度が高い類似症例が上側の行に位置するように類似医用画像及び関連類似医用画像が配置されている。これにより、上側に位置する類似医用画像及び関連類似医用画像ほど検索クエリ画像に対する類似度が高いことを医師は一目で認識できる。
ここでは、検索クエリ画像に対する類似度が高い類似症例ほど上側の行に位置させるとして説明したが、これは一例であり、これとは逆に検索クエリ画像に対する類似度が高い類似症例ほど下側の行に位置させてもよい。
症例表示領域710の右側には縦方向に長尺のスクロールバー715が配置されている。スクロールバー715が下方向にスライドされると、症例表示領域710が上方向にスクロールされ、非表示状態にあった類似医用画像及び関連類似医用画像が表示される。図46の例では、症例表示領域710は一度に2行分の類似症例しか表示できない。したがって、スクロールバー715を下方向にスライドさせることにより、検索クエリ画像に対する類似度が3番目以降の類似症例が症例表示領域710に表示される。
なお、症例表示領域710は、1列目から4列目にかけて、単純CT、造影CT、T1強調、T2強調の順で区分されているが、これは一例にすぎず、他の順序で撮影条件は区分されてもよい。
図47は、撮影条件毎に、各類似医用画像と各類似医用画像の関連類似医用画像とが同一の行方向(横方向)に表示された症例表示領域710の一例を示す図である。
図47の例では、症例表示領域710は、4行に区分されており、「CT」との見出しが付けられた上から1行目には単純CT画像、「造影CT」との見出しが付けられた上から2行目には造影CT画像、「T1強調」との見出しが付けられた上から3行目にはT1強調画像、「T2強調」との見出しが付けられた上から4行目にはT2強調画像が表示されている。ここで、1行目に表示された単純CT画像を類似医用画像とすると、2〜4行目に表示された、造影CT画像、T1強調画像、T2強調画像が関連類似医用画像となる。但し、これは一例である。
また、図47の例では、症例表示領域710には、1列目に肺膿瘍の類似症例が表示され、2列目に原発性肺癌の類似症例が表示され、3列目にアスペルギルス症の類似症例が表示されている。このように、図47の例では、各類似症例が4つの撮影条件に区分されて行方向(横方向)に配列されている。また、図47の例では、類似度が高い類似医用画像が左側の列に位置するように類似医用画像が配置されている。これにより、左側の列に位置する類似医用画像ほど検索クエリ画像に対する類似度が高いことを医師は一目で認識できる。
ここでは、検索クエリ画像に対する類似度が高い類似医用画像ほど左側の列に位置させるとして説明したが、これは一例であり、これとは逆に検索クエリ画像に対する類似度が高い類似医用画像ほど右側の列に位置させてもよい。
症例表示領域710の下側には横方向に長尺のスクロールバー715が配置されている。スクロールバー715が右方向にスライドされると、症例表示領域710が左方向にスクロールされ、非表示状態にあった類似医用画像が表示される。図47の例では、症例表示領域710は一度に3列分の類似医用画像しか表示できない。したがって、スクロールバー715を右方向にスライドさせることにより、検索クエリ画像に対する類似度が4番目以降の類似医用画像が症例表示領域710に表示される。
なお、症例表示領域710は、1行目から4行目にかけて、単純CT画像、造影CT画像、T1強調画像、T2強調画像の順で類似医用画像を表示しているが、これは一例にすぎず、他の順序で類似医用画像を表示してもよい。
本態様によると、症例表示領域710に表示される各類似医用画像が、検索クエリ画像に類似するか否かを判断するに際し、関連類似医用画像と併せて検討することが可能となるため、診断精度の向上を図ることができる。
(変形例4)
また、上記態様において、例えば、症例検索システムから受信したNC個の類似医用画像を症例表示領域710に表示させる際、受信したNC個の類似医用画像に含まれる撮影条件数に応じて、各類似医用画像の病変部の表示サイズを同一サイズに維持し、かつ、各類似医用画像を表示する個別領域の表示サイズを変化させ、かつ、撮影条件に基づき、各類似医用画像と各類似医用画像の関連類似医用画像とを同一の列方向又は同一の行方向に区分けして表示させてもよい。
図48は、受信したNC個の類似医用画像が5つの撮影条件(単純CT、造影CT、MRIのT1強調、MRIのT2強調、拡散強調)で撮影されていた場合の症例表示領域710の一例を示す図である。図48では、図46と比較して撮影条件が1つ増えている分、症例表示領域710に表示される各サムネイル画像はトリミング量Trが増大されて画像サイズが小さくされ、一覧表示されている。
図48の例では、症例表示領域710は5列に区分されており、「CT」との見出しが付けられた左から1列目には単純CT画像、「造影CT」との見出しが付けられた左から2列目には造影CT画像、「T1強調」との見出しが付けられた左から3列目にはT1強調画像、「T2強調」との見出しが付けられた左から4列目にはT2強調画像、「拡散強調」との見出しが付けられた左から5列目には拡散強調画像が表示されている。また、図48の例では、1行目に肺膿瘍の類似症例が表示され、2行目に原発性肺癌の類似症例が表示され、3行目にアスペルギルス症の類似症例が表示されている。このように、図48の例では、各類似症例が5つの撮影条件に区分されて列方向(縦方向)に配列されている。また、図48の例では、類似度が高い類似症例が上側の行に位置するように類似症例が配置されている。これにより、上側に位置する類似症例ほど検索クエリ画像に対する類似度が高いことを医師は一目で認識できる。
なお、図48では、症例表示領域710は、取得したNC個の類似医用画像が5つの撮影条件で撮影されるため、5列に区分されているが、2つ以上4つ以下、或いは6つ以上のi個の撮影条件で類似医用画像が撮影されていることもある。この場合、表示制御部104は、症例表示領域710をi列に区分すればよい。また、取得したNC個の類似医用画像のそれぞれの撮像条件の個数が異なる場合もある。この場合、取得したNC個の類似医用画像のうち撮像条件の個数の最大数で症例表示領域710は区分されればよい。例えば、取得したNC個の類似医用画像のうち、撮影条件の最大数が5であったとすると、表示制御部104は、症例表示領域710を5つに区分すればよい。
この場合、撮影条件の個数が4個以下の類似医用画像について、表示制御部104は、欠落している撮影条件に対応する類似医用画像の表示欄(個別領域)をブランク表示させればよい。例えば、図48に例において、原発性肺癌が、「造影CT」の撮影条件で撮影されていなかったとすると、「造影CT」の表示欄がブランク表示される。ここで、ブランク表示の態様としては、該当する表示欄(個別領域)を例えば、所定の色(例えば、黒や白)一色で表示させる態様が採用できる。
なお、図48では、症例表示領域710は、5列に区分されているが、図47の例に倣って5行で区分されてもよい。この場合、表示制御部104は、図47の例に倣って類似度が高い類似症例ほど左側の列に表示させればよい。
次に、図48の症例表示領域710の生成処理について説明する。まず、表示制御部104は、取得したNC個の類似症例の撮影条件の最大数を検知する。この場合、表示制御部104は、NC個の類似症例のそれぞれに対応する類似症例データ4000のスライスID4200の枝番号を用いて、撮影条件の最大数を検知すればよい。
次に、表示制御部104は、検知した撮影条件の最大数に応じた、症例表示領域710表示レイアウトを特定する。ここで、症例表示領域710の表示レイアウトは、撮影条件の最大数及びサムネイル表示変更情報に応じて予め定められているものとする。図48の例では、症例表示領域710は、撮影条件毎に3行×5列に区分する表示レイアウトが採用されているが、この表示レイアウトは、撮影条件の最大数(ここでは、5個)及びサムネイル表示変更情報から決定される。
トリミング画像生成部112は、特定した表示レイアウトが示す個数分の類似症例をトリミングする。このとき、トリミング画像生成部112は、類似症例に設定されたROI以外の領域をトリミングすればよい。ここで、トリミング画像生成部112は、例えば、図50の下段に示す手法を用いて類似症例のサムネイル画像G52をトリミングすればよい。この場合、トリミング画像生成部112は、トリミング領域G521の境界を定める4つの境界線を、サムネイル画像G52の4つの辺縁からサムネイル画像G52の中心に向けてトリミング量Tr分ずらしてゆく。ここで、4つの境界線のうちある境界線がROIの辺縁に到達したとする。この場合、トリミング画像生成部112は、その境界線の移動を中止し、対向する境界線同士の移動量の合計値が2×トリミング量Trとなるまで、残りの境界線をサムネイル画像G52の中心に向けてずらしていけばよい。そして、トリミング画像生成部112は、4つの境界線に対して外側の領域をトリミングする。これにより、ROIのサイズを維持した状態で、トリミング後のサムネイル画像G52のサイズを同一サイズに維持できる。
トリミング画像生成部112は、このようなトリミング処理を症例表示領域710に一度に表示可能な個数分の類似症例に対して行う。そして、表示制御部104は、トリミングされた全ての類似症例の類似医用画像及び関連類似医用画像を類似度が高い順に表示させる。
本態様によると、症例検索システム300から受信したNC個の類似医用画像の撮影条件数に応じて症例表示領域710が区分される。そして、ROIのサイズが維持され、且つ、撮影条件数に応じて予め定められた表示サイズを持つように類似医用画像がトリミングされ、症例表示領域710に表示される。
即ち、初期検索結果の画面において、医師は何ら操作することなく、上記のような表示画面が表示されることとなる。よって、医師の操作負担を軽減し、その分、医師を専門的な診断判断に集中させて、診断精度の向上を図ることができる。
(変形例5)
図49のS1400では、最小距離lmの最小値を用いて類似医用画像はトリミングされていたが、本開示はこれに限定されない。図50の例において、トリミング画像生成部112は、トリミング領域G521の境界を定める4つの境界線を、サムネイル画像G52の4つの辺縁からサムネイル画像G52の中心に向けてトリミング量Tr分ずらしてゆく。ここで、4つの境界線のうちある境界線がROIの辺縁に到達すると、その境界線の移動を中止し、対向する境界線の移動量の合計値が2×トリミング量Trになるまで、残りの境界線をサムネイル画像G52の中心に向けてずらしてゆけばよい。そして、トリミング画像生成部112は、4つの境界線に対して外側の領域をトリミングする。これにより、ROIの表示サイズを維持した状態で、トリミング後のサムネイル画像G52の表示サイズを同一サイズに維持できる。
(変形例6)
上記説明では、トリミング画像生成部112は、症例表示領域710に一度に表示可能な類似症例に対してトリミングを行ったが、NC個の類似症例の全てに対してトリミングを行ってもよい。この場合、スクロールバー715がスライドされて非表示の類似症例を表示させる場合、その類似症例に対してトリミングを施す必要が省かれ、処理の高速化を図ることができる。