JP5677348B2 - 症例検索装置、症例検索方法及びプログラム - Google Patents

Description

本発明は、症例検索装置、症例検索方法及びプログラムに係り、特に、画像検索とテキスト検索を用いて症例データを検索する技術に関する。

従来、医師などの医療従事者は、ＣＴやＭＲＩなどの医療用画像診断装置から得られた診断画像に基づいて患者の診断を行っている。このような画像診断においては、過去の検査において撮影された診断画像の診断データを参照することで、診断精度を向上させることができる。このため、症例データとして過去に撮影された診断画像とその診断データをデータベースに蓄積し、このデータベースから診断画像に類似する症例データを検索することが行われている。

例えば特許文献１には、被写体画像中にＲＯＩ（関心領域）を設け、ＲＯＩの画像データＰ′と画像の特性が類似している部分を有する類似画像データとその診断データを検索し、検索結果をモニタに表示させる技術が開示されている。

また特許文献２には、入力された３次元画像において関心領域を設定して関心領域の特徴量を算出し、この特徴量を用いて類似画像を抽出する技術が記載されている。

さらに特許文献３には、診断対象の画像データＰ１の類似症例を表す画像データＰ２を画像解析により検索するとともに、この画像データＰ２に関連する診断データＤ２と、画像データＰ１の病状情報と同様の病状情報を含む診断データＤ３とを検索し、診断データＤ２、Ｄ３を利用して画像データＰ１に対する疾患候補情報を決定し、表示装置に出力する技術が開示されている。

これらの技術によれば、診断画像に類似している症例を多数の画像を有するデータベースから適切に検索することが可能となる。

特開２００４−５３６４号公報 特開２００１−１１７９３６号公報 特開２００３−３２５４５８号公報

しかしながら、特許文献１、２の技術では、１つの診断画像に対して関心領域を変化させながら複数回の画像検索を行った場合、関心領域を変化させる前の検索結果についてはすぐに反映させることができないため、再度同じ条件で検索しなければならないという問題があった。

また、特許文献３の技術においても、複数回の画像検索を行った後、さらに複数回のテキスト検索を行う場合、以前の画像検索結果に対して同様のテキスト検索を行うことは、手間がかかり煩雑であるという欠点があった。

本発明はこのような事情に鑑みてなされたもので、過去の検索履歴を容易に参照可能とすることで検索効率を向上させることができる症例検索装置、症例検索方法及びプログラムを提供することを目的とする。

前記目的を達成するために、症例検索装置の一の態様は、画像データとテキストデータとを含む症例データが記憶されたデータベースと、診断対象画像を取得する画像取得手段と、取得した診断対象画像から注目領域を抽出する領域抽出手段と、診断対象画像に関するテキストデータを取得するテキストデータ取得手段と、データベースに対して、抽出した注目領域を画像検索条件とする画像検索と取得したテキストデータをテキスト検索条件とするテキスト検索とを行い、画像検索条件及びテキスト検索条件に該当する症例データを抽出する検索手段と、抽出された症例データを表示手段に表示させる検索結果表示手段と、同一の診断対象画像についてそれぞれ異なる複数の注目領域を画像検索条件として検索手段によって複数回症例データを抽出した際の複数の画像検索条件とテキスト検索条件とをそれぞれ記憶する検索条件記憶手段と、記憶された画像検索条件とテキスト検索条件とをそれぞれユーザが指定可能に表示手段に表示させる検索履歴表示手段とを備え、検索手段は、表示された画像検索条件のうちのいずれかの画像検索条件及び表示されたテキスト検索条件のうちのいずれかのテキスト検索条件が指定されると、指定された画像検索条件及び指定されたテキスト検索条件に該当する症例データを抽出する。

本態様によれば、一度検索を行った画像検索条件とテキスト検索条件とをそれぞれユーザが指定可能に表示手段に表示させ、表示された画像検索条件のうちのいずれかの画像検索条件といずれかのテキスト検索条件とが指定されると、指定された画像検索条件及びテキスト検索条件に該当する症例データをデータベースから抽出するようにしたので、ユーザは過去の検索条件を容易に選択できるようになり、検索効率を向上させることができる。
前記目的を達成するために、症例検索装置の一の態様は、画像データとテキストデータとを含む症例データが記憶されたデータベースと、診断対象画像を取得する画像取得手段と、取得した診断対象画像から注目領域を抽出する領域抽出手段と、診断対象画像に関するテキストデータを取得するテキストデータ取得手段と、データベースに対して、抽出した注目領域を画像検索条件とする画像検索と取得したテキストデータをテキスト検索条件とするテキスト検索とを行い、画像検索条件及びテキスト検索条件に該当する症例データを抽出する検索手段と、抽出された症例データを表示手段に表示させる検索結果表示手段と、画像検索条件とテキスト検索条件とをそれぞれ記憶する検索条件記憶手段と、記憶された画像検索条件とテキスト検索条件とをそれぞれユーザが指定可能に表示手段に表示させる検索履歴表示手段とを備え、検索手段は、表示された画像検索条件のうちのいずれかの画像検索条件及び表示されたテキスト検索条件のうちのいずれかのテキスト検索条件が指定されると、指定された画像検索条件及び指定されたテキスト検索条件に該当する症例データを抽出し、検索履歴表示手段は、記憶された画像検索条件とテキスト検索条件とを表示手段にマトリクス表示させる。

領域抽出手段は、ユーザの指示に基づいて注目領域を抽出することが好ましい。これにより、適切な注目領域で検索を行うことができる。

領域抽出手段は、所定の閾値に基づいて画像解析することで注目領域を抽出することが好ましい。これにより、自動的に注目領域を抽出することができ、さらに適切な注目領域で検索を行うことができる。

テキストデータ取得手段は、ユーザが入力手段により入力したテキストデータを取得することが好ましい。これにより、適切なテキストデータで検索を行うことができる。

検索手段は、抽出した注目領域について特徴量を算出し、該算出した特徴量とデータベース内の症例データにおける同一部位の画像データの特徴量とを比較して類似度を算出し、算出した類似度に基づいて画像検索することが好ましい。これにより、適切に画像検索を行うことができる。

検索手段は、テキスト検索により得られた症例データについて、類似度の高い順に症例データを抽出することが好ましい。これにより、ユーザに対して適切な検索結果を提示することができる。

検索条件記憶手段は、算出した特徴量を画像検索条件として記憶することが好ましい。これにより、適切な画像検索条件を履歴として表示させることができる。

検索条件記憶手段は、検索手段の検索結果を記憶することが好ましい。これにより、過去の検索条件が選択された場合に、再検索を行うことなく検索結果を表示させることができる。

検索履歴表示手段は、記憶された画像検索条件とテキスト検索条件とを表示手段にマトリクス表示させることが好ましい。これにより、ユーザにわかりやすく検索履歴を提示することができる。

検索結果表示手段は、抽出された症例データの画像データとテキストデータとを表示させることが好ましい。これにより、ユーザに対して適切に検索結果を提示することができる。

前記目的を達成するために、症例検索方法の一の態様は、診断対象画像を取得する画像取得工程と、取得した診断対象画像から注目領域を抽出する領域抽出工程と、診断対象画像に関するテキストデータを取得するテキストデータ取得工程と、画像データとテキストデータとを含む症例データが記憶されたデータベースに対して、抽出した注目領域を画像検索条件とする画像検索と取得したテキストデータをテキスト検索条件とするテキスト検索とを行い、画像検索条件及びテキスト検索条件に該当する症例データを抽出する検索工程と、抽出された症例データを表示手段に表示させる検索結果表示工程と、同一の診断対象画像についてそれぞれ異なる複数の注目領域を画像検索条件として検索工程によって複数回症例データを抽出した際の複数の画像検索条件とテキスト検索条件とをそれぞれ記憶手段に記憶させる検索条件記憶工程と、記憶された画像検索条件とテキスト検索条件とをそれぞれユーザが指定可能に表示手段に表示させる検索履歴表示工程とを備え、検索工程は、表示された画像検索条件のうちのいずれかの画像検索条件及び表示されたテキスト検索条件のうちのいずれかのテキスト検索条件が指定されると、指定された画像検索条件及び指定されたテキスト検索条件に該当する症例データを抽出する。
前記目的を達成するために、症例検索方法の一の態様は、診断対象画像を取得する画像取得工程と、取得した診断対象画像から注目領域を抽出する領域抽出工程と、診断対象画像に関するテキストデータを取得するテキストデータ取得工程と、画像データとテキストデータとを含む症例データが記憶されたデータベースに対して、抽出した注目領域を画像検索条件とする画像検索と取得したテキストデータをテキスト検索条件とするテキスト検索とを行い、画像検索条件及びテキスト検索条件に該当する症例データを抽出する検索工程と、抽出された症例データを表示手段に表示させる検索結果表示工程と、画像検索条件とテキスト検索条件とをそれぞれ記憶手段に記憶させる検索条件記憶工程と、記憶された画像検索条件とテキスト検索条件とをそれぞれユーザが指定可能に表示手段に表示させる検索履歴表示工程とを備え、検索工程は、表示された画像検索条件のうちのいずれかの画像検索条件及び表示されたテキスト検索条件のうちのいずれかのテキスト検索条件が指定されると、指定された画像検索条件及び指定されたテキスト検索条件に該当する症例データを抽出し、検索履歴表示工程は、記憶された画像検索条件とテキスト検索条件とを表示手段にマトリクス表示させる。

前記目的を達成するために、症例検索プログラムの一の態様は、診断対象画像を取得する画像取得機能と、取得した診断対象画像から注目領域を抽出する領域抽出機能と、診断対象画像に関するテキストデータを取得するテキストデータ取得機能と、画像データとテキストデータとを含む症例データが記憶されたデータベースに対して、抽出した注目領域を画像検索条件とする画像検索と取得したテキストデータをテキスト検索条件とするテキスト検索とを行い、画像検索条件及びテキスト検索条件に該当する症例データを抽出する検索機能と、抽出された症例データを表示手段に表示させる検索結果表示機能と、同一の診断対象画像についてそれぞれ異なる複数の注目領域を画像検索条件として検索機能によって複数回症例データを抽出した際の複数の画像検索条件とテキスト検索条件とをそれぞれ記憶手段に記憶させる検索条件記憶機能と、記憶された画像検索条件とテキスト検索条件とをそれぞれユーザが指定可能に表示手段に表示させる検索履歴表示機能とを備え、検索機能は、表示された画像検索条件のうちのいずれかの画像検索条件及び表示されたテキスト検索条件のうちのいずれかのテキスト検索条件が指定されると、指定された画像検索条件及び指定されたテキスト検索条件に該当する症例データを抽出する。
前記目的を達成するために、症例検索プログラムの一の態様は、診断対象画像を取得する画像取得機能と、取得した診断対象画像から注目領域を抽出する領域抽出機能と、診断対象画像に関するテキストデータを取得するテキストデータ取得機能と、画像データとテキストデータとを含む症例データが記憶されたデータベースに対して、抽出した注目領域を画像検索条件とする画像検索と取得したテキストデータをテキスト検索条件とするテキスト検索とを行い、画像検索条件及びテキスト検索条件に該当する症例データを抽出する検索機能と、抽出された症例データを表示手段に表示させる検索結果表示機能と、画像検索条件とテキスト検索条件とをそれぞれ記憶手段に記憶させる検索条件記憶機能と、記憶された画像検索条件とテキスト検索条件とをそれぞれユーザが指定可能に表示手段に表示させる検索履歴表示機能とを備え、検索機能は、表示された画像検索条件のうちのいずれかの画像検索条件及び表示されたテキスト検索条件のうちのいずれかのテキスト検索条件が指定されると、指定された画像検索条件及び指定されたテキスト検索条件に該当する症例データを抽出し、検索履歴表示機能は、記憶された画像検索条件とテキスト検索条件とを表示手段にマトリクス表示させる。

このように、症例検索機能をコンピュータに実現させるプログラムも本発明に含まれる。

本発明によれば、過去の検索履歴を容易に参照可能とすることで検索効率を向上させることができる。

症例検索装置の全体構成の一例を示す図 領域抽出について説明するための図 症例検索処理を示すフローチャート 検索結果及び検索履歴の表示の一例を示す図 検索結果及び検索履歴の表示の一例を示す図 検索履歴を用いた症例検索処理を示すフローチャート 検索結果及び検索履歴の表示の一例を示す図 検索結果及び検索履歴の表示の一例を示す図

以下、添付図面に従って本発明の好ましい実施の形態について詳説する。

＜症例検索装置の構成＞
図１は、本実施形態に係る症例検索装置１の全体構成の一例を示す図である。同図に示すように、症例検索装置１は、画像データ入力部１０、領域抽出部１２、画像解析部１４、症例検索部１６、データベース１８、テキストデータ入力部２０、表示部２２、及び検索条件記憶部２４から構成されている。症例検索装置１は、診断により得られた診断画像の病変部と同様の病変部を持つ症例データを検索し、検索された症例データを参照可能に表示する装置である。

画像データ入力部１０（画像取得手段に相当）には、ＣＴ、ＭＲＩ、Ｘ線画像、ＵＳ、内視鏡、病理画像など、各種医療用画像診断装置から得られた診断画像のデータが入力される。この診断画像は、ＤＩＣＯＭ（Digital Imaging and Communications in Medicine）のような所定の規格に従った付帯情報（サイズや撮像日時など）を含む画像であっても良い。

画像データの入力は、ＤＶＤ、ＵＳＢメモリ、メモリーカードなどの記録媒体を介して行っても良いし、無線、有線のネットワークを介して行っても良い。また画像データを予めデータベース１８に記憶させておき、データベース１８から読み出して入力するように構成しても良い。

領域抽出部１２（領域抽出手段に相当）は、画像データ入力部１０から入力された画像データから、病変部と疑われる注目領域の抽出を行う。抽出方法としては、マウスなどの入力装置により該当領域を囲んだり、該当領域の座標や範囲を入力するなどにより手動で行ってもよいし、「Y.Li, S.Hara, W.Ito, K.Shimura, “A Machine learning approach for interactive lesion segmentation”, Proceedings of the SPIE, Volume 6512, pp. 651246 (2007)」に記載されているように、半自動マウスなどで指摘した領域を画像解析によって抽出してもよい。さらに、特開２００５−１９８８８７号公報明細書や特開２００５−２４６０３２号公報明細書に記載されているような、自動的に検出する方法を採用してもよい。

図２は、領域抽出について示す図である。ここでは、画像データ５０における病変部と疑われる部分５１について、抽出する条件を異ならせて注目領域５２と注目領域５３を抽出している。

注目領域を手動で抽出している場合には形状を異ならせることができるのは当然であるが、自動的に領域抽出を行う場合であっても、領域抽出のための信号処理に使用する閾値を変更することで、注目領域の形状を異ならせることができる。

画像解析部１４は、領域抽出部１２が抽出した注目領域について画像データの解析を行い、検索に必要な特徴量を算出する。算出される特徴量の例としては、画像データ内の平均値、分散、最大値、最小値、輝度ヒストグラムといった画素値に関する特徴や、位置、輪郭の円形度やモーメント、断面の半径、体積面積など形状に関する数値、あるいは「Ｔ．Ｆ．クーツ（Cootes）、Ｇ．Ｊ．エドワーズ（Edwards）、Ｃ．Ｊ．テイラー（Taylor）、“動的見えモデル（Active Appearance Models）”、第５回計算機視覚欧州会議報（In Proc. 5th European Conference on Computer Vision）、ドイツ、シュプリンガー（Springer）、1998年、vol.2、p.p.484-498」に記載された手法や、各種フィルタ処理によって得られる、注目領域中の病変部の形状情報やテクスチャ情報が挙げられる。

また特徴量は、ある特徴を判別する関数（あるいは閾値）であってもよい。この判別関数の設定方法は特に限定されるものではなく、例えば、ＳＶＭ（サポートベクターマシン）などの既知のデータ（学習データ）を利用した統計的手法（例えば、参考文献として「ネロ・クリスティアニーニ、ジョン・テーラー著“サポートベクターマシン入門”共立出版」が挙げられる。）などの公知のクラス分類に使用される線形あるいは非線形の判別関数を用いればよい。

症例検索部１６（検索手段に相当）は、入力された検索条件に基づいてデータベース１８内の類似症例を検索するものであり、画像検索部１６ａとテキスト検索部１６ｂとから構成されている。

データベース１８は、いわゆる症例データベースであり、各症例には画像データ、注目領域情報、画像特徴情報、診断データ（テキストデータ）などが個々に対応付けられて登録されている。

画像データは、過去の診断で撮影された診断画像データであり、画像データ入力部１０から入力される診断画像の画像データと同様の画像データである。注目領域情報は、対応する画像データ内の注目領域を表す座標などの情報である。

また画像特徴情報は、対応する画像データから得られる情報であり、画像検索に用いられる。この画像特徴情報には、画像データをデータベース１８に登録する際に画像解析部１４によって算出される、注目領域の特徴量が含まれる。

画像検索部１６ａは、画像解析部１４の解析結果に基づいて、データベース１８に登録された同一部位の画像データから類似画像を検索し、類似画像を有する症例データを抽出する。

類似画像の検索は、画像解析部１４から入力された注目領域の画像データの特徴量とデータベース１８に登録された同一部位の画像データの特徴量とを比較することで、画像データ同士の類似度を算出し、算出された類似度に基づいて類似画像を決定することにより行う。

この類似度の算出方法としては、特徴量の値の差分、特徴量空間上の最小二乗距離、マハラビノス距離など、公知の多値データの類似度計算方法を用いる方法を用いることができる。また、ある特徴の判別関数を特徴量に用いた場合は、同一の判別結果となった類似画像データを絞り込む、優先するといった処理を行っても良い。さらに、部位・位置情報などが同一の類似画像データを絞り込む、優先するといった処理を行っても良い。

テキストデータ入力部２０は、ユーザが症例データの検索に必要なテキストデータを入力するためのものであり、例としてキーボードやマウスなどの入力デバイスが挙げられる。入力されるテキストデータの例としては、病名、画像所見、部位、患者情報などのキーワードが考えられるが、これらに限定されるものではない。

テキスト検索部１６ｂは、テキストデータ入力部２０から入力されたテキストデータと、データベース１８に記憶されている各症例データのテキスト情報とを比較し、一致するテキストデータを含んだ症例データを抽出する。また、入力されたテキストデータと完全に一致するものだけでなく、「がん」と「癌」といった単なる表記の違いや、「癌」と「悪性腫瘍」といった意味が同じものを抽出するような手法を用いてもよい。

また、複数のキーワードが完全一致するものだけでなく、いずれか１つのキーワードを含むものを抽出する方法など、公知の検索方法全般を用いることができる。

症例検索部１６は、画像検索部１６ａの検索結果とテキスト検索部１６ｂの検索結果に基づいて、最終的な検索結果を算出する。ここでは、テキスト検索部１６ｂにおいて抽出された症例データを、画像検索部１６ａで得られた類似度順に並べることで、最終的な検索結果とする。

表示部２２（表示手段に相当）には、症例検索部１６（検索結果表示手段に相当）の検索結果に基づいて、類似症例画像、関連するテキスト情報、類似度といった情報が表示される。また表示部２２には、ユーザに検索の履歴を参照するか否かの選択をさせるための確認ボタンなども表示させてもよい。

検索条件記憶部２４（検索条件記憶手段に相当）は、画像検索の検索履歴として、領域抽出部１２による注目領域の抽出結果や、必要であれば画像解析部１４による画像解析結果（注目領域の特徴量）の情報、テキスト検索の検索履歴としてテキストデータ入力部２０から入力されたテキストデータを記憶しておく。また、検索履歴だけでなく、検索結果の履歴を同時に記憶するように構成しても良い。

＜症例検索装置の動作＞
次に、上記のように構成された症例検索装置１の動作について説明する。まず、通常の症例検索の動作について、図３のフローチャートを用いて説明する。

最初に、ユーザが画像データ入力部１０から診断の対象となる画像データを入力する（ステップＳ１、画像取得工程に相当）。また、ユーザは、テキストデータ入力部２０から診断対象画像に関するテキストデータを入力する（ステップＳ２、テキストデータ取得工程に相当）。

テキスト検索部１６ｂは、テキストデータ入力部２０から入力されたテキストデータに基づいてデータベース１８に登録されている症例データの検索を行い（ステップＳ３）、関連するテキストデータを含んだ症例データを全て抽出する（ステップＳ４、検索工程に相当）。

一方で、領域抽出部１２は、画像データ入力部１０から入力された画像データから、注目領域の自動抽出を行い（ステップＳ５、領域抽出工程に相当）、画像解析部１４は、領域抽出部１２が抽出した注目領域について特徴量を算出する（ステップＳ６）。

次に、画像検索部１６ａは、ステップＳ４において抽出された複数の症例データについて、ステップＳ６において算出された特徴量に基づいて画像検索を行う（ステップＳ７、検索工程に相当）。ここでは、特徴量に基づく画像データ同士の類似度を算出し、算出された類似度の高い順位（類似度順）を決定する。

症例検索部１６は、表示部２２に検索結果を表示させる（ステップＳ８、検索結果表示工程に相当）。ここでは、テキスト検索部１６ｂにおいて抽出された症例データについて、画像検索部１６ａにおいて得られた類似度順に表示させる。

これと同時に症例検索部１６（検索履歴表示手段に相当）は、画像検索部１６ａの検索条件とテキスト検索部１６ｂの検索条件、即ち領域抽出部１２が自動抽出した注目領域を表す座標とテキストデータ入力部２０に入力されたテキストデータとを、それぞれ表示部２２に表示させる（ステップＳ９、検索履歴表示工程に相当）。

最後に、検索条件記憶部２４は、上記の画像検索部１６ａの検索条件とテキスト検索部１６ｂの検索条件とをそれぞれ記憶する（ステップＳ１０、検索条件記憶工程に相当）。なお、検索条件だけでなく、検索結果についても記憶するようにしてもよい。

図４は、このときの表示部２２に表示された画面の一例を示す図である。

図４左上部の１０１は検査データ表示エリアであり、ここでは診断画像１０１ａ、１０１ｂ、１０１ｃ及び１０１ｄの４枚の診断画像が表示されている。

このうち、破線１０２で囲まれた診断画像１０１ａが、領域抽出部１２の注目領域抽出の対象画像となる。破線１０２は、キーボード上の矢印キーやマウスなどを用いて移動させることができ、ユーザは所望の診断画像を選択することができる。

なお、本実施形態において画像データ入力部１０に入力された画像としては、１０１ａ〜１０１ｄの４枚の診断画像と考えてもよいし、破線１０２で囲まれた診断画像１０１ａと考えてもよい。

また、診断画像１０１ａ内の所定の領域である１１１は、領域抽出部１２が自動的に抽出した診断画像１０１ａの注目領域である。注目領域１１１は、手動で抽出してもよいことは前述の通りである。

図４中央下部の１０３は、検索条件入力エリアに配置されたテキストボックスであり、図１におけるテキストデータ入力部２０に該当する。ユーザは、キーボードなどを用いて、このテキストボックス１０３にテキストデータを入力することで、データベース１０８に登録された症例データのテキスト検索を行うことができる。

図４右部の１０４は、検索結果表示エリアである。ここでは、検索結果として症例データ１０４ａ、１０４ｂ、１０４ｃ、１０４ｄ及び１０４ｅの５つの症例データについて、それぞれの症例データの診断画像とテキストデータである診断情報とが表示されている。なお５つの症例データは、１０４ａ、１０４ｂ、１０４ｃ、１０４ｄ、１０４ｅの順に注目領域１１１との類似度順が高い。

図４左下部の１０５は検索履歴表示エリアであり、検索履歴表示エリア１０５は、画像検索履歴エリア１０５ａとテキスト検索履歴エリア１０５ｂとからなる。ここでは、まず１回目の検索が終了しており、画像検索の検索条件である注目領域１１１の形状が画像検索履歴エリア１０５ａに、テキスト検索条件である「肺 上葉」のテキストデータがテキスト検索履歴エリア１０５ｂに表示されている。

同一の入力画像１０１ａについて、検索条件を変更しながら図３を用いて説明した検索処理を繰り返し行うことができる。例えば、テキストデータ入力部２０から新たなテキストデータを入力することで、新たな検索を行うことができる。また、注目領域の形状を異ならせて抽出することで、新たな検索を行うことができる。

図５は、図３に示す処理を繰り返した場合における表示部２２に表示された画面の一例を示す図である。ここでは、画像検索条件の履歴として、注目領域１１１、注目領域１１２、注目領域１１３の３つの条件が画像検索履歴エリア１０５ａに表示されている。また、テキスト条件の履歴として「肺 上葉 結節 不整形」、「肺 上葉 結節」、「肺 結節」、「肺 上葉」の４つの条件がテキスト検索履歴エリア１０５ｂに表示されている。

＜検索履歴を用いた症例検索処理＞
次に、検索履歴表示エリア１０５に表示された検索条件を用いた症例検索の動作について、図６のフローチャートを用いて説明する。

まずユーザは、画像検索履歴エリア１０５ａに表示されている画像検索条件の履歴の中から、所望の検索条件を選択する（ステップＳ１１）。

図５に示す例では、画像検索履歴エリア１０５ａに表示されている注目領域１１１、注目領域１１２、注目領域１１３のうち、注目領域１１２が選択されている。

次に、テキスト検索履歴エリア１０５ｂに表示されているテキスト検索条件の履歴の中から、所望の検索条件を選択する（ステップＳ１２）。

図５に示す例では、テキスト検索履歴エリア１０５ｂに表示されている「肺 上葉 結節 不整形」、「肺 上葉 結節」、「肺 結節」、「肺 上葉」のうち、「肺 上葉 結節」が選択されている。

テキスト検索条件と画像検索条件とが選択されると、症例検索部１６のテキスト検索部１６ｂは、選択されたテキスト検索条件「肺 上葉 結節」に基づいてデータベース１８に登録されている症例データの検索を行い、関連するテキストデータを含んだ症例データを全て抽出する（ステップＳ１３）。

さらに画像検索部１６ａは、ステップＳ１３において抽出された複数の症例データについて、すでに算出されている領域１１２の特徴量に基づいて画像検索を行う（ステップＳ１４）。

なお、選択されたテキスト検索条件と画像検索条件の組合せが過去に検索された組合せであり、かつ検索条件記憶部２４に検索結果の履歴が記憶されている場合には、症例検索部１６において再検索を行うのではなく、検索条件記憶部２４から過去の検索結果を読み出せばよい。

最後に症例検索部１６は、検索結果表示エリア１０４に検索結果を表示させる（ステップＳ１５）。図５に示す例では、検索結果として症例データ１０４ｆ、１０４ｇ、１０４ｈ、１０４ｉ及び１０４ｊの５つの症例データについて、それぞれの症例データの診断画像とテキストデータである診断情報とが表示されている。なおここでは、１０４ｆ、１０４ｇ、１０４ｈ、１０４ｉ、１０４ｊの順に注目領域１１２との類似度順が高い。

このように、一度検索を行った検索条件を用いて症例検索を行うことができる。また、本実施形態によれば、画像検索の検索条件の履歴とテキスト検索の検索条件の履歴とをそれぞれ別個に記憶して表示しているので、これらを自由に組み合わせて検索することができる。また、コンピュータに症例検索を実行させるためのプログラムも、本発明に含まれる。

なお、ここでは画像検索条件とテキスト検索条件の両方について検索履歴を使用したが、いずれか一方を検索履歴から選択し、他方を新規に入力することで検索を行うことも可能である。

＜その他の表示形式＞
図７は、検索結果及び検索履歴の表示の他の実施形態を示す図である。

図７左下部の２０１は検査データ表示エリアであり、ここでは診断画像１０１ａが表示されている。

図７下部の２０４は、検索結果表示エリアである。ここでは、検索結果として症例データ２０４ａ〜２０４ｄの４つの症例データについて、それぞれ診断画像とテキストデータである診断情報とが表示されている。

図７上部の２０５は、検索履歴表示エリアである。検索履歴表示エリア２０５は、画像検索履歴の検索条件とテキスト検索履歴の検索条件とがマトリクス状に表示されている。例えば、画像検索履歴としては、マトリクスにおける左の列は検索条件が注目領域１１１、中央の列は検索条件が注目領域１１２、右の列は検索条件が注目領域１１３に該当している。

また、テキスト検索履歴としては、最上段の検索条件は「肺 上葉 結節 不整形」、２段目は「肺 上葉 結節」、３段目は「肺 結節」、最下段は「肺 上葉」に該当している。したがって、例えば中央列３段目は、画像検索条件が領域１１２、テキスト検索条件が「肺 結節」の検索を示している。

ユーザが、この中央列３段目をマウスなどで指定することで、画像検索条件が領域１１２、テキスト検索条件が「肺 結節」である検索が行われ、その結果が検索結果表示エリア２０４に表示される。

なお、このようにマトリクス表示する場合は、全ての検索履歴の検索条件を用いて表示すると煩雑になる可能性がある。したがって、最新の所定数の検索条件だけをマトリクス表示させてもよい。

また、図８は、検索結果をマトリクス表示させた例を示す図である。

図８のマトリクス部の左列は画像検索履歴エリア３０５ａとなっており、上段部はテキスト検索履歴エリア３０５ｂとなっている。そして、それぞれの組合せにおける検索結果が１件ずつ、マトリクス内部の検索結果表示エリア３０４に表示されている。ここではテキスト検索部１６ｂにおいて抽出された症例データについて、画像検索部１６ａで得られた類似度順が最も高い症例データをそれぞれ表示している。

なお、これらの表示形式は、いずれか１つだけを行うのではなく、ユーザによって自由に切り替え可能に構成してもよい。

１…症例検索装置、１０…画像データ入力部、１２…領域抽出部、１４…画像解析部、１６…症例検索部、１６ａ…画像検索部、１６ｂ…テキスト検索部、１８…データベース、２０…テキストデータ入力部、２２…表示部、２４…検索条件記憶部、１０１・２０１…検査データ表示エリア、１０４・２０４・３０４…検索結果表示エリア、１０５・２０５・３０５…検索履歴表示エリア

Claims (15)

1. 画像データとテキストデータとを含む症例データが記憶されたデータベースと、
   診断対象画像を取得する画像取得手段と、
   前記取得した診断対象画像から注目領域を抽出する領域抽出手段と、
   前記診断対象画像に関するテキストデータを取得するテキストデータ取得手段と、
   前記データベースに対して、前記抽出した注目領域を画像検索条件とする画像検索と前記取得したテキストデータをテキスト検索条件とするテキスト検索とを行い、前記画像検索条件及び前記テキスト検索条件に該当する症例データを抽出する検索手段と、
   前記抽出された症例データを表示手段に表示させる検索結果表示手段と、
   同一の診断対象画像についてそれぞれ異なる複数の前記注目領域を画像検索条件として前記検索手段によって複数回症例データを抽出した際の複数の前記画像検索条件と前記テキスト検索条件とをそれぞれ記憶する検索条件記憶手段と、
   前記記憶された画像検索条件とテキスト検索条件とをそれぞれユーザが指定可能に前記表示手段に表示させる検索履歴表示手段と、
   を備え、
   前記検索手段は、前記表示された画像検索条件のうちのいずれかの画像検索条件及び前記表示されたテキスト検索条件のうちのいずれかのテキスト検索条件が指定されると、前記指定された画像検索条件及び前記指定されたテキスト検索条件に該当する症例データを抽出する症例検索装置。
2. 前記検索履歴表示手段は、前記記憶された画像検索条件とテキスト検索条件とを前記表示手段にマトリクス表示させる請求項１に記載の症例検索装置。
3. 画像データとテキストデータとを含む症例データが記憶されたデータベースと、
   診断対象画像を取得する画像取得手段と、
   前記取得した診断対象画像から注目領域を抽出する領域抽出手段と、
   前記診断対象画像に関するテキストデータを取得するテキストデータ取得手段と、
   前記データベースに対して、前記抽出した注目領域を画像検索条件とする画像検索と前記取得したテキストデータをテキスト検索条件とするテキスト検索とを行い、前記画像検索条件及び前記テキスト検索条件に該当する症例データを抽出する検索手段と、
   前記抽出された症例データを表示手段に表示させる検索結果表示手段と、
   前記画像検索条件と前記テキスト検索条件とをそれぞれ記憶する検索条件記憶手段と、
   前記記憶された画像検索条件とテキスト検索条件とをそれぞれユーザが指定可能に前記表示手段に表示させる検索履歴表示手段と、
   を備え、
   前記検索手段は、前記表示された画像検索条件のうちのいずれかの画像検索条件及び前記表示されたテキスト検索条件のうちのいずれかのテキスト検索条件が指定されると、前記指定された画像検索条件及び前記指定されたテキスト検索条件に該当する症例データを抽出し、
   前記検索履歴表示手段は、前記記憶された画像検索条件とテキスト検索条件とを前記表示手段にマトリクス表示させる症例検索装置。
4. 前記領域抽出手段は、ユーザの指示に基づいて前記注目領域を抽出する請求項１から３のいずれか１項に記載の症例検索装置。
5. 前記領域抽出手段は、所定の閾値に基づいて画像解析することで前記注目領域を抽出する請求項１から３のいずれか１項に記載の症例検索装置。
6. 前記テキストデータ取得手段は、ユーザが入力手段により入力したテキストデータを取得する請求項１から５のいずれか１項に記載の症例検索装置。
7. 前記検索手段は、前記抽出した注目領域について特徴量を算出し、該算出した特徴量と前記データベース内の症例データにおける同一部位の画像データの特徴量とを比較して類似度を算出し、前記算出した類似度に基づいて画像検索する請求項１から６のいずれか１項に記載の症例検索装置。
8. 前記検索手段は、テキスト検索により得られた症例データについて、前記類似度の高い順に症例データを抽出する請求項７に記載の症例検索装置。
9. 前記検索条件記憶手段は、前記算出した特徴量を画像検索条件として記憶する請求項７又は８に記載の症例検索装置。
10. 前記検索条件記憶手段は、前記検索手段の検索結果を記憶する請求項１から９のいずれか１項に記載の症例検索装置。
11. 前記検索結果表示手段は、前記抽出された症例データの画像データとテキストデータとを表示させる請求項１から１０のいずれか１項に記載の症例検索装置。
12. 診断対象画像を取得する画像取得工程と、
    前記取得した診断対象画像から注目領域を抽出する領域抽出工程と、
    前記診断対象画像に関するテキストデータを取得するテキストデータ取得工程と、
    画像データとテキストデータとを含む症例データが記憶されたデータベースに対して、前記抽出した注目領域を画像検索条件とする画像検索と前記取得したテキストデータをテキスト検索条件とするテキスト検索とを行い、前記画像検索条件及び前記テキスト検索条件に該当する症例データを抽出する検索工程と、
    前記抽出された症例データを表示手段に表示させる検索結果表示工程と、
    同一の診断対象画像についてそれぞれ異なる複数の前記注目領域を画像検索条件として前記検索工程によって複数回症例データを抽出した際の複数の前記画像検索条件と前記テキスト検索条件とをそれぞれ記憶手段に記憶させる検索条件記憶工程と、
    前記記憶された画像検索条件とテキスト検索条件とをそれぞれユーザが指定可能に前記表示手段に表示させる検索履歴表示工程と、
    を備え、
    前記検索工程は、前記表示された画像検索条件のうちのいずれかの画像検索条件及び前記表示されたテキスト検索条件のうちのいずれかのテキスト検索条件が指定されると、前記指定された画像検索条件及び前記指定されたテキスト検索条件に該当する症例データを抽出する症例検索方法。
13. 診断対象画像を取得する画像取得工程と、
    前記取得した診断対象画像から注目領域を抽出する領域抽出工程と、
    前記診断対象画像に関するテキストデータを取得するテキストデータ取得工程と、
    画像データとテキストデータとを含む症例データが記憶されたデータベースに対して、前記抽出した注目領域を画像検索条件とする画像検索と前記取得したテキストデータをテキスト検索条件とするテキスト検索とを行い、前記画像検索条件及び前記テキスト検索条件に該当する症例データを抽出する検索工程と、
    前記抽出された症例データを表示手段に表示させる検索結果表示工程と、
    前記画像検索条件と前記テキスト検索条件とをそれぞれ記憶手段に記憶させる検索条件記憶工程と、
    前記記憶された画像検索条件とテキスト検索条件とをそれぞれユーザが指定可能に前記表示手段に表示させる検索履歴表示工程と、
    を備え、
    前記検索工程は、前記表示された画像検索条件のうちのいずれかの画像検索条件及び前記表示されたテキスト検索条件のうちのいずれかのテキスト検索条件が指定されると、前記指定された画像検索条件及び前記指定されたテキスト検索条件に該当する症例データを抽出し、
    前記検索履歴表示工程は、前記記憶された画像検索条件とテキスト検索条件とを前記表示手段にマトリクス表示させる症例検索方法。
14. 診断対象画像を取得する画像取得機能と、
    前記取得した診断対象画像から注目領域を抽出する領域抽出機能と、
    前記診断対象画像に関するテキストデータを取得するテキストデータ取得機能と、
    画像データとテキストデータとを含む症例データが記憶されたデータベースに対して、前記抽出した注目領域を画像検索条件とする画像検索と前記取得したテキストデータをテキスト検索条件とするテキスト検索とを行い、前記画像検索条件及び前記テキスト検索条件に該当する症例データを抽出する検索機能と、
    前記抽出された症例データを表示手段に表示させる検索結果表示機能と、
    同一の診断対象画像についてそれぞれ異なる複数の前記注目領域を画像検索条件として前記検索機能によって複数回症例データを抽出した際の複数の前記画像検索条件と前記テキスト検索条件とをそれぞれ記憶手段に記憶させる検索条件記憶機能と、
    前記記憶された画像検索条件とテキスト検索条件とをそれぞれユーザが指定可能に前記表示手段に表示させる検索履歴表示機能と、
    を備え、
    前記検索機能は、前記表示された画像検索条件のうちのいずれかの画像検索条件及び前記表示されたテキスト検索条件のうちのいずれかのテキスト検索条件が指定されると、前記指定された画像検索条件及び前記指定されたテキスト検索条件に該当する症例データを抽出するコンピュータに実行させるための症例検索プログラム。
15. 診断対象画像を取得する画像取得機能と、
    前記取得した診断対象画像から注目領域を抽出する領域抽出機能と、
    前記診断対象画像に関するテキストデータを取得するテキストデータ取得機能と、
    画像データとテキストデータとを含む症例データが記憶されたデータベースに対して、前記抽出した注目領域を画像検索条件とする画像検索と前記取得したテキストデータをテキスト検索条件とするテキスト検索とを行い、前記画像検索条件及び前記テキスト検索条件に該当する症例データを抽出する検索機能と、
    前記抽出された症例データを表示手段に表示させる検索結果表示機能と、
    前記画像検索条件と前記テキスト検索条件とをそれぞれ記憶手段に記憶させる検索条件記憶機能と、
    前記記憶された画像検索条件とテキスト検索条件とをそれぞれユーザが指定可能に前記表示手段に表示させる検索履歴表示機能と、
    を備え、
    前記検索機能は、前記表示された画像検索条件のうちのいずれかの画像検索条件及び前記表示されたテキスト検索条件のうちのいずれかのテキスト検索条件が指定されると、前記指定された画像検索条件及び前記指定されたテキスト検索条件に該当する症例データを抽出し、
    前記検索履歴表示機能は、前記記憶された画像検索条件とテキスト検索条件とを前記表示手段にマトリクス表示させるコンピュータに実行させるための症例検索プログラム。

Images