JP6099592B2 - 類似症例検索装置及び類似症例検索プログラム - Google Patents

類似症例検索装置及び類似症例検索プログラム Download PDF

Info

Publication number
JP6099592B2
JP6099592B2 JP2014066285A JP2014066285A JP6099592B2 JP 6099592 B2 JP6099592 B2 JP 6099592B2 JP 2014066285 A JP2014066285 A JP 2014066285A JP 2014066285 A JP2014066285 A JP 2014066285A JP 6099592 B2 JP6099592 B2 JP 6099592B2
Authority
JP
Japan
Prior art keywords
case
similarity
similar
interest
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014066285A
Other languages
English (en)
Other versions
JP2015191285A (ja
Inventor
大沢 哲
哲 大沢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2014066285A priority Critical patent/JP6099592B2/ja
Priority to PCT/JP2015/056369 priority patent/WO2015146519A1/ja
Priority to CN201580016672.4A priority patent/CN106133724B/zh
Publication of JP2015191285A publication Critical patent/JP2015191285A/ja
Priority to US15/276,309 priority patent/US20170011199A1/en
Application granted granted Critical
Publication of JP6099592B2 publication Critical patent/JP6099592B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/05Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/02Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computerised tomographs
    • A61B6/032Transmission computed tomography [CT]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/50Clinical applications
    • A61B6/502Clinical applications involving diagnosis of breast, i.e. mammography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/56Details of data transmission or power supply, e.g. use of slip rings
    • A61B6/563Details of data transmission or power supply, e.g. use of slip rings involving image data transmission via a network
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings

Description

本発明は、類似症例検索装置及び類似症例検索プログラムに関する。
医療分野において、検査画像に基づいて、検査画像に類似する過去の症例を検索する類似症例検索装置が知られている(例えば特許文献1、2参照)。検査画像は、例えば、断層撮影を行うCT(Computed Tomography)装置や単純透視画像を撮影する一般X線撮影装置などのモダリティで撮影された画像であり、患者の疾患の特定など患者の診断を行うために用いられる。一般X線撮影装置による1回の検査では、検査画像が1枚だけ撮影される場合もあれば、複数枚撮影される場合もある。また、CT装置による1回の検査では、複数枚の断層画像(スライス画像)が取得される。そのため、1件の検査データには、1枚以上の検査画像が含まれる。症例は、過去の検査データの集積によって作成される場合が多いため、1件の症例のデータにも、1枚以上の症例画像が含まれる。
類似症例検索を行う場合には、まず、医師などのユーザによって、検査画像内に関心領域が指定される。関心領域は、検査画像内において医師が特に関心を示す領域であり、診断対象となる病変を含む領域である。類似症例検索装置は、検査画像内に指定された1つの関心領域の特徴を数値化した特徴量と、症例画像内に存在する1つの病変の特徴を数値化した特徴量とを比較して両者の類似度を判定する。ここで、便宜上、検査画像の関心領域内に含まれる病変を対象病変といい、症例画像に含まれる病変を症例病変という。そして、類似症例検索装置は、複数の症例を記憶した症例データベースの中から、関心領域に類似する症例病変を含む症例を検索する。
特許文献1には、対象病変を含む関心領域の指定の仕方にはユーザ毎に個人差があり、個人差に起因して検索結果にばらつきが生じるという検索ばらつきを抑制することを目的する発明が開示されている。具体的には、同じ1つの対象病変を含む領域を関心領域として指定する場合でも、指定するユーザの個人差などが原因で、関心領域の指定の仕方によっては指定した領域の形状や大きさが変化するため、特徴量が変化してしまう場合がある。特徴量が変化すると、類似度も変化するため、ユーザ毎に検索結果が変わるという検索ばらつきが生じてしまう。特許文献1は、こうした検索ばらつきを抑制するために、1例として、1つの対象病変について指定の仕方が異なる複数の関心領域について、関心領域毎に特徴量を算出し、算出した複数の関心領域の特徴量の平均値に基づいて類似度を算出して、類似画像検索を行っている。これによれば、ユーザ毎の個人差に起因する検索ばらつきを抑制することができる。
特許文献2は、ユーザが類似していると感じる主観に対して、より適合的な検索結果を出力する技術に関するものである。具体的には、同種の対象病変が複数の検査画像に対して存在する場合に、関心領域の指定に際して、ユーザが類似していると感じる同種の複数の対象病変を含む関心領域を、同種グループとして1つのグループにまとめる。そして、1件の検査データにおいて、同種グループに属する複数の対象病変の特徴量をすべて包含する特徴量の範囲を求め、この特徴量の範囲を検索条件として、類似症例検索を行う。同種グループの特徴量の範囲は、ユーザが主観的に類似すると感じる範囲と一致すると考えられるため、検索結果もユーザの主観に対して、より適合的なものとすることができる。
特開2010−237930号公報 特開2012−118583号公報
ところで、疾患によっては、検査画像において複数の対象病変が現れていることが、疾患特定の根拠となる場合がある。例えば、結核の場合には、検査画像において、空洞影、点状影、すりガラス影という3種の対象病変が現れていることを以て疾患が特定される場合があり、びまん性汎細気支炎では、気管支異常影と点状影の2種の対象病変が現れていることを以て疾患が特定される場合がある。がんの場合には、単一の対象病変での類似検索でよかったが、がん以外の非がん疾患である場合には、これら複数の対象病変での類似症例検索が必要である。
特許文献1及び特許文献2に記載の従来の類似症例検索装置は、いずれも、検査画像に含まれている1つの対象病変に着目して、着目した1つの対象病変を含む関心領域の特徴量に基づいて類似症例を検索するものであり、検査画像に含まれている複数の対象病変のそれぞれに着目することは考慮されていなかった。
上述したように、特許文献1は、関心領域毎に特徴量を算出しているが、複数の関心領域は、指定の仕方が異なるだけで、同じ1つの対象病変の関心領域であり、異なる対象病変のそれぞれの関心領域の特徴量に着目して類似症例を検索することについては開示が無い。また、特許文献2は、複数の検査画像に含まれる複数の対象病変に対して、同種の対象病変がグループ化された1つの同種グループについて1つの検索条件を作成し、作成した検索条件で類似症例を検索している。特許文献2は、いわば、同種の複数の対象病変を含むそれぞれの関心領域に共通する特徴量をユーザの嗜好に合うように算出しているのみで、複数の対象病変のそれぞれの関心領域の特徴量に着目して類似症例を検索することについては開示が無い。
特許文献1及び特許文献2のように、1つの関心領域の特徴量に着目する技術では、関心領域が複数有る場合には、適切な類似症例を検索することができない。
本発明は、関心領域が複数有る場合でも適切な類似症例検索が可能な類似症例検索装置、類似症例検索方法、及び類似症例検索プログラムを提供することを目的とする。
本発明の類似症例検索装置は、症例画像を1枚以上含む症例が複数件登録された症例データベースの中から、患者の診断に用いる検査画像に類似する類似症例を検索する装置であって、特徴量取得部、個別類似度算出部、総合類似度算出部、類似症例検索部を備える。特徴量取得部は、検査画像を1枚以上含む検査データにおいて指定され、検査画像内に存在する病変である対象病変を含むように指定される関心領域であり、異なる対象病変をそれぞれ1つ以上含む複数の関心領域に関して、関心領域毎の特徴量を取得する。個別類似度算出部は、関心領域毎の特徴量と、症例に登録された、症例画像内の病変である症例病変の特徴量とを比較して、関心領域毎の個別類似度を算出する。総合類似度算出部は、算出した複数の個別類似度に基づいて、総合類似度を算出する。類似症例検索部は、総合類似度に基づいて、類似症例を検索する。
1件の症例内に複数の症例病変が登録されている場合には、個別類似度算出部は、複数の関心領域のそれぞれと、複数の症例病変のそれぞれとを、1対1で対応させて特徴量の比較を行い、個別類似度を算出するのが好ましい。
ここで、1件の症例内に登録されている複数の症例病変、つまり症例画像内に存在する複数の症例病変は、1枚の症例画像内に複数存在する場合と、例えば2枚の症例画像のそれぞれに、症例病変が1つずつ存在する場合のように、複数枚の症例画像内に存在する症例病変の合計が複数になる場合を含む。
総合類似度算出部は、個別類似度を要素として、関心領域の数と症例病変の数に応じた数の順列を作り、順列毎に総合類似度を算出してもよい。また、総合類似度としては、順列に含まれる複数の個別類似度の総和が好ましい。
個別類似度算出部は、関心領域毎に、複数の症例病変を対応させて算出した複数の個別類似度を記録した個別類似度テーブルを作成してもよい。また、総合類似度算出部は、関心領域毎の複数の個別類似度テーブルのそれぞれから、1つずつ個別類似度を読み出して、読み出した複数の個別類似度を要素として、順列を作ってもよい。
総合類似度算出部は、総合類似度を算出する要素となる個別類似度の値に応じて、総合類似度に対して重み付け処理を行ってもよい。また、重み付け処理としては、個別類似度が閾値以上の場合に、総合類似度を高くする処理が好ましい。
類似症例検索部は、総合類似度に基づいて、複数件の類似症例に関する情報をリスト化した類似症例リストを作成するのが好ましい。また、類似症例リストにおいて、類似症例は、総合類似度順にソートされているのが好ましい。
類似症例リストの表示項目には、総合類似度の値と総合類似度に関する内訳情報とを含み、内訳情報は、個別類似度を算出するための関心領域と症例病変との対応関係を含むことが好ましい。
類似症例リストには、総合類似度の値に加えて、総合類似度の算出要素となる複数の個別類似度の値が表示されるのが好ましい。また、類似症例リストには、関心領域と症例病変のそれぞれの画像が表示されるのが好ましい。
類似症例検索部は、関心領域の指定数が変更された場合に、再検索が可能であることが好ましい。また、類似症例検索部は、検索の際に作成した処理結果のデータを保存しておき、保存した処理結果のデータを再検索に利用するのが好ましい。
類似症例検索部は、要求に応じて、複数の関心領域の組み合わせ及び類似症例リストにおける複数の関心領域の並び順の少なくとも1つを変更可能なことが好ましい。また、類似症例検索部は、症例病変の登録数が、指定された関心領域の数未満の症例については、検索の対象外とすることが好ましい。
また、種類情報取得部、必須指定受付部を備えてもよい。種類情報取得部は、対象病変と症例病変のそれぞれの病変の種類を表す種類情報を取得する。必須指定受付部は、指定された複数の関心領域のうち、少なくとも1つを検索条件として必須のものとして指定する必須指定を受け付ける。この場合、類似症例検索部は、症例病変の登録数に関わらず、必須指定された関心領域内の対象病変と同じ種類の症例病変を含む症例を検索対象とするのが好ましい。
1つの関心領域と、1件の症例に含まれる複数の症例病変とを対応させることにより、複数の総合類似度が算出された場合に、複数の総合類似度の中から、1つの代表値を判定する代表値判定部を備えてもよい。この場合、類似症例検索部は、代表値に基づいて、類似症例を検索するのが好ましい。
本発明の類似症例検索方法は、症例画像を1枚以上含む症例が複数件登録された症例データベースの中から、患者の診断に用いる検査画像に類似する類似症例を検索する方法において、特徴量取得ステップ、個別類似度算出ステップ、総合類似度算出ステップ、類似症例検索ステップを含む。特徴量取得ステップは、検査画像を1枚以上含む検査データにおいて指定され、検査画像内に存在する病変である対象病変を含むように指定される関心領域であり、異なる対象病変をそれぞれ1つ以上含む複数の関心領域に関して、関心領域毎の特徴量を取得する。個別類似度算出ステップは、関心領域毎の特徴量と、症例に登録された、症例画像内の病変である症例病変の特徴量とを比較して、関心領域毎の個別類似度を算出する。総合類似度算出ステップは、算出した複数の個別類似度に基づいて、総合類似度を算出する。類似症例検索ステップは、総合類似度に基づいて、類似症例を検索する。
本発明の類似症例検索プログラムは、症例画像を1枚以上含む症例が複数件登録された症例データベースの中から、患者の診断に用いる検査画像に類似する類似症例を検索する処理をコンピュータに実行させるプログラムにおいて、特徴量取得ステップ、個別類似度算出ステップ、総合類似度算出ステップ、類似症例検索ステップを含む。特徴量取得ステップは、検査画像を1枚以上含む検査データにおいて指定され、検査画像内に存在する病変である対象病変を含むように指定される関心領域であり、異なる対象病変をそれぞれ1つ以上含む複数の関心領域に関して、関心領域毎の特徴量を取得する。個別類似度算出ステップは、関心領域毎の特徴量と、症例に登録された、症例画像内の病変である症例病変の特徴量とを比較して、関心領域毎の個別類似度を算出する。総合類似度算出ステップは、算出した複数の個別類似度に基づいて、総合類似度を算出する。類似症例検索ステップは、総合類似度に基づいて、類似症例を検索する。
複数の関心領域のそれぞれの特徴量と症例画像に含まれる症例病変の特徴量とを比較して個別類似度を算出し、算出した個別類似度に基づいて総合類似度を算出し、総合類似度に基づいて類似症例を検索するため、関心領域が複数有る場合でも適切な類似症例検索が可能な類似症例検索装置、類似症例検索方法、及び類似症例検索プログラムを提供することができる。
類似症例検索サーバを含む医療情報システムを示す構成図である。 複数枚の検査画像で構成される検査データの概略を示す説明図である。 1枚の検査画像で構成される検査データの概略を示す説明図である。 診療科、検査科、検査画像DBサーバ、及び症例DBサーバの機能を説明する説明図である。 症例DBの説明図である。 類似症例検索サーバの機能概要の説明図である。 各DBサーバや各端末を構成するコンピュータを示す構成図である。 診療科端末の概略を示す構成図である。 関心領域を指定する検査画像表示画面の説明図である。 関心領域の指定方法について、図9とは別の例を示す説明図である。 類似症例検索サーバの概略を示す構成図である。 関心領域の特徴量の説明図である。 病変の画像パターンの説明図である。 特徴量算出部の構成図である。 症例病変の特徴量の説明図である。 個別類似度算出部の説明図である。 個別類似度算出方法の説明図である。 複数の関心領域に対応する個別類似度の説明図である。 1つの関心領域と複数の症例病変とから求めた個別類似度の説明図である。 ISMテーブルの説明図である。 関心領域毎に作られるISMテーブルの概略を示す説明図である。 TSMテーブルの作成方法の説明図である。 TSMの算出方法を示す説明図である。 関心領域と症例病変との順列の数を示す説明図である。 順列の数だけTSMを算出したTSMテーブルを示す説明図である。 症例毎のTSMの代表値判定を示す説明図である。 TSMテーブルにおける代表値抽出に関する説明図である。 TSMでソートしたTSMテーブルを示す説明図である。 類似症例リストを表示した画面を示す説明図である。 類似症例検索の手順の概要を示すフローチャートである。 類似症例検索サーバ内の処理手順を示すフローチャートである。 個別類似度の値を表示する類似症例リストの説明図である。 重み付けによりTSMを求める第2実施形態を示す説明図である。 第2実施形態の変形例を示す説明図である。 第3実施形態の検査画像表示画面を示す説明図である。 選択された1つの関心領域に対するISMテーブルを示す説明図である。 1つの関心領域に応じて算出されるISMの数を示す説明図である。 1つの関心領域を選択した場合の検索結果画面を示す説明図である。 2つの関心領域を選択した場合の検査画像表示画面を示す説明図である。 2つの関心領域に対するISMテーブルを示す説明図である。 2つの関心領域に対してTSMを算出する方法を示す説明図である。 2つの関心領域に応じて算出されるISMの数を示す説明図である。 2つの関心領域を選択した場合の検索結果画面を示す説明図である。 第3実施形態の手順を示すフローチャートである。 第4実施形態の説明図である。 第4実施形態の変形例を示す説明図である。 第5実施形態の説明図である。 病変種類判定部の判定方法の説明図である。 第5実施形態の症例DBの説明図である。 第5実施形態の個別類似度算出方法を示す説明図である。 第6実施形態の説明図である。 第7実施形態の説明図である。 第7実施形態の類似症例検索要求の説明図である。
[第1実施形態]
図1に示す医療情報システム9は、病院などの医療施設に構築される。医療情報システム9は、診療科10に配置される診療科端末11、検査科12に設置されるモダリティ(医用画像撮影装置)13、及びオーダ管理端末14、検査画像データベース(以下「DB」と称す)サーバ15、症例DBサーバ16、及び類似症例検索サーバ17を有する。これらは、ネットワーク18を通じて通信可能に接続される。ネットワーク18は、例えば、院内に敷設されたLAN(Local Area Network)である。モダリティ13は、例えば、断層画像を撮影するCT(Computed Tomography)装置やMRI(Magnetic Resonance Imaging)装置、及び単純透視画像を撮影する一般X線撮影装置(DR:Digital Radiographyや、CR:Computed Radiographyなど)等を含む。
診療科端末11は、診療科10の医師(図においてDrの符号を付す)によって操作され、電子カルテの入力や閲覧の他、検査科12に対して検査を依頼するための検査オーダの発行に利用される。また、診療科端末11は、検査科12で撮影され検査画像DBサーバ15に保存された検査画像19を表示して、医師が検査画像19を閲覧するための画像表示端末としても利用される。
検査科12において、オーダ管理端末14は、診療科10からの検査オーダを受け付けて、受け付けた検査オーダを管理する。検査科12の技師は、検査オーダの内容に従って、モダリティ13により患者の撮影を行う。検査画像19は、1件の検査オーダに対して1枚あるいは複数枚撮影される。モダリティ13は、撮影が終了すると、撮影した検査画像19を検査画像DBサーバ15に送信する。検査が終了すると、検査科12から診療科10の医師に検査終了が通知され、合わせて、検査画像DBサーバ15内の検査画像19の保存先が通知される。診療科10の医師は、診療科端末11を通じて、検査画像DBサーバ15にアクセスして、診療科端末11で検査画像19を閲覧する。
検査画像DBサーバ15は、複数枚の検査画像19が格納される検査画像DB20を有しており、いわゆるPACS(Picture Archiving and Communication System)サーバである。検査画像DB20は、キーワードによる検索が可能なデータベースであり、診療科端末11などの検索要求や配信要求に応じて、検索条件に合致する検査画像19や指定された検査画像19を配信する。
図2及び図3に示すように、検査画像DB20においては、1件の検査オーダに対して、1枚以上の検査画像19を含む1件の検査データ21が対応付けて格納される。図2に示すように、CT装置やMRI装置で撮影された検査画像19は、断層画像(スライス画像とも呼ばれる)であり、1件の検査データ21には、複数枚の検査画像19が含まれる。図3に示すように、一般X線撮影装置で撮影された検査画像19の場合には、単純透視画像であり、1件の検査データ21は、検査画像19が1枚だけの場合もあれば、複数枚の場合もある。
検査オーダには、診療科10の医師のIDや所属などの依頼元情報、患者情報、検査種別などが含まれる。検査画像19の画像ファイルは、画像データとDICOM(Digital Imaging and COmmunication in Medicine)ヘッダなどの付帯情報とを有する。検査オーダの情報は、検査画像19の付帯情報として格納される。また、付帯情報には、検査IDや、1枚の検査画像19にそれぞれ付与される画像IDが含まれる。図2、図3の例では、検査IDは「O901」や「O902」で、画像IDは「O901−03」、「O901−01」というように、検査IDに、1枚の検査画像19を識別するためのシリアルナンバーを加えた形態で付与されている。検査画像DBサーバ15は、こうしたDICOMタグに含まれる項目を検索キーとして、検索が可能になっている。
類似症例検索サーバ17は、検索条件として検査画像19を受け付けて、受け付けた検査画像19に類似する症例画像22を含む症例を検索する。症例画像22は、過去に診断に利用された検査画像である。症例DBサーバ16は、複数件の症例を検索可能に格納した症例DB23を有している。類似症例検索サーバ17は、症例DBサーバ16にアクセスして、症例を1件ずつ読み出して、検索条件として受け付けた検査画像19と症例内の症例画像22の比較照合を行って、検査画像19に類似する症例を検索する。
図4に示すように、診療科10の医師は、診療科端末11を操作して、検査画像DBサーバ15にアクセスして検査画像19を含む検査データ21をダウンロードする。診療科端末11で検査画像19は表示され、医師によって閲覧される。患者が罹患している場合には、患者の検査画像19には、疾患の症状を現す病変(対象病変OLという)が含まれている。診療科10の医師は、検査データ21に含まれる検査画像19の中から、対象病変OLを含む検査画像19を選択する。検査画像19は、診療科端末11が類似症例検索サーバ17に対して発行する類似症例検索要求に添付されて、類似症例検索サーバ17に送信される。類似症例検索サーバ17は、類似症例検索要求を受け付けると、症例DBサーバ16から検査画像19に類似する症例を検索して、検索結果を依頼元の診療科端末11に配信する。
診療科10の医師は、検査結果に含まれる症例を確認する。症例には、症例画像22に付随して読影レポートが含まれている。医師は、読影レポートに記載された、症例画像22に対する所見などを参照して、検査画像19の疾患の特定など確定診断を下す。
図5に示すように、症例DB23には、症例画像DB23Aと、特徴量DB23Bが設けられている。症例画像DB23Aは、症例画像22を検索可能に格納するデータベースである。症例には、1件毎に症例IDが付与される。症例IDは、検査画像19における検査IDに相当するものである。1件の症例には、1枚以上の症例画像22が含まれる。また、検査画像19と同様に、各症例画像22には、症例IDにシリアルナンバーを加えた画像IDが付与される。図5において、症例IDが「C101」の症例データ24には、例えば、60枚の断層画像が含まれている。
症例画像22には、疾患の症状を表す病変(症例病変CL)が含まれている。1件の症例には、1つ以上の症例病変CLが登録されている。本例では、症例ID「C101」には、No1〜No3の3個、「C102」には2個、「C103」には1個、それぞれ症例病変CLが登録されている。症例病変CLは、症例画像22が過去に検査画像として診断に利用された際に、医師によって病変として指定された領域であり、医師による確定診断を経て、症例病変CLとして登録されたものである。症例病変CLの指定方法については、例えば、後述する関心領域ROIと同様である。
特徴量DB23Bは、症例病変CLの画像の特徴量CACを格納するデータベースである。特徴量CACは、症例IDと病変Noからなる識別IDが付与されている。例えば、症例ID「C101」には、3個の症例病変CLがあり、各症例病変CLには、1件の症例内のシリアルナンバーであるNo1〜No3がそれぞれ付与される。特徴量CACの後の数字は、症例内のシリアルナンバーに対応している。特徴量CACについても、例えば、後述する関心領域ROIと同様の方法で算出される。
図6に示すように、診療科端末11を通じて、類似症例検索要求を発行する際には、医師によって、検査画像19内の対象病変OLを含む領域が関心領域ROIとして指定される。類似症例検索要求には、対象病変OLを含む検査画像19と、指定された関心領域ROIに対応する検査画像19内の領域情報(例えば、検査画像19内の座標情報)が添付される。類似症例検索サーバ17は、類似症例検索要求を受け付けると、検査画像19の画像データと、領域情報に基づいて、関心領域ROIを特定する。そして、関心領域ROIの特徴量を算出する。特徴量を算出後、類似症例検索サーバ17は、症例DBサーバ16から、症例を1件ずつ読み出して、関心領域ROIと症例病変CLとの特徴量を比較して、類似症例を検索する。そして、類似する複数件の症例に関する情報がリスト化された類似症例リストを作成し、これを検索結果として診療科端末11に配信する。
診療科端末11、オーダ管理端末14、検査画像DBサーバ15、症例DBサーバ16、類似症例検索サーバ17は、パーソナルコンピュータ、サーバ用コンピュータ、ワークステーションといったコンピュータをベースに、オペレーティングシステム等の制御プログラムや、クライアントプログラム又はサーバプログラム等のアプリケーションプログラムをインストールして構成される。
図7に示すように、各DBサーバ15〜17や各端末11、14を構成するコンピュータは、基本的な構成は同じであり、それぞれ、CPU(Central Processing Unit)41、メモリ42、ストレージデバイス43、通信I/F44、及び入出力部46を備えている。これらはデータバス47を介して接続されている。入出力部46は、表示部48と、キーボードやマウスなどの入力デバイス49とからなる。
ストレージデバイス43は、例えば、HDD(Hard Disk Drive)であり、制御プログラムやアプリケーションプログラム(以下、APという)50が格納される。また、DBが構築されるサーバには、プログラムを格納するHDDとは別に、DB用のストレージデバイス43として、例えば、HDDを複数台連装したディスクアレイが設けられる。ディスクアレイは、サーバ本体に内蔵されるものでもよいし、サーバ本体とは別に設けられ、サーバ本体にケーブルやネットワークを通じて接続されるものでもよい。
メモリ42は、CPU41が処理を実行するためのワークメモリである。CPU41は、ストレージデバイス43に格納された制御プログラムをメモリ42へロードして、プログラムに従った処理を実行することにより、コンピュータの各部を統括的に制御する。通信I/F44は、ネットワーク18との間の伝送制御を行うネットワークインタフェースである。
診療科端末11には、AP50として、電子カルテの閲覧や編集を行う電子カルテソフトウエアや、検査画像や類似症例リストの閲覧を行うためのビューアソフトウエアなどのクライアントプログラムがインストールされている。ビューアソフトウエアは、例えば、専用ソフトウエアでもよいし、汎用的なWEBブラウザなどでもよい。
図8に示すように、診療科端末11において、検査画像19を表示するビューアソフトウエアが起動されると、診療科端末11の表示部48Aには、GUI(Graphical User Interface)による操作機能を備えた検査画像表示画面52が表示される。診療科端末11のCPU41Aは、GUI制御部53及び検索要求発行部54として機能する。検査画像表示画面52では、検査画像19に対する関心領域ROIの指定と、類似症例検索要求の発行指示が可能になっている。GUI制御部53は、検査画像表示画面52を通じた入力デバイス49Aからの操作指示を受け付けて、受け付けた操作指示に従った画面制御を行う。また、類似症例検索要求の発行指示が入力されると、入力された発行指示がGUI制御部53から検索要求発行部54に入力される。検索要求発行部54は、類似症例検索要求に、指定された検査画像19や関心領域ROIの領域情報を添付して、類似症例検索要求を発行する。
図9に示すように、検査画像表示画面52は、検査画像19を表示する画像表示領域52Aと、各種操作部とを有している。画像表示領域52Aには、例えば、3枚の検査画像19が並べて表示される。スクロール操作やコマ送り操作により、表示する検査画像19を切り替えることが可能である。画像表示領域52Aの上方には、検査IDを入力する入力ボックス52Bが設けられている。入力ボックス52Bに検査IDを入力すると、入力した検査IDの検査データ21が検査画像DBサーバ15からダウンロードされて、画像表示領域52Aに検査画像19が表示される。画像表示領域52Aの下方には、領域指定ボタン52C、クリアボタン52D、類似症例検索ボタン52Eが設けられている。
領域指定ボタン52Cは、検査画像19内において関心領域ROIを指定するための操作ボタンである。領域指定ボタン52Cが、マウスのポインタ56でクリック操作されると、検査画像19内の任意の領域を指定する領域指定操作が可能になる。この状態で、ポインタ56を操作して、例えば、スプラインによって、対象病変OLを含む領域の外周を指定する。スプラインは、指定された複数の制御点を通る滑らかな曲線であり、ポインタ56で制御点を指定することによって入力される。こうした操作により対象病変OLを含む領域が、関心領域ROIとして指定される。クリアボタン52Dは、指定した関心領域ROIを取り消すためのボタンである。
関心領域ROIは、複数個指定することが可能である。図9の例では、画像IDが「O901−01」から「O901−03」の3枚の検査画像19にそれぞれ1つずつ、No1〜No3の関心領域ROIが指定されている。検査ID「901」の検査データ21において、他に関心領域ROIの指定が無ければ、1件の検査データ21に合計で3つの関心領域ROIが指定されたことになる。また、図10の例では、画像IDが「O906−01」の検査画像19内に2つの関心領域ROI(No1、No2)が指定され、画像IDが「O906−02」、「O906−03」の検査画像19内には、1つずつ関心領域ROI(No3、No4)が指定されている。No3の関心領域ROIには、2つの対象病変OL(No3、No4)が含まれている。このように、複数個の対象病変OLを含む領域を、1つの関心領域ROIとして指定してもよい。検査ID「906」の検査データ21において、他に関心領域ROIの指定が無ければ、1件の検査データ21に合計で4つの関心領域ROIが指定されたことになる。このように指定された各関心領域ROIには、異なる対象病変OLがそれぞれ1つ以上含まれる。
図11に示すように、類似症例検索サーバ17には、AP50として類似症例検索サーバプログラムがインストールされており、プログラムを実行すると、類似症例検索サーバ17のCPU41Bは、要求受付部61、特徴量算出部62、個別類似度算出部65、総合類似度算出部66、類似症例検索部67、出力制御部69として機能する。
要求受付部61は、診療科端末11から送信された類似症例検索要求を受け付けて、受け付けた検査画像19及び関心領域ROIの領域情報を、類似症例検索サーバ17のストレージデバイス43などに記憶する。特徴量算出部62は、受け付けた検査画像19及び領域情報に基づいて、関心領域ROIの特徴量を算出する。ここで、特徴量算出部62は、特徴量取得部として機能する。
図12に示すように、関心領域ROIが複数有る場合には、No1の関心領域ROIの特徴量は、「RAC1」、No2の関心領域ROIの特徴量は、「RAC2」、No3の関心領域ROIは、「RAC3」というように、関心領域ROIの特徴量RACは、関心領域ROI毎に算出される。特徴量RACは、典型的な病変の画像パターンとして予め設定されている複数種類の病変パターンに対応する複数次元の数値で構成される、特徴ベクトルである。
図13に示すように、典型的な病変パターンは、例えば、A:低呼吸域の異常影(気腫、気胸、ブラなど)、B:空洞、C:気管支の異常影(気管支壁肥厚、気管支拡張、牽引性気管支拡張、気管支透亮像など)、D:蜂窩肺、E:すりガラス状陰影、F:点状影(粒状影、TIBなど)、G:高吸収域の異常影(コンソリデーション、ノジュール、気管支粘液腺など)、H:線状・網状影の8種類に分類される。
図14に示すように、特徴量算出部62は、典型的な8種類の病変パターンに対応する判別器62A〜62Hを有している。各判別器62A〜62Hは、関心領域ROIの画像パターンに基づいて、典型的な各病変パターンに対応する数値を出力する。各判別器62A〜62Hが出力する各数値は、特徴ベクトルを構成する複数次元の数値であり、ここで、各数値を判別器出力値と呼ぶ。本例では、各判別器62A〜62Hに対応して判別器出力値は8種類有り、特徴ベクトルは8次元で構成される。なお、本例では、典型的な病変パターンの種類をA〜Hの8種類としているが、8種類未満でもよいし、8種類以上でもよい。この種類に応じて、判別器の種類、特徴ベクトルの次元数も適宜決定される。
判別器出力値は、典型的な病変パターンらしさを表すもので、関心領域ROI内に典型的な病変パターンが存在する度合いを表す値である。そのため、判別器出力値が大きいほど、関心領域ROIに典型的な病変パターンが存在する度合いが高いことを示し、判別器出力値が小さいほど、存在する度合いが低いことを示す。より詳細には、「+」の判別器出力値は、典型的な病変パターンが関心領域ROI内に存在することを示し、「−」の判別器出力値は、関心領域ROI内に存在しないことを示す。そして、「+」の判別器出力値を示し、かつ、判別器出力値が大きいほど存在する度合いが高いことを示す。
図14の例では、「B:空洞」の病変パターンの判別器62Bと「G:高吸収域」の判別器62Gが「+」の値を示し、「B:空洞」の出力値が最も大きいため、関心領域ROIは、「B:空洞」と「G:高吸収域」の病変パターンを含み、8種類の病変パターンの中では、「B:空洞」が支配的な画像パターンを持つものであることが分かる。
なお、典型的な病変パターンに対する各判別器は、例えば、「資料名:Computer Vision and Image Understanding 88巻119頁〜151頁,発行年2002年12月 Using Human Perceptual Categories for Content-Based Retrieval from a Medical Image Database 著者 Chi-Ren Shyu, Christina Pavlopoulou Avinash C.kak,and Cala E.Brodley」などに記載されているような周知の特徴量を用いて、「Ada−boost」などの機械学習アルゴリズムにより作成することができる。
特徴量算出部62は、類似症例検索要求に添付された検査データ21において指定された複数の関心領域ROIのすべてについて、関心領域ROI毎に特徴量RACを算出する。
図15に示すように、症例DB23内の特徴量DB23Bに格納される、各症例病変CLの特徴量CACについても、上記8種類の病変パターンに対応する特徴ベクトルで構成される。症例病変CLについては、特徴量算出部62と同様の構成により、特徴ベクトルが予め算出されて特徴量DB23Bに格納されている。
図16に示すように、個別類似度算出部65は、関心領域ROIの特徴量RACと、症例病変CLの特徴量CACとの比較を行い、個別類似度ISMを算出する。具体的には、特徴量RACと特徴量CACに含まれる8次元の特徴ベクトルを比較して、個別類似度ISMを算出する。個別類似度ISMの値は、例えば、最小二乗距離または相関で算出する。前者の場合には、値が小さいほど、関心領域ROIと症例病変CLとの類似度が高く、後者の場合には、値が大きいほど、関心領域ROIと症例病変CLとの類似度が高い。
図17に示すように、個別類似度算出部65は、1件の検査データ21に含まれる複数の関心領域ROIと、1件の症例データ24に含まれる症例病変CLとを1対1で対応させて、それぞれの特徴量RACと、特徴量CACの比較を行い、個別類似度ISMを算出する。個別類似度ISMは、関心領域ROI毎の類似度であるため、関心領域別個別類似度であり、症例病変CLと1対1で対応させて算出されるため、症例病変CL別の個別類似度でもある。個別類似度算出部65は、1つの関心領域ROIに対して、症例病変CLの数だけ個別類似度ISMを算出する。個別類似度ISMは、すべての関心領域ROIについて算出されるので、個別類似度算出部65は、関心領域ROIの数と、症例病変CLの数を乗じた数だけ個別類似度ISMを算出する。
検査IDが「O901」の検査データ21においては、No1〜No3の3個の関心領域ROIが指定されており、症例IDが「C101」の症例データ24には、No1〜No3の3個の症例病変CLが登録されている。このため、図17に示す例では、「O901」の検査データ21と、「C101」の症例データ24との間では、3×3で合計9個の個別類似度ISMが算出される。なお、図17においては、No1、No2の関心領域ROIと、No1〜No3の各症例病変CLとの対応関係については図示しているが、No3の関心領域ROIと各症例病変CLとの対応関係については、スペース上の制約から図示を省略している。
各個別類似度ISMに付された括弧内の識別符号は、症例IDに、関心領域ROIと症例病変CLのそれぞれのシリアルナンバーを加えたものである。「C101−11」の場合には、No1の関心領域ROIと、症例IDが「C101」の症例データ24に登録された、No1の症例病変CLとの個別類似度ISMであることを示す。同様に、「C101−12」の場合には、No1の関心領域ROIと、症例IDが「C101」のNo2の症例病変CLの個別類似度ISMであることを示す。
図18及び図19に示すように、個別類似度算出部65は、複数件の症例について個別類似度ISMを算出する。例えば、図18に示すように、個別類似度算出部65は、まず、症例IDが「C101」の1件の症例のNo1〜No3の3個の症例病変CLを、No1〜No3の関心領域ROIに、それぞれ対応させて、個別類似度ISMを算出する。上述のとおり、症例IDが「C101」の症例は、症例病変CLの登録数が3個(No1〜No3)であるため、3個の関心領域ROIに対して3個の症例病変CLを対応させると、3×3で合計9個の個別類似度ISMが算出される。
症例IDが「C101」の症例について、個別類似度ISMを算出する処理が終了すると、個別類似度算出部65は、次に、症例IDが「C102」の1件の症例について個別類似度ISMを算出する。症例IDが「C102」の症例については、症例病変CLの登録数が2個(No1とNo2)であるため、3個の関心領域ROIに対して2個の症例病変CLを対応させると、3×2で合計6個の個別類似度ISMが算出される。こうした処理を、症例の数だけ繰り返す。
なお、図18において、症例IDが「C101」の症例病変CLについては、No1〜No3の3個の関心領域ROIとのすべての対応関係を図示しているが、症例IDが「C102」については、No1の関心領域ROIとの対応関係のみを示し、No2、No3の関心領域ROIとの対応関係については、図示を省略している。
個別類似度算出部65は、症例IDが「C103」以降の症例についても、同様に、No1〜No3の関心領域ROIと、各症例の症例病変CLとを対応させて、個別類似度ISMを算出する。図19は、No1の関心領域ROIと、症例IDが「C101」〜「C104」の症例病変CLとの対応関係を示す。症例IDが「C104」以降については、図示を省略している。また、当然ながら、No2、No3の関心領域ROIについても、症例病変CLと対応させて個別類似度ISMが算出されるが、図19においては、図示を省略している。
図20に示すように、個別類似度算出部65は、例えば、類似症例検索サーバ17のメモリ42Bやストレージデバイス43B内に、個別類似度テーブル(以下、ISMテーブルという)71を作成して、ISMテーブル71に算出した個別類似度ISMを記録する。ISMテーブル71は、関心領域ROI毎に作成される。図20の例は、No1の関心領域ROIに対するISMテーブル71を示す。ISMテーブル71は、個別類似度ISM毎に、症例ID、病変No、病変画像を関連付けて記憶したテーブルである。病変画像は、症例病変CLの画像データである。すなわち、ISMテーブル71において、1件のレコードは、症例ID、病変No、病変画像、個別類似度ISMの4項目のデータで構成される。
個別類似度算出部65は、最初に、ISMテーブル71に対して、各個別類似度ISMを算出した順番で記録する。各個別類似度ISMは、例えば「C101」、「C102」、「C103」というように、症例IDの番号が若い順から記録される。個別類似度ISMの値は、関心領域ROIの特徴量RACと症例病変CLの特徴量CACの相関で算出されるため、数値が大きいほど、類似度が高いことを示す。
図21に示すように、個別類似度算出部65は、関心領域ROI毎にISMテーブル71を作成する。No1〜No3の3個の関心領域ROIがある場合には、3つのISMテーブル71が作成される。この段階では、図20に示すとおり、ISMテーブル71は、症例IDの順番で各レコードが配列されている。個別類似度算出部65は、ISMテーブル71の作成が終了した場合には、ISMテーブル71を、総合類似度算出部66に引き渡す。
図22に示すように、総合類似度算出部66は、関心領域ROI毎に作成された複数のISMテーブル71に基づいて、総合類似度TSMテーブル72(以下、TSMテーブル72という)を作成する。具体的には、図23に示すように、複数のISMテーブル71から、同一症例内の症例病変CLとの対応により算出された個別類似度ISMを1つずつ読み出し、各ISMテーブル71から読み出した、複数の個別類似度ISMに基づいて、総合類似度TSMを算出する。より具体的には、総合類似度算出部66は、各ISMテーブル71から、1件ずつ読み出した個別類似度ISMを総合類似度TSMの要素として、関心領域ROIの数と1件の症例内の症例病変CLの数に応じた数の順列を作る。そして、順列毎に総合類似度を算出する。
本例では、検査IDが「O901」の検査データ21には、No1〜No3の3つの関心領域ROIがあり、関心領域ROI毎の個別類似度ISMを記録したISMテーブル71は3つ作成される。症例IDが「C101」の症例データ24には、3つの症例病変CLが登録されているので、3つの関心領域ROIと3つの症例病変CLの順列の数は、=3×2×1=6通りとなる。この順列の数だけ、総合類似度TSMが算出される。
個別類似度ISMは、No1〜No3の3つの関心領域ROIと、No1〜No3の3つの症例病変CLのどれとどれを1対1で対応させるかによって、変化する値であるので、順列毎に総合類似度TSMが変化する。本例の順列の内訳は、図23に示すようになり、6つの順列に対応して、「C101−1」〜「C101−6」の6つの総合類似度TSMが算出される。各総合類似度TSMの識別符号は、症例ID(本例ではC101)に、総合類似度TSMの1〜6までのシリアルナンバーを付したものである。各総合類似度TSMは、本例では3つの個別類似度ISMを足し合わせた総和である。
各個別類似度ISMは、関心領域ROIと症例病変CLを1対1で対応させた場合の類似度であるので、総合類似度TSMが高いほど、3つの関心領域ROIと、3つの症例病変CLのそれぞれの個別類似度ISMの平均値が高いことを意味する。本例では、個別類似度ISMは、相関値で表しているため、数値が大きいほど類似度が高い。そのため、総合類似度TSMも、数値が大きいほど類似度が高いことを示す。
本例では、6つの総合類似度TSMの中では、「C101−2」の総合類似度TSMが「2.04」で最も高い。一方、本例では「C101−3」の総合類似度TSMが「1.32」で最も低い。また、「C101−5」の総合類似度TSMには、個別類似度ISMの中に、「0.91」という最高値を示す個別類似度ISM(C101−13)を含んでいるが、最高値を含まない、「C101−2」の総合類似度TSMの方が、平均的に個別類似度ISMが高いため、数値が高くなっている。
6つの総合類似度TSMの中で類似度が最高の総合類似度TSM(C101−2)は、No1の関心領域ROIとNo1の症例病変CLとの個別類似度ISM(C101−11)と、No2の関心領域ROIとNo3の症例病変CLとの個別類似度ISM(C101−23)と、No3の関心領域ROIとNo2の症例病変CLとの個別類似度ISM(C101−32)の総和である。そのため、「C101」の症例については、No1〜No3の症例病変CLを、それぞれ、No1、No3、No2の関心領域ROIに対応させた場合が、「O901」の検査データ21に対して最も類似度が高いと評価できる。
図24に示すように、総合類似度算出部66は、症例IDが「C101」、「C105」、「C106」の症例のように、症例病変CLの登録数が、関心領域ROIの数以上ある症例についてのみ、総合類似度TSMを算出し、類似症例の検索対象とする。つまり、「C102」〜「C104」のように、症例病変CLの登録数が関心領域ROIの数に満たない症例(本例では症例病変CLが3個未満)については、総合類似度TSMを算出せず、検索の対象外とする。
これは次の理由による。総合類似度TSMは、複数の個別類似度ISMが平均的に高い症例を、類似度が高い症例と評価する指標である。そのため、症例病変CLの登録数が、関心領域ROIの数以上ある症例と、関心領域ROIの数に満たない症例のそれぞれの総合類似度TSMでは、一方は3個の合計値で、他方は2個の合計値というように、総合類似度TSMを算出する前提条件が違ってしまうため、そのような総合類似度TSM同士を比較することは適切でないと考えられるためである。
総合類似度TSMは、複数の関心領域ROIと複数の症例病変CLの順列の数だけ算出されるので、検索対象となる症例については、症例病変CLの数に応じて、算出する総合類似度TSMの数は変化する。「C101」の症例については、上述のとおり、順列の数は、=3×2×1=6通りとなり、算出する総合類似度TSMの数は6個となる。「C105」の症例については、症例病変CLの登録数が「5」なので、順列の数は、=5×4×3=60通りで、算出する総合類似度TSMの数は60個となる。同様に、「C106」の症例については、症例病変CLの登録数が「7」なので、順列の数は、=7×6×5=210通りで、算出する総合類似度TSMの数は210個となる。
図25に示すように、総合類似度算出部66は、検索対象となる複数の症例について算出した総合類似度TSMを、TSMテーブル72に記録する。TSMテーブル72において、1件のレコードは、症例ID、総合類似度TSM、個別類似度ISMの組み合わせパターンの3項目のデータで構成される。組み合わせパターンは、各総合類似度TSMの算出元となった個別類似度ISMの組み合わせである。総合類似度算出部66は、作成したTSMテーブル72を、類似症例検索部67に引き渡す。図11において、類似症例検索部67には、代表値判定部67Bが設けられている。
図26に示すように、代表値判定部67Bは、TSMテーブル72において、複数の総合類似度TSMの中から、症例毎に代表値を判定する。「C101」の症例の場合には、6個の総合類似度TSMの中から、類似度が最も高い(相関値が最大)、総合類似度TSM(C101−2)が代表値と判定される。同様に、「C105」の症例の場合には、60個の総合類似度TSMの中から、類似度が最も高い(相関値が最大)、総合類似度TSM(C105−5)が代表値と判定される。
図27に示すように、代表値判定部67Bは、代表値判定を、TSMテーブル72内の全症例について実施する。これにより、TSMテーブル72には、症例毎に1つずつ判定された代表の総合類似度TSMのみが抽出される。
図28に示すように、類似症例検索部67は、代表の抽出が行われたTSMテーブル72において、総合類似度TSMが高い順に各レコードをソートする。TSMテーブル72において、総合類似度TSMは、1件の症例から1つだけ抽出されているので、各レコードをソートすることは、症例を総合類似度TSMが高い順にソートすることを意味する。これにより、各症例に対して順位付けが行われて、TSMテーブル72の上位に、類似度が高い類似症例が抽出される。
類似症例検索部67には、リスト作成部67A(図11参照)が設けられている。リスト作成部67Aは、TSMテーブル72に基づいて、図29に示す類似症例リスト74を作成する。類似症例リスト74は、検索結果表示画面76内に表示される。類似症例リスト74は、複数件の類似症例に関する情報をリスト化したものである。検索結果表示画面76は、類似症例検索サーバ17が、類似症例検索要求の要求元である診療科端末11に対して検索結果を配信する画面の例である。
リスト作成部67Aは、TSMテーブル72から、総合類似度TSMを抽出して、総合類似度TSMが高い順に、類似症例を配列した類似症例リスト74を作成する。類似症例リスト74の表示項目には、各総合類似度TSMに関して、総合類似度TSMの値、総合類似度TSMに基づく順位、症例ID、及び総合類似度TSMに関する内訳情報を含む。本例では、内訳情報は、総合類似度TSMの算出要素となる各個別類似度ISMを算出するための関心領域ROIと症例病変CLとの対応関係である。
類似症例リスト74において、症例IDが「C106」の総合類似度TSMは、図28に示す「C106−7」の総合類似度TSMに対応する。「C106−7」の総合類似度TSMの算出要素となる個別類似度ISMの組み合わせパターンは、個別類似度ISM(C106−11)、(C106−23)、(C106−34)である。類似症例リスト74に表示される内訳情報は、これらの各個別類似度ISMを算出するための関心領域ROIと症例病変CLの対応関係である。個別類似度ISM(C106−11)は、No1の関心領域ROIと、「C106」のNo1の症例病変CLとを対応させて算出したものであり、個別類似度ISM(C106−23)は、No2の関心領域ROIと、「C106」のNo3の症例病変CLとを対応させて算出したものであり、個別類似度ISM(C106−34)は、No3の関心領域ROIと、「C106」のNo4の症例病変CLとを対応させて算出したものである。
さらに、類似症例リスト74の表示項目には、No1、No3、No4の症例病変CLの病変画像が含まれる。病変画像は、例えば、ISMテーブル71から読み出される。さらに、類似症例リスト74の上方には、No1〜No3の関心領域ROIを含む検査画像19が表示される。
類似症例リスト74は、例えば、上位6位までの症例が表示される。もちろん、画面スクロールなどの操作により6位以下の順位を表示できるようにしてもよい。また、上位10位まで表示するというように、同時に表示できる表示件数を変更できるようにしてもよい。
出力制御部69(図11参照)は、このように作成される検索結果表示画面76に関して、例えば、XML(Extensible Markup Language)などのマークアップ言語によってWEB配信用のXMLデータを作成して、これを検索結果として、要求元の診療科端末11に配信する制御を行う。XMLデータを受信した診療科端末11は、WEBブラウザがXMLデータに基づいて検索結果表示画面76を再現して、表示部48Aに表示する。これにより、類似症例リスト74を含む検索結果表示画面76が医師の閲覧に供される。
以下、上記構成の作用について、図30及び図31を参照しながら説明する。図30に示すように、診療科10の医師は、診療科端末11で検査画像DBサーバ15にアクセスして、検査科12に依頼した検査の検査データ21を取得する(S1100)。診療科端末11は、検査データ21を表示部48Aに表示する(S1200)。取得した検査データ21に含まれる検査画像19は、図9に示す検査画像表示画面52に表示される。検査画像表示画面52を通じて、医師により検査画像19内に関心領域ROIの指定が行われる。診療科端末11は、医師の指定操作により、複数の関心領域ROIの指定を受け付ける(S1300)。関心領域ROIの指定が終了すると、類似症例検索ボタン52Eが操作される。これにより、診療科端末11は、検索指示を受け付ける(S1400)。検索指示を受け付けると、検索要求発行部54が、検査画像19と領域情報とが添付された類似症例検索要求を発行して、これが類似症例検索サーバ17に送信される(S1500)。
類似症例検索サーバ17は、類似症例検索要求を受信すると、要求受付部61がこれを受け付ける(S2100)。そして、特徴量算出部62は、検査画像19と関心領域ROIの領域情報とに基づいて、関心領域ROI毎の特徴量を算出する(S2200)。この後、類似症例検索が実行される(S2300)。
図31に示すように、類似症例検索では、まず、個別類似度算出部65が、症例DBサーバ16から、1件の症例データ24を読み出す(S2310)。そして、個別類似度算出部65は、検査データ21内の複数の関心領域ROIと、1件の症例データ24に含まれる症例病変CLとを1対1で対応させて、個別類似度ISMを算出する(S2320)。症例病変CLが複数有る場合には、症例病変CL毎に個別類似度ISMを算出する(S2330)。個別類似度算出部65は、算出した個別類似度ISMをISMテーブル71に記録して(S2340)、関心領域ROI毎にISMテーブル71を作成していく(S2350)。こうした処理を、1件の症例データ24について行った後、次の症例データ24に対しても同様に行う。そして、複数件の症例データ24、例えば、症例DB23内のすべての症例データ24について個別類似度ISMの算出及びISMテーブル71の作成が終了するまで(S2360でN)、同様の処理を繰り返す。
総合類似度算出部66は、関心領域ROI毎に作成した複数のISMテーブル71に基づいて、TSMテーブル72を作成する(S2370)。TSMテーブル72の作成においては、図23に示すように、まず、総合類似度算出部66は、関心領域ROI別の複数の個別類似度ISMに基づいて、関心領域ROIと、症例病変CLとの順列の数だけ、総合類似度TSMを算出する(S2371)。そして、算出した総合類似度TSMを症例毎にTSMテーブル72に記録する(S2372)。
類似症例検索部67は、作成されたTSMテーブル72に基づいて、類似症例リスト74を作成する(S2380)。リスト作成においては、まず、代表値判定部67Bは、図27に示すように、TSMテーブル72内の症例毎の複数の総合類似度TSMの中から、代表値を判定して、各症例の代表の総合類似度TSMのみを抽出したTSMテーブル72を作成する。この後、類似症例検索部67は、TSMテーブル72において、総合類似度TSMが高い順に症例をソートする(S2382)。これにより、TSMテーブル72の上位に、類似度が高い類似症例が抽出される。
リスト作成部67Aは、TSMテーブル72に基づいて、総合類似度TSMが高い順に、類似症例を配列した類似症例リスト74を作成する(S2383)。
図30において、出力制御部69は、リスト作成部67Aが検索結果として作成した類似症例リスト74を含む検索結果表示画面76を、配信用のXMLデータに変換して、診療科端末11に配信する(S2400)。診療科端末11は、類似症例リスト74を含むXMLデータを受信して(S1600)、XMLデータに基づいて検索結果表示画面76(図29参照)を再現して、表示部48Aに表示する。
検査データ21に複数の対象病変OLが含まれる場合において、検査データ21に類似する類似症例を検索する場合には、各対象病変OLを含む複数の関心領域ROIと複数の症例病変CLのそれぞれの特徴量に着目することに加えて、個々の特徴量を総合的に考慮した検索を行うことが望まれる。例えば、ある症例において、1つの症例病変CLが1つの関心領域ROIに対して高い類似度を示していたとしても、他の症例病変CLが他の関心領域ROIの類似度が非常に低い場合には、その症例は、少なくとも複数の関心領域ROIに着目すべき場合には、類似症例として適切ではない。
本発明は、関心領域ROI毎に症例病変CLとの個別類似度ISMを算出し、算出した個別類似度ISMに基づいて総合類似度TSMを算出して類似症例検索を行っている。総合類似度TSMは、複数の個別類似度ISMが平均的に高い症例を、類似度が高い症例と評価する指標である。総合類似度TSMに基づいて類似症例を検索することにより、複数の対象病変OLを含む検査データ21に対して、類似度の高い適切な類似症例を検索することができる。
従来技術は、1つの関心領域ROIの特徴量にのみ着目した類似症例検索しか行われていないため、複数の関心領域ROIがある場合の類似症例検索においては適切な類似症例を検索することができない。対して、本発明は、総合類似度TSMに基づいて類似症例を検索するから、複数の関心領域ROIがある場合の類似症例検索において、従来技術と比較して有用性の高い技術を提供することができる。
疾患によっては、複数の対象病変OLが現れていることが疾患の特定の根拠となる場合がある。このように複数の関心領域ROIの特徴量に注意を払わなければならない診断において、本発明は有用である。このような疾患は、空洞影、点状影、すりガラス影という3種の対象病変OLに着目する必要がある結核や、気管支異常影と点状影の2種の対象病変OLに着目する必要があるびまん性汎細気支炎など、非がん疾患である場合が多い。そのため、本発明は、非がん疾患の診断に特に有用性を発揮する。
なお、本例では、複数の関心領域ROIに、「空洞」と「すりガラス影」というように、病変の種類が異なる対象病変OLがそれぞれ含まれる例で説明したが、各関心領域ROIに含まれる対象病変OLは、別の対象病変OLであれば、種類は同じでもよい。
なお、本例では、総合類似度TSMを、複数の個別類似度ISMを足し合わせた総和としたが、掛け合わせた値でもよい。
また、本例では、代表値判定部67Bにより、症例毎に算出される複数の総合類似度TSMの中から、症例毎に代表値を判定して、代表値のみに基づいて、類似症例検索を行っている。代表値を判定することにより、TSMテーブル72に記録される総合類似度TSMの件数が減るなど、検索処理において取り扱うデータが減るため、処理時間を短縮できるという効果がある。読影レポートに記載された、症例病変CLに関する医師の所見などの診断結果は症例ごとに存在するため、代表値判定により、検索結果を症例単位で提示することで、類似症例に基づく診断を適切にかつ効率よく行うこともできる。しかし、代表値を判定せずに、類似症例検索を行ってもよい。代表値を判定しない場合には、類似症例リスト74において、同じ症例の複数の総合類似度TSMが表示されることがあり得る。これら複数の総合類似度TSMは、算出要素となる個別類似度ISMの組み合わせパターンが異なるものであるため、1つの症例について視点を変えて参照することができる。
さらに、類似症例リスト74の表示項目には、類似症例の症例IDと総合類似度TSMに加えて、総合類似度TSMに関する内訳情報が表示される。内訳情報によって、総合類似度TSMの算出要素となる各個別類似度ISMを算出するための関心領域ROIと症例病変CLの対応関係を確認することができる。この対応関係を表示することにより、総合類似度TSMの算出要素となる各個別類似度ISMは、複数の関心領域ROIと複数の症例病変CLのどれとどれを対応させて算出したものかを把握することができる。また、類似症例リスト74には、検査画像19や症例病変CLの病変画像も表示されるので、画像パターンについても比較参照しやすく、画像パターン同士の類似度を直感的に判断しやすい。
総合類似度TSMに関する内訳情報としては、図32に示す類似症例リスト75のように、総合類似度TSMの算出要素となる個別類似度ISMの値を表示してもよい。総合類似度TSMの値に加えて、その内訳となる個別類似度ISMの値を表示すれば、各関心領域ROIと各症例病変CLの対応の中で、個別類似度ISMが高いものや低いものがどれかを確認できるため、便利である。例えば、医師が、複数の関心領域ROIのうちの1つを重視したい場合には、重視する関心領域ROIの個別類似度ISMの値を見て、適切な類似症例を探し出すといったことができる。
総合類似度TSMは、複数の個別類似度ISMが平均的に高い症例を、類似度が高い症例と評価する指標である。そのため、類似症例リストでは、複数の個別類似度ISMの平均値が高い症例の順位が高く、平均値が低い症例については、仮に1つの個別類似度ISMが突出して高くても、順位は低くなる。これに対して、類似度に関する医師の主観的な評価は、平均値よりも、特定の症例病変CLと特定の関心領域ROIとに関して医師が抱いた印象に大きく影響される場合があるため、医師の主観的な評価と総合類似度TSMに基づく客観的な評価(順位付け)が乖離することもある。
このような乖離が生じた場合でも、類似症例リスト75のように、総合類似度TSMに加えて、個別類似度ISMの値が表示されれば、個別類似度ISMを確認することにより、医師が自らの主観的な評価を検証することができる。また、個別類似度ISMの値が表示されれば、医師が個別類似度ISMの値を勘案することにより、類似症例リスト75による、総合類似度TSMに基づく客観的な評価に対して、医師が主観的な評価に基づいて修正を加えながら、個々の診断に適した適切な類似症例を探し出すといったこともできる。
[第2実施形態]
図33及び図34に示す第2実施形態は、図23で示した第1実施形態の総合類似度TSMの算出方法の変形例であり、他は第1実施形態と同様である。第1実施形態では、総合類似度TSMを、個別類似度ISMの単なる合計値として求めたが、第2実施形態に示すように、総合類似度TSMを算出する要素となる、個別類似度ISMの値に応じて重み付け処理を行ってもよい。
重み付け処理は、例えば、図33に示すように、個別類似度ISMが所定の閾値以上の場合には、重み付け係数Wを乗じて、総合類似度TSMを上げる処理である。図33の例では、二点鎖線の四角で示すように、相関値で表される値が「0.6」以上の個別類似度ISMに対して、重み付け係数Wが掛けられる。これにより、総合類似度TSMの値は、重み付け係数Wに応じて高くなる。
重み付け処理により、次のような効果が得られる。上述のとおり、総合類似度TSMは、複数の個別類似度ISMが平均的に高い症例を、類似度が高い症例と評価する指標であり、基本的には、複数の個別類似度ISMが平均して高い症例が、類似度が高い類似症例と評価される。しかし、個々の関心領域ROIに酷似する症例病変CLが1つでも含まれている症例が、類似症例として高い利用価値を持つ場合もある。そこで、所定の閾値以上の個別類似度ISMを1つでも含む総合類似度TSMに対しては、重み付け処理により、総合類似度TSMを高くする。これにより、重み付け処理が行われた総合類似度TSMを有する症例は、TSMテーブル72あるいは類似症例リスト74における順位が上がる。このように、重み付け係数Wを利用すれば、利用価値の高い症例に関して、類似症例として総合的な評価を上げることができるので、類似症例として抽出しやすい。
重み付け係数Wの掛け方は、図33に示すように、個別類似度ISMに対して掛けてもよいし、図34に示すように、所定の閾値以上の個別類似度ISMを含む総合類似度TSMに対して重み付け係数Wを乗じてもよい。
また、類似症例の評価方法としては、本例のように、所定の閾値以上の個別類似度ISMを含む症例をより高く評価する方法の他、反対に、所定の閾値未満の個別類似度ISMを含む症例をより低く評価する方法も考えられる。つまり、関心領域ROIとの類似度が著しく低い症例病変CLが1つでもある症例に対しては、類似症例としての総合的な評価を下げるということである。この場合には、正の重み付け係数に代えて、負の重み付け係数を乗じることによって、総合類似度TSMを低くしてもよい。これにより、負の重み付けがされた総合類似度TSMを有する症例に対しては、類似症例としての総合的な評価が下がる。
なお、類似症例の評価方法としては、類似症例の実情から考えると、所定の閾値未満の個別類似度ISMを含む症例に負の重み付けをするよりも、所定の閾値以上の個別類似度ISMを含む症例に対して正の重み付けをすることにより、その症例の評価を高くする方が好ましい。
また、本例では、個別類似度ISMを相関値で表しているため、相関値が所定値以上の個別類似度ISMを、類似度が所定の閾値以上の個別類似度ISMと判定することになる。これに対して、最小二乗距離で個別類似度ISMを表す場合には、値が小さいほど類似度が高いので、この場合には、最小二乗距離の値が所定値以下の場合に、類似度が所定の閾値以上の個別類似度ISMと判定する。
[第3実施形態]
図35〜図44に示す第3実施形態は、類似症例検索を利用するユーザである、医師が、関心領域ROIの指定数を変更可能な形態である。類似症例検索サーバ17は、関心領域ROIの指定数が変更された場合に、類似症例検索の再検索を行い、検索結果を配信する。
これにより、例えば、はじめに、1つの関心領域ROIを指定して類似症例検索要求をし、その検索結果を確認してから、関心領域ROIを追加して再度類似症例検索要求をして、2つの関心領域ROIに基づく、検索結果を確認するといった使い方が可能になる。指定する関心領域ROIの数を順次追加していくことにより、検索結果である類似症例リスト74に含まれる類似症例の件数を絞り込んでいくことができる。具体的には、図35〜図43に加えて、図44のフローチャートを適宜参照しながら、説明する。なお、特徴量の算出方法や個別類似度ISMの算出方法は、上記実施形態と同様であるので、説明を省略し、相違点を中心に説明する。
図35に示すように、診療科端末11の検査画像表示画面52において、医師は、例えば、画像IDが「O901−01」の検査画像19に対して、No1の関心領域ROIを1つだけ指定して、類似症例検索ボタン52Eにより、類似症例検索指示を行う。診療科端末11は、関心領域ROIが1つだけ指定された類似症例検索要求を類似症例検索サーバ17に送信する。これにより、図44のフローチャートに示すように、類似症例検索サーバ17は、類似症例検索要求を受け付ける(S3010でY)。
図36に示すように、個別類似度算出部65は、1つの関心領域ROIと症例病変CLを1対1で対応させて、ISMテーブル71を作成する(図44のS3020)。個別類似度算出部65は、類似検索要求に含まれるすべての関心領域ROIに対してISMテーブル71を作成する(図44のS3030)。当然ながら、関心領域ROIが1つの場合には、1つだけISMテーブル71を作成する。
関心領域ROIの指定が1つだけの場合には、図37に示すように、症例病変CLの登録数が1つだけの症例(症例ID「C103」)も含めて、すべて検索対象となる。そのため、ISMテーブル71には、症例DB23内の全症例の症例病変CLと、関心領域ROIとの個別類似度ISMが算出される。例えば、「C106」の症例のように、症例病変の登録数が7個の場合には、個別類似度算出部65は、個別類似度ISMを7個算出する。こうした個別類似度ISMの算出を全症例に対して行ってISMテーブル71が作成される。
そして、個別類似度算出部65は、関心領域ROIが1つか複数かを判定し(図44のS3040)、指定が1つだけの場合には(図44のS3040でN)、類似症例検索部67にISMテーブル71を引き渡す。関心領域ROIの指定が1つだけの場合には、総合類似度TSMを算出することはできないので、類似症例検索部67は、ISMテーブル71に基づいて、図38に示す類似症例リスト74Aを作成する(図44のS3050)。類似症例リスト74Aは、個別類似度ISMが高い順に類似症例が配列されている。こうした類似症例リスト74Aを含む検索結果表示画面76Aが診療科端末11に配信される。また、類似症例検索サーバ17は、類似症例検索処理において作成した、ISMテーブル71などの中間処理のデータ、類似症例リスト74Aなどの最終処理のデータなど、中間処理を含む処理結果のデータを保存する(図44のS3080)。処理結果のデータの保存先は、例えば、類似症例検索サーバ17のメモリやストレージデバイスである(図7参照)。
医師は、この類似症例リスト74Aを確認した後、さらに、関心領域ROIを追加する場合には、図39に示すように、検査画像表示画面52において、例えば、No1の関心領域ROIに加えて、No2の関心領域ROIを指定して、類似検索要求の指示をする。
図40に示すように、類似症例検索サーバ17は、関心領域ROIの指定が追加された場合には(図44のS3090でY)、追加されたNo2の関心領域ROIのISMテーブル71を作成する(図44のS3020)。個別類似度算出部65は、関心領域ROIが複数有る場合には、すべてのISMテーブル71を作成する(図44のS3030)。この際に、1回目の類似症例検索で作成した処理結果のデータが保存されているので、利用可能なものについては再利用する。これにより、処理負荷が軽減されたり、処理時間が短縮される。関心領域ROIが1度に複数個追加された場合には、追加された数だけISMテーブル71が作成される。本例では、No1の関心領域ROIのISMテーブル71については作成済みで、データが保存されているので、No2の関心領域ROIのISMテーブル71についてのみ新規に作成される。
個別類似度算出部65は、関心領域ROIが複数の場合には、総合類似度算出部66にISMテーブル71を引き渡す(図44のS3040でY)。総合類似度算出部66は、2つのISMテーブル71に基づいて、TSMテーブル72Aを作成する(図44のS3060)。図41に示すように、総合類似度算出部66は、関心領域ROIと、症例病変CLの順列の数だけ、総合類似度TSMを算出する。例えば、関心領域ROIが2つ、症例病変CLの数が3つの場合には、順列の数は、=3×2=6通りとなる。
図42に示すように、総合類似度算出部66は、症例DB23の他の症例に対しても、同様に、関心領域ROIとの総合類似度TSMを算出する。ただし、関心領域ROIの指定が1つ追加されて2つになったため、症例IDが「C103」の症例のように、症例病変CLの登録数が1つのものは、検索対象から除外される。症例病変CLが2以上のものについては、検索対象となり、それぞれの症例病変CLの数に応じて、関心領域ROIとの順列の数だけ、総合類似度TSMが算出される。こうして2つの関心領域ROIに基づくTSMテーブル72A(図40参照)が作成される。
図43に示すように、類似症例検索部67は、TSMテーブル72Aに基づいて、類似症例リスト74Bを作成する(図44のS3070)。類似症例リスト74Bを含む検索結果表示画面76Bは、診療科端末11に配信される。類似症例リスト74Bは、症例病変CLが1つしか含まれていない症例が検索対象外とされているため、類似症例リスト74A(図38参照)と比較して、類似症例が絞り込まれた形態で作成される。これにより、医師は、関心領域ROIを順次追加して、指定数を増加させることにより、類似症例を絞り込みながら、より適切な類似症例を見つけるといった使い方ができる。
また、類似症例検索部67は、追加された関心領域ROIに基づく検索処理に際して作成した中間処理を含む処理結果のデータ(TSMテーブル72Aなど)を保存する。さらに、関心領域ROIが追加された場合には、第1実施形態で説明したように、3つの関心領域ROIに基づく類似症例リスト74(図29参照)を作成する。本例のように、類似症例検索の処理結果のデータを保存しておけば、再検索の際の処理負荷を軽減したり、処理時間が短縮されるので、類似症例検索サーバ17のCPUなどのリソースの効率的な利用が可能となるとともに、検索速度も向上する。
なお、関心領域ROIの指定数を追加して再検索をする例で説明したが、もちろん、関心領域ROIの指定数を減らして再検索を行うことも可能である。
また、症例DB23において、症例病変CLが複数個登録されている症例の件数が少ない場合もある。この場合には、複数の関心領域ROIを指定しても、関心領域ROIの指定数以上の登録数を持つ症例の件数が限られている場合には、その中から適切な類似症例を探し出すことが困難である場合もある。そのような場合には、本例のように、関心領域ROIの指定数を増減させながら、再検索ができるようにすることは、症例DB23に蓄積された症例の件数に応じた使い方ができるため、有用である。
[第4実施形態]
また、第3実施形態のように、関心領域ROIの指定数を増減させながら再検索を行う場合には、さらに、図45、図46に示す第4実施形態のように、複数の関心領域ROIの組み合わせや検索結果表示画面76における関心領域ROIの並び順を、適宜変更できるとよい。
図45及び図46に示すように、検索結果表示画面80A、80Bには、類似症例リスト81A、81Bの横に、ROI選択部82が設けられている。ROI選択部82は、例えば、3つの選択ボックス82Aを有しており、各選択ボックス82Aにおいて、関心領域ROIを1つずつ選択することができる。ROI選択部82は、図9に示す検査画像表示画面52において、関心領域ROIが指定されると、指定された関心領域ROIのリストをプルダウンメニュー82Bなどの形態で表示する。本例においては、No1〜No3の関心領域ROIが指定されているため、プルダウンメニュー82Bには、No1〜No3の関心領域ROIが表示される。プルダウンメニュー82Bの中から、ポインタ56によって、1つの関心領域ROIを選択すると、選択された関心領域ROIが選択ボックス82Aに入力される。
各選択ボックス82Aの並び順は、検索結果表示画面80Aにおける、各関心領域ROIを含む検査画像19の並び順に対応しており、例えば、番号が「1」の選択ボックス82Aにおいて選択された、No1の関心領域ROIを含む検査画像19は、一番左側に表示される。同様に、番号が「2」の選択ボックス82Aにおいて選択された、No2の関心領域ROIを含む検査画像19は中央に表示される。さらに、番号が「3」の選択ボックス82Aにおいて選択されると、図46に示すように、選択された関心領域ROIを含む検査画像19が一番右側に表示される。
再検索ボタン83は、ROI選択部82で選択された条件で、類似症例検索の再検索要求を指示するためのボタンである。再検索ボタン83が操作されると、診療科端末11から類似症例検索サーバ17に対して、ROI選択部82で選択された選択条件を含む再検索要求が送信される。要求受付部61は、選択条件を含む再検索要求を受け付ける。
類似症例検索サーバ17は、再検索要求に従って、個別類似度算出や総合類似度算出を行って、類似症例の再検索処理を実行する。そして、図45、46に示すように、再検索処理の処理結果である、類似症例リスト81A、81Bを検索結果として診療科端末11に配信する。
類似症例リスト81Aは、No1とNo2の2つの関心領域ROIが指定された場合の検索結果である。類似症例リスト81Aにおいて、関心領域ROIの並び順は、No1の関心領域ROIを含む検査画像19が一番右に表示され、No2の関心領域ROIを含む検査画像19が中央に表示される。類似症例リスト81Bは、No1〜No3の3つの関心領域ROIが指定された場合の検索結果である。類似症例リスト81Bにおいて、関心領域ROIの並び順は、左から、No2、No3、No1の各関心領域ROIを含む検査画像19が配列される。類似症例検索サーバ17は、第3実施形態で説明したとおり、類似検索を実行した場合には、類似症例リストのデータを含めて処理結果のデータを保存する。
診療科10の医師は、類似症例リスト81を確認する。そして、必要に応じて、ROI選択部82で、複数の関心領域ROIの組み合わせや、並び順を変更しながら、再度、再検索を行うことができる。類似症例検索サーバ17では、処理結果のデータを保存しているので、データを再利用できる場合には、短時間で再検索の結果を配信することができる。また、診療科端末11において、いったん配信された類似症例リスト81のデータを保存しておき、再検索を行うことなく、再表示できるようにしておいてもよい。
[第5実施形態]
上記実施形態では、関心領域ROIに含まれる対象病変OLの種類を判定することなく症例病変CLと対応させて個別類似度ISMの算出して、類似症例検索を行っていた。しかし、図47〜図50に示す第5実施形態のように、関心領域ROIに含まれる対象病変OLと症例病変CLについて、病変の種類の判定を行って、同種の病変同士のみを対応させて個別類似度ISMを算出して、類似症例検索を行ってもよい。図13に示したように、病変パターンは典型的には病変の種類によって区別される。そのため、特徴量を算出した段階で、特徴量に基づいて病変の種類を判定することができる。第5実施形態は、このような病変の種類判定を利用する形態である。
図47に示すように、第5実施形態では、類似症例検索サーバ17には、病変種類判定部86が設けられる。図48に示すように、病変種類判定部86は、特徴量算出部62が算出した関心領域ROIの特徴量RACに基づいて、関心領域ROIに含まれる対象病変OLの種類を判定する。病変種類判定部86は、例えば、各判別器62A〜62Hが出力する判別器出力値のうち、最大の判別器出力値を示す判別器に対応する病変の種類を、関心領域ROIに含まれる対象病変OLの種類と判定する。本例の場合には、「B:空洞」の判別器62Bの判別器出力値が最大であるため、対象病変OLの種類は「B:空洞」と判定される。
一方、第5実施形態では、図49に示すように、各症例病変CLについても、特徴量CACに基づいて、予め病変の種類が判定されており、判定された病変の種類は特徴量DB23Bに格納されている。
図50に示すように、個別類似度算出部65は、関心領域ROIと、各症例病変CLとの個別類似度ISMを算出する際に、病変の種類が同種のもの同士についてのみ個別類似度ISMを算出し、病変の種類が異なるものについては、個別類似度ISMを算出しない。本例においては、No1の関心領域ROIの種類は「B:空洞」であるので、「C101」の症例の中から、種類が「B:空洞」である、No3の症例病変CLとの個別類似度ISMのみ算出する。1件の症例の中に、関心領域ROIと同種の症例病変CLが複数個登録されている場合には、複数個の個別類似度ISMが算出される。また、関心領域ROIと同種の症例病変CLが1個も登録されていない場合には、その症例については、個別類似度ISMは算出されない。
これにより、個別類似度算出部65の算出処理時間を減らすことができる。また、病変の種類を区別せずに個別類似度ISMを算出する第1実施形態と比較して、ISMテーブル71のサイズも小さくなるため、メモリの作業領域も少なくて済む。そのため、類似症例検索サーバ17のCPU41Bに掛かる負荷が軽減されるため、検索時間の短縮化を図ることができる。
ただし、予め病変の種類を判定して同種のものについてのみ個別類似度ISMをする態様は、病変の種類の判定精度が低い場合には、類似症例として検索すべき症例病変CLが抜け落ちる、いわゆる検索漏れの懸念もある。特に、図10で示すように、複数の対象病変OLを1つの関心領域ROIとして指定する場合には、種類判定によって、複数の対象病変OLのいずれかに偏った判定が下されることになる。そのため、第5実施形態については、病変の種類の判定精度を見極めた上で実施することが好ましい。
[第6実施形態]
図51に示す第6実施形態は、病変の種類を判定する第5実施形態を前提とした形態であり、症例病変CLの登録数が異なる複数件の症例に基づいて、1つの類似症例リスト87を作成するものである。第1実施形態において説明したように、検索対象となる症例については、症例病変CLの数が、関心領域ROIの数以上のものを対象とすることが好ましい。
しかしながら、症例DB23において、症例病変CLの登録数が多い症例の蓄積数が少ない場合がある。この場合に、関心領域ROIの数に満たない登録数の症例を、すべて検索対象外とすると、検索対象が少な過ぎて、適切な類似症例が検索できないおそれもある。症例病変CLの登録数が関心領域ROIの数に満たない症例であっても、個々の症例病変CLについて見ると、診断に際して有用な価値を持つ場合もある。第6実施形態は、症例病変CLの登録数が関心領域ROIの数よりも少ない症例についても検索対象に含めて、類似症例として抽出することを可能にする形態である。
具体的には、例えば、検査データ21において、「B:空洞」、「F:点状影」、「E:すりガラス状陰影」の3種類の関心領域ROIが指定されていたとする。この場合において、複数種類の関心領域ROIのうち、1種類の関心領域ROIを、類似症例検索の検索条件として必須の関心領域ROIとして必須指定する。必須指定される関心領域ROIとしては、例えば、医師が診断に際して最も重要度が高いと判断する関心領域ROIである。
本例では、病変の種類が「B:空洞」の対象病変OLを含む関心領域ROI(No1)が必須指定される(図中、太枠で示す)。そして、他の2種類(「F:点状影」、「E:すりガラス状陰影」)の対象病変OLを含む関心領域ROI(No2、No3)については、関心領域ROIとしては指定されるものの、必須指定はされない。こうした条件で、診療科端末11から類似症例検索サーバ17に対して類似症例検索要求が送信される。
類似症例検索サーバ17において、要求受付部61は、必須指定を含む類似症例検索要求を受け付ける。要求受付部61は必須指定受付部として機能する。病変種類判定部86は、受け付けた要求に含まれる3つの関心領域ROIの対象病変OLについて、病変の種類を判定する。そして、No1の関心領域ROIについては、検索条件として必須指定がなされているため、類似症例検索サーバ17は、No1の関心領域ROIの種類を固定して、類似症例検索を行う。
具体的には、類似症例検索サーバ17は、No1の関心領域ROIの種類が「B:空洞」であるため、「B:空洞」を検索条件として固定する。そして、症例病変CLの種類として、固定された「B:空洞」を含む症例を検索対象とする。固定された種類(「B:空洞」)の症例病変CLを含む症例であれば、登録数に関わらず検索対象とする。一方、固定された種類(「B:空洞」)の症例病変CLを含まない症例については、検索対象から除外する。
検索対象の選別、すなわち、症例に関して、検索対象とするか対象外とするかの判定は、例えば、個別類似度算出部65が行う。個別類似度算出部65は、「B:空洞」の症例病変CLを含む症例についてのみ個別類似度ISMを算出して、ISMテーブル71を作成する。総合類似度算出部66が行う場合には、「B:空洞」の症例病変CLを含む症例についてのみ総合類似度TSMを算出して、TSMテーブル72を作成する。
こうした検索対象の選別により、本例で検索対象となるのは、次の4パターンの症例となる。第1は、3種類の関心領域ROIのうち、「B:空洞」のみが一致する症例である。第2は、3種類のうち、「B:空洞」に加えて、No2の関心領域ROIの種類である「F:点状影」の2種類が一致する症例である。第3は、3種類のうち、「B:空洞」に加えて、No3の関心領域ROIの種類である「E:すりガラス状陰影」の2種類が一致する症例である。第4は、3種類のすべてが一致する症例である。
個別類似度算出部65は、選別された症例に基づいて、各関心領域ROIに対して、同種の症例病変CLを1対1で対応させて個別類似度ISMを算出する。No1の関心領域ROIの種類である「B:空洞」は固定されているため、選別された症例内には、「B:空洞」の症例病変CLが含まれている。そのため、No1の関心領域ROIに対しては、選別された症例すべてについて、個別類似度ISMが算出される。これにより、No1のISMテーブル71が作成される。
次に、個別類似度算出部65は、No2の関心領域ROIに対する個別類似度ISMを算出する。No2の関心領域ROIの場合、個別類似度ISMを算出する対象となる症例は、「F:点状影」を含む上記第2パターンの症例と第4パターンの症例である。算出された個別類似度ISMに基づいて、No2の関心領域ROIに対応するISMテーブル71を作成する。No3の関心領域ROIに対しても、個別類似度ISMを算出する。No3の関心領域ROIの場合、個別類似度ISMを算出する対象となる症例は、「E:すりガラス状陰影」を含む第3パターンと第4パターンの症例である。算出された個別類似度ISMに基づいて、No3の関心領域ROIに対応するISMテーブル71が作成される。
このように、No1〜No3の関心領域ROIに対してISMテーブル71を算出した後、固定された「B:空洞」を含む組み合わせ、すなわち、No1とNo2のISMテーブル71の組み合わせ、No1とNo3のISMテーブル71の組み合わせ、No1〜No3のISMテーブル71の組み合わせに基づいて、総合類似度算出部66は、各組み合わせに応じて総合類似度TSMを算出して、3種類のTSMテーブル72A〜72Cを作成する。
類似症例検索部67は、No1のISMテーブル71、及び3種類のTSMテーブル72A〜72Cに基づいて、類似症例リスト87を作成する。ここで、ISMテーブル71に記録されるのは、個別類似度ISMであり、複数の個別類似度ISMの和である総合類似度TSMとは、同列に比較できない。また、TSMテーブル72A、72Bは、2つの個別類似度ISMの和であるのに対して、TSMテーブル72Cは、3つの個別類似度ISMの和であるため、これらについても同列に比較できない。そのため、類似症例検索部67は、各テーブル71、72A〜72Cの個別類似度ISM及び総合類似度TSMを比較できるように、正規化を行う。正規化された類似度である正規化値に基づいて、各症例の順位付けが行われる。正規化は、例えば、個別類似度ISM及び総合類似度TSMを、それぞれ個別類似度ISMの数で割る処理である。
まず、症例IDが「C111」において、ISMテーブル71から抽出された個別類似度ISM(「0.91」)については、個別類似度ISMの数は1個であるため、そのままの値(「0.91」)が正規化値となる。一方、症例IDが「C112」や「C116」の症例では、TSMテーブル72A、72Bから抽出される総合類似度TSM(それぞれ「2.32」、「2.24」)は、2個の個別類似度ISMの和であるので、2で割った値(「1.16」、「1.12」)が正規化値となる。また、症例IDが「C114」のように、TSMテーブル72Cから抽出される総合類似度TSM(「3.63」)は、3個の個別類似度ISMの和であるため、3で割った値(「1.21」)が正規化値となる。
なお、本例において、正規化値として、個別類似度ISMの数で割った単なる平均値を使用したが、例えば、症例IDが「C114」のように、関心領域ROIの個別類似度ISMが一定値以上の症例病変CLを含む症例については、より類似度が高いと評価されるように、平均値に対して重み付けをして正規化値を算出してもよい。
本例によれば、症例DB23内において、関心領域ROIの数以上の症例が少ない場合でも、それらを有効利用して類似症例検索を行うことができる。しかも、必須の関心領域ROIの指定を受け付けるため、検索対象の中に、医師が重要と考える関心領域ROIを含む症例を検索対象とすることができるため、特に有用な類似症例に絞り込むことが可能となる。なお、本例では、複数の関心領域ROIの1つを必須指定する例で説明したが、2つ以上の関心領域ROIを必須指定してもよい。
[第7実施形態]
図52及び図53に示す第7実施形態は、類似症例検索サーバ17ではなく、診療科端末11において関心領域ROIの特徴量を算出する形態である。第7実施形態のように診療科端末11で関心領域ROIの特徴量を算出してもよく、この場合には、類似症例検索サーバ17には、特徴量算出部62を設けずに、図11に示す、個別類似度算出部65、総合類似度算出部66、類似症例検索部67など、特徴量算出部62以外の構成が設けられる。
図52に示すように、診療科端末11には、特徴量算出部62と同様の特徴量算出部88が設けられる。特徴量算出部88は、例えば、診療科端末11にインストールされるソフトウエアをCPU41Aが実行することによって実現される。特徴量算出部88は、検査画像19を含む検査データ21及びGUI制御部53を通じて入力される関心領域ROIの領域情報に基づいて、特徴量RACを算出する。検索要求発行部54は、関心領域ROIに対応する画像と、算出した特徴量RACとを添付して、類似症例検索要求を発行する。
図53に示すように、類似症例検索要求は、診療科端末11から類似症例検索サーバ17に送信される。類似症例検索サーバ17は、受信した類似症例検索要求に基づいて、類似検索を行い、検索結果を診療科端末11に配信する。第7実施形態においては、類似症例検索サーバ17の要求受付部61が特徴量取得部として機能する。
第7実施形態において、図47〜図50に示す第5実施形態及び図51に示す第6実施形態で説明した病変の種類判定を行う場合には、診療科端末11に病変種類判定部を設けてもよい。この場合には、類似症例検索要求に、判定した種類の情報も添付して、類似症例検索サーバ17に送信される。第5及び第6実施形態においては、病変の種類情報を取得する種類情報取得部の機能は、病変種類判定部86が担ったが、診療科端末11に病変種類判定部を設けて、類似症例検索サーバ17に送信する形態では、要求受付部61が種類情報取得部として機能する。
上記各実施形態では、本発明の類似症例検索装置を、診療科端末11からの要求に基づいて類似症例検索を行う類似症例検索サーバ17の形態で説明したが、もちろん、類似症例検索サーバ17を使わずに、診療科端末11が症例DBサーバ16にアクセスして類似症例を検索するというように、診療科端末11に類似症例検索機能を設けてもよい。この場合には、診療科端末11が類似症例検索装置となる。
また、上記各実施形態では、類似症例検索サーバ17と症例DBサーバ16を、別々のサーバで構成しているが、これらを統合して1つのサーバで構成してもよい。このように、1つのサーバに複数の機能を統合したり、機能毎にサーバを分離してもよい。
なお、コンピュータシステムのハードウェア構成は種々の変形が可能である。例えば、類似症例検索サーバ17に関して、処理能力や信頼性の向上を目的として、ハードウェアとして分離された複数台のサーバコンピュータで構成することも可能である。このように、コンピュータシステムのハードウェア構成は、処理能力、安全性、信頼性など要求される性能に応じて適宜変更することができる。さらに、ハードウェアに限らず、症例DB23やAP50などのプログラムについて、安全性や信頼性の確保を目的として、二重化したり、あるいは、複数のストレージデバイスに分散して格納することももちろん可能である。
また、上記各実施形態では、類似症例検索サーバ17について、1つの医療施設内で利用される形態で説明したが、複数の医療施設が利用できる形態としてもよい。
具体的には、上記各実施形態では、類似症例検索サーバ17は、診療科端末11など1つの医療施設内に設置されるクライアント端末がLANを介して通信可能に接続され、クライアント端末からの要求に基づいて、類似症例検索に関するアプリケーションサービスを提供する形態である。複数の医療施設で利用可能にするには、類似症例検索サーバ17は、例えば、インターネットや公衆通信網などのWAN(Wide Area Network)を介して、複数の医療施設に設置されるクライアント端末と通信可能に接続される。そして、類似症例検索サーバ17は、複数の医療施設のクライアント端末からの要求を受け付けて、各クライアント端末に対して類似症例検索に関するアプリケーションサービスを提供する。
この場合の類似症例検索サーバ17の設置場所や運営主体は、例えば医療施設とは別のデータセンタでもよいし、複数の医療施設のうちの1つでもよい。また、WANを利用する場合には、情報セキュリティを考慮して、VPN(Virtual Private Network)を構築したり、HTTPS(Hypertext Transfer Protocol Secure)などのセキュリティレベルの高い通信プロトコルを使用することが好ましい。
本発明は、上記各実施形態に限らず、本発明の要旨を逸脱しない限り種々の構成を採り得ることはもちろんである。例えば、本例では、検査画像の例として、CT、MRI、単純X線画像を例としたが、マンモグラフィーや内視鏡など他のモダリティで撮影した検査画像に対しても適用することができる。また、上述の種々の実施形態や種々の変形例を適宜組み合わせることも可能である。また、本発明は、プログラムに加えて、プログラムを記憶する記憶媒体にも及ぶ。
11 診療科端末
16 症例DBサーバ
17 類似症例検索サーバ
19 検査画像
21 検査データ
22 症例画像
62 特徴量算出部
65 個別類似度算出部
66 総合類似度算出部
67 類似症例検索部
67A リスト作成部
67B 代表値判定部
69 出力制御部
CL 症例病変
OL 対象病変
ROI 関心領域

Claims (30)

  1. 症例画像を1枚以上含む症例が複数件登録された症例データベースの中から、患者の診断に用いる検査画像に類似する類似症例を検索する類似症例検索装置において、
    前記検査画像を1枚以上含む検査データにおいて、前記検査画像内に存在する病変である対象病変を含むように指定される関心領域であり、異なる対象病変をそれぞれ1つ以上含む複数の関心領域に関して、前記関心領域毎の特徴量を取得する特徴量取得部と、
    前記関心領域毎の前記特徴量と、前記症例に登録された、前記症例画像内の病変である症例病変の特徴量とを比較して、前記関心領域毎の個別類似度を算出する個別類似度算出部と、
    算出した複数の前記個別類似度に基づいて、総合類似度を算出する総合類似度算出部と、
    前記総合類似度に基づいて、前記類似症例を検索する類似症例検索部と、を備えており、
    前記類似症例検索部は、前記総合類似度に基づいて、複数件の前記類似症例に関する情報をリスト化した類似症例リストを作成し、
    前記類似症例リストの表示項目には、前記総合類似度の値と前記総合類似度に関する内訳情報とを含み、前記内訳情報は、前記個別類似度を算出するための前記関心領域と前記症例病変との対応関係を含む、類似症例検索装置。
  2. 前記類似症例リストにおいて、前記類似症例は、前記総合類似度順にソートされる請求項1に記載の類似症例検索装置。
  3. 前記類似症例リストには、前記総合類似度の値に加えて、前記総合類似度の算出要素となる複数の前記個別類似度の値が表示される請求項1又は2に記載の類似症例検索装置。
  4. 前記類似症例リストには、前記関心領域と前記症例病変のそれぞれの画像が表示される請求項1ないし3のいずれか1項に記載の類似症例検索装置。
  5. 前記類似症例検索部は、前記関心領域の指定数が変更された場合に、再検索が可能である請求項1ないし4のいずれか1項に記載の類似症例検索装置。
  6. 前記類似症例検索部は、検索の際に作成した処理結果のデータを保存しておき、前記再検索に利用する請求項5に記載の類似症例検索装置。
  7. 前記類似症例検索部は、要求に応じて、複数の前記関心領域の組み合わせ及び前記類似症例リストにおける複数の前記関心領域の並び順の少なくとも1つを変更可能な請求項1ないし6のいずれか1項に記載の類似症例検索装置。
  8. 症例画像を1枚以上含む症例が複数件登録された症例データベースの中から、患者の診断に用いる検査画像に類似する類似症例を検索する類似症例検索装置において、
    前記検査画像を1枚以上含む検査データにおいて、前記検査画像内に存在する病変である対象病変を含むように指定される関心領域であり、異なる対象病変をそれぞれ1つ以上含む複数の関心領域に関して、前記関心領域毎の特徴量を取得する特徴量取得部と、
    前記関心領域毎の前記特徴量と、前記症例に登録された、前記症例画像内の病変である症例病変の特徴量とを比較して、前記関心領域毎の個別類似度を算出する個別類似度算出部と、
    算出した複数の前記個別類似度に基づいて、総合類似度を算出する総合類似度算出部と、
    前記総合類似度に基づいて、前記類似症例を検索する類似症例検索部と、を備えており、
    1件の前記症例内に複数の前記症例病変が登録されている場合には、
    前記個別類似度算出部は、複数の前記関心領域のそれぞれと、前記複数の症例病変のそれぞれとを、1対1で対応させて前記特徴量の比較を行い、前記個別類似度を算出し、
    かつ、前記関心領域毎に、複数の前記症例病変を対応させて算出した複数の前記個別類似度を記録した個別類似度テーブルを作成し、
    前記総合類似度算出部は、前記個別類似度を前記総合類似度の要素として、前記関心領域の数と前記症例病変の数に応じた数の順列を作り、前記順列毎に前記総合類似度を算出する、類似症例検索装置。
  9. 前記総合類似度は、前記順列に含まれる複数の前記個別類似度の総和である請求項8に記載の類似症例検索装置。
  10. 前記総合類似度算出部は、前記関心領域毎の複数の前記個別類似度テーブルのそれぞれから、1つずつ前記個別類似度を読み出して、読み出した複数の前記個別類似度を要素として、前記順列を作る請求項8又は9に記載の類似症例検索装置。
  11. 症例画像を1枚以上含む症例が複数件登録された症例データベースの中から、患者の診断に用いる検査画像に類似する類似症例を検索する類似症例検索装置において、
    前記検査画像を1枚以上含む検査データにおいて、前記検査画像内に存在する病変である対象病変を含むように指定される関心領域であり、異なる対象病変をそれぞれ1つ以上含む複数の関心領域に関して、前記関心領域毎の特徴量を取得する特徴量取得部と、
    前記関心領域毎の前記特徴量と、前記症例に登録された、前記症例画像内の病変である症例病変の特徴量とを比較して、前記関心領域毎の個別類似度を算出する個別類似度算出部と、
    算出した複数の前記個別類似度に基づいて、総合類似度を算出する総合類似度算出部と、
    前記総合類似度に基づいて、前記類似症例を検索する類似症例検索部と、を備えており、
    前記総合類似度算出部は、前記総合類似度を算出する要素となる前記個別類似度の値に応じて、前記総合類似度に対して重み付け処理を行う、類似症例検索装置。
  12. 前記重み付け処理は、前記個別類似度が閾値以上の場合に、前記総合類似度を高くする処理である請求項11に記載の類似症例検索装置。
  13. 症例画像を1枚以上含む症例が複数件登録された症例データベースの中から、患者の診断に用いる検査画像に類似する類似症例を検索する類似症例検索装置において、
    前記検査画像を1枚以上含む検査データにおいて、前記検査画像内に存在する病変である対象病変を含むように指定される関心領域であり、異なる対象病変をそれぞれ1つ以上含む複数の関心領域に関して、前記関心領域毎の特徴量を取得する特徴量取得部と、
    前記関心領域毎の前記特徴量と、前記症例に登録された、前記症例画像内の病変である症例病変の特徴量とを比較して、前記関心領域毎の個別類似度を算出する個別類似度算出部と、
    算出した複数の前記個別類似度に基づいて、総合類似度を算出する総合類似度算出部と、
    前記総合類似度に基づいて、前記類似症例を検索する類似症例検索部と、を備えており、
    前記類似症例検索部は、前記症例病変の登録数が、指定された前記関心領域の数未満の症例については、検索の対象外とする、類似症例検索装置。
  14. 症例画像を1枚以上含む症例が複数件登録された症例データベースの中から、患者の診断に用いる検査画像に類似する類似症例を検索する類似症例検索装置において、
    前記検査画像を1枚以上含む検査データにおいて、前記検査画像内に存在する病変である対象病変を含むように指定される関心領域であり、異なる対象病変をそれぞれ1つ以上含む複数の関心領域に関して、前記関心領域毎の特徴量を取得する特徴量取得部と、
    前記関心領域毎の前記特徴量と、前記症例に登録された、前記症例画像内の病変である症例病変の特徴量とを比較して、前記関心領域毎の個別類似度を算出する個別類似度算出部と、
    算出した複数の前記個別類似度に基づいて、総合類似度を算出する総合類似度算出部と、
    前記総合類似度に基づいて、前記類似症例を検索する類似症例検索部と、
    前記対象病変と前記症例病変のそれぞれの病変の種類を表す種類情報を取得する種類情報取得部と、
    前記指定された複数の前記関心領域のうち、少なくとも1つを検索条件として必須のものとして指定する必須指定を受け付ける必須指定受付部とを備えており、
    前記類似症例検索部は、前記症例病変の登録数に関わらず、前記必須指定された前記関心領域内の前記対象病変と同じ種類の前記症例病変を含む症例を検索対象とする、類似症例検索装置。
  15. 症例画像を1枚以上含む症例が複数件登録された症例データベースの中から、患者の診断に用いる検査画像に類似する類似症例を検索する類似症例検索装置において、
    前記検査画像を1枚以上含む検査データにおいて、前記検査画像内に存在する病変である対象病変を含むように指定される関心領域であり、異なる対象病変をそれぞれ1つ以上含む複数の関心領域に関して、前記関心領域毎の特徴量を取得する特徴量取得部と、
    前記関心領域毎の前記特徴量と、前記症例に登録された、前記症例画像内の病変である症例病変の特徴量とを比較して、前記関心領域毎の個別類似度を算出する個別類似度算出部と、
    算出した複数の前記個別類似度に基づいて、総合類似度を算出する総合類似度算出部と、
    前記総合類似度に基づいて、前記類似症例を検索する類似症例検索部と、
    1つの前記関心領域と、1件の症例に含まれる複数の前記症例病変とを対応させることにより、複数の前記総合類似度が算出された場合に、複数の前記総合類似度の中から、1つの代表値を判定する代表値判定部を有しており、
    前記類似症例検索部は、前記代表値に基づいて、類似症例を検索する、類似症例検索装置。
  16. 症例画像を1枚以上含む症例が複数件登録された症例データベースの中から、患者の診断に用いる検査画像に類似する類似症例を検索する処理をコンピュータに実行させる類似症例検索プログラムにおいて、
    前記検査画像を1枚以上含む検査データにおいて、前記検査画像内に存在する病変である対象病変を含むように指定される関心領域であり、異なる対象病変をそれぞれ1つ以上含む複数の関心領域に関して、前記関心領域毎の特徴量を取得する特徴量取得ステップと、
    前記関心領域毎の前記特徴量と、前記症例に登録された、前記症例画像内の病変である症例病変の特徴量とを比較して、前記関心領域毎の個別類似度を算出する個別類似度算出ステップと、
    算出した複数の前記個別類似度に基づいて、総合類似度を算出する総合類似度算出ステップと、
    前記総合類似度に基づいて、前記類似症例を検索する類似症例検索ステップと、を前記コンピュータに実行させる類似症例検索プログラムであって、
    前記類似症例検索ステップにおいて、前記総合類似度に基づいて、複数件の前記類似症例に関する情報をリスト化した類似症例リストを作成し、
    前記類似症例リストの表示項目には、前記総合類似度の値と前記総合類似度に関する内訳情報とを含み、前記内訳情報は、前記個別類似度を算出するための前記関心領域と前記症例病変との対応関係を含む、類似症例検索プログラム。
  17. 前記類似症例リストにおいて、前記類似症例は、前記総合類似度順にソートされる請求項16に記載の類似症例検索プログラム。
  18. 前記類似症例リストには、前記総合類似度の値に加えて、前記総合類似度の算出要素となる複数の前記個別類似度の値が表示される請求項16又は17に記載の類似症例検索プログラム
  19. 前記類似症例リストには、前記関心領域と前記症例病変のそれぞれの画像が表示される請求項16ないし18のいずれか1項に記載の類似症例検索プログラム。
  20. 前記類似症例検索ステップにおいて、前記関心領域の指定数が変更された場合に、再検索が可能である請求項16ないし19のいずれか1項に記載の類似症例検索プログラム。
  21. 前記類似症例検索ステップにおいて、検索の際に作成した処理結果のデータを保存しておき、前記再検索に利用する請求項20に記載の類似症例検索プログラム。
  22. 前記類似症例検索ステップにおいて、要求に応じて、複数の前記関心領域の組み合わせ及び前記類似症例リストにおける複数の前記関心領域の並び順の少なくとも1つを変更可能な請求項16ないし21のいずれか1項に記載の類似症例検索プログラム。
  23. 症例画像を1枚以上含む症例が複数件登録された症例データベースの中から、患者の診断に用いる検査画像に類似する類似症例を検索する処理をコンピュータに実行させる類似症例検索プログラムにおいて、
    前記検査画像を1枚以上含む検査データにおいて、前記検査画像内に存在する病変である対象病変を含むように指定される関心領域であり、異なる対象病変をそれぞれ1つ以上含む複数の関心領域に関して、前記関心領域毎の特徴量を取得する特徴量取得ステップと、
    前記関心領域毎の前記特徴量と、前記症例に登録された、前記症例画像内の病変である症例病変の特徴量とを比較して、前記関心領域毎の個別類似度を算出する個別類似度算出ステップと、
    算出した複数の前記個別類似度に基づいて、総合類似度を算出する総合類似度算出ステップと、
    前記総合類似度に基づいて、前記類似症例を検索する類似症例検索ステップと、を前記コンピュータに実行させる類似症例検索プログラムであって、
    1件の前記症例内に複数の前記症例病変が登録されている場合には、
    前記個別類似度算出ステップにおいて、複数の前記関心領域のそれぞれと、前記複数の症例病変のそれぞれとを、1対1で対応させて前記特徴量の比較を行い、前記個別類似度を算出し、
    かつ、前記個別類似度算出ステップにおいて、前記関心領域毎に、複数の前記症例病変を対応させて算出した複数の前記個別類似度を記録した個別類似度テーブルを作成し、
    前記総合類似度算出ステップにおいて、前記個別類似度を前記総合類似度の要素として、前記関心領域の数と前記症例病変の数に応じた数の順列を作り、前記順列毎に前記総合類似度を算出する、類似症例検索プログラム。
  24. 前記総合類似度は、前記順列に含まれる複数の前記個別類似度の総和である請求項23に記載の類似症例検索プログラム。
  25. 前記総合類似度算出ステップにおいて、前記関心領域毎の複数の前記個別類似度テーブルのそれぞれから、1つずつ前記個別類似度を読み出して、読み出した複数の前記個別類似度を要素として、前記順列を作る請求項23又は24に記載の類似症例検索プログラム。
  26. 症例画像を1枚以上含む症例が複数件登録された症例データベースの中から、患者の診断に用いる検査画像に類似する類似症例を検索する処理をコンピュータに実行させる類似症例検索プログラムにおいて、
    前記検査画像を1枚以上含む検査データにおいて、前記検査画像内に存在する病変である対象病変を含むように指定される関心領域であり、異なる対象病変をそれぞれ1つ以上含む複数の関心領域に関して、前記関心領域毎の特徴量を取得する特徴量取得ステップと、
    前記関心領域毎の前記特徴量と、前記症例に登録された、前記症例画像内の病変である症例病変の特徴量とを比較して、前記関心領域毎の個別類似度を算出する個別類似度算出ステップと、
    算出した複数の前記個別類似度に基づいて、総合類似度を算出する総合類似度算出ステップと、
    前記総合類似度に基づいて、前記類似症例を検索する類似症例検索ステップと、を前記コンピュータに実行させる類似症例検索プログラムであって、
    前記総合類似度算出ステップにおいて、前記総合類似度を算出する要素となる前記個別類似度の値に応じて、前記総合類似度に対して重み付け処理を行う、類似症例検索プログラム。
  27. 前記重み付け処理は、前記個別類似度が閾値以上の場合に、前記総合類似度を高くする処理である請求項26に記載の類似症例検索プログラム。
  28. 症例画像を1枚以上含む症例が複数件登録された症例データベースの中から、患者の診断に用いる検査画像に類似する類似症例を検索する処理をコンピュータに実行させる類似症例検索プログラムにおいて、
    前記検査画像を1枚以上含む検査データにおいて、前記検査画像内に存在する病変である対象病変を含むように指定される関心領域であり、異なる対象病変をそれぞれ1つ以上含む複数の関心領域に関して、前記関心領域毎の特徴量を取得する特徴量取得ステップと、
    前記関心領域毎の前記特徴量と、前記症例に登録された、前記症例画像内の病変である症例病変の特徴量とを比較して、前記関心領域毎の個別類似度を算出する個別類似度算出ステップと、
    算出した複数の前記個別類似度に基づいて、総合類似度を算出する総合類似度算出ステップと、
    前記総合類似度に基づいて、前記類似症例を検索する類似症例検索ステップと、を前記コンピュータに実行させる類似症例検索プログラムであって、
    前記類似症例検索ステップにおいて、前記症例病変の登録数が、指定された前記関心領域の数未満の症例については、検索の対象外とする、類似症例検索プログラム。
  29. 症例画像を1枚以上含む症例が複数件登録された症例データベースの中から、患者の診断に用いる検査画像に類似する類似症例を検索する処理をコンピュータに実行させる類似症例検索プログラムにおいて、
    前記検査画像を1枚以上含む検査データにおいて、前記検査画像内に存在する病変である対象病変を含むように指定される関心領域であり、異なる対象病変をそれぞれ1つ以上含む複数の関心領域に関して、前記関心領域毎の特徴量を取得する特徴量取得ステップと、
    前記関心領域毎の前記特徴量と、前記症例に登録された、前記症例画像内の病変である症例病変の特徴量とを比較して、前記関心領域毎の個別類似度を算出する個別類似度算出ステップと、
    算出した複数の前記個別類似度に基づいて、総合類似度を算出する総合類似度算出ステップと、
    前記総合類似度に基づいて、前記類似症例を検索する類似症例検索ステップと、を前記コンピュータに実行させる類似症例検索プログラムであって、
    前記コンピュータに実行させるステップとして、さらに、前記対象病変と前記症例病変のそれぞれの病変の種類を表す種類情報を取得する種類情報取得ステップと、
    前記指定された複数の前記関心領域のうち、少なくとも1つを検索条件として必須のものとして指定する必須指定を受け付ける必須指定受付ステップとを備えており、
    前記類似症例検索ステップにおいて、前記症例病変の登録数に関わらず、前記必須指定された前記関心領域内の前記対象病変と同じ種類の前記症例病変を含む症例を検索対象とする、類似症例検索プログラム。
  30. 症例画像を1枚以上含む症例が複数件登録された症例データベースの中から、患者の診断に用いる検査画像に類似する類似症例を検索する処理をコンピュータに実行させる類似症例検索プログラムにおいて、
    前記検査画像を1枚以上含む検査データにおいて、前記検査画像内に存在する病変である対象病変を含むように指定される関心領域であり、異なる対象病変をそれぞれ1つ以上含む複数の関心領域に関して、前記関心領域毎の特徴量を取得する特徴量取得ステップと、
    前記関心領域毎の前記特徴量と、前記症例に登録された、前記症例画像内の病変である症例病変の特徴量とを比較して、前記関心領域毎の個別類似度を算出する個別類似度算出ステップと、
    算出した複数の前記個別類似度に基づいて、総合類似度を算出する総合類似度算出ステップと、
    前記総合類似度に基づいて、前記類似症例を検索する類似症例検索ステップと、を前記コンピュータに実行させる類似症例検索プログラムであって、
    前記コンピュータに実行させるステップとして、さらに、1つの前記関心領域と、1件の症例に含まれる複数の前記症例病変とを対応させることにより、複数の前記総合類似度が算出された場合に、複数の前記総合類似度の中から、1つの代表値を判定する代表値判定ステップを備えており、
    前記類似症例検索ステップにおいて、前記代表値に基づいて、類似症例を検索する、類似症例検索プログラム。
JP2014066285A 2014-03-27 2014-03-27 類似症例検索装置及び類似症例検索プログラム Active JP6099592B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2014066285A JP6099592B2 (ja) 2014-03-27 2014-03-27 類似症例検索装置及び類似症例検索プログラム
PCT/JP2015/056369 WO2015146519A1 (ja) 2014-03-27 2015-03-04 類似症例検索装置、類似症例検索方法、及び類似症例検索プログラム
CN201580016672.4A CN106133724B (zh) 2014-03-27 2015-03-04 类似病例检索装置以及类似病例检索方法
US15/276,309 US20170011199A1 (en) 2014-03-27 2016-09-26 Similar case search device, similar case search method, and non-transitory computer readable medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014066285A JP6099592B2 (ja) 2014-03-27 2014-03-27 類似症例検索装置及び類似症例検索プログラム

Publications (2)

Publication Number Publication Date
JP2015191285A JP2015191285A (ja) 2015-11-02
JP6099592B2 true JP6099592B2 (ja) 2017-03-22

Family

ID=54195049

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014066285A Active JP6099592B2 (ja) 2014-03-27 2014-03-27 類似症例検索装置及び類似症例検索プログラム

Country Status (4)

Country Link
US (1) US20170011199A1 (ja)
JP (1) JP6099592B2 (ja)
CN (1) CN106133724B (ja)
WO (1) WO2015146519A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6596406B2 (ja) 2016-12-09 2019-10-23 富士フイルム株式会社 診断支援装置とその作動方法および作動プログラム、並びに診断支援システム
EP3557449B1 (en) 2016-12-19 2022-06-22 FUJIFILM Corporation Similar case search device, method for operation and program for operation thereof, and similar case search system
JP6837376B2 (ja) * 2017-04-10 2021-03-03 富士フイルム株式会社 画像処理装置および方法並びにプログラム
JP6862286B2 (ja) * 2017-05-31 2021-04-21 キヤノン株式会社 情報処理装置、情報処理方法、情報処理システム及びプログラム
JP6807820B2 (ja) 2017-10-31 2021-01-06 富士フイルム株式会社 画像検索装置、方法およびプログラム
KR102064957B1 (ko) * 2018-04-10 2020-01-10 가톨릭대학교 산학협력단 염증성 피부질환 중증도 진단을 위한 표준영상 정보 서비스 방법 및 서비스 시스템
CN112352230B (zh) * 2018-06-28 2021-08-27 三菱电机株式会社 检索装置、检索方法及机器学习装置
JP2020144498A (ja) * 2019-03-05 2020-09-10 株式会社日立製作所 画像診断支援装置および画像処理方法
CN110084279A (zh) * 2019-03-29 2019-08-02 广州思德医疗科技有限公司 一种确定分类标签的方法及装置
DE102020109953A1 (de) * 2020-04-09 2021-10-14 Contexon GmbH Verfahren und Computersystem zur Bestimmung der Relevanz eines Textes
CN116134363A (zh) 2020-07-21 2023-05-16 富士胶片株式会社 内窥镜系统及其工作方法
CN112949659A (zh) * 2021-03-15 2021-06-11 东软集团股份有限公司 检查信息的处理方法、装置、存储介质和电子设备

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5544352A (en) * 1993-06-14 1996-08-06 Libertech, Inc. Method and apparatus for indexing, searching and displaying data
JP4340367B2 (ja) * 1999-01-27 2009-10-07 株式会社リコー 画像分類装置およびその装置としてコンピュータを機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP4767759B2 (ja) * 2006-06-02 2011-09-07 富士フイルム株式会社 読影レポート作成装置
JP5153281B2 (ja) * 2007-09-28 2013-02-27 キヤノン株式会社 診断支援装置及びその制御方法
CN101373479A (zh) * 2008-09-27 2009-02-25 华中科技大学 一种乳腺x线摄片计算机图像检索方法及系统
WO2011044497A2 (en) * 2009-10-09 2011-04-14 Edgenet, Inc. Automatic method to generate product attributes based solely on product images
JP5618787B2 (ja) * 2010-11-29 2014-11-05 キヤノン株式会社 レポート作成支援装置及びその作成支援方法、並びにプログラム
CN103339626A (zh) * 2011-01-31 2013-10-02 松下电器产业株式会社 病例检索装置及病例检索方法
CN102958425B (zh) * 2011-06-30 2015-09-23 松下电器产业株式会社 类似病例检索装置以及类似病例检索方法
JP4979842B1 (ja) * 2011-06-30 2012-07-18 パナソニック株式会社 類似症例検索装置および類似症例検索方法
JP5475923B2 (ja) * 2011-08-04 2014-04-16 パナソニック株式会社 類似症例検索装置および類似症例検索方法
CN103200861B (zh) * 2011-11-04 2015-10-14 松下电器产业株式会社 类似病例检索装置以及类似病例检索方法
US20140316235A1 (en) * 2013-04-18 2014-10-23 Digimarc Corporation Skin imaging and applications
US20140378810A1 (en) * 2013-04-18 2014-12-25 Digimarc Corporation Physiologic data acquisition and analysis
WO2015015699A1 (ja) * 2013-08-01 2015-02-05 パナソニック株式会社 類似症例検索装置、症例データベース、類似症例検索方法、およびプログラム
KR20150077184A (ko) * 2013-12-27 2015-07-07 삼성전자주식회사 의료 영상의 병변 유사도 판단 장치 및 방법

Also Published As

Publication number Publication date
US20170011199A1 (en) 2017-01-12
WO2015146519A1 (ja) 2015-10-01
CN106133724B (zh) 2019-09-03
CN106133724A (zh) 2016-11-16
JP2015191285A (ja) 2015-11-02

Similar Documents

Publication Publication Date Title
JP6099592B2 (ja) 類似症例検索装置及び類似症例検索プログラム
JP6099593B2 (ja) 類似症例検索装置、類似症例検索方法、及び類似症例検索プログラム
JP6109778B2 (ja) 類似症例検索装置、類似症例検索方法、及び類似症例検索プログラム
JP5383431B2 (ja) 情報処理装置、情報処理方法及びプログラム
US8189888B2 (en) Medical reporting system, apparatus and method
US8837794B2 (en) Medical image display apparatus, medical image display method, and medical image display program
US7374077B2 (en) Similar image search system
JP6027065B2 (ja) 類似画像検索装置、類似画像検索装置の作動方法、および類似画像検索プログラム
JP5661890B2 (ja) 情報処理装置、情報処理方法及びプログラム
US20160267222A1 (en) Medical imaging reference retrieval and report generation
JP2009238038A (ja) 医用レポートシステム、医用レポート閲覧装置、医用レポートプログラム、及び医用レポート閲覧方法
TWI524198B (zh) A morbidity assessment device, a morbidity assessment method, and a morbidity assessment program
JP2012118583A (ja) レポート作成支援装置及びその作成支援方法、並びにプログラム
US20060072797A1 (en) Method and system for structuring dynamic data
JP2009238039A (ja) 医用レポートシステム、医用レポート閲覧装置、医用レポートプログラム、及び医用レポート閲覧方法
US10642956B2 (en) Medical report generation apparatus, method for controlling medical report generation apparatus, medical image browsing apparatus, method for controlling medical image browsing apparatus, medical report generation system, and non-transitory computer readable medium
JP2008200373A (ja) 類似症例検索装置、方法、およびプログラム、ならびに、類似症例データベース登録装置、方法、およびプログラム
JP6425905B2 (ja) 医療レポート作成支援装置
US20130159022A1 (en) Clinical state timeline
JP2018130408A (ja) 情報端末の制御方法
JP2008217426A (ja) 症例登録システム
JP6719259B2 (ja) 医用レポート作成支援装置およびその制御方法、プログラム
WO2020105416A1 (ja) 医療情報表示装置、方法およびプログラム、並びに医療情報を表示するためのグラフィックユーザインターフェース
Czum Change or No Change: Using AI to Compare Follow-up Chest Radiographs

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160218

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161102

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161222

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170208

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170221

R150 Certificate of patent or registration of utility model

Ref document number: 6099592

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250