JP5054252B1 - 類似症例検索装置、類似症例検索方法、類似症例検索装置の作動方法およびプログラム - Google Patents

類似症例検索装置、類似症例検索方法、類似症例検索装置の作動方法およびプログラム Download PDF

Info

Publication number
JP5054252B1
JP5054252B1 JP2012513395A JP2012513395A JP5054252B1 JP 5054252 B1 JP5054252 B1 JP 5054252B1 JP 2012513395 A JP2012513395 A JP 2012513395A JP 2012513395 A JP2012513395 A JP 2012513395A JP 5054252 B1 JP5054252 B1 JP 5054252B1
Authority
JP
Japan
Prior art keywords
interpretation
image feature
image
item
interpretation item
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012513395A
Other languages
English (en)
Other versions
JPWO2013065090A1 (ja
Inventor
堅司 近藤
和豊 高田
和紀 小塚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Application granted granted Critical
Publication of JP5054252B1 publication Critical patent/JP5054252B1/ja
Publication of JPWO2013065090A1 publication Critical patent/JPWO2013065090A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/19Recognition using electronic means
    • G06V30/196Recognition using electronic means using sequential comparisons of the image signals with a plurality of references
    • G06V30/1983Syntactic or structural pattern recognition, e.g. symbolic string recognition
    • G06V30/1985Syntactic analysis, e.g. using a grammatical approach
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211Selection of the most significant subset of features
    • G06F18/2113Selection of the most significant subset of features by ranking or filtering the set of features, e.g. using a measure of variance or of feature cross-correlation

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

類似症例検索装置は、読影対象画像から複数の画像特徴量を抽出する画像特徴抽出部(150)と、各読影項目に対する画像特徴量の種類毎の値の存在範囲を示す情報である第一の読影知識に基づいて、抽出した複数の画像特徴量の各読影項目に対する適合度を算出する読影項目適合度算出部(160)と、適合度が大きい読影項目を表示する読影項目候補表示部(170)と、読影項目を選択させる読影項目選択部(180)と、各画像特徴量と各読影項目との間の関連性を予め定めた第二の読影知識に基づいて、抽出した画像特徴量ごとに、当該画像特徴量と選択された読影項目との間の関連性が高いほど大きな値の重みを決定する重み決定部(190)と、抽出された複数の画像特徴量と、症例データに含まれる医用画像から抽出される複数の画像特徴量とを、画像特徴量毎の重みで重み付けして比較することにより、症例データを検索する類似症例検索部(200)とを備える。
【選択図】図1

Description

本発明は、医用画像の読影に参考となる類似症例を検索するための類似症例検索装置および類似症例検索方法に関する。
近年、CT(Computed Tomography)、MRI(Magnetic Resonance Imaging)等の医用画像装置の発達および普及によりデジタル化された高精細な医用画像が大容量で取得可能になっている。また、医師により読影済の医用画像は読影レポートと共にPACS(Picture Archiving and Communication Systems)に順次蓄積されつつある。ここで、新たな読影の参考とするため、読影対象の医用画像と類似した過去の医用画像を、蓄積済の過去症例から検索する技術が開発され始めている。
類似画像検索では、画像間の類似度を決定する画像特徴量を、検索対象画像に応じて最適化することが重要である。従来は、類似画像検索を行う対象の臓器毎に画像特徴量が設計されることが多く、臓器以外の概念レベル(例えば、疾病の種類、疾病の進行度、または疾病の重症度、等)に対しては、同一の画像特徴量を類似画像検索に使用することが殆どであった。
検索に使用する画像特徴量を、臓器以外の概念レベルに対して動的に変更する類似画像検索法として次の技術が開示されている。
非特許文献1は、解決手段として、“customized−queries” approach(CQA)という2ステップの検索法を提案している。これは、第一ステップにて、疾病の種類、疾病の進行度または疾病の重症度、等のクラスを最も良好に分類できる画像特徴量を用いて、クエリ画像を分類する。第二ステップにて、分類結果となったクラスに含まれる症例をさらに細分類するために最適化された画像特徴量を用いて、類似画像を検索する。このとき、クラス毎に最適な画像特徴量は教師なし学習(unsupervised learning)により事前に求めておく。また、同文献では、CQAを肺CT画像に対して適用し、従来の1組の画像特徴量を用いた類似画像検索よりも、検索再現率を向上させている。
Jennifer G.Dy et al. "Unsupervised Feature Selection Applied to Content−based Retrieval of Lung Images", IEEE Transactions on Pattern Analysis and Machine Intelligence, vol.25, no.3, March 2003
しかしながら、前記従来の構成では、識別された疾病の種類、疾病の進行度または疾病の重症度、等により画像特徴量(即ち、類似基準)が決定され、決定された画像特徴量を用いて類似画像が検索されるだけであり、読影対象の医用画像に対する読影者の「着目点」を反映した類似画像検索にはなっていない。画像の類似性を決定する指標(着目点)は、特定の画像に対してであっても、形状、輝度、全体領域、部分領域、など様々である。どの指標で“類似”した画像を検索したいのかは、類似画像検索を行うユーザ本人にしか分からない。
即ち、医用画像検索であれば、識別された疾病の種類、疾病の進行度または疾病の重症度、等により予め最適化しておいた画像特徴量で検索しても、その検索結果が、読影者が下した診断の裏づけや読影者が迷っている診断への補助になりにくいという課題を有している。
本発明は、前記従来の課題を解決するもので、読影者の着目点を類似画像検索に反映させた類似症例検索装置を提供することを目的とする。
本発明のある局面に係る類似症例検索装置は、医用画像と当該医用画像を読影した結果が記載された文書データである読影レポートとを含む症例データを複数蓄積した症例データベースから、読影対象の医用画像に類似する医用画像を含む症例データを検索する類似症例検索装置であって、読影対象の医用画像である読影対象画像から複数の画像特徴量を抽出する画像特徴抽出部と、医用画像の特徴を言語化した文字列である任意の読影項目に対し、前記読影項目を含む読影レポートに対応する医用画像から抽出された複数の画像特徴量を基に算出された、画像特徴量の種類毎の値の存在範囲を示す情報である第一の読影知識に基づいて、前記画像特徴抽出部が抽出した複数の画像特徴量の各読影項目に対する適合度を算出する読影項目適合度算出部と、前記読影項目適合度算出部が算出した適合度が所定閾値よりも大きい読影項目、または適合度が大きいものから所定個数の読影項目を表示する読影項目候補表示部と、前記読影項目候補表示部が表示した読影項目の中から、ユーザにより選択された読影項目を入力として受け付ける読影項目選択部と、医用画像から抽出される各画像特徴量と、前記医用画像に対する読影レポートから抽出される各読影項目との間の関連性を予め定めた第二の読影知識に基づいて、前記画像特徴抽出部が抽出した画像特徴量ごとに、当該画像特徴量と前記読影項目選択部で選択された読影項目との間の関連性が高いほど大きな値の重みを決定する重み決定部と、前記画像特徴抽出部が抽出した前記複数の画像特徴量と、症例データベースに登録されている症例データに含まれる医用画像から抽出される複数の画像特徴量とを、前記重み決定部が決定した画像特徴量毎の重みで重み付けして比較することにより、前記読影対象画像に類似する医用画像を含む症例データを前記症例データベースより検索する類似症例検索部とを備える。
この構成によると、医用画像または読影対象画像から抽出される各画像特徴量を基に各「読影項目」への適合度を計算することにより、読影対象画像の特徴が疾病の単位より詳細なレベルの「読影項目」に変換され、以後の類似症例検索処理にて、疾病単位よりも詳細なレベルでの検索用画像特徴量の最適化が可能になる。
「読影項目」とは、本明細書では、「読影医が、読影対象の医用画像の特徴を言語化した文字列」と定義する。使用する医用画像撮影装置または対象臓器等により、読影項目として使用される用語はほぼ限定される。読影項目の例として、分葉状、棘状、不整形、境界明瞭、輪郭不明瞭、低濃度、高濃度、低吸収、高吸収、スリガラス状、石灰化、モザイク状、早期濃染、低エコー、高エコー、毛羽立ち、等がある。選択された読影項目が、分葉状/棘状/不整形であれば、読影者が形状に関して着目しており、低濃度/高濃度/低吸収/高吸収/スリガラス状であれば、読影者が輝度に関して着目していることが分かる。
同時に、読影項目は医師の読影レポート作成時の共通言語であるため、類似症例検索装置のユーザ、即ち、読影者が本装置により推定された読影項目の妥当性を容易に理解できる。
また、適合度の大きい読影項目を表示することにより、多数ある読影項目のうち、読影対象画像から抽出した画像特徴量に関係するものを厳選して表示するので、類似症例検索装置のユーザにとって、読影項目の把握および選択が容易になる。
以上より、類似症例検索装置のユーザ、即ち、読影者の着目点を反映した類似症例検索を行うことができる。
なお、本発明は、このような特徴的な処理部を備える類似症例検索装置として実現することができるだけでなく、類似症例検索装置に含まれる特徴的な処理部が実行する処理をステップとする類似症例検索方法として実現することができる。また、類似症例検索装置に含まれる特徴的な処理部としてコンピュータを機能させるためのプログラムまたは類似症例検索方法に含まれる特徴的なステップをコンピュータに実行させるプログラムとして実現することもできる。そして、そのようなプログラムを、CD−ROM(Compact Disc−Read Only Memory)等のコンピュータ読取可能な非一時的な記録媒体やインターネット等の通信ネットワークを介して流通させることができるのは、言うまでもない。
本発明の類似症例検索装置によれば、読影者の着目点を類似画像検索に反映させた類似症例検索装置を提供することができる。
図1は、本発明の実施の形態1における類似症例検索装置の構成を示すブロック図である。 図2は、本発明の実施の形態1における読影知識作成の手順を示すフローチャートである。 図3は、本発明の実施の形態1における画像特徴量抽出の手順を示すフローチャートである。 図4は、本発明の実施の形態1における腹部CT検査の読影レポートの例を示す図である。 図5は、本発明の実施の形態1における読影レポートから抽出された読影項目および疾病名を示す図である。 図6は、本発明の実施の形態1における読影レポートから抽出された読影項目および疾病名、ならびに、読影項目と同時に抽出された位置と時相の情報を示す図である。 図7は、本発明の実施の形態1における読影レポートから抽出された読影項目および疾病名、ならびに、文脈解釈を行って読影項目と同時に抽出された位置と時相の情報を示す図である。 図8は、本発明の実施の形態1における、読影知識抽出のために取得したデータ一式を示す図である。 図9は、本発明の実施の形態1における第一の読影知識の作成手順を示すフローチャートである。 図10は、本発明の実施の形態1における第一の読影知識である、ある読影項目に対応する画像特徴量ベクトルの分布を示す図である。 図11は、本発明の実施の形態1における第一の読影知識である、ある読影項目に対応する画像特徴量の分布情報の格納形式を示す図である。 図12は、本発明の実施の形態1における、読影項目と画像特徴量との間の相関関係(二値)の概念図である。 図13は、本発明の実施の形態1における、読影項目と画像特徴量との間の相関関係(多値)の概念図である。 図14は、本発明の実施の形態1における、疾病名と画像特徴量との間の相関関係(二値)の概念図である。 図15は、本発明の実施の形態1における、読影項目と疾病名との間の相関関係(二値)の概念図である。 図16は、本発明の実施の形態1における、読影知識として抽出した(画像特徴量−読影項目)間の相関関係の格納形式を示す図である。 図17は、本発明の実施の形態1における、読影知識として抽出した(画像特徴量−疾病名)間の相関関係の格納形式を示す図である。 図18は、本発明の実施の形態1における、読影知識として抽出した(読影項目−疾病名)間の相関関係の格納形式を示す図である。 図19は、本発明の実施の形態1における類似症例検索の手順を示すフローチャートである。 図20は、本発明の実施の形態1における、類似症例検索画面の一例を示す図である。 図21は、本発明の実施の形態1における、病変位置または領域の指定について説明するための図である。 図22は、本発明の実施の形態1における第一の読影知識である、ある読影項目に対応する画像特徴量の分布情報の格納形式を示す図である。 図23は、本発明の実施の形態1における第一の読影知識である、ある読影項目に対応する画像特徴量の分布情報の格納形式を示す図である。 図24は、本発明の実施の形態1における第一の読影知識である、ある読影項目に対応する画像特徴量の分布情報の格納形式を示す図である。 図25は、本発明の実施の形態1において、適合度が高いと判断された読影項目の表示形式を示す図である。 図26は、本発明の実施の形態1において、適合度が高いと判断された読影項目を画像毎に表示した場合の表示形式を示す図である。 図27は、本発明の実施の形態1における、適合度が高いと判断された読影項目と、その適合度とを同時に表示した場合の表示形式を示す図である。 図28は、本発明の実施の形態1における、適合度が高いと判断された読影項目と、その適合度とを同時に表示した場合の表示形式を示す図である。 図29は、本発明の実施の形態1における、読影者に選択された読影項目の表示形式を示す図である。 図30は、本発明の実施の形態1における類似症例検索時の重み付け方法を示す図である。 図31は、本発明の実施の形態1における類似症例検索時に、スライドバーにより、読影項目間の重みをユーザに設定させる画面の例を示す図である。 図32は、本発明の実施の形態2における、読影知識として抽出した読影項目同士の相関関係の格納形式を示す図である。 図33は、本発明の実施の形態2における、選択された読影項目の表示形式を示す図である。 図34は、本発明の実施の形態2における、選択された読影項目に対し、選択誤りの可能性を表示する場合の表示形式を示す図である。 図35は、本発明の実施の形態3において、選択された読影項目と選択不可能な読影項目との表示形式を示す図である。 図36は、本発明の実施の形態4において、選択された読影項目から推定された疾病名の表示形式を示す図である。 図37は、本発明の実施の形態5における類似症例検索装置の構成を示すブロック図である。 図38は、本発明の実施の形態5における類似症例検索の手順を示すフローチャートである。 図39は、本発明の実施の形態6における第一類似症例検索装置の構成を示すブロック図である。 図40は、本発明の実施の形態6における第二類似症例検索装置の構成を示すブロック図である。 図41は、本発明の実施の形態6における読影項目選択履歴データベースに記憶されている読影項目の選択履歴情報の一例を示す図である。 図42は、類似症例検索装置の他の構成を示すブロック図である。
以下、本発明の実施の形態について、図面を参照しながら説明する。なお、以下で説明する実施の形態は、いずれも本発明の好ましい一具体例を示すものである。以下の実施の形態で示される数値、構成要素、構成要素の接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。本発明は、請求の範囲だけによって限定される。よって、以下の実施の形態における構成要素のうち、本発明の最上位概念を示す独立請求項に記載されていない構成要素については、本発明の課題を達成するのに必ずしも必要ではないが、より好ましい形態を構成するものとして説明される。
本発明の一実施態様に係る類似症例検索装置は、医用画像と当該医用画像を読影した結果が記載された文書データである読影レポートとを含む症例データを複数蓄積した症例データベースから、読影対象の医用画像に類似する医用画像を含む症例データを検索する類似症例検索装置であって、読影対象の医用画像である読影対象画像から複数の画像特徴量を抽出する画像特徴抽出部と、医用画像の特徴を言語化した文字列である任意の読影項目に対し、前記読影項目を含む読影レポートに対応する医用画像から抽出された複数の画像特徴量を基に算出された、画像特徴量の種類毎の値の存在範囲を示す情報である第一の読影知識に基づいて、前記画像特徴抽出部が抽出した複数の画像特徴量の各読影項目に対する適合度を算出する読影項目適合度算出部と、前記読影項目適合度算出部が算出した適合度が所定閾値よりも大きい読影項目、または適合度が大きいものから所定個数の読影項目を表示する読影項目候補表示部と、前記読影項目候補表示部が表示した読影項目の中から、ユーザにより選択された読影項目を入力として受け付ける読影項目選択部と、医用画像から抽出される各画像特徴量と、前記医用画像に対する読影レポートから抽出される各読影項目との間の関連性を予め定めた第二の読影知識に基づいて、前記画像特徴抽出部が抽出した画像特徴量ごとに、当該画像特徴量と前記読影項目選択部で選択された読影項目との間の関連性が高いほど大きな値の重みを決定する重み決定部と、前記画像特徴抽出部が抽出した前記複数の画像特徴量と、症例データベースに登録されている症例データに含まれる医用画像から抽出される複数の画像特徴量とを、前記重み決定部が決定した画像特徴量毎の重みで重み付けして比較することにより、前記読影対象画像に類似する医用画像を含む症例データを前記症例データベースより検索する類似症例検索部とを備える。
この構成によると、医用画像または読影対象画像から抽出される各画像特徴量を基に各「読影項目」への適合度を計算することにより、読影対象画像の特徴が疾病の単位より詳細なレベルの「読影項目」に変換され、以後の類似症例検索処理にて、疾病単位よりも詳細なレベルでの検索用画像特徴量の最適化が可能になる。
「読影項目」とは、本明細書では、「読影医が、読影対象の医用画像の特徴を言語化した文字列」と定義する。使用する医用画像撮影装置または対象臓器等により、読影項目として使用される用語はほぼ限定される。読影項目の例として、分葉状、棘状、不整形、境界明瞭、輪郭不明瞭、低濃度、高濃度、低吸収、高吸収、スリガラス状、石灰化、モザイク状、早期濃染、低エコー、高エコー、毛羽立ち、等がある。選択された読影項目が、分葉状/棘状/不整形であれば、読影者が形状に関して着目しており、低濃度/高濃度/低吸収/高吸収/スリガラス状であれば、読影者が輝度に関して着目していることが分かる。
同時に、読影項目は医師の読影レポート作成時の共通言語であるため、類似症例検索装置のユーザ、即ち、読影者が本装置により推定された読影項目の妥当性を容易に理解できる。
また、適合度の大きい読影項目を表示することにより、多数ある読影項目のうち、読影対象画像から抽出した画像特徴量に関係するものを厳選して表示するので、類似症例検索装置のユーザにとって、読影項目の把握および選択が容易になる。
以上より、類似症例検索装置のユーザ、即ち、読影者の着目点を反映した類似症例検索を行うことができる。
好ましくは、前記読影項目適合度算出部は、前記第一の読影知識から、適合度算出の対象読影項目に関連する全ての画像特徴量の値の存在範囲情報を取得し、前記画像特徴抽出部が抽出した各画像特徴量と、取得した前記存在範囲情報との一致度を算出し、前記第二の読影知識に基づいた前記対象読影項目との間の関連性が高い画像特徴量ほど、当該画像特徴量について算出した前記一致度に対する重みを大きくした上で、前記画像特徴抽出部が抽出した前記複数の画像特徴量に対して算出した複数の前記一致度を統合することにより、前記画像特徴抽出部が抽出した前記複数の画像特徴量の前記対象読影項目に対する適合度を算出する。
この構成によると、多数種類の画像特徴量が存在する状況であっても、着目する読影項目に関係の小さい画像特徴量の影響を小さくして適合度を算出できる。
好ましくは、前記読影項目候補表示部は、さらに、読影項目と共に、当該読影項目に対応する適合度を表示する。
この構成によると、本装置が算出した読影項目の適合度の大きさをユーザに提示するので、ユーザは読影項目の選択のために参考にすることができる。
好ましくは、前記読影項目候補表示部は、さらに、医用画像に付属する読影レポートにおける読影項目同士の共起度合いを予め定めた共起確率情報に基づいて、前記読影項目選択部で選択された読影項目同士の共起確率を決定し、決定した前記共起確率が所定値以下である場合に、読影項目の選択誤りの可能性を示す情報を表示する。
この構成によると、共存しにくい読影項目をユーザに伝達でき、ユーザの読影項目の選択誤りを防止できる。
好ましくは、前記読影項目候補表示部は、さらに、医用画像に付属する読影レポートにおける読影項目同士の共起度合いを予め定めた共起確率情報に基づいて、前記読影項目選択部で選択された読影項目との共起確率が所定値以下の読影項目が選択不可能であることを表示する。
この構成によると、読影項目を選択した段階で、選択不可能な読影項目をユーザに伝達でき、ユーザの読影項目の選択誤りを防止できる。
好ましくは、前記読影項目候補表示部は、さらに、医用画像に付属する読影レポートから抽出される、医用画像の特徴を言語化した文字列である読影項目と疾病名の間の関連性を予め定めた関連性情報に基づいて、選択された読影項目との関連性が最も高い疾病名を推定し、前記推定された疾病名を表示する。
この構成によると、現在選択した読影項目がどのような疾病に相当するのかをユーザに伝達することで、ユーザにとって、選択済みの読影項目の妥当性判断の補助情報となる。
本発明の他の実施態様にかかる類似症例検索装置は、医用画像と当該医用画像を読影した結果が記載された文書データである読影レポートとを含む症例データを複数蓄積した症例データベースから、読影対象の医用画像に類似する医用画像を含む症例データを検索する類似症例検索装置であって、読影対象の医用画像である読影対象画像から複数の画像特徴量を抽出する画像特徴抽出部と、医用画像の特徴を言語化した文字列である任意の読影項目に対し、前記読影項目を含む読影レポートに対応する医用画像から抽出された複数の画像特徴量を基に算出された、画像特徴量の種類毎の値の存在範囲を示す情報である第一の読影知識に基づいて、前記画像特徴抽出部が抽出した複数の画像特徴量の各読影項目に対する適合度を算出する読影項目適合度算出部と、前記読影項目適合度算出部が算出した適合度が所定値以上の読影項目を、類似症例検索に使用する読影項目として設定する読影項目設定部と、医用画像から抽出される各画像特徴量と、前記医用画像に対する読影レポートから抽出される各読影項目との間の関連性を予め定めた第二の読影知識に基づいて、前記画像特徴抽出部が抽出した画像特徴量ごとに、当該画像特徴量と前記読影項目設定部が設定した読影項目との間の関連性が高いほど大きな値の重みを決定する重み決定部と、前記画像特徴抽出部が抽出した前記複数の画像特徴量と、症例データベースに登録されている症例データに含まれる医用画像から抽出される複数の画像特徴量とを、前記重み決定部が決定した画像特徴量毎の重みで重み付けして比較することにより、前記読影対象画像に類似する医用画像を含む症例データを前記症例データベースより検索する類似症例検索部とを備える。
この構成によると、医用画像または読影対象画像から抽出される各画像特徴量について、読影対象画像から推定された読影項目との間の関連性が高いものほど大きな重みで重み付けを行った上で、画像特徴量同士を比較することにより類似症例を検索している。これにより、ユーザによる読影項目の選択無しに、一般的な読影者の着目点である読影項目を利用した重み付けが可能となる。
本装置では、適合度が所定値以上の読影項目を類似症例検索に用いているため、一般的な医師が着目するであろう読影項目に基づいた類似症例検索が可能となる。
好ましくは、前記読影項目設定部は、読影項目の組の中から過去にユーザが選択した読影項目の履歴情報に基づいて、前記読影項目適合度算出部が算出した適合度が所定値以上の読影項目の中から、前記履歴情報と同じ選択を行うことで得られる読影項目を、類似症例検索に使用する読影項目として設定する。
この構成によると、ユーザが過去に選択した読影項目と同じ読影項目を用いて類似症例検索を行うことができる。このため、例えば、熟練医師が過去に選択した読影項目と同じ読影項目を用いて新たな読影対象画像についての類似症例検索を行うことができる。
(実施の形態1)
図1は、本発明の実施の形態1における類似症例検索装置のブロック図である。
類似症例検索装置は、医用画像と当該医用画像を読影した結果が記載された文書データである読影レポートとを含む症例データを複数蓄積した症例データベースから、読影対象の医用画像に類似する医用画像を含む症例データを検索する。類似症例検索装置は、症例データベース100と、第一の読影知識データベース110と、第二の読影知識データベース120と、読影対象画像読込部130と、読影対象画像表示部140と、画像特徴抽出部150と、読影項目適合度算出部160と、読影項目候補表示部170と、読影項目選択部180と、重み決定部190と、類似症例検索部200と、類似症例表示部210とを含む。また図示せぬ読影レポート入力部を含む。
症例データベース100は、CT(Computed Tomography)またはMRI(Magnetic Resonance Imaging)等の医用画像(本明細書中では「画像データ」のことを単に「画像」と言う)と、その医用画像を読影した結果である読影レポートとの対から構成される症例データ(以下、単に「症例」と言う。)を複数格納したデータベースである。第一の読影知識データベース110および第二の読影知識データベース120は、複数の症例を解析することにより得た読影知識を格納したデータベースである。詳細については後述する。症例データベース100、第一の読影知識データベース110および第二の読影知識データベース120は、HDD(Hard Disk Drive)などの記憶装置に記憶される。
読影対象画像読込部130は、CTやMRI等の医用画像撮影装置で撮影された画像を、医用画像撮影装置または外部接続された記憶装置などから読み込む。
読影対象画像表示部140は、医療用の高精細モニタ等で構成され、読影対象画像読込部130で読み込んだ読影対象画像を表示する。
画像特徴抽出部150は、読影対象画像読込部130で読み込まれた読影対象画像から複数種類の画像特徴量を抽出する。
読影項目適合度算出部160は、画像特徴抽出部150で抽出された複数の画像特徴量と、第一の読影知識データベース110に格納されている第一の読影知識とから、現在の読影対象画像における、複数の画像特徴量の各読影項目に対する適合度を算出する。
読影項目候補表示部170は、読影項目適合度算出部160で算出された、複数の読影項目に対する各適合度を基に、適合度が所定閾値よりも大きい読影項目、または適合度が大きいものから所定個数の読影項目を、ユーザに選択させるための候補として表示する。本類似症例検索装置のユーザ(読影者)は、放射線科医、臨床医などの読影を行う医師である。ただし、ユーザは、これらに限定されるものではなく、臨床検査技師や医学生などのように医師免許を持たない者の場合もある。
読影項目選択部180は、読影項目候補表示部170で表示された読影項目から、ユーザの選択結果を入力として受け付ける。
重み決定部190は、画像特徴抽出部150で抽出された画像特徴量、および、第二の読影知識データベース120に格納された第二の読影知識から、画像検索で使用する複数の画像特徴量に対する重みをそれぞれ決定する。
類似症例検索部200は、画像特徴抽出部150で抽出された複数の画像特徴量と、症例データベース100に登録されている症例に含まれる医用画像から抽出される複数の画像特徴量とを、重み決定部190で決定された画像特徴量毎の重みで重み付けして比較することにより、読影対象画像に類似する医用画像を含む症例を前記症例データベースより検索する。
類似症例表示部210は、類似症例検索部200で検索された類似症例を表示する。類似症例表示部210は、読影対象画像表示部140を構成する高精細モニタと同じ機種で別途構成されていてもよく、読影対象画像表示部140を構成する高精細モニタに読影対象画像と類似症例を同時に表示してもよい。なお、類似症例表示部210と読影対象画像表示部140との機種は異なっていても良い。
図示せぬ読影レポート入力部は、ユーザからの読影レポート入力を受け付ける。つまり、ユーザは、読影対象画像表示部140に表示された読影対象画像、および、類似症例表示部210に表示された類似症例を参考にしつつ、読影レポートを、図示せぬ読影レポート入力部に入力する。読影レポート入力部は、キーボードやマウスなどにより構成される。
読影対象画像表示部140、読影項目候補表示部170、読影項目選択部180、類似症例表示部210、および、図示せぬ読影レポート入力部は、読影端末220を構成する。
以後、本発明の各部の動作について詳細に説明する。
<読影知識データベースの事前作成>
類似症例検索を行うに当たり、事前に読影知識を作成し、第一の読影知識データベース110、及び、第二の読影知識データベース120に格納しておく。読影知識は、医用画像とその医用画像を読影した結果である読影レポートとの対から構成される“症例”を複数集めたものから作成される。症例として、症例データベース100に格納されたものを用いてもよいし、他のデータベースに格納されたものを用いてもよい。必要な症例数は、種種のデータマイニングアルゴリズムを用いて何らかの法則性および知識を得るために十分となる数である。通常は数百〜数万個のデータが用いられる。本実施の形態では、第一の読影知識データベース110に格納される第一の読影知識として、任意の読影項目に対し、前記読影項目を含む読影レポートに対応する医用画像から抽出された複数の画像特徴量を基に算出された、画像特徴量の種類毎の値の存在範囲を示す情報を用いる。また、第二の読影知識データベース120に格納される第二の読影知識として、医用画像から抽出される各画像特徴量と、前記医用画像に対する読影レポートから抽出される各読影項目との間の関連性、つまり、(画像特徴量−読影項目)の二項間の相関関係を用いる。
「画像特徴量」としては、医用画像における臓器もしくは病変部分の形状に関するもの、または輝度分布に関するものなどがある。画像特徴量として、例えば、非特許文献:「根本,清水,萩原,小畑,縄野,“多数の特徴量からの特徴選択による乳房X線像上の腫瘤影判別精度の改善と高速な特徴選択法の提案”,電子情報通信学会論文誌D−II,Vol.J88−D−II,No.2,pp.416−426,2005年2月」に490種類の特徴量を用いることが記載されている。本実施の形態においても、医用画像の撮像に使用した医用画像撮影装置(モダリティ)または読影の対象臓器ごとに予め定めた数十〜数百種の画像特徴量を用いる。
「読影項目」とは、本明細書では、「読影医が、読影対象の医用画像の特徴を言語化した文字列」と定義する。使用する医用画像撮影装置または対象臓器等により、読影項目として使用される用語はほぼ限定される。例えば、分葉状、棘状、不整形、境界明瞭、輪郭不明瞭、低濃度、高濃度、低吸収、高吸収、スリガラス状、石灰化、モザイク状、早期濃染、低エコー、高エコー、毛羽立ち、等がある。
以下、図2のフローチャートを用いて第一および第二の読影知識作成の手順を説明する。本実施の形態で対象とする、つまり使用する医用画像撮影装置はマルチスライスCTとし、対象臓器および疾病は、それぞれ肝臓および肝腫瘤とする。
ステップS10では、読影知識を得るための症例が格納されたデータベースから症例を1つ取得する。ここで読影知識を得るための症例の総数をC個とする。1つの症例は、医用画像とその医用画像を読影した結果である読影レポートとの対で構成されている。医用画像がマルチスライスCT装置により取得された場合、1つの症例は多数枚のスライス画像を含むことになる。また、通常、マルチスライスCT画像を医師が読影する場合、重要なスライス画像1〜数枚を、キー画像として読影レポートに添付する。以後、多数枚のスライス画像集合、あるいは、数枚のキー画像を単に「医用画像」、「画像」と呼ぶこともある。
ステップS11では、医用画像から画像特徴量を抽出する。ステップS11の処理を、図3のフローチャートを用いて詳細に説明する。
ステップS111では、対象臓器の領域を抽出する。本実施の形態では肝臓領域を抽出する。肝臓領域抽出法として、例えば、非特許文献:「田中,清水,小畑,“異常部位の濃度パターンを考慮した肝臓領域抽出手法の改良<第二報>”,電子情報通信学会技術研究報告,医用画像,104(580),pp.7−12,2005年1月」等の手法を用いることができる。
ステップS112では、ステップS111で抽出された臓器領域から病変領域を抽出する。本実施の形態では肝臓領域から腫瘤領域を抽出する。肝腫瘤領域抽出法として、例えば、非特許文献:「中川、清水,一杉,小畑,“3次元腹部CT像からの肝腫瘤影の自動抽出手法の開発<第二報>”,医用画像,102(575),pp.89−94,2003年1月」等の手法を用いることができる。ここで、i番目の症例における画像から抽出した腫瘤の数をMiとすると、腫瘤は(症例番号,腫瘤番号)の組(i,j)で特定できる。ここで、1≦i≦C,1≦j≦Miである。また本実施の形態では病変として肝腫瘤を対象としているため、“腫瘤番号”と呼んだが、本発明で共通の表現を用いて“病変番号”と呼ぶこともできる。
ステップS113では、ステップS112で抽出された病変領域のうち、1つの領域を選択する。
ステップS114では、ステップS113で選択された病変領域から画像特徴量を抽出する。本実施の形態では、画像特徴量として、非特許文献:「根本,清水,萩原,小畑,縄野,“多数の特徴量からの特徴選択による乳房X線像上の腫瘤影判別精度の改善と高速な特徴選択法の提案”,電子情報通信学会論文誌D−II,Vol.J88−D−II,No.2,pp.416−426,2005年2月」に記載された490種類の特徴量のうち、肝腫瘤にも適用可能な特徴量をいくつか選択して用いる。この特徴量数をNIF個とする。本ステップで抽出された特徴量は、(症例番号,この症例(医用画像)から抽出された腫瘤番号,特徴量番号)の組(i,j,k)で特定できる。ここで、1≦i≦C,1≦j≦Mi,1≦k≦NIFである。
ステップS115では、ステップS112で抽出された病変領域のうち未選択の病変があるかどうかをチェックし、未選択の病変がある場合は、ステップS113に戻り未選択の病変領域を選択した後、ステップS114を再実行する。未選択の病変がない場合、すなわち、ステップS112で抽出された全ての病変領域に対し、ステップS114の特徴量選択を行った場合は図3のフローチャートの処理を終了し、図2のフローチャートに戻る。
図2のステップS12では、読影レポートの解析処理を行う。具体的には読影レポートから読影項目および疾病名を抽出する。本実施の形態では読影項目が格納された読影項目単語辞書、および疾病名が格納された疾病名単語辞書を用いた、形態素解析および構文解析を行う。これらの処理により、各単語辞書に格納された単語と一致する単語を抽出する。形態素解析技術としては、例えば、非特許文献:MeCab(http://mecab.sourceforge.net)やChaSen(http://chasen−legacy .sourceforge.jp)等が、構文解析技術としては、KNP(http:/ /nlp.kuee.kyoto−u.ac.jp/nl−resource/knp.html)、CaboCha(http://chasen.org/〜taku/software/cabocha/)等が存在する。読影レポートは医師により読影レポート独特の表現で記述されることが多いので、読影レポートに特化した形態素解析技術、構文解析技術、各単語辞書を開発することが望ましい。
図4は腹部CT検査の読影レポートの例であり、図5は図4の読影レポートから抽出された読影項目および疾病名を示す。通常、読影項目は複数個、疾病名は1個抽出される。i番目の症例における読影レポートから抽出した読影項目の数をNiとすると、読影項目は(症例番号,読影項目番号)の組(i,j)で特定できる。ここで、1≦i≦C,1≦j≦Niである。
また、図5では、読影項目および疾病名の単語のみを抽出しているが、読影レポートにおける病変の位置を表す文字列、時相を表す文字列を同時に抽出してもよい。ここで、時相について補足する。肝臓の病変の鑑別には、造影剤を急速静注して経時的に撮像する造影検査が有用とされている。肝臓の造影検査では一般に、肝動脈に造影剤が流入し多血性の腫瘍が濃染する動脈相、腸管や脾臓に分布した造影剤が門脈から肝臓に流入し肝実質が最も造影される門脈相、肝の血管内外の造影剤が平衡に達する平衡相、肝の間質に造影剤が貯留する晩期相などにおいて、肝臓が撮像される。読影レポートには病変の臓器における位置や、造影検査であれば着目した時相の情報が記述されていることが多い。このため、読影項目だけでなく位置や時相の情報も合わせて抽出することで、後で説明する読影知識の抽出に有効となる。図6に、読影項目と同時に位置と時相の情報を抽出した例を示す。例えば、図4の読影レポートを解析し、「肝S3区域に早期濃染を認め」という文節から「早期濃染」の位置属性として「肝S3区域」が抽出される。同様に、「後期相でwashoutされており」という文節から「washout」の時相属性として「後期相」が抽出される。
図4の読影レポートを、単純に解釈すると、図6のように「早期濃染」に関する時相、washoutに関する位置の部分が空白になる。これに対し、読影項目「早期濃染」は早期相に対応した単語であるという事前知識を利用したり、「早期濃染」の状態を示す腫瘤と「後期相でwashout」される腫瘤が同一の腫瘤を指すという文脈解釈を行ったりすることができれば、抽出される位置と時相の情報は図7のようになる。
ステップS13では、読影知識を得るための症例が格納されたデータベースにおいて未取得の症例があるかどうかをチェックし、未取得の症例がある場合は、ステップS10に戻り未取得の症例を取得した後、ステップS11およびS12を実行する。未取得の症例がない場合、すなわち、全ての症例に対し、ステップS11の画像特徴抽出およびステップS12のレポート解析を実施済の場合は、ステップS14に進む。
ステップS11とステップS12の結果は相互に依存しないため、実行順は逆でも構わない。
ステップS14に到達した時点で、例えば、図8で表されるデータ一式が取得される。つまり、症例ごとに画像特徴量と読影項目と疾病名とが取得される。症例番号1の症例については、医用画像中にM1個の病変が含まれており、各病変から抽出される画像特徴量の個数はNIF個である。また、読影レポート中の読影項目の数はN1個である。例えば、病変番号(1,1)で示される1つ目の病変のうち、1つ目の画像特徴量の値は0.851である。また、読影項目番号(1,1)で示される1つ目の読影項目の値は「早期濃染」である。図8の例では、各画像特徴量は0以上1以下の数値であり、読影項目および疾病名は文字列である。画像特徴量として負の値または1より大きな値をとるものを用いても良い。また、読影項目および疾病名として、予め定めた単語IDの形式にてデータを格納してもよい。
ステップS14では、ステップS11で得られた画像特徴量、および、ステップS12で得られた読影項目から、第一の読影知識を抽出する。ステップS14の処理を、図9のフローチャートを用いて詳細に説明する。
ステップS141では、ここ(S14の直前)までで得られた図8のデータ一式の中から、読影項目を1つ選択する。選択する順序として、例えば、ステップS12で使用した読影項目単語辞書におけるエントリ(読影項目番号)順を使用することができる。本実施の形態では、読影項目単語辞書における読影項目の全エントリ数を、NII個とする。なお、選択する順序として、図8のデータ一式における出現順や、任意の順番など他の方法でもよい。
ステップS142では、図8のデータ一式の中から、ステップS141で選択された読影項目を読影レポートに含む症例を選択する。選択した症例の医用画像に含まれる全ての病変から全種類(NIF個)の画像特徴量を取得し、現在選択されている読影項目に対応する記憶領域に、取得した画像特徴量を格納する。
ここで、1つの症例には、複数の画像や複数の病変(腫瘤)が含まれる場合が多く、その場合は読影レポートには複数の病変に関する記載が含まれることになる。例えば、造影CT検査では、造影剤使用前および使用後の複数時刻(すなわち、複数時相)におけるタイミングでCT撮影を行う。そのため、スライス画像の集合が複数得られ、スライス画像の1つの集合には複数の病変(腫瘤)が含まれ、1つの病変からは複数の画像特徴量が抽出される。そのため、(スライス画像集合数;すなわち、撮影した時相の数)×(1人の患者から検出された病変数)の個数だけ、(画像特徴量の種類数)次元の画像特徴量ベクトルが得られる。得られたこれら複数の画像特徴量ベクトルと、1つの読影レポートから抽出された疾病名および複数の読影項目との相関関係を求める必要がある。もちろん大量の症例を用いることにより、対応が正しく得られる可能性があるが、後述のように病変位置と時相を用いる等して、読影レポートの記載と、対応する画像特徴量とをある程度事前に対応づけることができれば、より正確に相関関係を求めることができる。1つの症例に複数の病変を含む場合、現在選択されている読影項目と病変の対応が得られていれば、現在選択されている読影項目に対応する病変のみから抽出された特徴量を格納すればよい。
ステップS142で格納された、現在選択されている読影項目に対応する画像特徴量ベクトルを、NIF次元の特徴量空間にプロットした様子を、図10の模式図に示す。この空間上の1点は1つの病変画像(元のスライス画像から病変領域を切り出した部分画像)から得られたNIF次元の特徴量ベクトル1個に相当する。
ステップS143では、未だ選択されていない読影項目の有無を確認し、有ればステップS141に戻る。無ければ、図9のフローチャートを終了する。
この時点で、図10のような1つの読影項目に対応する画像特徴量ベクトルの分布が、読影項目の個数分得られる。本実施の形態では、読影項目単語辞書の全エントリ(NII個)のそれぞれに対して図10のような分布が得られる。これらの分布のそれぞれを第一の読影知識とする。得られた分布、即ち、特徴量の値の存在範囲に関する情報は、第一の読影知識データベース110に図11の形式で格納される。
図11はNII個の読影項目に対し、i番目の読影項目に対してはNFi個の病変画像(元のスライス画像から病変領域を切り出した部分画像)から抽出された特徴量ベクトルを格納した様子を示している。各病変画像から抽出される特徴量ベクトルはNIF個の値(NIF次元)で構成され、各値の存在範囲は[0,1]である。
以上が、第一の読影知識の最も基本的な算出方法および格納形式である。他の例については、類似症例検索の説明時に併せて説明する。
次に、ステップS15にて、ステップS11で得られた画像特徴量、ステップS12で得られた読影項目および疾病名から、第二の読影知識を抽出する。本実施の形態では、画像特徴量と読影項目の二項の相関関係を、読影知識とする。
以下では、(1)(画像特徴量−読影項目)間の相関関係以外にも、(2)(画像特徴量−疾病名)間の相関関係、(3)(読影項目−疾病名)間の相関関係についても説明する。
(1)(画像特徴量−読影項目)間の相関関係
1対の(画像特徴量,読影項目)間の相関関係の求め方について説明する。相関関係の表現形態は複数あるが、ここでは相関比を用いる。相関比は、質的データと量的データとの間の相関関係を表す指標であり、(式1)で表される。
Figure 0005054252
読影レポート中に、ある読影項目を含む場合および含まない場合の2カテゴリを考え、これを質的データとする。医用画像から抽出した、ある画像特徴量の値そのものを量的データとする。例えば、読影知識を抽出するための症例データベースに含まれる全症例に対し、読影レポートを、ある読影項目を含むものまたは含まないものに区分する。ここでは、読影項目「早期濃染」と画像特徴量「早期相における腫瘤内部の輝度平均値」との相関比を求める方法について説明する。(式1)においては、カテゴリi=1を「早期濃染」を含むもの、カテゴリi=2を「早期濃染」を含まないものとする。読影レポートに「早期濃染」を含む症例から抽出した腫瘤画像の「早期相における腫瘤内部の輝度平均値」であるj番目の観測値をx1jとする。また、読影レポートに「早期濃染」を含まない症例から抽出した腫瘤画像の「早期相における腫瘤内部の輝度平均値」であるj番目の観測値をx2jとする。「早期濃染」とは造影早期相にてCT値が上昇することを表すため、この場合、相関比が大きく(1に近く)なることが予想される。また、早期濃染は腫瘤の種類に依存し、腫瘤の大きさには依存しないため、読影項目「早期濃染」と画像特徴量「腫瘤面積」との相関比は小さく(0に近く)なることが予想される。このようにして、全ての読影項目と全ての画像特徴量との間の相関比を計算する。
図12に、読影項目と画像特徴量との間の相関関係(ここでは、相関比)の概念図を示す。左側には複数の読影項目、右側には複数の画像特徴量の名称が列挙されている。そして、相関比が閾値以上の読影項目と画像特徴量の間が実線で結ばれている。相関比は0以上1以下の値をとるため、閾値として0.3〜0.7程度の値を用いることができる。計算した相関比を最終的に閾値で二値化すると、図12のような情報が求められることになる。その一例について補足する。肝腫瘤の造影CT検査においては、殆どの腫瘤は造影剤使用前のCT画像(単純、単純CT、単純相などと呼ぶ)で低濃度に描出され、多くの場合、読影レポートに「低濃度」、「LDA(Low Density Area)あり」などと記述される。そのため、「低輝度」や「LDA」といった読影項目と、造影剤使用前のCT画像における腫瘤内部の輝度平均(図12では「単純相 輝度平均」と略記載)との相関が大きくなる。
また、図13に、読影項目と画像特徴量との間の相関関係(例えば、相関比)の別の概念図を示す。この図では、相関比を多値表現しており、読影項目と画像特徴量の間の実線の太さが相関比の大きさに相当している。例えば、造影早期相にてCT値が上昇する「早期濃染」と、早期動脈相(早期相、動脈相とも略される)における腫瘤内部の輝度平均(図13では「動脈相 輝度平均」と略記載)との相関が大きくなっている。
相関比の値に着目することで、ある読影項目と相関の高い画像特徴量を特定することができる。実際には1つの症例には、複数の画像や複数の病変(腫瘤)を含む場合が多く、その場合は読影レポートには複数の病変に関する記載が含まれることになる。例えば、造影CT検査では、造影剤使用前や使用後の複数時刻におけるタイミングでCT撮影を行う。そのため、スライス画像の集合が複数得られ、スライス画像の1つの集合には複数の病変(腫瘤)が含まれ、1つの病変からは複数の画像特徴量が抽出される。そのため、(スライス画像集合数)×(1人の患者から検出された病変数)×(画像特徴量の種類数)の個数だけ画像特徴量が得られ、これら複数の画像特徴量と、1つの読影レポートから抽出された複数の読影項目や疾病名との相関関係を求める必要がある。もちろん大量の症例を用いることにより、対応が正しく得られる可能性があるが、図7のように病変位置と時相を用いる等して、読影レポートの記載と、対応する画像特徴量とをある程度事前に対応づけることができれば、より正確に相関関係を求めることができる。
先の説明では、質的データが、ある読影項目を含むものおよび含まないものの2カテゴリである場合について説明したが、ある読影項目(例えば、「境界明瞭」)と、その対義語となる読影項目(例えば、「境界不明瞭」)との2カテゴリであってもよい。また、読影項目が「低濃度」、「中濃度」、「高濃度」などの序数尺度の場合は、それらの各々をカテゴリとして(この例では3カテゴリ)、相関比を計算してもよい。
また、「低濃度」、「低輝度」、「低吸収」などの同義語については、予め同義語辞書を作成しておき、それらを同一の読影項目として扱う。
(2)(画像特徴量−疾病名)間の相関関係
1対の(画像特徴量,疾病名)間の相関関係については、(画像特徴量,読影項目)間の場合と同じく相関比を用いることができる。図14に、疾病名と画像特徴量との間の相関関係(例えば、相関比)の概念図を示す。この図では図12と同じく相関関係を二値表現しているが、もちろん図13のような多値表現を行うことも可能である。
(3)(読影項目−疾病名)間の相関関係
1対の(読影項目,疾病名)間の相関関係の求め方について説明する。相関関係の表現形態は複数あるが、ここでは対数尤度比を用いる。対数尤度比は、質的データ間の共起の強さを表す指標であり、(式2)で表される。
Figure 0005054252
(式2)から分かる通り、対数尤度比は、事象X,Yおよび排反事象¬X,¬Yも考慮に入れた共起指標と見なすことができる。
なお、対数尤度比の代わりに、(式3)で示される支持度、(式4)で示される確信度、(式5)で示されるリフト値等を用いても良い。その他、conviction,φ係数を用いても良い。conviction,φ係数については相関ルール分析に関する文献(例えば、非特許文献:「データマイニングとその応用」、加藤/羽室/矢田 共著、朝倉書店)に記載されている。
Figure 0005054252
この支持度は、全症例において読影項目Xと疾病名Yとが同時に出現する確率(共起確率)を意味する。読影項目Xと疾病名Yが多くの読影レポートに同時出現すれば、読影項目Xと疾病名Yの関連性(相関性)が強いと見なす。
Figure 0005054252
確信度とは、条件部Xのアイテムの出現を条件としたときの結論部Yのアイテムが出現する確率である。読影項目Xが出現している読影レポートにて、疾病名Yが多く出現していれば、読影項目Xと疾病名Yの関連性が強いと見なす。
Figure 0005054252
リフト値とは、読影項目Xの出現を条件としないときの疾病名Yの出現確率に対して、読影項目Xの出現を条件としたときの疾病名Yの出現確率(すなわち確信度)がどの程度上昇したかを示す指標である。リフト値が1.0であるということは、読影項目Xが出現してもしなくても疾病名Yの出現確率は変わらないことを意味し、ルール(読影項目X⇒疾病名Y)は興味深くないと考える。これは、読影項目Xの出現と、疾病名Yの出現が統計的に独立であることを意味する。リフト値が1.0より大きく、かつ、その値が大きければ大きいほど興味深いルールと見なす。つまり、読影項目Xと疾病名Yとの相関が大きいとみなす。
図15に、読影項目と疾病名との間の相関関係(例えば、対数尤度比)の概念図を示す。この図では図12と同じく相関関係を二値表現しているが、もちろん図13のような多値表現を行うことも可能である。
以上の方法にて、ステップS15の処理を行うと、図16、図17、図18のような、(画像特徴量−読影項目)間の相関関係、(画像特徴量−疾病名)間の相関関係、(読影項目−疾病名)間の相関関係が、それぞれ得られる。なお表中の数値は、図16、図17では相関比、図18では対数尤度比である。相関比は0以上1以下の値をとる。対数尤度比は0以上の値をとる。また、得られた相関関係は、図16、図17、図18の形式にて第二の読影知識データベース120に格納される。
<類似症例検索>
以下、図19のフローチャートおよび図20の類似症例検索画面例を用いて類似症例検索の手順について説明する。
図20に示す類似症例検索画面例は、図1の読影対象画像表示部140、読影項目候補表示部170、読影項目選択部180、類似症例表示部210、読影レポート入力部(図1に不図示)で構成される読影端末220の画面例である。
ステップS30では、読影対象画像読込部130により、医用画像撮影装置から読影対象画像を取得する。図2の読影知識作成時と同じく、本実施の形態で対象とする医用画像撮影装置はマルチスライスCTとし、対象臓器および疾病は肝腫瘤とする。読み込まれた画像(図20における読影対象画像300)は、読影対象画像表示部140に表示される。
ステップS31では、類似症例検索を行いたい対象の病変の指定を読影者から受け付ける。指定は、読影対象画像表示部140の画面上(読影対象画像300)で、マウスを用いて病変部をクリックすることにより行われる。
この病変の指定について説明する。指定の方法として、病変の中心付近の1点を指定してもよいし、病変領域(輪郭線)を指定してもよい。中心付近の1点が指定された場合は、指定された点を基準としてその近傍領域からステップS112と同じ方法を用いて詳細な病変領域を設定する。病変領域を大まかに指定した場合は、この領域の中からステップS112と同じ方法を用いて詳細な病変領域を設定する。
病変位置または領域の指定について、図21を用いて説明する。図21に示す読影対象画像400(ここでは腹部CT)には、腹部の周囲410と、対象臓器(ここでは肝臓)420と、病変領域430とが含まれる。座標を指定する場合は、例えば、腫瘤の中心位置付近(図21の点440)をマウスでクリックする。領域を指定する場合は、図21の病変領域430を矩形、円または楕円で囲む方法や、病変部(図21の病変領域430)と正常組織(図21の病変領域430の外側)間との境界を自由曲線で指定する方法がある。中心座標のみを指定する場合や、矩形、円または楕円等で囲むことにより領域を指定する場合は、読影者の負担が小さいという利点があるが、画像特徴量抽出のために、別途、正確な病変領域を画像処理アルゴリズムにより自動抽出する必要がある。腫瘤領域抽出については、ステップS112と同じ手法を用いることができる。
ステップS32では、画像特徴抽出部150は、読影対象画像に対して、ステップS31にて指定または抽出された病変領域から画像特徴量を抽出する。指定または抽出された病変領域が複数あればその全てに対して、予め定めているNIF個の特徴量を抽出する。画像特徴量の抽出方法は、ステップS114と同じである。
ステップS33では、読影項目適合度算出部160は、ステップS32で抽出された特徴量を用いて、全て(NII個)の読影項目に対する適合度を算出する。ここで、適合度算出の考え方について説明する。図10は、ある読影項目を読影レポートに含む症例から抽出された画像特徴量ベクトルの分布である。ステップS32で抽出された特徴量を図10の空間に置いた時、その近傍に過去の症例から抽出された画像特徴量が多数存在すれば、現在の読影対象画像にこの読影項目が当てはまる可能性が高いと考える。但し、この読影項目との相関の小さい画像特徴量(ベクトルの要素)は考慮すべきではないため、読影項目適合度算出部160は、第二の読影知識データベース120における(画像特徴量−読影項目)間の相関関係を用いて、この読影項目と相関が高い画像特徴量(ベクトルの要素)を選択して用いる。
例えば(式6)の逆数を用いて適合度を計算する。
Figure 0005054252
ここで、xは、読影対象画像から抽出された複数(NIF個)の画像特徴量を全て連結したベクトルである。異なる種類の画像特徴量を連結する際は、画像特徴量毎のスケールの違いに影響を受けないよう正準化(平均0、分散1に正規化)を行っておく。uは、現在着目する読影項目iの特徴量分布の平均ベクトルである。なお、平均値の代わりに中央値を用いても良い。重みwjとして、読影項目iと画像特徴量jとの相関を用いる。相関関係は、第二の読影知識データベース120に図16の形式で格納された表から対応するセルの値を参照することで得ることができる。重みwjとして、読影項目iと画像特徴量jとの相関を用いることで、相関が小さい程その次元の画像特徴量は適合度への影響が小さくなり、読影項目iと相関の小さい次元の画像特徴量の影響を低減した適合度を計算することができる。
また、重みwjとして、読影項目iと画像特徴量jとの相関を二値化して用いてもよい。具体的には相関比が所定の閾値以上であればwj=1、そうでなければwj=0とする。重みwjとして二値化した相関を用いる場合、読影項目により画像特徴量の不要な次元が定まる。第一の読影知識の算出前に第二の読影知識を算出済であれば、第一の読影知識として、図22のような形式で不要な次元(図中の斜線部)の画像特徴量を予め除外して保存することで、第一の読影知識の記憶容量を削減できる。なお、図22では、不要な次元の画像特徴量にハッチングを施している。
また、(式6)では、画像特徴量の各次元の分布の代表値uとして平均(または中央値)を用いたが、画像特徴量が単峰性分布ではなく多峰性の場合、(式6)では元の画像特徴量の分布を十分に表現できない。このような場合、例えば、(式7)のガウス混合モデル(Gaussian Mixture Model;GMM)を用いて分布を表現してもよい。ここでxはN次元(N≧1)の変数、Mは混合数、μmはm番目の正規分布の平均、Σmはm番目の正規分布の分散共分散行列、λmは混合比である(1≦m≦M)。
Figure 0005054252
また、GMMの分布パラメータの算出(モデリング)には、期待値最大化(EM; Expectation Maximization)アルゴリズムを用いることができる。また、分布をモデリングする場合は、図22のように不要な次元(図中のハッチング部)を除外した後のデータを入力に用いる。この理由としては、読影項目と相関の小さい画像特徴量では値が広範囲に分布するため、GMMの分布パラメータ算出の収束が遅くなる、または、モデリング誤差が大きくなるためである。
画像特徴量の次元毎にGMMのパラメータを求めた場合は、求めたパラメータが第一の読影知識として図23のような形式で第一の読影知識データベース110に格納される。ここで、読影項目毎に画像特徴量の全次元数が異なる(例えば、読影項目1ではNIF1´次元であるのに対し、読影項目2ではNIF2´次元である)のは、図22のように読影項目毎に不要な次元を除外してあるためである。
多次元のGMMのパラメータを求めた場合は、図24のような形式で第一の読影知識データベース110に格納される。図24のパラメータは、具体的には、(式7)における、M、μm、Σm、λm(1≦m≦M)である。図23のパラメータは、(式7)においてxがスカラーの場合に相当し、混合数M、m番目の正規分布の平均値μm、m番目の正規分布の分散σ 、混合比λmで表される(1≦m≦M)。
図23、図24では全ての分布パラメータとして同じ(p,p,...,pdim)というdim次元の変数を便宜上用いたが、モデル化対象の分布はそれぞれ異なるため、モデル化後の正規分布の個数もそれぞれ異なる。即ち、パラメータの総数dimの値もそれぞれで異なることになる。
また、EMアルゴリズムのようなパラメトリック手法でなくParzen推定などのノンパラメトリックな手法を用いて分布を表現してもよい。
GMMの場合、xとして読影対象画像から抽出された複数(NIF個)の画像特徴量ベクトルを(式7)に代入し、出力された尤度p(x)を適合度として利用できる。
なお、読影項目適合度算出部160は、第二の読影知識データベース120における(画像特徴量−読影項目)間の相関関係を用いずに、全ての画像特徴量を用いて適合度を算出しても良い。つまり、(式6)において重みwjをjによらず1とした上で、適合度を算出しても良い。
ステップS34では、ステップS33で計算されたNII個の読影項目に対する適合度のうち、適合度が大きい読影項目が、読影項目候補表示部170に表示される。具体的には、読影項目候補表示部170の画面上(図20の読影項目候補表示・選択領域310)に、図25のような形式で、適合度が大きい読影項目が表示される。図25では、全NII個の読影項目の中から、現在の読影対象画像との間の適合度の高い読影項目を、適合度の降順に表示している。表示する個数は、所定の個数でもよいし、適合度が閾値以上の個数でもよい。また、表示する個数を読影者が設定する形式でもよい。また、造影検査など同一臓器や同一病変に対して複数の画像がある場合、図26のように、画像毎に適合度の大きい読影項目を表示してもよい。また、表示する順番は、適合度の降順ではなく、ランダムな順番であってもよい。
類似症例検索装置にて扱える対象臓器または疾病が多いほど読影項目の数は増加するため、全読影項目の候補から読影者に読影項目を選択させることは現実的ではない。このように読影対象画像から抽出された特徴量から読影項目を推定し、適合度の降順に表示することで、読影者の読影項目の判断が容易になる。
また、図27のように、適合度の大きい読影項目と同時に、適合度の値を表示してもよい。適合度の値を同時に表示することで、読影者の読影項目の選択の判断を補助するための付加情報を与えることができる(例えば、図27では、読影項目「リング状」の適合度は他の3つに比べて小さいことが分かる。)。
なお、適合度の値を数値で表す他に、文字や背景の、色または輝度を変化させて表示してもよい。また、図28のように、棒グラフ等により図示してもよい。
ステップS35では、ステップS34で表示された読影項目候補に対し、読影項目選択部180を通して、読影者の選択入力を受け付ける。読影者によって選択された読影項目を、類似症例検索時の類似尺度(観点)として利用するためである。画面上では、読影項目候補表示・選択領域310に、図25のような形式で読影項目が表示されている。この状態に対して、読影者に読影項目の文字列をマウスでクリックさせることにより、読影項目を選択入力させる。選択された読影項目の例を図29に示す。図29では選択された読影項目「早期濃染」を白黒反転表示して示している。なお、読影者は、画面上のGUI(仮想ボタン)をクリックする方法の他、方向キーまたはEnterキーなどキーボードを使用して、読影項目を選択してもよい。
ステップS36では、重み決定部190が、ステップS35で選択された読影項目を用いて、画像特徴量に対して重み付け検索を行う際の重みを決定する。
以下に重み付け方法の例を示す。
現時点で、読影項目選択部180にて、読影項目として「早期濃染」、「washout」が選択されているとする。重み決定部190は、読影知識データベース110に図16の形式で格納された(画像特徴量−読影項目)間の相関関係テーブルを参照し、「早期濃染」と全ての画像特徴量間の相関関係と、「washout」と全ての画像特徴量間の相関関係とを取得する。ここでは取得した相関関係を表す数値(相関比)をそのまま重みとして用い、それぞれwa,i,wb,iと表す。ここで、iは画像特徴量の種類を現す添字である。これらの重みを用い、i番目の画像特徴量に対応する重みWiを、(式8)のように計算する。
Figure 0005054252
以上の重み付け方法について、図30に概要を示す。
例えば、4番目の画像特徴量「エッジ強度」に対する重みは、(早期濃染−エッジ強度)間の相関関係を表す値wa,4と、(washout−エッジ強度)間の相関関係を表す値wb,4とを足した値である。読影項目の個数が2以外の場合も、(読影項目−画像特徴量)間の相関関係を加算することで対応可能である。この式により、読影者が着目した読影項目、および、読影項目と画像特徴量との関連性、を同時に考慮した重みが計算でき、その結果、それらを重視した類似症例検索が可能となる。但し、選択された読影項目が複数ある場合はそれらを均等に扱うことになり、読影項目の中での差別化は行っていない。読影者によって選択された読影項目の適合度をさらに重みとして用いることで、読影項目間の差別化が可能である。例えば、(式9)において、wxとして読影項目「早期濃染」に対する適合度、wyとして読影項目「washout」に対する適合度を用いることで、読影項目間に重み付けをすることができる。
Figure 0005054252
また、読影者に、選択した読影項目毎に重みを設定させてもよい。例えば、図31は、スライドバーにより読影者に重みを設定させるための画面の例である。選択した「早期濃染」、「washout」の右隣にそれぞれスライドバーが表示される。読影者は、マウスによりスライドバーのノブを左右にスライドさせることにより重みを変化させる。
ステップS37では、類似症例検索部200は、ステップS32で抽出された画像特徴量、及び、ステップS36で決定された重みを用いて、症例データベース100から類似症例を検索する。検索された類似症例は、類似症例表示部210(画面上では類似症例表示領域330)に表示される。
類似症例検索部200は、症例データベース100に記憶されている症例に含まれる医用画像から抽出された画像特徴量と読影対象画像から抽出された画像特徴量との間で重み付け距離を算出する。類似症例検索部200は、重み付け距離が所定の閾値よりも小さい症例を類似症例として、症例データベース100から検索する。または、類似症例検索部200は、重み付け距離が小さいものから所定個数分の症例を類似症例として、症例データベース100から検索する。
重み付け距離は、例えば(式6)にて計算できる。ここで、xは、読影対象画像から抽出された複数(NIF個)の画像特徴量を全て連結したベクトルである。uiは、症例データベース100に格納された症例のうち、i番目の症例から抽出された画像特徴量である。異なる種類の画像特徴量を連結する際は、特徴量毎のスケールの違いに影響を受けないよう正準化(平均0、分散1に正規化)を行っておく。
本実施の形態では、読影者に選択された読影項目を基に、類似症例検索にて重み付け距離計算を行う。即ち、選択された読影項目と相関の大きい画像特徴量に関しては重みを相対的に大きく、相関の小さい画像特徴量に関しては重みを相対的に小さくする。これにより、読影者の着目点を反映した類似症例検索が可能となる。
ステップS38では、読影者は、読影レポート入力領域320を通して読影レポートを入力する。マルチスライスCT装置の場合、再構成により通常、体軸に対して垂直な面(axial view)のスライス画像が複数枚得られる。読影者は、これら複数のスライス画像に対し、スライス位置を変えながら病変(本実施の形態では肝腫瘤)の有無を確認し、読影レポートを入力する。読影レポートを入力する際、読影対象画像にて検出した病変の位置(スライス番号、および、スライス画像上における座標や領域情報)を、読影者がマウスなどの入力機器により指定してもよい。読影対象画像に複数の病変が存在し、読影レポートにその複数の病変に関する記述を行う場合は、読影対象画像の病変と読影レポートにおける記述との対応を明確に記録しておけば、この読影レポートを用いて、第一の読影知識データベース110および第二の読影知識データベース120を作成する際に有用である。
読影レポート記入時間が一定以上経過した場合、もしくは、読影者から読影終了に関する入力があった場合は、図19の処理を終了する。類似症例検索要求、読影終了入力を受理するための処理部は図1には図示していないが、読影端末220のキーボード内等に内蔵された物理的なスイッチでもよいし、医療用の高精細モニタ等で構成される読影対象画像表示部140に表示されたGUIメニュー等でもよい。
以上説明した実施の形態1においては、読影対象画像から抽出された特徴量から読影項目を推定し、読影者に対して推定した読影項目を適合度の降順に表示する。これにより、読影者の読影項目の選択の判断が容易になる。また、読影項目に対する適合度計算の際、読影項目と画像特徴量との相関を用いることで、相関が小さい画像特徴量の次元は適合度への影響が小さくなり、読影項目に関係のない特徴量の影響を低減し、適合度を計算することができる。また、適合度の大きい読影項目と同時に、適合度の値を表示することで、読影者の読影項目の判断を補助するための付加情報を与えることができる。
(実施の形態2)
次に実施の形態2について説明する。実施の形態1との差異は、第二の読影知識データベース120の事前作成の際、読影項目同士の相関関係(共起関係)も同時に算出しておくことである。また、読影者による読影項目選択の際、共起頻度の低い読影項目同士が選択された場合、選択誤りの可能性があることを読影者に通知することである。以下、実施の形態1との差異を中心に説明する。
本発明の実施の形態2における類似症例検索装置のブロック図は、実施の形態1と同じく図1である。ただし、読影項目候補表示部170が、第二の読影知識データベース120に接続されている点が図1とは異なる。
<読影知識データベースの事前作成>
本発明の実施の形態2における類似症例検索装置の読影知識データベース作成フローは、実施の形態1と同じく図2であり、S10からS14までの動作は実施の形態1と同一であるので説明を繰り返さない。
ステップS15にて、ステップS11で得られた画像特徴量、ステップS12で得られた読影項目および疾病名から、第二の読影知識を抽出する。本実施の形態では、画像特徴量と読影項目の二項の相関関係、および、読影項目同士の相関関係、の2つを併せて読影知識とする。前者についは、実施の形態1と同一であるので説明を繰り返さない。
ここでは、後者の作成方法について説明する。ステップS15の実行時点で図8のデータが取得済であるので、図8のデータから症例毎の読影項目集合をさらに取得する。取得された症例毎の読影項目集合に対し、実施の形態1の(3)(読影項目−疾病名)間の相関関係、を算出する際に用いた対数尤度比(式2)を利用して、読影項目間の相関関係(共起情報の対数尤度比)を計算する。得られた相関関係は、図32の表のようになる。図32の表において、対角成分(同一の読影同士の相関)は算出できず、また、上対角成分と下対角成分は同値であるため、上対角成分のみを示している。例えば、読影項目1と読影項目3との対数尤度比は0.973であり、読影項目1と読影項目3とは高い確率で共起することがわかる。
<類似症例検索>
本発明の実施の形態2における類似症例検索装置の類似症例検索フローは、実施の形態1と同じく図19であり、S30からS34、S36からS38までの動作は実施の形態1と同一であるので説明を繰り返さない。
ステップS35では、ステップS34で表示された読影項目候補に対し、読影項目選択部180を通して、読影者の選択入力を受け付ける。読影者によって選択された読影項目を、類似症例検索時の類似尺度(観点)として利用するためである。画面上の読影項目候補表示・選択領域310に、図25のような形式で、適合度の大きい読影項目が表示される。この状態に対して、読影者に読影項目の文字列をマウスでクリックさせることにより、読影項目を選択入力させる。選択された読影項目の例を図33に示す。図33では選択された読影項目「早期濃染」、「washout」を白黒反転表示して示している。
次に、選択された読影項目が複数の場合、読影項目候補表示部170は、全ての読影項目間の組み合わせを列挙する。(選択された読影項目が1個の場合はこの処理は不要である。)選択された読影項目がS個の場合、その組み合わせは通りとなる。そして、読影項目候補表示部170は、図32の読影項目同士の相関関係テーブルを参照し、通りの組み合わせに対してそれぞれ相関関係(共起情報の対数尤度比)を取得する。取得した相関関係の値が所定の閾値以下であれば、読影項目候補表示部170は、過去に生じた頻度が小さい組み合わせとして、その読影項目の組み合わせが「選択誤りの可能性」であることを表示することで、読影者に提示する。例えば、図34のように、選択された読影項目(白黒反転)の横に「要確認」と表示する。
これにより、読影者は現在の読影対象の医用画像に対して、自らが選択した読影項目の組み合わせが過去に生じた頻度が小さい組み合わせであることを把握することができる。これにより、読影者は、これらの組み合わせが選択誤りの可能性がある組み合わせであると判断することができ、読影者に対して、選択結果を見直すきっかけを提供できる。
(実施の形態3)
次に実施の形態3について説明する。実施の形態1との差異は、第二の読影知識データベース120の事前作成の際、読影項目同士の相関関係(共起関係)も同時に算出しておき、読影者による読影項目選択の際、共起頻度の低い読影項目同士を選択不可能なように予め設定していることである。以下、実施の形態1との差異を中心に説明する。
本発明の実施の形態3における類似症例検索装置のブロック図は、実施の形態1と同じく図1である。
<読影知識データベースの事前作成>
本発明の実施の形態3における類似症例検索装置の読影知識データベース作成フローは、実施の形態2と同一であるので説明を繰り返さない。ただし、読影項目候補表示部170が、第二の読影知識データベース120に接続されている点が図1とは異なる。
<類似症例検索>
本発明の実施の形態3における類似症例検索装置の類似症例検索フローは、実施の形態1と同じく図19であり、S30からS34、S36からS38までの動作は実施の形態1と同一であるので説明を繰り返さない。
ステップS35では、ステップS34で表示された読影項目候補に対し、読影項目選択部180を通して、読影者の選択入力を受け付ける。読影者によって選択された読影項目を、類似症例検索時の類似尺度(観点)として利用するためである。画面上の読影項目候補表示・選択領域310に、図25のような形式で、適合度の大きい読影項目が表示される。この状態に対して、読影者に読影項目の文字列をマウスでクリックさせることにより、読影項目を選択入力させる。ここで、読影者が読影項目を選択する度に、読影項目候補表示部170は、図32の読影項目同士の相関関係テーブルを参照し、選択された読影項目に対して、相関関係(共起情報の対数尤度比)の値が所定の閾値以下となるような読影項目を決定する。読影項目候補表示部170は、決定した読影項目を選択不可能であることを示す表示を行う。例えば、図35において、選択された読影項目「早期濃染」が白黒反転表示なのに対し、読影項目「スリガラス」を網掛け表示することができる。これにより、読影項目「早期濃染」が選択された場合には、読影項目「スリガラス」を選択できないことを示している。もちろん、選択不可能な読影項目の表示方法は、文字の濃度を低くするなどの別の表示方法でもよい。また、読影者が読影項目「スリガラス」を選択しようとしてクリックした場合、『読影項目「早期濃染」との組み合わせが不適切です』のようなメッセージを表示することも可能である。読影者が読影項目「スリガラス」を優先して選択したいと考えた場合は、読影項目「早期濃染」の選択を解除することにより、読影項目「スリガラス」を選択することが可能になる。
これにより、読影者は、現在の読影対象の医用画像に対して読影項目を選択する場合に、過去の組み合わせを基に、選択誤りを知ることができる。よって、選択誤りを未然に防止することができる。
(実施の形態4)
次に実施の形態4について説明する。実施の形態1との差異は、第二の読影知識データベース120の事前作成の際に(読影項目−病名)間の相関関係も同時に算出しておくこと、及び、読影者による読影項目選択の際に、選択中の読影項目群から相関の高い疾病名を推定し読影者に対して表示すること、である。以下、実施の形態1との差異を中心に説明する。
本発明の実施の形態3における類似症例検索装置のブロック図は、実施の形態1と同じく図1である。ただし、読影項目候補表示部170が、第二の読影知識データベース120に接続されている点が図1とは異なる。
<読影知識データベースの事前作成>
本発明の実施の形態4における類似症例検索装置の読影知識データベース作成フローは、実施の形態1と同じく図2であり、S10からS14までの動作は実施の形態1と同一であるので説明を繰り返さない。
ステップS15にて、ステップS11で得られた画像特徴量、ステップS12で得られた読影項目および疾病名から、第二の読影知識(請求項における関連性情報)を抽出する。本実施の形態では、画像特徴量と読影項目の二項の相関関係、および、読影項目と疾病名の二項の相関関係、の2つを併せて第二の読影知識とする。前者についは、実施の形態1と同一であるので説明を繰り返さない。
後者については、実施の形態1の「(3)(読影項目−疾病名)間の相関関係」に記載した方法を用いて算出する。その結果、図18の相関関係が得られる。
<類似症例検索>
本発明の実施の形態4における類似症例検索装置の類似症例検索フローは、実施の形態1と同じく図19であり、S30からS34、S36からS38までの動作は実施の形態1と同一であるので説明を繰り返さない。
ステップS35では、ステップS34で表示された読影項目候補に対し、読影項目選択部180を通して、読影者の選択入力を受け付ける。読影者によって選択された読影項目を、類似症例検索時の類似尺度(観点)として利用するためである。画面上の読影項目候補表示・選択領域310に、図25のような形式で、適合度の大きい読影項目が表示される。この状態に対して、読影者に読影項目の文字列をマウスでクリックさせることにより、読影項目を選択入力させる。選択された読影項目の例を図33に示す。図33では選択された読影項目「早期濃染」、「washout」を白黒反転表示して示している。次に、読影項目候補表示部170は、図18の(読影項目―疾病名)の相関関係テーブルを参照し、読影項目「早期濃染」、「washout」の2項目に関して、全疾病との相関値(対数尤度比)を取得する。読影項目候補表示部170は、疾病名毎に、選択された読影項目(ここでは「早期濃染」と「washout」)に対応する相関値の和を計算する。読影項目候補表示部170は、相関値の和が大きいほど、選択された読影項目と関連の深い疾病名として扱い、相関値の和が最も大きい疾病名を図36のような形式で、読影者に対して表示する。例えば、肝細胞がんが、選択された読影項目と最も関連の深い疾病名として表示される。
これにより、読影者は現在の読影対象の医用画像が、自らが選択した読影項目により、どのような疾病に相当するのかを把握することができ、読影項目の選択や疾病名の診断の参考とすることができる。
(実施の形態5)
次に実施の形態5について説明する。実施の形態1との差異は、読影項目に対する適合度を算出した後に読影者に選択してもらうことをせず、算出した適合度を用いて類似症例検索装置が読影項目を自動設定し、自動設定した読影項目から重みを計算し、類似症例を検索することである。以下、実施の形態1との差異を中心に説明する。
本発明の実施の形態5における類似症例検索装置のブロック図を図37に示す。図1と同一の構成要素については説明を繰り返さない。実施の形態5に係る類似症例検索装置は、読影項目設定部230をさらに備えている。読影項目設定部230は、読影項目適合度算出部160で算出された、全読影項目に対する適合度を入力として、類似症例検索に用いる読影項目を設定する。そして重み決定部190は、読影項目設定部230で設定された読影項目を基に、類似症例検索時の画像特徴量に対する重みを計算する。
また、読影端末220の代わりに読影端末220Aを用いる。読影端末220Aは、読影対象画像表示部140と、類似症例表示部210とを含む。
<読影知識データベースの事前作成>
本発明の実施の形態5における類似症例検索装置の読影知識データベース作成フローは、実施の形態1と同じく図2であり、動作は実施の形態1と同一であるので説明を繰り返さない。
<類似症例検索>
本発明の実施の形態5における類似症例検索装置の類似症例検索フローを図38に示す。S30からS33までの動作は実施の形態1と同一であるので説明を繰り返さない。
ステップS34Bでは、読影項目設定部230は、ステップS33で計算されたNII個の読影項目に対する適合度のうち、類似症例検索時の画像特徴量への重みを計算する基となる読影項目を設定する。ここでは、読影項目設定部230は、適合度が所定の閾値以上の読影項目を選択することにより設定する。なお、適合度の大きい順に、所定の個数の読影項目を選択により設定してもよい。
ステップS36では、選択により設定された読影項目を全て対等に扱い、(式8)を用いて重み付けを行う。(式9)を用い、読影項目設定部230により設定された読影項目について、適合度を用いて読影項目間に対して重み付けを行ってもよい。ステップS36からS38までの処理は、実施の形態1と同一なので詳細な説明を繰り返さない。
これにより、読影者が読影項目を選択すること無しに、現在の読影対象画像の内容に応じて画像特徴量に対する重みを最適化した類似症例検索を実行できる。
また、ステップS34Bで設定された読影項目を図25のような形式で表示し、読影者に現在どの読影項目を重視して類似症例検索を行っているのかを提示してもよい。また、図27のように適合度も併せて提示してもよい。さらに、提示された読影項目を読影者に選択させることで、現在の類似症例検索結果を参考にした、2回目の類似症例検索を実行してもよい。
(実施の形態6)
次に実施の形態6について説明する。実施の形態5との差異は、適合度に基づいて読影項目を自動設定するのではなく、読影項目の選択履歴情報を用いて読影項目を設定することである。以下、実施の形態1および5との差異を中心に説明する。
本発明の実施の形態6における類似症例検索装置のブロック図を図39および図40に示す。図1および図37に示した類似症例検索装置と同一の構成要素については説明を繰り返さない。図39に示す類似症例検索装置は、読影項目の選択履歴情報を作成する際に用いられる。図40に示す類似症例検索装置は、読影項目の選択履歴情報を用いて読影項目を自動設定し、類似症例検索を行う際に用いられる。以下、図39に示す類似症例検索装置を第一類似症例検索装置と呼び、図40に示す類似症例検索装置を第二類似症例検索装置と呼ぶ。
図39に示す第一類似症例検索装置は、図1に示した類似症例検索装置の構成に加え、読影項目選択履歴データベース510を備えている。読影項目適合度算出部160は、読影項目候補表示部170が表示した適合度が高い読影項目と適合度の順位とを読影項目選択履歴データベース510に書き込む。また、読影項目選択部180は、選択した読影項目の情報を読影項目選択履歴データベース510に書き込む。
図41は、読影項目選択履歴データベース510に記憶されている読影項目の選択履歴情報の一例を示す図である。選択履歴情報は、読影項目候補表示部170が表示する読影項目と、読影項目適合度算出部160が算出した適合度の順位と、読影項目選択部180が選択入力を受け付けたか否かを示す選択フラグとを含む。選択フラグが1の場合には、読影項目選択部180がその読影項目の選択入力を受け付けたことを示し、選択フラグが0の場合には、読影項目選択部180がその選択項目の選択入力を受け付けていないことを示す。図41は、図33に示した読影項目の表示が行われ、読影項目「早期濃染」、「washout」が選択された際の選択履歴情報を示している。
図40に示す第二類似症例検索装置は、図37に示した類似症例検索装置の構成に加え、読影項目選択履歴データベース510を備えている。読影項目設定部230は、読影項目選択履歴データベース510を参照して、読影項目適合度算出部160で算出された、適合度が所定の閾値以上の読影項目または適合度の大きい順に所定の個数の読影項目の中から、類似症例検索に用いる読影項目を設定する。読影項目設定部230の処理の詳細は後述する。
<読影知識データベースの事前作成>
本発明の実施の形態5における第一類似症例検索装置および第二類似症例検索装置の読影知識データベース作成フローは、実施の形態1と同じく図2であり、動作は実施の形態1と同一であるので説明を繰り返さない。
<類似症例検索>
本発明の実施の形態6における第一類似症例検索装置の類似症例検索フローは、実施の形態1と同じく図19である。ただし、以下の処理が追加的に実行される。
つまり、ステップS33では、読影項目適合度算出部160は、適合度が所定の閾値以上の読影項目または適合度の大きい順に所定の個数の読影項目と、適合度の順位とを読影項目選択履歴データベース510に書き込む。
また、ステップS35では、読影項目選択部180は、読影者が選択した読影項目の情報を読影項目選択履歴データベース510に書き込む。
本発明の実施の形態6における第二類似症例検索装置の類似症例検索フローは、実施の形態5と同じく図38である。ただし、S34Bにおける読影項目の設定処理が、実施の形態5とは異なる。
つまり、ステップS34Bでは、読影項目設定部230は、読影項目選択履歴データベース510を参照して、読影項目適合度算出部160で算出された、適合度が所定の閾値以上の読影項目または適合度の大きい順に所定の個数の読影項目の中から、類似症例検索に用いる読影項目を設定する。つまり、読影項目設定部230は、適合度が所定の閾値以上の読影項目または適合度の大きい順に所定の個数の読影項目と同じ読影項目の組み合わせを有する選択履歴情報を読影項目選択履歴データベース510の中から検索する。読影項目設定部230は、検索した選択履歴情報で示されるのと同じ読影項目を選択することにより設定する。例えば、適合度が所定の閾値以上の読影項目が「早期濃染」、「まだら状」、「washout」、「内部不均一」、「リング状」の5つであった場合、読影項目適合度算出部160は、図41に示す選択履歴情報を参照することにより、読影項目「早期濃染」、「washout」を選択することにより設定する。なお、適合度が所定の閾値以上の読影項目の組み合わせに対して、複数通りの選択履歴情報(図41の選択パターンが複数)がある場合は、選択履歴の頻度が最も多い選択履歴情報を用いて、読影項目を選択設定すればよい。また、選択履歴の頻度の上位の所定個数分に対して、それぞれ、選択履歴情報を読影者に対して提示して、その中から読影者が選択するようにしてもよい。なお、選択履歴情報は臓器別または疾病名別に分類されているのが望ましく、類似症例検索の対象としている臓器または疾病名が同一の選択履歴情報を用いて読影項目を設定するのが望ましい。なお、類似症例検索の対象としている臓器または疾病名は、読影者が入力するようにしても良い。
実施の形態6によると、読影者が読影項目を選択すること無しに、現在の読影対象画像の内容に応じて画像特徴量に対する重みを最適化した類似症例検索を実行できる。
また、ステップS34Bで設定された読影項目を図25のような形式で表示し、読影者に現在どの読影項目を重視して類似症例検索を行っているのかを提示してもよい。また、図27のように適合度も併せて提示してもよい。さらに、提示された読影項目を読影者に選択させることで、現在の類似症例検索結果を参考にした、2回目の類似症例検索を実行してもよい。
なお、実施の形態1から6では、医用画像と読影レポートからなる症例について検索を行う例を説明したが、本発明の検索対象は症例に限定されるものではなく、画像と画像に対するテキストデータとからなるデータセットを検索対象とすることもできる。例えば、植物画像とその植物画像に対する説明とからなるデータセットを検索対象とすることも可能である。この場合には、医用画像の画像特徴量の代わりに植物画像の画像特徴量(例えば、花びら数、茎の太さなど)を用い、読影レポートの代わりに植物画像に対する説明を用いることにより、上記説明を作成する際に読影者が着目した画像特徴量を重みとして反映した上で、植物画像の検索を行うことができる。
なお、図42に示すように、症例データベース100、第一の読影知識データベース110および第二の読影知識データベース120は、必ずしも類似症例検索装置に備えられていなくてもよく、類似症例検索装置が存在する場所Aとは異なる場所Bに備えられていても良い。この場合、類似症例検索装置の読影項目適合度算出部160と重み決定部190と類似症例検索部200が、それぞれ、ネットワークを介して症例データベース100、第一の読影知識データベース110および第二の読影知識データベース120に接続される。また、これらのデータベースと同様に、図39および図40に示した読影項目選択履歴データベース510も、必ずしも類似症例検索装置に備えられていなくてもよく、類似症例検索装置が存在する場所とは異なる場所に備えられていても良い。
また、上記の各装置は、具体的には、マイクロプロセッサ、ROM、RAM、ハードディスクドライブ、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムとして構成されても良い。RAMまたはハードディスクドライブには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
さらに、上記の各装置を構成する構成要素の一部または全部は、1個のシステムLSI (Large Scale Integration:大規模集積回路)から構成されているとしても良い。システムLSIは、複数の構成部を1個のチップ上に集積して製造された超多機能LSIであり、具体的には、マイクロプロセッサ、ROM、RAMなどを含んで構成されるコンピュータシステムである。RAMには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、システムLSIは、その機能を達成する。
さらにまた、上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能なICカードまたは単体のモジュールから構成されているとしても良い。ICカードまたはモジュールは、マイクロプロセッサ、ROM、RAMなどから構成されるコンピュータシステムである。ICカードまたはモジュールは、上記の超多機能LSIを含むとしても良い。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、ICカードまたはモジュールは、その機能を達成する。このICカードまたはこのモジュールは、耐タンパ性を有するとしても良い。
また、本発明は、上記に示す方法であるとしても良い。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしても良いし、前記コンピュータプログラムからなるデジタル信号であるとしても良い。
さらに、本発明は、上記コンピュータプログラムまたは上記デジタル信号をコンピュータ読取可能な非一時的な記録媒体、例えば、フレキシブルディスク、ハードディスク、CD−ROM、MO、DVD、DVD−ROM、DVD−RAM、BD(Blu−ray Disc(登録商標))、半導体メモリなどに記録したものとしても良い。また、これらの非一時的な記録媒体に記録されている上記デジタル信号であるとしても良い。
また、本発明は、上記コンピュータプログラムまたは上記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしても良い。
また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、上記メモリは、上記コンピュータプログラムを記憶しており、上記マイクロプロセッサは、上記コンピュータプログラムに従って動作するとしても良い。
また、上記プログラムまたは上記デジタル信号を上記非一時的な記録媒体に記録して移送することにより、または上記プログラムまたは上記デジタル信号を上記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしても良い。
さらに、上記実施の形態及び上記変形例をそれぞれ組み合わせるとしても良い。
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
本発明は、読影者に参考となる類似症例を検索および提示する類似症例検索装置、および、研修読影医のための読影教育装置等に利用可能である。
100 症例データベース
110 第一の読影知識データベース
120 第二の読影知識データベース
130 読影対象画像読込部
140 読影対象画像表示部
150 画像特徴抽出部
160 読影項目適合度算出部
170 読影項目候補表示部
180 読影項目選択部
190 重み決定部
200 類似症例検索部
210 類似症例表示部
220、220A 読影端末
230 読影項目設定部
300 読影対象画像
310 読影項目候補表示・選択領域
320 読影レポート入力領域
330 類似症例表示領域
410 腹部の周囲
420 対象臓器
430 病変領域
440 点(病変の中心)
510 読影項目選択履歴データベース

Claims (14)

  1. 医用画像と当該医用画像を読影した結果が記載された文書データである読影レポートとを含む症例データを複数蓄積した症例データベースから、読影対象の医用画像に類似する医用画像を含む症例データを検索する類似症例検索装置であって、
    読影対象の医用画像である読影対象画像から複数の画像特徴量を抽出する画像特徴抽出部と、
    医用画像の特徴を言語化した文字列である任意の読影項目に対し、前記読影項目を含む読影レポートに対応する医用画像から抽出された複数の画像特徴量を基に算出された、画像特徴量の種類毎の値の存在範囲を示す情報である第一の読影知識に基づいて、前記画像特徴抽出部が抽出した複数の画像特徴量の各読影項目に対する適合度を算出する読影項目適合度算出部と、
    前記読影項目適合度算出部が算出した適合度が所定閾値よりも大きい読影項目、または適合度が大きいものから所定個数の読影項目を表示する読影項目候補表示部と、
    前記読影項目候補表示部が表示した読影項目の中から、ユーザにより選択された読影項目を入力として受け付ける読影項目選択部と、
    医用画像から抽出される各画像特徴量と、前記医用画像に対する読影レポートから抽出される各読影項目との間の関連性を予め定めた第二の読影知識に基づいて、前記画像特徴抽出部が抽出した画像特徴量ごとに、当該画像特徴量と前記読影項目選択部で選択された読影項目との間の関連性が高いほど大きな値の重みを決定する重み決定部と、
    前記画像特徴抽出部が抽出した前記複数の画像特徴量と、症例データベースに登録されている症例データに含まれる医用画像から抽出される複数の画像特徴量とを、前記重み決定部が決定した画像特徴量毎の重みで重み付けして比較することにより、前記読影対象画像に類似する医用画像を含む症例データを前記症例データベースより検索する類似症例検索部と
    を備える類似症例検索装置。
  2. 前記読影項目適合度算出部は、
    前記第一の読影知識から、適合度算出の対象読影項目に関連する全ての画像特徴量の値の存在範囲情報を取得し、
    前記画像特徴抽出部が抽出した各画像特徴量と、取得した前記存在範囲情報との一致度を算出し、
    前記第二の読影知識に基づいた前記対象読影項目との間の関連性が高い画像特徴量ほど、当該画像特徴量について算出した前記一致度に対する重みを大きくした上で、前記画像特徴抽出部が抽出した前記複数の画像特徴量に対して算出した複数の前記一致度を統合することにより、前記画像特徴抽出部が抽出した前記複数の画像特徴量の前記対象読影項目に対する適合度を算出する
    請求項1記載の類似症例検索装置。
  3. 前記読影項目候補表示部は、さらに、読影項目と共に、当該読影項目に対応する適合度を表示する
    請求項1または2に記載の類似症例検索装置。
  4. 前記読影項目候補表示部は、さらに、医用画像に付属する読影レポートにおける読影項目同士の共起度合いを予め定めた共起確率情報に基づいて、前記読影項目選択部で選択された読影項目同士の共起確率を決定し、決定した前記共起確率が所定値以下である場合に、読影項目の選択誤りの可能性を示す情報を表示する
    請求項1から3のいずれか1項に記載の類似症例検索装置。
  5. 前記読影項目候補表示部は、さらに、医用画像に付属する読影レポートにおける読影項目同士の共起度合いを予め定めた共起確率情報に基づいて、前記読影項目選択部で選択された読影項目との共起確率が所定値以下の読影項目が選択不可能であることを表示する
    請求項1から3のいずれか1項に記載の類似症例検索装置。
  6. 前記読影項目候補表示部は、さらに、医用画像に付属する読影レポートから抽出される、医用画像の特徴を言語化した文字列である読影項目と疾病名の間の関連性を予め定めた関連性情報に基づいて、選択された読影項目との関連性が最も高い疾病名を推定し、前記推定された疾病名を表示する
    請求項1から5のいずれか1項に記載の類似症例検索装置。
  7. 医用画像と当該医用画像を読影した結果が記載された文書データである読影レポートとを含む症例データを複数蓄積した症例データベースから、読影対象の医用画像に類似する医用画像を含む症例データを検索する類似症例検索装置であって、
    読影対象の医用画像である読影対象画像から複数の画像特徴量を抽出する画像特徴抽出部と、
    医用画像の特徴を言語化した文字列である任意の読影項目に対し、前記読影項目を含む読影レポートに対応する医用画像から抽出された複数の画像特徴量を基に算出された、画像特徴量の種類毎の値の存在範囲を示す情報である第一の読影知識に基づいて、前記画像特徴抽出部が抽出した複数の画像特徴量の各読影項目に対する適合度を算出する読影項目適合度算出部と、
    前記読影項目適合度算出部が算出した適合度が所定値以上の読影項目を、類似症例検索に使用する読影項目として設定する読影項目設定部と、
    医用画像から抽出される各画像特徴量と、前記医用画像に対する読影レポートから抽出される各読影項目との間の関連性を予め定めた第二の読影知識に基づいて、前記画像特徴抽出部が抽出した画像特徴量ごとに、当該画像特徴量と前記読影項目設定部が設定した読影項目との間の関連性が高いほど大きな値の重みを決定する重み決定部と、
    前記画像特徴抽出部が抽出した前記複数の画像特徴量と、症例データベースに登録されている症例データに含まれる医用画像から抽出される複数の画像特徴量とを、前記重み決定部が決定した画像特徴量毎の重みで重み付けして比較することにより、前記読影対象画像に類似する医用画像を含む症例データを前記症例データベースより検索する類似症例検索部と
    を備える類似症例検索装置。
  8. 前記読影項目設定部は、
    読影項目の組の中から過去にユーザが選択した読影項目の履歴情報に基づいて、前記読影項目適合度算出部が算出した適合度が所定値以上の読影項目の中から、前記履歴情報と同じ選択を行うことで得られる読影項目を、類似症例検索に使用する読影項目として設定する
    請求項7記載の類似症例検索装置。
  9. 医用画像と当該医用画像を読影した結果が記載された文書データである読影レポートとを含む症例データを複数蓄積した症例データベースから、読影対象の医用画像に類似する医用画像を含む症例データを検索する類似症例検索方法であって、
    読影対象の医用画像である読影対象画像から複数の画像特徴量を自動的に抽出する画像特徴抽出ステップと、
    医用画像の特徴を言語化した文字列である任意の読影項目に対し、前記読影項目を含む読影レポートに対応する医用画像から抽出された複数の画像特徴量を基に算出された、画像特徴量の種類毎の値の存在範囲を示す情報である第一の読影知識を参照し、前記画像特徴抽出ステップにおいて抽出された複数の画像特徴量の各読影項目に対する適合度を自動的に算出する読影項目適合度算出ステップと、
    前記読影項目適合度算出ステップにおいて算出された適合度が所定閾値よりも大きい読影項目、または適合度が大きいものから所定個数の読影項目を表示する読影項目候補表示ステップと、
    前記読影項目候補表示ステップにおいて表示された読影項目の中から、ユーザにより選択された読影項目を入力として受け付ける読影項目選択ステップと、
    医用画像から抽出される各画像特徴量と、前記医用画像に対する読影レポートから抽出される各読影項目との間の関連性を予め定めた第二の読影知識を参照し、前記画像特徴抽出ステップにおいて抽出された画像特徴量ごとに、当該画像特徴量と前記読影項目選択ステップにおいて選択された読影項目との間の関連性が高いほど大きな値の重みを自動的に決定する重み決定ステップと、
    前記画像特徴抽出ステップにおいて抽出された前記複数の画像特徴量と、症例データベースに登録されている症例データに含まれる医用画像から抽出される複数の画像特徴量とを、前記重み決定ステップにおいて決定された画像特徴量毎の重みで重み付けし、重み付けされた前記複数の画像特徴量から前記読影対象画像と前記症例データベースに複数蓄積されている症例データに含まれる医用画像との類似度を算出し、前記読影対象画像と類似度が大きい医用画像を含む症例データを前記症例データベースより自動的に検索する類似症例検索ステップと、
    を含む類似症例検索方法。
  10. 医用画像と当該医用画像を読影した結果が記載された文書データである読影レポートとを含む症例データを複数蓄積した症例データベースから、読影対象の医用画像に類似する医用画像を含む症例データを検索する類似症例検索方法であって、
    読影対象の医用画像である読影対象画像から複数の画像特徴量を自動的に抽出する画像特徴抽出ステップと、
    医用画像の特徴を言語化した文字列である任意の読影項目に対し、前記読影項目を含む読影レポートに対応する医用画像から抽出された複数の画像特徴量を基に算出された、画像特徴量の種類毎の値の存在範囲を示す情報である第一の読影知識を参照し、前記画像特徴抽出ステップにおいて抽出された複数の画像特徴量の各読影項目に対する適合度を自動的に算出する読影項目適合度算出ステップと、
    前記読影項目適合度算出ステップにおいて算出された適合度が所定値以上の読影項目を、類似症例検索に使用する読影項目として設定する読影項目設定ステップと、
    医用画像から抽出される各画像特徴量と、前記医用画像に対する読影レポートから抽出される各読影項目との間の関連性を予め定めた第二の読影知識を参照し、前記画像特徴抽出ステップにおいて抽出された画像特徴量ごとに、当該画像特徴量と前記読影項目設定ステップにおいて設定された読影項目との間の関連性が高いほど大きな値の重みを自動的に決定する重み決定ステップと、
    前記画像特徴抽出ステップにおいて抽出された前記複数の画像特徴量と、症例データベースに登録されている症例データに含まれる医用画像から抽出される複数の画像特徴量とを、前記重み決定ステップにおいて決定された画像特徴量毎の重みで重み付けし、重み付けされた前記複数の画像特徴量から前記読影対象画像と前記症例データベースに複数蓄積されている症例データに含まれる医用画像との類似度を算出し、前記読影対象画像と類似度が大きい医用画像を含む症例データを前記症例データベースより自動的に検索する類似症例検索ステップと、
    を含む類似症例検索方法。
  11. 請求項9または請求項10に記載の類似症例検索方法に含まれる各ステップをコンピュータに実行させるためのプログラム。
  12. 医用画像と当該医用画像を読影した結果が記載された文書データである読影レポートとを含む症例データを複数蓄積した症例データベースから、読影対象の医用画像に類似する医用画像を含む症例データを検索する類似症例検索装置の作動方法であって、
    画像特徴抽出部が、読影対象の医用画像である読影対象画像から複数の画像特徴量を抽出する画像特徴抽出ステップと、
    読影項目適合度算出部が、医用画像の特徴を言語化した文字列である任意の読影項目に対し、前記読影項目を含む読影レポートに対応する医用画像から抽出された複数の画像特徴量を基に算出された、画像特徴量の種類毎の値の存在範囲を示す情報である第一の読影知識に基づいて、前記画像特徴抽出ステップにおいて抽出された複数の画像特徴量の各読影項目に対する適合度を算出する読影項目適合度算出ステップと、
    読影項目候補表示部が、前記読影項目適合度算出ステップにおいて算出された適合度が所定閾値よりも大きい読影項目、または適合度が大きいものから所定個数の読影項目を表示する読影項目候補表示ステップと、
    読影項目選択部が、前記読影項目候補表示ステップにおいて表示された読影項目の中から、ユーザにより選択された読影項目を入力として受け付ける読影項目選択ステップと、
    重み決定部が、医用画像から抽出される各画像特徴量と、前記医用画像に対する読影レポートから抽出される各読影項目との間の関連性を予め定めた第二の読影知識に基づいて、前記画像特徴抽出ステップにおいて抽出された画像特徴量ごとに、当該画像特徴量と前記読影項目選択ステップにおいて選択された読影項目との間の関連性が高いほど大きな値の重みを決定する重み決定ステップと、
    類似症例検索部が、前記画像特徴抽出ステップにおいて抽出された前記複数の画像特徴量と、症例データベースに登録されている症例データに含まれる医用画像から抽出される複数の画像特徴量とを、前記重み決定ステップにおいて決定された画像特徴量毎の重みで重み付けして比較することにより、前記読影対象画像に類似する医用画像を含む症例データを前記症例データベースより検索する類似症例検索ステップと、
    を含む類似症例検索装置の作動方法。
  13. 医用画像と当該医用画像を読影した結果が記載された文書データである読影レポートとを含む症例データを複数蓄積した症例データベースから、読影対象の医用画像に類似する医用画像を含む症例データを検索する類似症例検索装置の作動方法であって、
    画像特徴抽出部が、読影対象の医用画像である読影対象画像から複数の画像特徴量を抽出する画像特徴抽出ステップと、
    読影項目適合度算出部が、医用画像の特徴を言語化した文字列である任意の読影項目に対し、前記読影項目を含む読影レポートに対応する医用画像から抽出された複数の画像特徴量を基に算出された、画像特徴量の種類毎の値の存在範囲を示す情報である第一の読影知識に基づいて、前記画像特徴抽出ステップにおいて抽出された複数の画像特徴量の各読影項目に対する適合度を算出する読影項目適合度算出ステップと、
    読影項目設定部が、前記読影項目適合度算出ステップにおいて算出された適合度が所定値以上の読影項目を、類似症例検索に使用する読影項目として設定する読影項目設定ステップと、
    重み決定部が、医用画像から抽出される各画像特徴量と、前記医用画像に対する読影レポートから抽出される各読影項目との間の関連性を予め定めた第二の読影知識に基づいて、前記画像特徴抽出ステップにおいて抽出された画像特徴量ごとに、当該画像特徴量と前記読影項目設定ステップにおいて設定された読影項目との間の関連性が高いほど大きな値の重みを決定する重み決定ステップと、
    類似症例検索部が、前記画像特徴抽出ステップにおいて抽出された前記複数の画像特徴量と、症例データベースに登録されている症例データに含まれる医用画像から抽出される複数の画像特徴量とを、前記重み決定ステップにおいて決定された画像特徴量毎の重みで重み付けして比較することにより、前記読影対象画像に類似する医用画像を含む症例データを前記症例データベースより検索する類似症例検索ステップと、
    を含む類似症例検索装置の作動方法。
  14. 請求項12または請求項13に記載の類似症例検索装置の作動方法に含まれる各ステップをコンピュータに実行させるためのプログラム。
JP2012513395A 2011-11-04 2011-11-04 類似症例検索装置、類似症例検索方法、類似症例検索装置の作動方法およびプログラム Active JP5054252B1 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2011/006161 WO2013065090A1 (ja) 2011-11-04 2011-11-04 類似症例検索装置および類似症例検索方法

Publications (2)

Publication Number Publication Date
JP5054252B1 true JP5054252B1 (ja) 2012-10-24
JPWO2013065090A1 JPWO2013065090A1 (ja) 2015-04-02

Family

ID=47189523

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012513395A Active JP5054252B1 (ja) 2011-11-04 2011-11-04 類似症例検索装置、類似症例検索方法、類似症例検索装置の作動方法およびプログラム

Country Status (4)

Country Link
US (1) US8958613B2 (ja)
JP (1) JP5054252B1 (ja)
CN (1) CN103200861B (ja)
WO (1) WO2013065090A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018205903A (ja) * 2017-05-31 2018-12-27 キヤノン株式会社 情報処理装置、情報処理方法、情報処理システム及びプログラム
JP2020021324A (ja) * 2018-08-01 2020-02-06 合同会社みらか中央研究所 プログラム、情報処理方法および情報処理装置

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011092681A (ja) * 2009-09-30 2011-05-12 Fujifilm Corp 医用画像処理装置および方法並びにプログラム
JP6106259B2 (ja) * 2012-03-21 2017-03-29 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 医用イメージングと生検データとを統合する臨床ワークステーション及びこれを使用する方法
US9928874B2 (en) 2014-02-05 2018-03-27 Snap Inc. Method for real-time video processing involving changing features of an object in the video
JP6099593B2 (ja) * 2014-03-27 2017-03-22 富士フイルム株式会社 類似症例検索装置、類似症例検索方法、及び類似症例検索プログラム
JP6109778B2 (ja) * 2014-03-27 2017-04-05 富士フイルム株式会社 類似症例検索装置、類似症例検索方法、及び類似症例検索プログラム
JP6099592B2 (ja) * 2014-03-27 2017-03-22 富士フイルム株式会社 類似症例検索装置及び類似症例検索プログラム
JP6460636B2 (ja) * 2014-03-28 2019-01-30 キヤノンメディカルシステムズ株式会社 読影レポート作成装置、読影レポート作成システムおよび読影レポート作成プログラム
US9613181B2 (en) * 2014-05-29 2017-04-04 Globalfoundries Inc. Semiconductor device structure including active region having an extension portion
JP6027065B2 (ja) * 2014-08-21 2016-11-16 富士フイルム株式会社 類似画像検索装置、類似画像検索装置の作動方法、および類似画像検索プログラム
KR20160054992A (ko) * 2014-11-07 2016-05-17 삼성전자주식회사 관심영역의 재검출 회피 장치 및 방법
US10116901B2 (en) 2015-03-18 2018-10-30 Avatar Merger Sub II, LLC Background modification in video conferencing
JP2016184221A (ja) * 2015-03-25 2016-10-20 富士フイルム株式会社 診療支援装置とその作動方法および作動プログラム、並びに診療支援システム
CN106156457B (zh) * 2015-03-27 2019-04-09 时云医疗科技(上海)有限公司 一种基于体征数据的信息推送方法及系统
WO2016163170A1 (ja) * 2015-04-07 2016-10-13 富士フイルム株式会社 診療支援装置とその作動方法および作動プログラム、並びに診療支援システム
CN107851297A (zh) * 2015-07-24 2018-03-27 三菱电机株式会社 治疗计划装置
CN106529110A (zh) * 2015-09-09 2017-03-22 阿里巴巴集团控股有限公司 一种用户数据分类的方法和设备
JP6697743B2 (ja) * 2015-09-29 2020-05-27 パナソニックIpマネジメント株式会社 情報端末の制御方法及びプログラム
CN105653858A (zh) * 2015-12-31 2016-06-08 中国科学院自动化研究所 一种基于影像组学的病变组织辅助预后系统和方法
EP3557449B1 (en) * 2016-12-19 2022-06-22 FUJIFILM Corporation Similar case search device, method for operation and program for operation thereof, and similar case search system
JP6785948B2 (ja) * 2017-03-30 2020-11-18 富士フイルム株式会社 医療用画像処理装置及び内視鏡システム並びに医療用画像処理装置の作動方法
JP6885896B2 (ja) * 2017-04-10 2021-06-16 富士フイルム株式会社 自動レイアウト装置および自動レイアウト方法並びに自動レイアウトプログラム
US10799189B2 (en) 2017-11-22 2020-10-13 General Electric Company Systems and methods to deliver point of care alerts for radiological findings
US11049250B2 (en) * 2017-11-22 2021-06-29 General Electric Company Systems and methods to deliver point of care alerts for radiological findings
US10783634B2 (en) 2017-11-22 2020-09-22 General Electric Company Systems and methods to deliver point of care alerts for radiological findings
CN108171692B (zh) * 2017-12-26 2021-03-26 安徽科大讯飞医疗信息技术有限公司 一种肺部影像检索方法及装置
JP6914233B2 (ja) 2018-08-31 2021-08-04 富士フイルム株式会社 類似度決定装置、方法およびプログラム
CN112601494A (zh) 2018-08-31 2021-04-02 富士胶片株式会社 相似度确定装置、方法及程序
WO2020044735A1 (ja) 2018-08-31 2020-03-05 富士フイルム株式会社 類似度決定装置、方法およびプログラム
WO2020110520A1 (ja) * 2018-11-27 2020-06-04 富士フイルム株式会社 類似度決定装置、方法およびプログラム
JP7326845B2 (ja) * 2019-04-23 2023-08-16 富士通株式会社 びまん性症例画像判定プログラム、システム、及び方法
CN112116028B (zh) * 2020-09-29 2024-04-26 联想(北京)有限公司 模型决策解释实现方法、装置及计算机设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009045121A (ja) * 2007-08-14 2009-03-05 Fujifilm Corp 医用画像処理システム、医用画像処理方法、及びプログラム
JP2010211749A (ja) * 2009-03-12 2010-09-24 Fujifilm Corp 症例画像検索装置、方法およびプログラム
JP2011048672A (ja) * 2009-08-27 2011-03-10 Fujifilm Corp 症例画像登録装置、方法およびプログラム
JP2011118543A (ja) * 2009-12-01 2011-06-16 Shizuoka Prefecture 症例画像検索装置、方法およびプログラム
JP2011118540A (ja) * 2009-12-01 2011-06-16 Shizuoka Prefecture 症例検索装置、方法およびプログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004005364A (ja) * 2002-04-03 2004-01-08 Fuji Photo Film Co Ltd 類似画像検索システム
BRPI0821291B1 (pt) * 2007-12-21 2020-10-06 Koninklijke Philips N. V Método que compreende armazenar uma pluralidade de ocorrências, sistema que compreende uma memória armazenando uma pluralidade de ocorrências e sistema que compreende recursos para armazenar uma pluralidade de ocorrências
WO2009083841A1 (en) * 2007-12-27 2009-07-09 Koninklijke Philips Electronics, N.V. Method and apparatus for refining similar case search
CN100573530C (zh) * 2008-01-25 2009-12-23 华中科技大学 基于网格平台的分布式医学图像检索系统
CN101488167A (zh) * 2009-01-22 2009-07-22 清华大学 图像导入、处理、存储与显示装置及其方法
CN102053963B (zh) * 2009-10-28 2012-08-08 沈阳工业大学 一种胸部x线图像检索方法
CN101706843B (zh) * 2009-11-16 2011-09-07 杭州电子科技大学 一种乳腺cr图像交互式读片方法
CN102117329B (zh) * 2011-03-04 2012-08-15 南方医科大学 基于小波变换的胶囊内窥镜图像检索方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009045121A (ja) * 2007-08-14 2009-03-05 Fujifilm Corp 医用画像処理システム、医用画像処理方法、及びプログラム
JP2010211749A (ja) * 2009-03-12 2010-09-24 Fujifilm Corp 症例画像検索装置、方法およびプログラム
JP2011048672A (ja) * 2009-08-27 2011-03-10 Fujifilm Corp 症例画像登録装置、方法およびプログラム
JP2011118543A (ja) * 2009-12-01 2011-06-16 Shizuoka Prefecture 症例画像検索装置、方法およびプログラム
JP2011118540A (ja) * 2009-12-01 2011-06-16 Shizuoka Prefecture 症例検索装置、方法およびプログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018205903A (ja) * 2017-05-31 2018-12-27 キヤノン株式会社 情報処理装置、情報処理方法、情報処理システム及びプログラム
JP2020021324A (ja) * 2018-08-01 2020-02-06 合同会社みらか中央研究所 プログラム、情報処理方法および情報処理装置
JP7133385B2 (ja) 2018-08-01 2022-09-08 合同会社H.U.グループ中央研究所 プログラム、情報処理方法および情報処理装置

Also Published As

Publication number Publication date
US8958613B2 (en) 2015-02-17
US20130114867A1 (en) 2013-05-09
WO2013065090A1 (ja) 2013-05-10
CN103200861B (zh) 2015-10-14
CN103200861A (zh) 2013-07-10
JPWO2013065090A1 (ja) 2015-04-02

Similar Documents

Publication Publication Date Title
JP5054252B1 (ja) 類似症例検索装置、類似症例検索方法、類似症例検索装置の作動方法およびプログラム
JP4979842B1 (ja) 類似症例検索装置および類似症例検索方法
JP5475923B2 (ja) 類似症例検索装置および類似症例検索方法
WO2013001584A1 (ja) 類似症例検索装置および類似症例検索方法
JP5462414B2 (ja) 類似症例検索装置および関連度データベース作成装置並びに類似症例検索方法および関連度データベース作成方法
US9111027B2 (en) Similar case search apparatus and similar case search method
US20170193660A1 (en) Identifying a Successful Therapy for a Cancer Patient Using Image Analysis of Tissue from Similar Patients
JP5383431B2 (ja) 情報処理装置、情報処理方法及びプログラム
US20200176123A1 (en) Method and recording medium
JP5852970B2 (ja) 症例検索装置および症例検索方法
US10733727B2 (en) Application of deep learning for medical imaging evaluation
US8306960B2 (en) Medical image retrieval system
JP2012523877A (ja) 臨床決定支援システム及び方法
US11062448B2 (en) Machine learning data generation support apparatus, operation method of machine learning data generation support apparatus, and machine learning data generation support program
JP7102509B2 (ja) 医療文書作成支援装置、医療文書作成支援方法、及び医療文書作成支援プログラム
JP5789791B2 (ja) 類似症例検索装置および読影知識抽出装置
US20220285011A1 (en) Document creation support apparatus, document creation support method, and program
JP2010172559A (ja) 医療診断支援システム及び医療診断支援装置
Kaur et al. A review on optimization techniques for medical image analysis
CN115943426A (zh) 用于标识医学图像集中的异常图像的方法和系统
Zhou et al. Computer‐aided detection of pulmonary embolism in computed tomographic pulmonary angiography (CTPA): Performance evaluation with independent data sets
WO2020099941A1 (en) Application of deep learning for medical imaging evaluation
JP2013105465A (ja) 医用同義語辞書作成装置および医用同義語辞書作成方法
CN117711576A (zh) 用于提供医学报告的模板数据结构的方法和系统
JP2013506900A (ja) 画像に基づくクエリを使用したドキュメント識別

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120703

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120726

R150 Certificate of patent or registration of utility model

Ref document number: 5054252

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150803

Year of fee payment: 3