JP6930302B2 - 診断支援用コンピュータプログラム、診断支援装置及び診断支援方法 - Google Patents

診断支援用コンピュータプログラム、診断支援装置及び診断支援方法 Download PDF

Info

Publication number
JP6930302B2
JP6930302B2 JP2017168610A JP2017168610A JP6930302B2 JP 6930302 B2 JP6930302 B2 JP 6930302B2 JP 2017168610 A JP2017168610 A JP 2017168610A JP 2017168610 A JP2017168610 A JP 2017168610A JP 6930302 B2 JP6930302 B2 JP 6930302B2
Authority
JP
Japan
Prior art keywords
image
case
subject
abnormality
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017168610A
Other languages
English (en)
Other versions
JP2019046152A (ja
Inventor
正樹 石原
正樹 石原
涼一 舟橋
涼一 舟橋
増井　誠生
誠生 増井
多田　厚子
厚子 多田
田中　竜太
竜太 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2017168610A priority Critical patent/JP6930302B2/ja
Priority to US16/116,232 priority patent/US10832409B2/en
Publication of JP2019046152A publication Critical patent/JP2019046152A/ja
Application granted granted Critical
Publication of JP6930302B2 publication Critical patent/JP6930302B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4842—Monitoring progression or stage of a disease
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7475—User input or interface means, e.g. keyboard, pointing device, joystick
    • A61B5/748—Selection of a region of interest, e.g. using a graphics tablet
    • A61B5/7485—Automatic selection of region of interest
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0004—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by the type of physiological signal transmitted
    • A61B5/0013—Medical image data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Image Analysis (AREA)

Description

本発明は、例えば、画像診断を支援する診断支援用コンピュータプログラム、診断支援装置及び診断支援方法に関する。
患者を撮影して得られた画像に基づいて、医師が、患者が罹患している可能性の有る疾患（以下、鑑別疾患と呼ぶ）を特定するための画像診断を行う場合に、他の患者の画像が比較画像として利用されることがある。このような場合、医師による画像診断を適切に補助するには、比較画像として、患者の画像において、医師による所見で表される異常と同様の異常が表れる疾患についての画像が選択されることが好ましい。そこで、患者の画像から検出された異常陰影と類似する異常陰影を有する他の患者の画像を検索する技術が提案されている。また、症例データに含まれる、異なる時期に撮影された同一被検体の複数の医用画像と、検査対象となる被検体について異なる時期に撮影された複数の医用画像との類似度に基づいて症例データを選択する技術が提案されている（例えば、特許文献１及び２を参照）。
特開２００３−３２５４５８号公報 特開２０１０−１６５１２７号公報
しかしながら、患者が罹患している疾患が初期段階である場合のように、人体のある部位について、その疾患における特徴的な異常が生じた状態と、健康な状態との差異が小さいため、画像上でそのような異常を持つ部位が検出され難いことがある。そして、患者の画像において、そのような異常が生じた部位が検出されなかった場合、検索に用いられるべき部位が特定されないため、上記の技術では、適切な症例の画像が検索されないことがある。
一方、軽微な異常も検出できるように、感度が高い検出器を用いて患者の画像から異常が生じた部位を検出する場合、異常が生じた部位として誤検出される正常な部位（すなわち、偽陽性）の数が増大することがある。このような場合、誤検出された部位が類似症例画像の検索に利用されると、比較に有用な他の患者の画像が選択されないことがある。
一つの側面では、本発明は、様々な症例の複数の画像の中から、被験者の画像に対する比較読影に適した画像を選択できる診断支援用コンピュータプログラムを提供することを目的とする。
一つの実施形態によれば、診断支援用コンピュータプログラムが提供される。この診断支援用コンピュータプログラムは、複数の患者のそれぞれについての疾患の進行段階が異なる複数の症例画像のうち、被験者の画像から検出された第１の異常を持つ複数の症例画像を特定し、特定された複数の症例画像のそれぞれと被験者の画像との間で、第１の異常が表れた部位の第１の類似度を算出し、特定された複数の症例画像のそれぞれについての第１の類似度に応じて、特定された複数の症例画像のなかから２以上の症例画像を選択し、選択された２以上の症例画像のそれぞれについて、その症例画像またはその症例画像よりも後にその症例画像の患者を撮影して得られた他の症例画像において第１の異常と異なる第２の異常が表れた部位を特定し、第２の異常が表れた部位が所定数以上重なる、被験者の画像上の領域を特定し、被験者の画像上の特定された領域内で、第２の異常が表れた部位を検出し、選択された２以上の症例画像のそれぞれと被験者の画像との間で、第２の異常が表れた部位の第２の類似度を算出し、選択された２以上の症例画像のそれぞれについての第２の類似度に応じて、選択された２以上の症例画像のなかから症例画像をさらに選択することをコンピュータに実行させるための命令を含む。
本発明の目的及び利点は、請求項において特に指摘されたエレメント及び組み合わせにより実現され、かつ達成される。
上記の一般的な記述及び下記の詳細な記述の何れも、例示的かつ説明的なものであり、請求項のように、本発明を限定するものではないことを理解されたい。
様々な症例の複数の画像の中から、被験者の画像に対する比較読影に適した画像を選択できる。
疾患の進行段階と、その疾患においての異常の発達度合いとの関係を表す模式図である。 本実施形態による診断支援処理の概要を説明する図である。 本実施形態による診断支援処理により選択される比較画像と、被験者の画像に付された所見に基づいて選択される症例画像との関係の一例を示す図である。 診断支援システムの概略構成図である。 診断支援処理に関する、サーバが有するプロセッサの機能ブロック図である。 追加所見検出の概要を説明する図である。 探索領域設定の概要の説明図である。 変形例による、探索領域設定の概要の説明図である。 読影端末の表示装置の表示画面の一例を示す図である。 診断支援処理の動作フローチャートである。
以下、図を参照しつつ、診断支援装置、及び、診断支援装置で利用される診断支援方法及び診断支援用コンピュータプログラムについて説明する。この診断支援装置は、例えば、既に登録されている様々な症例の複数の画像の中から、読影対象となる患者（以下、被験者と呼ぶ）の画像に対する比較読影に用いられる画像を選択する。なお、比較読影に用いられる画像を、以下では、単に比較画像と呼ぶ。
発明者は、適切な数の比較画像を選択するために、疾患の初期段階では検知され難い異常も、疾患の段階が進行するにつれて検知され易くなることに着目した。
図１は、疾患の進行段階と、その疾患においての異常の発達度合いとの関係を表す模式図である。図１において、横軸は疾患の進行段階を表し、縦軸は、異常の発達度合いを表す。グラフ１０１及びグラフ１０２は、それぞれ、同一の疾患において異常が表れる二つの部位のそれぞれについての疾患の進行段階と異常の発達度合いとの関係を表す。
グラフ１０１で示される部位については、疾患の初期段階でも、異常が顕著に表れ、そのため、画像上でその異常は検知され易い。一方、グラフ１０２で示される部位については、疾患の初期段階では、異常が軽微であり、正常とみなせる程度であるため、画像上でその異常は検知され難い。しかし、疾患が進行し、末期段階になると、グラフ１０２で示される部位についても異常が発達し、画像上でその異常が検知され易くなる。
そこで、この診断支援装置は、被験者の画像において所見が付された部位、すなわち、何らかの異常が検出された部位と類似し、かつ、同じ所見が付された部位を持つ２以上の症例画像を、様々な症例画像が登録された症例画像データベースから選択する。この診断支援装置は、選択した各症例画像について、その症例画像に表された患者について、その症例画像よりも後に撮影された他の症例画像において被験者の画像に付された所見と異なる所見が付された部位、すなわち、異なる異常がある部位を特定する。さらに、この診断支援装置は、異なる異常がある部位に基づいて、被験者の画像において未検出の異常が生じた部位が存在する可能性の有る領域を推定する。そしてこの診断支援装置は、推定した領域内で異常がある部位を追加検出し、選択した２以上の症例画像の中から、追加検出された異常がある部位と類似する部位を持つ症例画像を比較画像としてさらに選択する。なお、本明細書において、異常は、例えば、「リンパ節腫大」または「粒状影」などといった、画像上で検知可能な、健康なときの部位の状態からの何らかの変化が生じた状態を表す。また、所見は、読影を行った医師により付される、異常の種類を表す。
図２は、本実施形態による診断支援処理の概要を説明する図である。この例では、被検者Ｘの画像２００において部位２０１について異常が検出され、医師により所見が付されている。そこで、症例画像データベースから、部位２０１について付された所見と同じ所見が付され（すなわち、部位２０１の異常と同じ異常があり）、かつ、部位２０１と類似する部位２０１’を持つ患者Ａの症例画像２１０と患者Ｂの症例画像２２０が選択される。また部位２０１’を持つ他の患者の症例画像についても同様に選択される。そして患者Ａについて、症例画像２１０の撮影時よりも後に撮影され、症例画像データベースに登録されている症例画像２１１において、画像２００に付された所見と異なる所見が付された部位２１２が特定される。すなわち、症例画像２１０に付された所見に基づいて、画像２００で検出された異常と異なる異常が表れた部位が特定される。同様に、患者Ｂについて、症例画像２２０の撮影時よりも後に撮影され、症例画像データベースに登録されている症例画像２２１において、画像２００に付された所見と異なる所見が付された部位２２２が特定される。そして部位２１２及び部位２２２などに基づいて、被験者の画像２００において未検出の異常が有る部位が含まれる可能性の有る領域２０２（この例では、肺の右上葉）が推定される。推定された領域２０２に対して、部位２１２に付された所見または部位２２２に付された所見に対応する異常が表れた部位２０３が追加検出される。そして、選択された症例画像のなかから、追加検出された部位２０３についての異常と同じ異常を持ち、かつ、部位２０３と類似する部位２０３’を持つ症例画像２１０が比較画像としてさらに選択される。一方、症例画像２２０においても、領域２０２に対応する領域内で異常が表れた部位２２３が追加検出されるものの、部位２２３と部位２０３との類似度は低い。そのため、症例画像２２０については選択されない。そして比較読影用に症例画像２１０が表示される。
図３は、本実施形態による診断支援処理により選択される比較画像と、被験者の画像に付された所見に基づいて選択される症例画像との関係の一例を示す図である。例えば、被験者の画像３００に付された一つの所見、すなわち、検出された一つの異常３０１に基づいて、症例画像データベースに登録されている症例画像の集合３１０から検索される症例画像の集合３２０には、多数の症例画像が含まれる。集合３２０に含まれる多数の症例画像には、被験者の疾患とは異なる疾患の症例画像も多数含まれる。一方、被験者の画像３００において、異常３０１とともに、上記のように追加検出された異常３０２に基づいて、集合３１０から、さらに症例画像が選択されることで集合３３０が得られる。そのため、集合３３０に含まれる症例画像の数は、集合３２０に含まれる症例画像の数よりも少なくなる。その結果、被験者の疾患と異なる疾患の症例画像のうちの多数が集合３２０には含まれなくなる。このように、本実施形態によれば、比較読影に適切な症例画像が選択される。
なお、本実施形態における画像及び症例画像は、例えば、X線撮像装置、あるいはコンピュータ断層撮像装置といった、各種のモダリティの何れかにより生成された画像、あるいは、その画像に対して何らかの処理を施して得られる画像とすることができる。また、本実施形態において、画像及び症例画像の画素の値は、例えば、濃度、輝度、モダリティ特有の値、あるいは、医用画像のフォーマットの規格で定められる値とすることができる。
図４は、本実施形態による診断支援装置を含む、診断支援システムの概略構成図である。診断支援システム１は、例えば、Picture Archiving and Communication Systems(PACS)に準拠するシステムとすることができ、読影端末２と、サーバ３とを有し、読影端末２とサーバ３とは、通信ネットワーク４を介して互いに通信可能となっている。なお、診断支援システム１が有する読影端末２は複数存在してもよい。同様に、診断支援システム１が有するサーバ３は複数存在してもよい。また、通信ネットワーク４は、様々な通信規格の何れか、例えば、イーサネット（登録商標）に準拠した通信ネットワークとすることができる。
読影端末２は、例えば、医師が被検者の画像を読影するために用いる端末であり、入力機器２１と、表示装置２２と、通信インターフェース２３と、メモリ２４と、プロセッサ２５とを有する。読影端末２は、磁気記録装置といったストレージ装置（図示せず）をさらに有していてもよい。そしてプロセッサ２５と、読影端末２の他の各部とは、例えば、信号線により接続されている。
入力機器２１は、例えば、キーボードまたはマウスといった、読影端末２を操作するための機器を有する。そして入力機器２１は、医師の操作に応じた操作信号を生成し、その操作信号をプロセッサ２５へ出力する。
表示装置２２は、例えば、液晶ディスプレイあるいは有機ELディスプレイを有し、プロセッサ２５から受け取った画像などを表示する。なお、入力機器２１と表示装置２２とは、例えば、タッチパネルディスプレイとして、一体的に形成されてもよい。
通信インターフェース２３は、読影端末２を通信ネットワーク４に接続するためのインターフェース及び通信用の制御回路などを有する。そして通信インターフェース２３は、プロセッサ２５から受け取った、サーバ３へ送信する各種の信号、例えば、被験者の画像、その画像についての所見及び所見が付された部位を表す情報を含む信号を、通信ネットワーク４を介してサーバ３へ送信する。また通信インターフェース２３は、各種のモダリティの何れか、あるいは、サーバ３から、通信ネットワーク４を介して、被検者の画像を受信し、受信した画像をプロセッサ２５へわたす。さらに、通信インターフェース２３は、サーバ３から通信ネットワーク４を介して各種の信号、例えば、比較画像などを受信し、受信した信号をプロセッサ２５へわたす。
メモリ２４は、例えば、揮発性の読み書き可能な半導体メモリを有する。メモリ２４は、不揮発性の読み出し専用の半導体メモリをさらに有してもよい。そしてメモリ２４は、例えば、被検者の画像、被験者の画像についての所見、所見が付された部位を表す情報、及び、比較画像などを一時的に保存する。
プロセッサ２５は、例えば、Central Processing Unit(CPU)及びその周辺回路を有する。さらにプロセッサ２５は、数値演算用のプロセッサまたはGraphics Processing Unit(GPU)を有していてもよい。そしてプロセッサ２５は、読影端末２全体を制御する。またプロセッサ２５は、例えば、サーバ３など、他の機器から受け取った、被検者の画像、及び、比較画像をメモリ２４に保存したり、表示装置２２に表示させる。またプロセッサ２５は、入力機器２１により入力された、被験者の画像についての所見及び所見が付された部位を表す情報を、被験者の画像と関連付けてメモリ２４に保存する。さらに、プロセッサ２５は、被験者の画像とその画像についての所見及び所見が付された部位を表す情報を含む信号を生成し、生成した信号を、通信インターフェース２３及び通信ネットワーク４を介してサーバ３へ送信する。
サーバ３は、診断支援装置の一例であり、例えば、通信インターフェース３１と、ストレージ装置３２と、メモリ３３と、プロセッサ３４とを有する。サーバ３は、キーボードといった入力機器（図示せず）及び表示装置（図示せず）をさらに有していてもよい。そしてプロセッサ３４と、サーバ３の他の各部とは、例えば、信号線により接続されている。
通信インターフェース３１は、サーバ３を通信ネットワーク４に接続するためのインターフェース及び通信用の制御回路などを有する。そして通信インターフェース３１は、読影端末２から通信ネットワーク４を介して受信した、被検者の画像、所見及び所見が付された部位を表す情報を含む信号をプロセッサ３４へわたす。また通信インターフェース３１は、プロセッサ３４から受け取った、比較画像などを、通信ネットワーク４を介して読影端末２へ送信する。
ストレージ装置３２は、記憶部の一例であり、例えば、磁気ディスク記録装置及び光記録装置の少なくとも何れかを有する。そしてストレージ装置３２は、様々な症例の複数の症例画像が登録された症例画像データベースを記憶する。本実施形態では、症例画像データベースに登録された各症例画像に表された患者について確定診断がなされている。そして、症例画像ごとに、その症例画像に写っている患者の氏名及び疾患の名称と、その症例画像についての所見及び所見が付された部位（すなわち、異常が検出された部位）を表す情報とが関連付けて記憶される。さらに、症例画像ごとに、その症例画像上で所見が付された部位が表された領域の特徴量も、その症例画像に関連付けて記憶される。特徴量は、例えば、Local Binary Pattern(LBP)、Histograms of Oriented Gradients(HOG)、Edge of Orientation Histograms(EOH)、あるいは、所見が付された部位が表された領域の各画素の値そのものとすることができる。この特徴量は、例えば、症例画像が症例画像データベースに登録される際に、サーバ３のプロセッサ３４により抽出される。なお、個々の症例画像に付される所見は一つとは限られず、複数であってもよい。複数の所見が付される場合には、所見が付された部位ごとに、特徴量が抽出され、症例画像とともに記憶されればよい。また、症例画像データベースには、個々の患者について、異なるタイミングで同じ部位が写るように撮影された複数の症例画像が登録されている。なお、同一の患者についての複数の症例画像のそれぞれには、例えば、撮影日時あるいは疾患の進行段階といった、撮影順序が分かる情報が付されている。
さらに、ストレージ装置３２は、診断支援処理用のコンピュータプログラムを記憶してもよい。
メモリ３３は、記憶部の他の一例であり、例えば、揮発性の読み書き可能な半導体メモリを有する。メモリ３３は、不揮発性の読み出し専用の半導体メモリをさらに有してもよい。そしてメモリ３３は、例えば、診断支援処理の実行中、ストレージ装置３２から読み出された診断支援処理用のコンピュータプログラムを記憶する。さらに、メモリ３３は、被検者の画像、被験者の画像についての所見及び所見が付された部位を表す情報、及び、診断支援処理の実行中に生成される各種のデータなどを一時的に保存する。
プロセッサ３４は、制御部の一例であり、例えば、Central Processing Unit(CPU)及びその周辺回路を有する。さらにプロセッサ３４は、数値演算用のプロセッサを有していてもよい。そしてプロセッサ３４は、サーバ３全体を制御する。またプロセッサ３４は、診断支援処理を実行する。そしてプロセッサ３４は、症例画像データベースに登録されている複数の症例画像のなかから所定数の比較画像を選択し、選択した比較画像を、通信インターフェース３１及び通信ネットワーク４を介して読影端末２へ送信する。
図５は、診断支援処理に関する、プロセッサ３４の機能ブロック図である。プロセッサ３４は、類似症例検索部４１と、探索領域設定部４２と、追加異常検出部４３と、選択部４４とを有する。
プロセッサ３４が有するこれらの各部は、例えば、プロセッサ３４上で実行されるコンピュータプログラムにより実現される機能モジュールである。あるいは、これらの各部は、プロセッサ３４の一部に実装される専用の演算回路として実装されてもよい。
類似症例検索部４１は、症例画像データベースに登録されている複数の症例画像のなかから、被験者の画像から検出された異常と同じ異常が検出され、かつ、その異常が表れた部位が被験者の画像において異常が表れた部位と類似する２以上の症例画像を選択する。
類似症例検索部４１は、類似の度合いを判断するために、被験者の画像において所見が付された部位が表された領域の特徴量を抽出する。特徴量は、症例画像データベースに登録されている症例画像から抽出される特徴量と同じ種類の特徴量であり、例えば、LBP、HOG、EOHまたは所見が付された部位が表された領域そのものとすることができる。
類似症例検索部４１は、症例画像データベースに登録されている複数の症例画像のなかから、被験者の画像に付された所見と同じ所見が付された症例画像、すなわち、被験者の画像から検出された異常と同じ異常が検出された症例画像を特定して読み込む。そして類似症例検索部４１は、読み込んだ各症例画像について、その症例画像と被験者の画像との間で、同じ異常が検出された部位の類似度を算出する。その際、類似症例検索部４１は、所見が付された部位を含む、その症例画像上の領域の特徴量と被験者の画像上の領域の特徴量を用いて類似度を算出すればよい。例えば、類似症例検索部４１は、LBPのように特徴量がビット列で表される場合、類似度として、類似度算出対象となる二つの特徴量間のハミング距離HDにオフセット値α(例えば、α=1)を加えた値(HD+α)の逆数を算出すればよい。あるいは、類似症例検索部４１は、類似度として、類似度算出対象となる二つの特徴量間のユークリッド距離Dにオフセット値αを加えた値(D+α)の逆数を算出してもよい。また、所見が付された部位が表された領域の各画素の値そのものが特徴量として利用される場合、類似症例検索部４１は、類似度として、類似度算出対象となる二つの特徴量間の正規化相互相関値を算出してもよい。
類似症例検索部４１は、類似度が高い方から順に所定数の症例画像を類似症例画像として選択する。所定数は、例えば、10〜100とすることができる。あるいは、類似症例検索部４１は、所定の閾値以上となる類似度を持つ症例画像を類似症例画像として選択してもよい。所定の閾値は、例えば、類似度の値が取り得る最大値に0.5〜0.7を乗じた値とすることができる。
なお、被験者の画像に複数の所見が付されること、すなわち、被験者の画像から複数の異常が検出されることがある。このような場合、類似症例検索部４１は、症例画像データベースから、被験者の画像に付された複数の所見の何れかと同じ所見が付された症例画像、すなわち、被験者の画像から検出された異常の何れかと同じ異常が検出された症例画像を特定して読み込んでもよい。そして類似症例検索部４１は、読み込んだ各症例画像について、次式に従って類似度Sを算出すればよい。
Figure 0006930302
 ここで、nは、症例画像から検出された１以上の異常のうち、被験者の画像から検出された複数の異常の何れかと一致する異常の数を表す。siは、症例画像と被検者の画像とで一致する異常のうちのi番目の異常についての類似度を表す。そして係数rは、被験者の画像から検出された異常の数に対する、選択された症例画像と被検者の画像とで一致する異常の数の比である。例えば、被験者の画像から検出された異常の数が3であり、選択された症例画像と被検者の画像とで一致する異常の数が1であれば、r=1/3である。また、被験者の画像から検出された異常の数が3であり、選択された症例画像と被検者の画像とで一致する異常の数が3であれば、r=1である。このように類似度を算出することで、類似症例検索部４１は、被験者の画像から検出された複数の異常と一致する異常の数が多い症例画像ほど類似症例画像として選択され易くすることができる。そのため、被験者の疾患と同じ疾患を持つ患者の症例画像が類似症例画像として選択され易くなる。
類似症例画像として選択された複数の症例画像に、同じ患者の症例画像が２以上含まれることがある。この場合、類似症例検索部４１は、同じ患者の２以上の症例画像のうち、最先の症例画像だけを類似症例画像として残し、最先の症例画像以外の症例画像を類似症例画像から除いてもよい。あるいは、類似症例検索部４１は、同じ患者の２以上の症例画像のうち、類似度が最大となる症例画像だけを類似症例画像として残し、類似度が最大となる症例画像以外の症例画像を類似症例画像から除いてもよい。あるいはまた、類似症例検索部４１は、同じ患者の２以上の症例画像のそれぞれを、類似症例画像としてもよい。
類似症例検索部４１は、選択した各類似症例画像及びその類似症例画像について算出された類似度をメモリ３３に保存する。
探索領域設定部４２は、類似症例画像のそれぞれについて、その類似症例画像に写っている患者を特定する。探索領域設定部４２は、特定した患者のそれぞれについて、その患者の類似症例画像よりも後に撮影された症例画像（以下、説明の便宜上、進行段階画像と呼ぶ）を症例画像データベースから読み込む。探索領域設定部４２は、進行段階画像のそれぞれについて、その進行段階画像に付された所見のうち、被験者の画像に付されていない所見を追加所見とする。すなわち、追加所見で示される異常は、被験者の画像において検出された異常と異なる異常である。
図６は、追加所見検出の概要を説明する図である。この例では、被験者Ｘの画像６００において、所見xが付されている。そして、患者G、患者S、患者Fなどの症例画像が類似症例画像として選択されている。このうち、患者Gについての類似症例画像６１０よりも後に患者Gについて撮影された進行段階画像６１１及び６１２について、それぞれ、画像６００に付されていない所見g1、g2が付されている。そこで、所見g1及びg2が追加所見とされる。この例では、同様に、他の患者S、患者Fなどの進行段階画像からも、それぞれ、追加所見f1、s1、s2が検出される。そして追加所見の集合６２０が、探索領域の設定に利用される。
探索領域設定部４２は、追加所見で示される異常が表れた部位が所定数（例えば、3〜5）以上重なる、被験者の画像上の領域を探索領域として特定する。
例えば、各進行段階画像について、所見が付された部位を含む領域がその進行段階画像上で示されている場合、探索領域設定部４２は、追加所見が有る各進行段階画像を被験者の画像と位置合わせする。なお、一般に、同じ部位であっても、患者ごとに形状及びサイズは異なる。また、撮影時のポジショニングなどによっても、画像上での部位の位置及び形状は変化する。そこで、探索領域設定部４２は、例えば、非剛体レジストレーション手法を用いて、同一の部位同士が一致するように、各進行段階画像と、被験者の画像とを位置合わせすればよい。なお、探索領域設定部４２は、他の位置合わせ手法を用いて、各進行段階画像と、被験者の画像とを位置合わせしてもよい。
探索領域設定部４２は、位置合わせされた各進行段階画像について、追加所見が付された部位を含む領域内の各画素に'1'を投票する。そして探索領域設定部４２は、画素ごとに、投票値の合計を算出し、その合計が所定数以上となった画素の集合を探索領域とすればよい。
図７は、探索領域設定の概要の説明図である。進行段階画像７０１−１〜７０１−ｎのそれぞれが、被験者の画像７１０と位置合わせされる。そして画像７１０上で、位置合わせされた進行段階画像７０１−１〜７０１−ｎにおいて追加所見が付された部位を含む領域７０２−１〜７０２−ｎのそれぞれについて、その領域内に含まれる各画素に'1'が投票される。そして、画像７１０上で、投票値の合計が所定数以上となる画素の集合が、探索領域７２０として設定される。
変形例によれば、各進行段階画像について、所見が付された部位がテキストで記述されていることがある。このような場合、探索領域設定部４２は、進行段階画像のそれぞれについて、その進行段階画像の追加所見の記述から部位の名称を表す記述を検出して、各部位が階層的に記述される解剖学的部位モデルにおいて検出された名称に対応する部位に'1'を投票する。この例では、部位ごとに、部位の名称のテキストデータが予めメモリ３３に記憶される。そして探索領域設定部４２は、追加所見の記述のうち、何れかの部位の名称のテキストデータと一致する部分があれば、その一致したテキストデータに対応する部位を、追加所見が付された部位とすればよい。また、解剖学的部位モデルにおいて、検出された部位の下位層となる部位が存在する場合には、探索領域設定部４２は、下位層となる部位にも'1'を投票する。
探索領域設定部４２は、解剖学的部位モデルにおいて、部位ごとに投票値の合計を算出し、投票値の合計が所定数以上となる部位を特定する。そして探索領域設定部４２は、標準的な人体の各部位の画像モデルを表す基準画像と、被験者の画像とを、非剛体レジストレーション手法を用いて、同一の部位同士が一致するように位置合わせする。なお、探索領域設定部４２は、他の位置合わせ手法を用いて、基準画像と、被験者の画像とを位置合わせしてもよい。そして探索領域設定部４２は、被験者の画像上で、位置合わせされた基準画像における、特定された部位を表す領域を、探索領域とする。
図８は、この変形例による、探索領域設定の概要の説明図である。追加所見の記述８０１−１〜８０１−ｎのそれぞれから、追加所見が付された部位の名称が検出される。例えば、追加所見の記述８０１−１から、追加所見が付された部位の名称として、「右肺Ｓ１」が検出される。同様に、追加所見の記述８０１−２から、追加所見が付された部位の名称として、「右肺上葉」が検出される。そして解剖学的部位モデル８１０において、追加所見の名称のそれぞれごとに、検出された名称に対応する部位に'1'が投票される。なお、解剖学的部位モデル８１０において、記述８０１−１から検出された「右肺Ｓ１」の下位層として、「Ｓ１ａ」及び「Ｓ１ｂ」が含まれるので、「右肺Ｓ１」に投票される際に、「Ｓ１ａ」及び「Ｓ１ｂ」にも投票される。同様に、解剖学的部位モデル８１０において、記述８０１−２から検出された「右肺上葉」の下位層として、「右肺Ｓ１」、「Ｓ１ａ」及び「Ｓ１ｂ」が含まれる。そのため、「右肺上葉」に投票される際に、「右肺Ｓ１」、「Ｓ１ａ」及び「Ｓ１ｂ」にも投票される。そして例えば、「右肺Ｓ１」について、投票値の合計が所定数以上となる場合、被験者の画像８２０上で、その画像と位置合わせされた基準画像における「右肺Ｓ１」に相当する領域が、探索領域８２１として設定される。
なお、基準画像に表される画像モデル自体が、解剖学的部位モデルを表していてもよい。この場合には、画像モデルにおいて、部位ごとに、その部位の上位層の部位及び下位層の部位との関係が規定されていればよい。
探索領域設定部４２は、さらに、類似症例画像のそれぞれにも、探索領域を設定してもよい。その際、探索領域設定部４２は、基準画像と被験者の画像の位置わせと同様に、類似症例画像と被験者の画像とを位置合わせし、位置合わせされた類似症例画像上で被験者の画像上での探索領域に対応する領域を、類似症例画像における探索領域とすればよい。
探索領域設定部４２は、被験者の画像及び類似症例画像のそれぞれについて、設定した探索領域を追加異常検出部４３へ通知する。
追加異常検出部４３は、被験者の画像における、探索領域内で、何れかの進行段階画像における追加所見で示された異常が表れた部位を検出する。例えば、追加異常検出部４３は、探索領域に含まれる追加所見のそれぞれについて、その追加所見に対応する異常検出用に予め学習された検出器を用いて、探索領域から異常が表れた部位を検出する。その際、追加異常検出部４３は、例えば、探索領域内にウィンドウを設定し、ウィンドウ内の各画素の値から、検出器に入力する特徴量（例えば、LBPあるいはHOG）を算出する。追加異常検出部４３は、その特徴量を検出器に入力することで、ウィンドウ内に含まれる部位に異常があるか否か判定する。追加異常検出部４３は、ウィンドウの位置を変更しながら上記の処理を繰り返すことで、探索領域内の何れの位置に写っている部位に異常があっても、その異常を検出できる。追加異常検出部４３は、検出器として、例えば、adaBoost、サポートベクトルマシンあるいは多層パーセプトロンなどに基づく検出器を用いることができる。
追加異常検出部４３は、異常が検出されたときのウインドウに対応する領域を、検出された異常が生じた部位を含む領域とする。このように、追加異常検出部４３は、探索領域に限定して異常を追加検出することで、探索領域外にて異常を誤検出すること（すなわち、偽陽性となる部位を検出すること）を抑制できる。そのため、追加異常検出部４３は、検出器として、異常を誤検出し易い代わりに本来の異常の検出に失敗し難いように調整された検出器を用いることができる。例えば、検出感度と偽陽性率の関係を表すROC曲線において、左上端に最も近い位置における検出感度よりも検出感度が高く、かつ、偽陽性率が高くなるように検出器は調整されてもよい。
同様に、追加異常検出部４３は、類似症例画像のそれぞれからも、その類似症例画像の探索領域から異常が表れた部位を検出し、その部位を含む領域を特定する。
追加異常検出部４３は、被験者の画像及び類似症例画像のそれぞれについて、追加検出された異常が生じた部位、及びその部位を含む領域を選択部４４へ通知する。
選択部４４は、被験者の画像において追加検出された異常が生じた部位を含む領域から、LBP、HOGまたはEOHといった特徴量を算出する。同様に、選択部４４は、類似症例画像のそれぞれについて、追加検出された異常が生じた部位を含む領域から特徴量を算出する。なお、選択部４４は、異常が追加検出されなかった類似症例画像については、特徴量を算出しなくてもよい。
選択部４４は、類似症例画像のそれぞれと、被験者の画像との間で、追加検出された異常が生じた部位同士の類似度を算出する。その際、選択部４４は、類似症例検索部４１と同様に、追加検出された異常が生じた部位を含む領域から算出された特徴量同士のハミング距離、ユークリッド距離または正規化相互相関値に基づいて類似度を算出すればよい。なお、選択部４４は、異常が追加検出されなかった類似症例画像については、類似度を0としてもよい。
選択部４４は、類似症例画像のそれぞれについて、類似症例検索部４１により算出された類似度（すなわち、医師により所見が付された部位についての類似度）と、追加検出された異常が生じた部位についての類似度との重み付け和Savを次式に従って算出する。
Figure 0006930302
 ここで、S1は、医師により所見が付された部位についての類似度であり、S2は、追加検出された異常が生じた部位についての類似度である。a、bは、それぞれ、重み付け係数であり、例えば、a=0.5、b=0.5に設定される。なお、追加検出された異常が生じた部位が重視される場合には、a=0.3、b=0.7といったように、bがaよりも大きくなるように各重み付け係数は設定されてもよい。特に、各重み付け係数は、a=0、b=1となるように設定されてもよい。この場合には、医師により所見が付された部位についての類似度は参照されずに、比較画像が選択されることになる。逆に、追加検出された異常が生じた部位よりも、医師により所見が付された部位が重視される場合には、a=0.7、b=0.3といったように、aがbよりも大きくなるように各重み付け係数は設定されてもよい。
選択部４４は、類似症例画像のなかから、重み付け和Savが大きい方から順に所定数の画像を比較画像として選択する。なお、選択された比較画像に、同じ患者の症例画像が複数含まれている場合、選択部４４は、同じ患者の複数の症例画像のうち、重み付け和Savが最大となる症例画像のみを比較画像としてもよい。なお、所定数は、例えば、1〜10とすることができる。あるいは、選択部４４は、重み付け和Savが所定の閾値以上となる各類似症例画像を比較画像として選択してもよい。
選択部４４は、選択した比較画像のそれぞれと、各比較画像において追加検出された異常が生じた部位を含む領域を表す情報と、追加検出された異常の種類と、重み付け和Savとを、読影端末２へ送信する。さらに、選択部４４は、被験者の画像において、追加検出された異常が生じた部位を含む領域を表す情報と、追加検出された異常の種類とを、読影端末２へ送信する。
読影端末２のプロセッサ２５は、サーバ３から比較画像を受信すると、被験者の画像とともに、受信した比較画像を表示装置２２に表示させる。その際、プロセッサ２５は、受信した比較画像のうち、医師が入力機器２１を介して選択した１または２の比較画像を表示装置２２に表示させてもよい。すなわち、医師による操作に応じて、表示される比較画像は切り替えられてもよい。また、医師による、入力機器２１を介した操作に応じて、被験者の画像及び表示されている比較画像のそれぞれ、または、何れか一方について、追加検出された異常が生じた部位を含む領域を示す情報及び異常の種類も表示装置２２にさらに表示させてもよい。あるいは、追加検出された異常が生じた部位が表された領域を示す情報は表示されなくてもよい。さらにまた、プロセッサ２５は、医師による操作に応じて、追加検出された異常に基づいて選択された比較画像を表示するか、追加検出された異常を利用せずに選択された類似症例画像を表示するかを切り替えてもよい。類似症例画像を表示する場合には、プロセッサ２５は、通信インターフェース２３を介して、サーバ３へ類似症例画像を要求する信号を送信する。そしてサーバ３のプロセッサ３４は、その信号を受信すると、類似症例検索部４１により選択された各類似症例画像を読影端末２へ送信すればよい。
図９は、読影端末２の表示装置２２の表示画面の一例を示す図である。画面９００では、被験者の画像９０１とともに、類似度が高い方から順に二つの類似症例画像９０２及び９０３が表示されている。なお、各画像には、医師により所見が付された部位を示す記号９２０が示されている。そして医師が操作することで、画面９１０のように、追加検出された異常を参照して各類似症例画像のなかからさらに選択された比較画像９０４及び９０５が、被験者の画像９０１とともに表示されるようになる。そしてこの場合には、医師により所見が付された部位を示す記号９２０だけでなく、追加検出された部位を示す記号９２１も示される。
図１０は、本実施形態による診断支援処理の動作フローチャートである。サーバ３のプロセッサ３４は、読影端末２から被験者の画像を受け取る度に、下記の動作フローチャートに従って、診断支援処理を実行すればよい。
類似症例検索部４１は、被験者の画像において医師により所見が付された部位（すなわち、異常が検出された部位）を含む領域から特徴量を算出する（ステップＳ１０１）。類似症例検索部４１は、症例画像データベースから、被験者の画像に付された所見と同じ所見を持つ症例画像を読み込む。そして類似症例検索部４１は、特徴量に基づいて、読み出した症例画像のそれぞれと、被験者の画像との間で、同じ異常が検出された部位の類似度を算出する（ステップＳ１０２）。さらに、類似症例検索部４１は、類似度に基づいて、読み出した症例画像のなかから２以上の症例画像を類似症例画像として選択する（ステップＳ１０３）。
探索領域設定部４２は、類似症例画像のそれぞれについて、その類似症例画像に写っている患者を特定し、特定した患者のそれぞれについて、進行段階画像を症例画像データベースから読み込む（ステップＳ１０４）。そして探索領域設定部４２は、進行段階画像のそれぞれについて、その進行段階画像に付された所見のうち、被験者の画像に付されていない所見を追加所見とする（ステップＳ１０５）。そして探索領域設定部４２は、被験者の画像において追加所見により示される異常が表れた部位が所定数以上重なる領域を、探索領域とする（ステップＳ１０６）。さらに、探索領域設定部４２は、類似症例画像のそれぞれにおいて、被験者の画像における探索領域に対応する領域を、その類似症例画像における探索領域とする。
追加異常検出部４３は、被験者の画像における探索領域内で、異常が表れた部位を追加検出する（ステップＳ１０７）。さらに、追加異常検出部４３は、類似症例画像のそれぞれについて、その類似症例画像における探索領域内で、異常が表れた部位を追加検出する（ステップＳ１０８）。
選択部４４は、類似症例画像のそれぞれについて、被験者の画像との間で、追加検出された異常が表れた部位同士の類似度を算出する（ステップＳ１０９）。そして選択部４４は、類似症例画像のそれぞれについて、追加検出された異常が表れた部位についての類似度と、医師により所見が付された部位についての類似度との重み付け和Savを算出する（ステップＳ１１０）。そして選択部４４は、類似症例画像のなかから、重み付け和Savが大きい方から順に所定数の類似症例画像を比較画像として選択する（ステップＳ１１１）。選択部４４は、選択した比較画像などを、読影端末２の表示装置２２に表示させるために読影端末２へ送信する（ステップＳ１１２）。そしてプロセッサ３４は、診断支援処理を終了する。
以上に説明してきたように、この診断支援装置は、被験者の画像において所見が付された部位と類似する、同じ所見が付された部位を持つ類似症例画像を症例画像データベースから選択する。この診断支援装置は、選択した類似症例画像のそれぞれについて、その類似症例画像に写っている患者について後から撮影された進行段階画像において付された他の所見に応じて、被験者の画像において未検出の異常が含まれる可能性のある探索領域を設定する。さらに、この診断支援装置は、被験者の画像における探索領域内で異常が表れた部位を検出するとともに、各類似症例画像における対応領域内でも異常が表れた部位を検出する。そしてこの診断支援装置は、被験者の画像と各類似症例画像との間で、追加検出された異常が表れた部位の類似度を算出し、その類似度に基づいて、類似症例画像のなかから比較画像を選択する。そのため、この診断支援装置は、被験者の画像において検出され難い異常があるために医師の所見からでは適切な比較画像を選択できない場合でも、適切な比較画像を選択できる。その結果として、この診断支援装置は、医師が適切な鑑別疾患を行うことを補助できる。そして適切な鑑別疾患が行われることで、被験者にとって不要な検査が行われることが防止され、あるいは、被験者に対して行うべき検査が適切に選択できるようになる。
なお、変形例によれば、類似症例検索部４１は、被験者の画像に付された所見と同一の所見が付された症例画像だけでなく、類似する所見が付された症例画像も、類似症例画像の選択対象として症例画像データベースから読み込んでもよい。例えば、二つの所見のそれぞれについての異常が同じものとみなせる場合、その二つの所見は互いに類似する。類似症例検索部４１は、類似する所見が付された症例画像についても、被験者の画像において所見が付された部位と類似する所見が付された部位との類似度を算出する。そして類似症例検索部４１は、上記の実施形態と同様に、類似度に応じて、類似する所見が付された症例画像を、類似症例画像として選択するか否かを判定してもよい。この場合、例えば、互いに類似する所見同士の組み合わせを示した参照テーブルが予めメモリ３３に記憶される。そしてプロセッサ３４は、その参照テーブルを参照して、被験者の画像において付された所見と類似する所見を特定すればよい。
この変形例によれば、類似症例検索部４１は、被験者の画像から検出された異常と同じ種類の異常が検出されているものの、被験者の画像に付された所見と異なる所見が付された症例画像からも類似症例画像を選択できる。
また他の変形例によれば、探索領域設定部４２は、選択された類似症例画像において、被験者の画像から検出された異常と異なる異常が検出された部位があれば、その部位を、進行段階画像において異常が検出された部位と同様に探索領域の設定に利用してもよい。これにより、被験者の疾患の進行段階よりも進んだ進行段階の他の患者の症例画像が類似症例画像として選択された場合でも、探索領域設定部４２は、探索領域の設定に利用すべき部位を適切に特定できるので、適切に探索領域を設定できる。
なお、この変形例において、被験者の画像から検出された異常と異なる異常が検出された部位が探索領域に含まれる類似症例画像については、追加異常検出部４３は、探索領域からの追加の異常の検出処理を実行しなくてもよい。
さらに他の変形例によれば、診断支援装置は、スタンドアロンの装置に実装されてもよい。例えば、読影端末２が有するストレージ装置が症例画像データベースを記憶し、読影端末２のプロセッサ２５が、診断支援処理の各部の処理を実行してもよい。また、診断支援処理を実行するサーバまたは読影端末とは別個に、症例画像データベースを記憶するサーバが設けられてもよい。そして診断支援処理を実行するサーバまたは読影端末が、症例画像データベースを記憶するサーバから、通信ネットワークを介して症例画像を読み込んでもよい。
ここに挙げられた全ての例及び特定の用語は、読者が、本発明及び当該技術の促進に対する本発明者により寄与された概念を理解することを助ける、教示的な目的において意図されたものであり、本発明の優位性及び劣等性を示すことに関する、本明細書の如何なる例の構成、そのような特定の挙げられた例及び条件に限定しないように解釈されるべきものである。本発明の実施形態は詳細に説明されているが、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。
以上説明した実施形態及びその変形例に関し、更に以下の付記を開示する。
（付記１）
複数の患者のそれぞれについての疾患の進行段階が異なる複数の症例画像のうち、被験者の画像から検出された第１の異常を持つ複数の症例画像を特定し、
前記特定された複数の症例画像のそれぞれと前記被験者の画像との間で、前記第１の異常が表れた部位の第１の類似度を算出し、前記特定された複数の症例画像のそれぞれについての前記第１の類似度に応じて、前記特定された複数の症例画像のなかから２以上の症例画像を選択し、
前記選択された２以上の症例画像のそれぞれについて、当該症例画像または当該症例画像よりも後に当該症例画像の患者を撮影して得られた他の症例画像において前記第１の異常と異なる第２の異常が表れた部位を特定し、
前記第２の異常が表れた部位が所定数以上重なる、前記被験者の画像上の領域を特定し、
前記被験者の画像上の前記特定された領域内で、前記第２の異常が表れた部位を検出し、
前記選択された２以上の症例画像のそれぞれと前記被験者の画像との間で、前記第２の異常が表れた部位の第２の類似度を算出し、前記選択された２以上の症例画像のそれぞれについての前記第２の類似度に応じて、前記選択された２以上の症例画像のなかから症例画像をさらに選択する、
ことをコンピュータに実行させるための診断支援用コンピュータプログラム。
（付記２）
前記さらに選択された症例画像と前記被験者の画像とを表示装置に表示させることをコンピュータにさらに実行させる、付記１に記載の診断支援用コンピュータプログラム。
（付記３）
前記被験者の画像上の領域を特定することは、前記第２の異常が検出された症例画像のそれぞれを前記被験者の画像と位置合わせし、位置合わせされた前記症例画像のそれぞれについて、前記第２の異常が表れた部位に相当する前記被験者の画像上の領域を特定することで、前記第２の異常が表れた部位が所定数以上重なる、前記被験者の画像上の領域を特定することを含む、付記１または２に記載の診断支援用コンピュータプログラム。
（付記４）
前記被験者の画像上の領域を特定することは、
前記第２の異常が検出された症例画像のそれぞれについて、前記第２の異常が表れた部位に相当する人体のモデルを表す基準画像上の領域を特定することで、前記基準画像上で前記所定数以上重なる部位に相当する基準領域を求め、
前記基準画像と前記被験者の画像とを位置合わせして、前記基準領域に相当する前記被験者の画像上の領域を、前記第２の異常が表れた部位が所定数以上重なる、前記被験者の画像上の領域として特定することを含む、付記１または２に記載の診断支援用コンピュータプログラム。
（付記５）
前記基準画像上で前記所定数以上重なる部位に相当する基準領域を求めることは、前記第２の異常が検出された症例画像のそれぞれについて、当該症例画像と関連付けられた所見についての記述から前記第２の異常が表れた部位の名称を検出し、検出された前記部位の名称に基づいて前記第２の異常が表れた部位に相当する前記基準画像上の領域を特定することを含む、付記４に記載の診断支援用コンピュータプログラム。
（付記６）
前記選択された２以上の症例画像のうち、前記第２の異常が検出されていない症例画像について、前記被験者の画像上の前記特定された領域に対応する当該症例画像上の領域内で、前記第２の異常が表れた部位を検出することをコンピュータにさらに実行させる、付記１〜５の何れかに記載の診断支援用コンピュータプログラム。
（付記７）
前記第１の類似度を算出することは、前記被験者の画像から検出された異常が複数ある場合、前記特定された複数の症例画像のうち、前記被験者の画像から検出された複数の異常と同じ異常の数が多い症例画像ほど、前記第１の類似度を高くすることを含む、付記１〜６の何れかに記載の診断支援用コンピュータプログラム。
（付記８）
複数の患者のそれぞれについての疾患の進行段階が異なる複数の症例画像を記憶する記憶部と、
前記複数の症例画像のうち、被験者の画像から検出された第１の異常を持つ複数の症例画像を特定し、前記特定された複数の症例画像のそれぞれと前記被験者の画像との間で、前記第１の異常が表れた部位の第１の類似度を算出し、前記特定された複数の症例画像のそれぞれについての前記第１の類似度に応じて、前記特定された複数の症例画像のなかから２以上の症例画像を選択する類似症例検索部と、
前記選択された２以上の症例画像のそれぞれについて、当該症例画像または当該症例画像よりも後に当該症例画像の患者を撮影して得られた他の症例画像において前記第１の異常と異なる第２の異常が表れた部位を特定し、前記第２の異常が表れた部位が所定数以上重なる、前記被験者の画像上の領域を特定する探索領域設定部と、
前記被験者の画像上の前記特定された領域内で、前記第２の異常が表れた部位を検出する追加異常検出部と、
前記選択された２以上の症例画像のそれぞれと前記被験者の画像との間で、前記第２の異常が表れた部位の第２の類似度を算出し、前記選択された２以上の症例画像のそれぞれについての前記第２の類似度に応じて、前記選択された２以上の症例画像のなかから症例画像をさらに選択する選択部と、
を有する診断支援装置。
（付記９）
複数の患者のそれぞれについての疾患の進行段階が異なる複数の症例画像のうち、被験者の画像から検出された第１の異常を持つ複数の症例画像を特定し、
前記特定された複数の症例画像のそれぞれと前記被験者の画像との間で、前記第１の異常が表れた部位の第１の類似度を算出し、前記特定された複数の症例画像のそれぞれについての前記第１の類似度に応じて、前記特定された複数の症例画像のなかから２以上の症例画像を選択し、
前記選択された２以上の症例画像のそれぞれについて、当該症例画像または当該症例画像よりも後に当該症例画像の患者を撮影して得られた他の症例画像において前記第１の異常と異なる第２の異常が表れた部位を特定し、
前記第２の異常が表れた部位が所定数以上重なる、前記被験者の画像上の領域を特定し、
前記被験者の画像上の前記特定された領域内で、前記第２の異常が表れた部位を検出し、
前記選択された２以上の症例画像のそれぞれと前記被験者の画像との間で、前記第２の異常が表れた部位の第２の類似度を算出し、前記選択された２以上の症例画像のそれぞれについての前記第２の類似度に応じて、前記選択された２以上の症例画像のなかから症例画像をさらに選択する、
ことを含む診断支援方法。
１ 診断支援システム
２ 読影端末
２１ 入力機器
２２ 表示装置
２３ 通信インターフェース
２４ メモリ
２５ プロセッサ
３ サーバ
３１ 通信インターフェース
３２ ストレージ装置
３３ メモリ
３４ プロセッサ
４ 通信ネットワーク
４１ 類似症例検索部
４２ 探索領域設定部
４３ 追加異常検出部
４４ 選択部

Claims (7)

  1. 複数の患者のそれぞれについての疾患の進行段階が異なる複数の症例画像のうち、被験者の画像から検出された第１の異常を持つ複数の症例画像を特定し、
    前記特定された複数の症例画像のそれぞれと前記被験者の画像との間で、前記第１の異常が表れた部位の第１の類似度を算出し、前記特定された複数の症例画像のそれぞれについての前記第１の類似度に応じて、前記特定された複数の症例画像のなかから２以上の症例画像を選択し、
    前記選択された２以上の症例画像のそれぞれについて、当該症例画像または当該症例画像よりも後に当該症例画像の患者を撮影して得られた他の症例画像において前記第１の異常と異なる第２の異常が表れた部位を特定し、
    前記第２の異常が表れた部位が所定数以上重なる、前記被験者の画像上の領域を特定し、
    前記被験者の画像上の前記特定された領域内で、前記第２の異常が表れた部位を検出し、
    前記選択された２以上の症例画像のそれぞれと前記被験者の画像との間で、前記第２の異常が表れた部位の第２の類似度を算出し、前記選択された２以上の症例画像のそれぞれについての前記第２の類似度に応じて、前記選択された２以上の症例画像のなかから症例画像をさらに選択する、
    ことをコンピュータに実行させるための診断支援用コンピュータプログラム。
  2. 前記被験者の画像上の領域を特定することは、前記第２の異常が検出された症例画像のそれぞれを前記被験者の画像と位置合わせし、位置合わせされた前記症例画像のそれぞれについて、前記第２の異常が表れた部位に相当する前記被験者の画像上の領域を特定することで、前記第２の異常が表れた部位が所定数以上重なる、前記被験者の画像上の領域を特定することを含む、請求項１に記載の診断支援用コンピュータプログラム。
  3. 前記被験者の画像上の領域を特定することは、
    前記第２の異常が検出された症例画像のそれぞれについて、前記第２の異常が表れた部位に相当する人体のモデルを表す基準画像上の領域を特定することで、前記基準画像上で前記所定数以上重なる部位に相当する基準領域を求め、
    前記基準画像と前記被験者の画像とを位置合わせして、前記基準領域に相当する前記被験者の画像上の領域を、前記第２の異常が表れた部位が所定数以上重なる、前記被験者の画像上の領域として特定することを含む、請求項１に記載の診断支援用コンピュータプログラム。
  4. 前記選択された２以上の症例画像のうち、前記第２の異常が検出されていない症例画像について、前記被験者の画像上の前記特定された領域に対応する当該症例画像上の領域内で、前記第２の異常が表れた部位を検出することをコンピュータにさらに実行させる、請求項１〜３の何れか一項に記載の診断支援用コンピュータプログラム。
  5. 前記第１の類似度を算出することは、前記被験者の画像から検出された異常が複数ある場合、前記特定された複数の症例画像のうち、前記被験者の画像から検出された複数の異常と同じ異常の数が多い症例画像ほど、前記第１の類似度を高くすることを含む、請求項１〜４の何れか一項に記載の診断支援用コンピュータプログラム。
  6. 複数の患者のそれぞれについての疾患の進行段階が異なる複数の症例画像を記憶する記憶部と、
    前記複数の症例画像のうち、被験者の画像から検出された第１の異常を持つ複数の症例画像を特定し、前記特定された複数の症例画像のそれぞれと前記被験者の画像との間で、前記第１の異常が表れた部位の第１の類似度を算出し、前記特定された複数の症例画像のそれぞれについての前記第１の類似度に応じて、前記特定された複数の症例画像のなかから２以上の症例画像を選択する類似症例検索部と、
    前記選択された２以上の症例画像のそれぞれについて、当該症例画像または当該症例画像よりも後に当該症例画像の患者を撮影して得られた他の症例画像において前記第１の異常と異なる第２の異常が表れた部位を特定し、前記第２の異常が表れた部位が所定数以上重なる、前記被験者の画像上の領域を特定する探索領域設定部と、
    前記被験者の画像上の前記特定された領域内で、前記第２の異常が表れた部位を検出する追加異常検出部と、
    前記選択された２以上の症例画像のそれぞれと前記被験者の画像との間で、前記第２の異常が表れた部位の第２の類似度を算出し、前記選択された２以上の症例画像のそれぞれについての前記第２の類似度に応じて、前記選択された２以上の症例画像のなかから症例画像をさらに選択する選択部と、
    を有する診断支援装置。
  7. 複数の患者のそれぞれについての疾患の進行段階が異なる複数の症例画像のうち、被験者の画像から検出された第１の異常を持つ複数の症例画像を特定し、
    前記特定された複数の症例画像のそれぞれと前記被験者の画像との間で、前記第１の異常が表れた部位の第１の類似度を算出し、前記特定された複数の症例画像のそれぞれについての前記第１の類似度に応じて、前記特定された複数の症例画像のなかから２以上の症例画像を選択し、
    前記選択された２以上の症例画像のそれぞれについて、当該症例画像または当該症例画像よりも後に当該症例画像の患者を撮影して得られた他の症例画像において前記第１の異常と異なる第２の異常が表れた部位を特定し、
    前記第２の異常が表れた部位が所定数以上重なる、前記被験者の画像上の領域を特定し、
    前記被験者の画像上の前記特定された領域内で、前記第２の異常が表れた部位を検出し、
    前記選択された２以上の症例画像のそれぞれと前記被験者の画像との間で、前記第２の異常が表れた部位の第２の類似度を算出し、前記選択された２以上の症例画像のそれぞれについての前記第２の類似度に応じて、前記選択された２以上の症例画像のなかから症例画像をさらに選択する、
    ことを含む診断支援方法。
JP2017168610A 2017-09-01 2017-09-01 診断支援用コンピュータプログラム、診断支援装置及び診断支援方法 Active JP6930302B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017168610A JP6930302B2 (ja) 2017-09-01 2017-09-01 診断支援用コンピュータプログラム、診断支援装置及び診断支援方法
US16/116,232 US10832409B2 (en) 2017-09-01 2018-08-29 Diagnosis support method, diagnosis support apparatus, and non-transitory computer-readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017168610A JP6930302B2 (ja) 2017-09-01 2017-09-01 診断支援用コンピュータプログラム、診断支援装置及び診断支援方法

Publications (2)

Publication Number Publication Date
JP2019046152A JP2019046152A (ja) 2019-03-22
JP6930302B2 true JP6930302B2 (ja) 2021-09-01

Family

ID=65518219

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017168610A Active JP6930302B2 (ja) 2017-09-01 2017-09-01 診断支援用コンピュータプログラム、診断支援装置及び診断支援方法

Country Status (2)

Country Link
US (1) US10832409B2 (ja)
JP (1) JP6930302B2 (ja)

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4087640B2 (ja) 2002-05-14 2008-05-21 富士フイルム株式会社 疾患候補情報出力システム
JP4874701B2 (ja) * 2006-04-18 2012-02-15 富士フイルム株式会社 類似画像検索装置および方法並びにプログラム
JP2007287018A (ja) 2006-04-19 2007-11-01 Fujifilm Corp 診断支援システム
JP4905967B2 (ja) * 2007-03-02 2012-03-28 富士フイルム株式会社 類似症例検索装置、方法、およびプログラム
JP2009223595A (ja) 2008-03-17 2009-10-01 Fujifilm Corp 医用レポート作成支援システム、プログラム及び方法
JP5317716B2 (ja) 2009-01-14 2013-10-16 キヤノン株式会社 情報処理装置および情報処理方法
JP5553578B2 (ja) 2009-11-05 2014-07-16 株式会社日立メディコ 医用診断レポートシステム、当該システムとして機能させるためのプログラム、および医用診断レポートの作成支援方法
JP6099593B2 (ja) * 2014-03-27 2017-03-22 富士フイルム株式会社 類似症例検索装置、類似症例検索方法、及び類似症例検索プログラム
US10282516B2 (en) * 2015-03-13 2019-05-07 Konica Minolta Laboratory U.S.A., Inc. Medical imaging reference retrieval
US10248759B2 (en) * 2015-03-13 2019-04-02 Konica Minolta Laboratory U.S.A., Inc. Medical imaging reference retrieval and report generation
JP6074455B2 (ja) 2015-05-14 2017-02-01 キヤノン株式会社 診断支援装置、診断支援装置の制御方法、プログラム、及び診断支援システム

Also Published As

Publication number Publication date
JP2019046152A (ja) 2019-03-22
US10832409B2 (en) 2020-11-10
US20190073772A1 (en) 2019-03-07

Similar Documents

Publication Publication Date Title
KR101887194B1 (ko) 피검체의 의료 영상의 판독을 지원하는 방법 및 이를 이용한 장치
US20200357118A1 (en) Medical scan viewing system with enhanced training and methods for use therewith
US11288550B2 (en) Data processing apparatus and method, recognition apparatus, learning data storage apparatus, machine learning apparatus, and program
KR101943011B1 (ko) 피검체의 의료 영상 판독을 지원하는 방법 및 이를 이용한 장치
US10950204B2 (en) Diagnosis support apparatus and diagnosis support method
US11847188B2 (en) Image recognition method and device based on deep convolutional neural network
US10290101B1 (en) Heat map based medical image diagnostic mechanism
US11915822B2 (en) Medical image reading assistant apparatus and method for adjusting threshold of diagnostic assistant information based on follow-up examination
US11462315B2 (en) Medical scan co-registration and methods for use therewith
JPWO2012032734A1 (ja) 誤診原因検出装置及び誤診原因検出方法
US20230252626A1 (en) Method for discriminating suspicious lesion in medical image, method for interpreting medical image, and computing device implementing the methods
US20170018076A1 (en) Method and apparatus for planning Computer-Aided Diagnosis
JP2009226043A (ja) 医用画像処理装置及び異常陰影検出方法
WO2020209382A1 (ja) 医療文書作成装置、方法およびプログラム
Tan et al. Automatic localization of the left ventricular blood pool centroid in short axis cardiac cine MR images
Wali et al. StynMedGAN: Medical images augmentation using a new GAN model for improved diagnosis of diseases
Zhang et al. Deep learning system assisted detection and localization of lumbar spondylolisthesis
JP6930302B2 (ja) 診断支援用コンピュータプログラム、診断支援装置及び診断支援方法
Lin et al. Application of two-dimensional fractional-order convolution and bounding box pixel analysis for rapid screening of pleural effusion
JP2012143368A (ja) 医用画像表示装置及びプログラム
CN111436212A (zh) 用于医学成像评估的深度学习的应用
JP2019129989A (ja) 医用画像処理装置
Keshavamurthy et al. Weakly supervised pneumonia localization in chest X‐rays using generative adversarial networks
JP5533198B2 (ja) 医用画像表示装置及びプログラム
US20230099284A1 (en) System and method for prognosis management based on medical information of patient

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200611

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210623

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210713

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210726

R150 Certificate of patent or registration of utility model

Ref document number: 6930302

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150