JP7091475B2 - 類似度決定装置、方法およびプログラム - Google Patents

類似度決定装置、方法およびプログラム Download PDF

Info

Publication number
JP7091475B2
JP7091475B2 JP2020558179A JP2020558179A JP7091475B2 JP 7091475 B2 JP7091475 B2 JP 7091475B2 JP 2020558179 A JP2020558179 A JP 2020558179A JP 2020558179 A JP2020558179 A JP 2020558179A JP 7091475 B2 JP7091475 B2 JP 7091475B2
Authority
JP
Japan
Prior art keywords
similarity
medical image
image
finding
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020558179A
Other languages
English (en)
Other versions
JPWO2020110520A1 (ja
Inventor
昭治 金田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2020110520A1 publication Critical patent/JPWO2020110520A1/ja
Application granted granted Critical
Publication of JP7091475B2 publication Critical patent/JP7091475B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10104—Positron emission tomography [PET]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Databases & Information Systems (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Optics & Photonics (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Analysis (AREA)

Description

本開示は、２つの医用画像の類似度を決定する類似度決定装置、方法およびプログラムに関するものである。
近年、ＣＴ（Computed Tomography）装置およびＭＲＩ（Magnetic Resonance Imaging）装置等の医療機器の進歩により、より質の高い高解像度の３次元画像が画像診断に用いられるようになってきている。
一方、医療分野において、検査の対象となるＣＴ画像等の検査画像に基づいて、検査画像に類似する過去の症例を検索する類似症例検索装置が知られている（例えば「Case-based lung image categorization and retrieval for interstitial lung diseases: clinical workflows、Adrien Depeursingeら、Int J CARS (2012) 7:97-110、Published online: 1 June 2011」参照）。Depeursingeらの文献には、肺の症例画像を複数種類の組織または病変（以下組織または病変を所見と称するものとする）をそれぞれ示す複数の領域に分類した上で、症例データベースに登録しておき、検査画像についても同様に肺を複数種類の所見をそれぞれ示す複数の領域に分類し、検査画像についての所見の分類結果に基づいて、検査画像に類似する症例画像を検索する手法が提案されている。
また、画像間の類似度を算出する手法として、複数の画像のうち少なくとも１つの画像内に複数の部分領域を設定し、設定した部分領域毎に、他の画像内の対応する領域との間の類似度を決定し、決定した部分領域毎の類似度を、各部分領域に対して設定された重み係数を用いて重み付け加算することにより、全体領域類似度を算出する手法が提案されている（特開２０００－３４２５５８号公報参照）。
ところで、肺の疾患として間質性肺炎が知られている。間質性肺炎の患者のＣＴ画像を解析することにより、ＣＴ画像に含まれる蜂窩肺、網状影および嚢胞等の特定の所見を示す病変を分類して定量化する手法が提案されている（「Evaluation of computer-based computer tomography stratification against outcome models in connective tissue disease-related interstitial lung disease: a patient outcome study、Joseph Jacobiら、BMC Medicine (2016) 14:190、DOI 10.1186/s12916-016-0739-7」および「コンピュータによる間質性肺炎のＣＴ画像の定量評価、岩澤多恵、断層映像研究会雑誌 第４１巻第２号、２０１４年８月」参照）。このようにＣＴ画像を解析して病変を分類して定量化することにより、肺の疾患の程度を容易に判定することができる。また、このように分類して定量化した領域にそれぞれ異なる色を割り当てて表示することにより、特定の症状の領域がどの程度画像内に含まれているかを、容易に診断できることとなる。
また、ＣＴ画像等の３次元画像から注目する臓器等の構造物を抽出するためには、３次元画像において構造物を検出する必要がある。ここで、画像における注目する画素を複数のクラスに分類するために、深層学習（ディープラーニング）の手法が提案されている。ディープラーニングとは、複数の処理層が階層的に接続されることにより構築された多層ニューラルネットワークを用いた機械学習の手法である。
ディープラーニングにおいては、多層ニューラルネットワークの各層において、入力されるデータに対する前段の階層により得られる異なる複数の演算結果データ、すなわち特徴量の抽出結果データに対して演算処理を行う。そして、これにより得られる特徴量のデータに対して、次段以降の処理層においてさらなる演算処理を行うことにより、特徴量の認識率を向上させて、入力されたデータを複数のクラスに分類することができる。
このようなディープラーニングの手法を、上述した３次元画像に適用して、３次元画像の各画素を複数のクラスに分類することが考えられる。例えば、３次元画像に含まれる複数種類の構造物を分類するに際し、３次元画像を入力として、３次元画像における処理対象となる画素を、複数種類の構造物のいずれかに分類するように、ニューラルネットワークに対してディープラーニングを行う。このようにしてディープラーニングがなされたニューラルネットワークを用いることにより、入力された３次元画像の処理対象となる画素を、複数種類の構造物のいずれかに分類することが可能となる。
Depeursingeらの文献に記載された手法を用いることにより、検査画像の肺等の臓器に含まれる病変が類似する症例画像を検索し、検索された症例画像を表示することができる。一方、３次元画像を用いた類似検索では、画像の全体を１つの画像で表現することは困難である。このため、検査画像に類似する症例画像を表示する場合、対象となる臓器を含む特定の断層面のスライス画像が表示されることとなる。しかしながら、表示された症例画像のスライス画像に検査画像に含まれる診断対象の病変と同一の病変が含まれるとは限らない。このため、症例画像における病変等の特徴を確認するためには、症例画像の断層面を順次切り替え表示して、病変を含むスライス画像を表示させる必要がある。このようにして病変を含むスライス画像を順次表示することによっては、表示された症例画像と検査画像の類否を迅速に把握することは困難である。一方、検査画像に含まれる臓器と、症例画像に含まれる臓器とを位置合わせして症例画像を表示することが考えられる。しかしながら、検査画像における病変を含む断層面の位置と、症例画像における病変等の特徴を含む断層面の位置とは必ずしも対応するものではない。このため、位置合わせを行ったとしても、表示された症例画像と検査画像の類否を迅速に把握することは困難である。
本開示は上記事情に鑑みなされたものであり、検査画像と類似する症例画像を表示した際に、症例画像に含まれる特徴を迅速に確認できるようにすることを目的とする。
本開示による類似度決定装置は、３次元の第１の医用画像と３次元の第２の医用画像との類似度を決定する類似度決定装置であって、
第１の医用画像の各画素を、複数種類の所見のうちの少なくとも１つの所見に分類する所見分類部と、
第１の医用画像において分類された所見毎に第１の特徴量を算出する特徴量算出部と、
第１の医用画像において算出された所見毎の第１の特徴量と、第２の医用画像において予め算出された所見毎の第２の特徴量とに基づいて、第１の医用画像と第２の医用画像との類似度を導出する類似度導出部と、
第２の医用画像において、類似度を導出するための重要所見を含む少なくとも１つの重要領域を決定する領域決定部とを備える。
なお、本開示による類似度決定装置においては、第１の医用画像において分類された各所見に対して、各所見のサイズに応じて重み付けの程度が異なる重み係数を設定する重み係数設定部をさらに備えるものとし、
領域決定部は、重み係数に基づいて、重要領域を決定するものであってもよい。
また、本開示による類似度決定装置においては、領域決定部は、所見毎の第１の特徴量と所見毎の第２の特徴量とに基づく所見毎の類似度に基づいて、重要領域を決定するものであってもよい。
また、本開示による類似度決定装置においては、第１の医用画像における対象領域を複数の領域に分割する領域分割部をさらに備え、
特徴量算出部は、分割された領域のそれぞれにおいて、第１の医用画像において分類された所見毎に第１の特徴量を算出し、
類似度導出部は、分割された領域毎に第１の医用画像と第２の医用画像との領域類似度を導出し、複数の領域類似度に基づいて、第１の医用画像と第２の医用画像との類似度を導出し、
領域決定部は、領域類似度に基づいて、重要領域を決定するものであってもよい。
また、本開示による類似度決定装置においては、複数の第２の医用画像が登録された症例データベースであって、複数の第２の医用画像のそれぞれについての第２の特徴量が、複数の第２の医用画像のそれぞれと対応づけられて登録された症例データベースを参照して、第１の医用画像と複数の第２の医用画像との類似度に基づいて、第１の医用画像に類似する第２の医用画像を類似医用画像として検索する検索部をさらに備えるものであってもよい。
また、本開示による類似度決定装置においては、類似医用画像における重要領域を含むスライス画像を、検索結果として表示部に表示する表示制御部をさらに備えるものであってもよい。
また、本開示による類似度決定装置においては、表示制御部は、類似医用画像における１つの重要領域の重心を通るスライス画像を、検索結果として表示部に表示するものであってもよい。
また、本開示による類似度決定装置においては、表示制御部は、類似医用画像における１つの重要領域の面積が最大となるスライス画像を、検索結果として表示部に表示するものであってもよい。
また、本開示による類似度決定装置においては、重要領域を強調した類似医用画像を、検索結果として表示部に３次元表示する表示制御部をさらに備えるものであってもよい。
本開示による類似度決定方法は、３次元の第１の医用画像と３次元の第２の医用画像との類似度を決定する類似度決定方法であって、
第１の医用画像の各画素を、複数種類の所見のうちの少なくとも１つの所見に分類し、
第１の医用画像において分類された所見毎に第１の特徴量を算出し、
第１の医用画像において算出された所見毎の第１の特徴量と、第２の医用画像において予め算出された所見毎の第２の特徴量とに基づいて、第１の医用画像と第２の医用画像との類似度を導出し、
第２の医用画像において、類似度を導出するための重要所見を含む少なくとも１つの重要領域を決定する。
なお、本開示による類似度決定方法をコンピュータに実行させるためのプログラムとして提供してもよい。
本開示による他の類似度決定装置は、第１の医用画像と第２の医用画像との類似度を決定する処理をコンピュータに実行させるための命令を記憶するメモリと、
記憶された命令を実行するよう構成されたプロセッサとを備え、プロセッサは、
第１の医用画像の各画素を、複数種類の所見のうちの少なくとも１つの所見に分類し、
第１の医用画像において分類された所見毎に第１の特徴量を算出し、
第１の医用画像において算出された所見毎の第１の特徴量と、第２の医用画像において予め算出された所見毎の第２の特徴量とに基づいて、第１の医用画像と第２の医用画像との類似度を導出し、
第２の医用画像において、類似度を導出するための重要所見を含む少なくとも１つの重要領域を決定する処理を実行する。
本開示によれば、検査画像と類似する症例画像を表示した際に、症例画像に含まれる特徴を迅速に確認できる。
本開示の第１の実施形態による類似度決定装置を適用した、診断支援システムの概要を示すハードウェア構成図 第１の実施形態による類似度決定装置の構成を示す概略ブロック図 多層ニューラルネットワークの一例を示す図 ある関心領域の中心画素についての所見の種類に応じた評価値を示す図 所見の体積の算出結果を示す図 所見の種類と重み係数との関係を示す図 所見の種類と類似度との関係を示す図 検索結果リストを示す図 検索結果の表示画面を示す図 重要領域を含む断層面を説明するための図 ３方向の断層面のスライス画像が表示された状態を示す図 第１の実施形態において行われる処理を示すフローチャート 第２の実施形態による類似度決定装置の構成を示す概略ブロック図 肺領域の分割を説明するための図 ３軸方向の断層画像を表示した状態を示す図 重要領域を強調した３次元画像を示す図 分類に応じた色が割り当てられたマッピング画像を示す図
以下、図面を参照して本開示の実施形態について説明する。図１は、本開示の第１の実施形態による類似度決定装置を適用した、診断支援システムの概要を示すハードウェア構成図である。図１に示すように、診断支援システムでは、本実施形態による類似度決定装置１、３次元画像撮影装置２、および画像保管サーバ３が、ネットワーク４を経由して通信可能な状態で接続されている。
３次元画像撮影装置２は、被検体の診断対象となる部位を撮影することにより、その部位を表す３次元画像を生成する装置であり、具体的には、ＣＴ装置、ＭＲＩ装置、およびＰＥＴ（Positron Emission Tomography）装置等である。この３次元画像撮影装置２により生成された、複数のスライス画像からなる３次元画像は画像保管サーバ３に送信され、保存される。なお、本実施形態においては、被検体である患者の診断対象部位は肺であり、３次元画像撮影装置２はＣＴ装置であり、被検体の肺を含む胸部のＣＴ画像を３次元画像として生成する。
画像保管サーバ３は、各種データを保存して管理するコンピュータであり、大容量外部記憶装置およびデータベース管理用ソフトウェアを備えている。画像保管サーバ３は、有線あるいは無線のネットワーク４を介して他の装置と通信を行い、画像データ等を送受信する。具体的には３次元画像撮影装置２で生成された３次元画像の画像データを含む各種データをネットワーク経由で取得し、大容量外部記憶装置等の記録媒体に保存して管理する。なお、画像データの格納形式およびネットワーク４経由での各装置間の通信は、ＤＩＣＯＭ（Digital Imaging and Communication in Medicine）等のプロトコルに基づいている。なお、本実施形態においては、画像保管サーバ３には、検査の対象となる３次元画像（以下、検査画像とする）、および症例画像が登録された症例データベースＤＢが保存されているものとする。症例データベースＤＢについては後述する。また、本実施形態においては、検査画像は１以上のスライス画像（以下、検査スライス画像とする）からなる３次元画像である。また、症例画像も１以上のスライス画像（以下、症例スライス画像とする）からなる３次元画像である。なお、検査画像が第１の医用画像に、症例画像が第２の医用画像にそれぞれ対応する。
類似度決定装置１は、１台のコンピュータに、本開示の類似度決定プログラムをインストールしたものである。コンピュータは、診断を行う医師が直接操作するワークステーションまたはパーソナルコンピュータでもよいし、それらとネットワークを介して接続されたサーバコンピュータでもよい。類似度決定プログラムは、ＤＶＤ（Digital Versatile Disc）あるいはＣＤ－ＲＯＭ（Compact Disc Read Only Memory）等の記録媒体に記録されて配布され、その記録媒体からコンピュータにインストールされる。または、ネットワークに接続されたサーバコンピュータの記憶装置、もしくはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じて医師が使用するコンピュータにダウンロードされ、インストールされる。
図２は、コンピュータに第１の実施形態による類似度決定プログラムをインストールすることにより実現される、本開示の第１の実施形態による類似度決定装置の概略構成を示す図である。図２に示すように、類似度決定装置１は、標準的なワークステーションの構成として、ＣＰＵ（Central Processing Unit）１１、メモリ１２およびストレージ１３を備えている。また、類似度決定装置１には、液晶ディスプレイ等からなる表示部１４、並びにキーボードおよびマウス等からなる入力部１５が接続されている。
ストレージ１３は、ハードディスクおよびＳＳＤ(Solid State Drive)等からなる。ストレージ１３には、ネットワーク４を経由して画像保管サーバ３から取得した、被検体の検査画像および処理に必要な情報を含む各種情報が記憶されている。
また、メモリ１２には、類似度決定プログラムが記憶されている。類似度決定プログラムは、ＣＰＵ１１に実行させる処理として、検査の対象となる検査画像を取得する画像取得処理、検査画像の各画素を、複数種類の所見のうちの少なくとも１つの所見に分類する所見分類処理、検査画像において分類された所見毎に第１の特徴量を算出する特徴量算出処理、検査画像において分類された各所見に対して、各所見のサイズに応じて重み付けの程度が異なる重み係数を設定する重み係数設定処理、検査画像において算出された所見毎の第１の特徴量と、症例画像において予め算出された所見毎の第２の特徴量との重み係数に基づく重み付け演算を行って、検査画像と症例画像との類似度を導出する類似度導出処理、症例画像において、類似度を導出するための重要所見を含む少なくとも１つの重要領域を決定する領域決定処理、導出された類似度に基づいて、検査画像に類似する症例画像を検索する検索処理、並びに検索結果を表示部１４に表示する表示制御処理を規定する。
そして、ＣＰＵ１１がプログラムに従いこれらの処理を実行することで、コンピュータは、画像取得部２１、所見分類部２２、特徴量算出部２３、重み係数設定部２４、類似度導出部２５、領域決定部２６、検索部２７および表示制御部２８として機能する。
画像取得部２１は、検査の対象となる被検体の検査画像Ｖ０を取得する。なお、検査画像Ｖ０が既にストレージ１３に保存されている場合には、画像取得部２１は、ストレージ１３から検査画像Ｖ０を取得するようにしてもよい。
所見分類部２２は、検査画像Ｖ０に含まれる肺領域の各画素を、複数種類の所見のうちの少なくとも１つの所見に分類する。具体的には、所見分類部２２は、検査画像Ｖ０に含まれる肺領域の画素毎に、複数種類の組織または病変（すなわち所見）のそれぞれであることの可能性を表す複数の評価値を算出し、複数の評価値に基づいて、検査画像Ｖ０の各画素を複数種類の所見のうちの少なくとも１つの所見に分類する。本実施形態においては、所見分類部２２は、検査画像Ｖ０の各画素を１つの所見に分類するものとする。
本実施形態の所見分類部２２は、機械学習の１つであるディープラーニング（深層学習）によって生成された多層ニューラルネットワークからなる判別器を有し、この判別器を用いて、検査画像Ｖ０の各画素が属する所見の種類を特定する。なお、機械学習の手法としては、ディープラーニングに限定されるものではなく、サポートベクターマシン等の他の手法を用いることもできる。
多層ニューラルネットワークでは、各層において、前段の階層により得られる異なる複数の特徴量のデータに対して各種カーネルを用いて演算処理を行う。そして、この演算処理によって得られる特徴量のデータに対して次段以降の層においてさらなる演算処理を行うことにより、特徴量の認識率を向上させ、入力されたデータを複数のクラスに分類することができる。
なお、本実施形態においては、多層ニューラルネットワークを、検査画像Ｖ０を入力として、肺領域の複数種類の所見への分類結果を出力するものとして説明するが、検査画像Ｖ０を構成する複数の検査スライス画像のそれぞれを入力とし、肺領域の複数種類の所見への分類結果を出力するように構成することも可能である。
図３は多層ニューラルネットワークの一例を示す図である。図３に示すように多層ニューラルネットワーク４０は、入力層４１および出力層４２を含む複数の階層からなる。本実施形態においては、検査画像Ｖ０に含まれる肺領域を、例えば、浸潤影、腫瘤影、すりガラス影、小葉中心性結節影、非小葉中心性結節影、網状影、線状影、小葉間隔壁肥厚、蜂窩肺、嚢胞、低吸収域（気腫）、気腫傾向、空洞、胸膜肥厚、胸水、気管支拡張、牽引性気管支拡張、動脈、正常肺、胸壁および縦隔等の複数の所見に分類するように学習がなされている。なお、所見の種類はこれらに限定されるものではなく、これらより多くの所見であってもよく、これらより少ない所見であってもよい。
本実施形態においては、これらの所見について、数百万という多数の教師データを用いて、多層ニューラルネットワーク４０に学習させる。学習の際には、所見の種類が既知の断層画像から、予め定められたサイズ（例えば１．５ｃｍ×１．５ｃｍ）の関心領域を切り出し、その関心領域を教師データとして用いる。そして、多層ニューラルネットワーク４０に教師データを入力して、所見の種類の分類処理の結果（以下、分類結果とする）を出力させる。次いで、出力された結果を教師データと比較し、正解か不正解かに応じて、出力側から入力側に向かって、多層ニューラルネットワーク４０の各層に含まれるユニット（図３に丸印で示す）の各階層間における結合の重みを修正する。結合の重みの修正を、多数の教師データを用いて、予め定められた回数、または出力される分類結果の正解率が１００％になるまで繰り返し行い、学習を終了する。
なお、入力される画像が検査スライス画像である場合において、多層ニューラルネットワーク４０の学習の際には、病変が既知の３次元画像を構成するスライス画像から、予め定められたサイズ（例えば１．５ｃｍ×１．５ｃｍ）に正規化された２次元領域を切り出し、切り出した２次元領域の画像を教師データとして用いる。
所見分類部２２は、分類のために、検査画像Ｖ０から対象領域である肺領域を抽出する。肺領域を抽出する手法としては、検査画像Ｖ０における画素毎の信号値をヒストグラム化し、肺をしきい値処理することにより抽出する方法、または肺を表すシード点に基づく領域拡張法(Region Growing)等、任意の手法を用いることができる。なお、肺領域を抽出するように機械学習がなされた判別器を用いるようにしてもよい。
所見分類部２２は、所見分類処理を行う際に、検査画像Ｖ０の肺領域から教師データと同じ大きさの関心領域を順次切り出し、その関心領域を多層ニューラルネットワーク４０からなる判別器に入力する。これにより、切り出した関心領域の中心画素について、所見の各分類に対応する評価値が出力される。なお、この各分類に対応する評価値は、中心画素が、各分類に属する可能性を示す評価値であり、この評価値が大きいほど、その分類に属する可能性が高いことを意味する。
図４は、ある関心領域の中心画素についての所見の種類に応じた評価値を示す図である。なお、図４においては、説明を簡単なものとするために一部の所見についての評価値を示す。本実施形態において、判別器は、関心領域の中心画素を、複数の所見のうち、最も評価値が大きい所見に分類する。例えば、図４に示すような評価値が取得された場合、その関心領域の中心画素は、網状影である可能性が最も高く、次にすりガラス影の可能性が高い。逆に正常肺または低吸収域の可能性はほとんどない。このため、図４に示すような評価値が取得された場合、所見分類処理により、関心領域の中心画素は評価値が最大の８．５である網状影に分類される。これにより、検査画像Ｖ０に含まれる肺領域の全画素が複数種類の所見のいずれに分類される。
所見分類部２２は、上述したように学習がなされた多層ニューラルネットワーク４０からなる判別器に、抽出した肺領域から教師データと同一のボクセル領域を順次切り出して入力する。これにより、切り出した領域の中心画素について、複数種類の病変領域のそれぞれに対する複数の評価値が出力される。所見分類部２２は、多層ニューラルネットワーク４０に入力された領域の中心画素を、複数の評価値のうち最大の評価値となる所見に分類して所見分類結果を生成する。これにより、検査画像Ｖ０に含まれる肺領域の全画素が複数種類の所見のいずれかに分類される。
特徴量算出部２３は、検査画像Ｖ０において分類された所見毎に特徴量を算出する。具体的には、所見毎の領域の大きさ、所見毎の平均濃度、所見毎の濃度の分散、所見毎の領域の数および所見毎の領域の平均サイズ等の少なくとも１つを特徴量として算出する。なお、検査画像Ｖ０について算出した特徴量を、第１の特徴量と称するものとする。また、所見毎の領域の大きさ、所見毎の領域の数および所見毎の領域の平均サイズ等がサイズ特徴量である。所見毎の領域の大きさとしては、所見毎の領域の体積を用いることができる。
なお、上述した症例データベースＤＢには、複数の症例画像のそれぞれに対して、ファイル名、各画素における複数の所見についての評価値、および所見毎の特徴量が登録されている。症例画像について症例データベースＤＢに登録されている特徴量を第２の特徴量と称するものとする。第１の特徴量および第２の特徴量は０以上１以下の値となるように正規化される。また、検査画像Ｖ０について、各画素における複数の所見についての評価値、および所見毎の特徴量が取得されると、その検査画像Ｖ０が症例データベースＤＢに新たな症例画像として登録される。その際、その検査画像Ｖ０についての評価値および第１の特徴量が、新たな症例画像の評価値および第２の特徴量として症例データベースＤＢに登録される。
重み係数設定部２４は、検査画像Ｖ０の各画素が分類された各所見に対して、各所見のサイズに応じて重み付けの程度が異なる重み係数を設定する。重み係数は、後述する類似度導出処理の際に、検査画像Ｖ０において算出された所見毎の第１の特徴量と、症例画像において類似度導出処理の前に予め算出された、すなわち症例データベースＤＢに登録された所見毎の第２の特徴量との重み付け演算を行う際の重み係数である。なお、本実施形態においては、重み係数設定部２４が設定した重み係数は、領域決定部２６における重要領域を決定する際にも用いられる。
ここで、医用画像の特徴は多彩であるため、医用画像の観点での特徴量の重要性を考慮して、特徴量に対して適切な重みを付けしないと、特徴量の違いの大きさが医学的な画像の違いの大きさと対応せず、類似度が医学的な感覚とずれてしまう。したがって、特徴量に対して適切に重み付けをしないと、検査画像Ｖ０に類似する症例画像を検索した場合、検索結果が不適切な類似度順となる可能性がある。
また、検査画像Ｖ０および症例画像において、同一の所見が略同一の大きさで存在すれば、医学的に２つの画像は類似することとなる。また、所見領域が大きいほど、その所見は診断上重要であるため、所見の大きさが画像間の類似性を判断する上で、極めて重要である。
一方、所見には、点状影のようにサイズが小さくても疾患の初期状態の特性を表す重要な所見もある。また、高齢化による肺の気腫化が進むと、肺にはやや低吸収の状態が発生してくるが、このような低吸収の所見は高齢患者で頻度が高いため、それほど重要ではない。このような高齢者の低吸収の所見は、サイズが大きくてもそれほど重要ではない。
このため、点状影の所見および高齢者の低吸収の所見を同等に判断すると、大きな領域の低吸収域の微妙な差異が点状影の差異よりも大きくなる。その結果、点状影の類似性が低吸収域の類似性に埋もれ、医学的に重要な点状影の症例を含む症例画像を検索できないことになる。
このため、本実施形態においては、重み係数設定部２４は、各所見のサイズに応じて重み付けの程度が異なる重み係数を、複数の所見のそれぞれに対して設定する。所見のサイズとしては、特徴量算出部２３が算出した第１の特徴量に含まれるサイズ特徴量を用いることができる。具体的には、所見の体積を用いることができる。ここで、所見の体積は３次元の検査画像Ｖ０に含まれる各所見の画素数に対して検査画像Ｖ０の１ボクセル当たりの体積を乗算することにより算出することができる。図５に所見の体積の算出結果を示す。図５においては体積の単位は立方ミリメートルである。ところで、肺の大きさは患者により異なる。このため、所見の体積を臓器の体積、すなわち肺の体積により正規化した所見占有率（＝所見体積／肺体積）を所見のサイズとして用いることが好ましい。本実施形態においては、所見のサイズとして所見占有率を用いるものとする。なお、所見占有率をサイズ特徴量として第１の特徴量に含めてもよい。この場合、特徴量算出部２３が所見占有率を算出してもよい。
重み係数設定部２４は、検査画像Ｖ０の各所見について、下記の式（１）により所見毎の重み係数Ｗｉを設定する。なお、式（１）において、ｉは所見の種類、ｆｉは検査画像Ｖ０における所見毎の所見占有率Ｐｖｉをパラメータとする関数である。
Ｗｉ＝ｆｉ（Ｐｖｉ） （１）
ここで、図５に示すように大きいサイズの所見と小さいサイズの所見とでは、体積の値の桁数が異なる。このため、３次元の情報である所見占有率を関数ｆｉにより２次元相当に変換する等して次元を下げることが好ましい。これにより、所見のサイズの差異が医師の感覚と一致するものとなる。このため、上述したように、サイズが小さくても重要性が高い所見は、その重要度を高くするために、関数ｆｉにより非線形に変換することが好ましい。このため、本実施形態においては、関数ｆｉを下記の式（２）に示すように設定する。
ｆｉ＝ａ・（ｂ・Ｘ＋（１－ｂ）・Ｘc） （２）
なお、式（２）において、ａは所見毎の全体的な重要性の違いを決定する定数である。ｃは１以下の値をとり、サイズが小さい所見を強調する効果を決定する定数である。ｂは定数ｃによる効果の程度を決定する定数である。また、Ｘ＝（Ｐｖｉ） 2/3 である。所見占有率Ｐｖｉを２／３乗することにより、所見占有率Ｐｖｉを３次元から２次元相当に変換することとなる。
重み係数設定部２４は、式（２）に示す関数を所見毎に設定して式（１）に適用することにより、複数種類の所見のそれぞれについての重み係数Ｗｉを設定する。
類似度導出部２５は、重み係数設定部２４が設定した重み係数Ｗｉに応じて、検査画像Ｖ０において算出された所見毎の第１の特徴量と、症例画像において予め算出された所見毎の第２の特徴量との重み付け演算を行って、検査画像Ｖ０と症例画像との類似度を導出する。なお、類似度導出部２５は、検査画像Ｖ０と症例データベースＤＢに登録されたすべての症例画像との類似度を導出するものである。
このために、類似度導出部２５は、検査画像Ｖ０について算出された第１の特徴量を０以上１以下の値に正規化する。そして、下記の式（３）に示すように、所見毎に、第１の特徴量と症例画像の第２の特徴量との距離の差を特徴量の差Ｄｄｉとして算出する。なお、式（３）において、ｋは特徴量の種類、Ｔｖｋは検査画像Ｖ０における種類毎の第１の特徴量を、Ｔｃｋは症例画像における種類毎の第２の特徴量を表す。なお、差分が算出される第１の特徴量と第２の特徴量とは特徴量の種類は同一である。また、式（３）においてΣはすべての種類の特徴量についての（Ｔｖｋ－Ｔｃｋ） 2 の総和を求めることを表す。なお、第１の特徴量および第２の特徴量は０以上１以下の値に正規化されているため、特徴量の差Ｄｄｉも０以上１以下の値となる。なお、第１の特徴量Ｔｖｋと第２の特徴量Ｔｃｋとが一致する場合、特徴量の差Ｄｄｉは０となる。なお、第１の特徴量と第２の特徴量との距離の差に代えて、第１の特徴量と第２の特徴量との差の絶対値等を用いてもよい。
Ｄｄｉ＝√（Σ（Ｔｖｋ－Ｔｃｋ）2） （３）
そして、類似度導出部２５は、重み係数Ｗｉを用いて、検査画像Ｖ０と症例画像との類似度Ｓ０を下記の式（４）により算出する。すなわち、所見毎に重み係数Ｗｉと特徴量の差Ｄｄｉとを乗算し、乗算結果をすべての所見について加算することにより、類似度Ｓ０を算出する。なお、式（４）を用いて類似度Ｓ０を算出した場合、第１の特徴量と第２の特徴量との距離が小さいほど、検査画像Ｖ０と症例画像とが類似することとなる。このため、式（４）には負号を付与し、検査画像Ｖ０と症例画像とが類似するほど、類似度Ｓ０の値が大きくなるようにしている。
Ｓ０＝－Σ（Ｗｉ×Ｄｄｉ） （４）
一方、上記式（４）により類似度を算出した場合、同一の所見が同一のサイズであれば、類似度は０となる。しかしながら、同一の病変同士を比較した場合、病変が大きいほど類似するというのが事実である。上記式（４）により類似度を算出した場合、サイズが比較的大きい所見が同一の特徴量である場合と、サイズが比較的小さい所見が同一の特徴量である場合とで両者の相違がなく、病変のサイズが大きいほど類似するという事実を反映できていないものとなる。
したがって、検査画像Ｖ０および症例画像に含まれる同一の所見については、サイズは単なる差として扱うべきではなく、サイズが類似するほど類似度を大きくすることが好ましい。このため、本実施形態においては、類似度導出部２５は、以下の式（５）により、検査画像Ｖ０と症例画像との間において、所見毎のサイズの差Ｄｓｉをさらに算出する。なお、式（５）において、Ｐｖｉは検査画像Ｖ０の所見ｉの所見占有率、Ｐｃｉは症例画像の所見ｉの所見占有率を示す。
Ｄｓｉ＝１－｜Ｐｖｉ－Ｐｃｉ｜／（Ｐｖｉ＋Ｐｃｉ） （５）
したがって、類似度導出部２５は、下記の式（６）により検査画像Ｖ０と症例画像との類似度Ｓ１を算出することが好ましい。ここで、Ｄｄｉは検査画像Ｖ０および症例画像において所見の特徴量が類似するほど値が小さくなり、Ｄｓｉは検査画像Ｖ０および症例画像において所見のサイズが類似するほど大きい値となる。このため、式（６）を用いることにより、同一の所見についてのサイズを考慮して、検査画像Ｖ０と症例画像とが類似するほど大きい値となる類似度を算出することができる。
Ｓ１＝Σ（Ｗｉ×（Ｄｓｉ－Ｄｄｉ） （６）
なお、式（６）により類似度Ｓ１を算出した場合、検査画像Ｖ０に応じて類似度Ｓ１の最大値が異なるものとなる。このため、検査画像Ｖ０と症例画像との類似度Ｓ１が最大となる条件、すなわち検査画像Ｖ０と症例画像との差異がないという条件により類似度Ｓ１を正規化することが好ましい。式（７）は式（６）により算出した類似度Ｓ１を、検査画像Ｖ０と症例画像との類似度Ｓ１が最大となる条件により正規化したものである。式（７）においてＳ２は正規化した類似度である。
Ｓ２＝Ｓ１／ΣＷｉ＝Σ（Ｗｉ×（Ｄｓｉ－Ｄｄｉ）／ΣＷｉ （７）
なお、式（４）により類似度を算出する場合も、類似度Ｓ０を正規化することが好ましい。式（８）は式（４）を検査画像Ｖ０と症例画像との類似度Ｓ０が最大となる条件により正規化したものである。式（８）においてＳ３は正規化した類似度である。
Ｓ３＝Ｓ０／ΣＷｉ＝Σ（Ｗｉ×Ｄｓｉ）／ΣＷｉ （８）
領域決定部２６は、症例画像において、類似度を導出するための重要所見を含む少なくとも１つの重要領域を決定する。本実施形態においては、重み係数設定部２４が設定した所見毎の重み係数Ｗｉに基づいて、重要領域を決定する。具体的には、上記式（１）に基づいて設定された重み係数Ｗｉが予め定められたしきい値Ｔｈ１以上となる所見の領域を重要領域に決定する。
図６は所見の種類と重み係数との関係を示す図である。ここで、しきい値Ｔｈ１を０．７とした場合、重み係数が０．７以上となる所見は蜂窩肺であるため、蜂窩肺の領域が重要領域に決定される。
なお、重み係数Ｗｉに基づく重要領域の決定の手法は上記に限定されるものではない。例えば、重み係数Ｗｉのうちの最大となる重み係数Ｗｍａｘに基づいてしきい値Ｔｈ１を決定してもよい。例えば、最大となる重み係数Ｗｍａｘに０．７５を乗算した値をしきい値Ｔｈ１に設定してもよい。図６においては、最大となる重み係数Ｗｍａｘは蜂窩肺の０．８１である。この場合、しきい値Ｔｈ１は０．８１×０．７５≒０．６１となる。したがって、重み係数Ｗｉが０．６１以上となる網状影（重み係数０．６５）および蜂窩肺（重み係数０．８１）の領域が重要領域に決定される。
なお、領域決定部２６は、類似度導出部２５が導出した類似度に基づいて、重要領域を決定してもよい。具体的には、所見毎の第１の特徴量と、所見毎の第２の特徴量に基づく、所見毎の類似度に基づいて重要領域を決定してもよい。例えば、類似度が式（３）により導出される場合、所見毎の特徴量の差Ｄｄｉが予め定められたしきい値Ｔｈ２以下となる所見の領域を、重要領域に決定すればよい。また、式（６）により類似度が導出される場合、（Ｄｓｉ－Ｄｄｉ）が予め定められたしきい値Ｔｈ３以上となる所見の領域を重要領域に決定すればよい。
図７は式（６）により類似度を導出した場合における所見の種類と類似度との関係を示す図である。ここで、しきい値Ｔｈ３を０．５とした場合、類似度が０．５以上となる所見は網状影であるため、網状影の領域が重要領域に決定される。
また、類似度に基づく重要領域の決定の手法は上記に限定されるものではない。例えば、最大となる類似度に基づいてしきい値Ｔｈ２，Ｔｈ３を決定してもよい。例えば、最大となる類似度に０．７５を乗算した値をしきい値Ｔｈ２，Ｔｈ３に設定してもよい。図７においては、最大となる類似度は網状影の０．６２である。この場合、しきい値Ｔｈ３は０．６２×０．７５≒０．４７となる。したがって、類似度が０．４７以上となる網状影（類似度０．６２）および蜂窩肺（類似度０．４８）の領域が重要領域に決定される。
検索部２７は、症例データベースＤＢから、類似度Ｓ２に基づいて、検査画像Ｖ０に類似する症例画像を類似症例画像として検索する検索処理を行う。まず、症例データベースＤＢについて説明する。
症例データベースＤＢには、１以上の症例スライス画像からなる症例画像が複数登録されている。詳細には、複数の症例画像のそれぞれについての所見分類結果、特徴量（すなわち第２の特徴量）が、複数の症例画像のそれぞれと対応づけられて登録されている。本実施形態においては、検査画像Ｖ０が新たに取得されると、検査画像Ｖ０が症例データベースＤＢに新たな症例画像として登録される。
検索部２７は、検査画像Ｖ０と症例データベースＤＢに登録されたすべての症例画像との類似度Ｓ２に基づいて、検査画像Ｖ０に類似する症例画像を類似症例画像として検索する。具体的には、検索部２７は、類似度Ｓ２が大きい順に症例画像をソートして検索結果リストを作成する。図８は検索結果リストを示す図である。図８に示すように、検索結果リストＬ０には、症例データベースＤＢに登録された症例画像が、類似度Ｓ２が大きい順にソートされている。そして、検索部２７は、検索結果リストＬ０におけるソート順が上位所定数の症例画像を、症例データベースＤＢから類似症例画像として抽出する。なお、類似症例画像が類似医用画像に対応する。
表示制御部２８は、検索部２７による検索結果を表示部１４に表示する。図９は検索結果の表示画面を示す図である。図９に示すように、表示画面３０は、検査画像表示領域３１および検索結果表示領域３２を有する。検査画像表示領域３１は、検査画像における所望とされるアキシャル断面の検査スライス画像が表示される。検索結果表示領域３２には、類似症例画像Ｒ１～Ｒ４が表示される。具体的には、類似症例画像Ｒ１～Ｒ４における重要領域を含むアキシャル断面の症例スライス画像が検索結果として表示される。なお、図９に示す状態においては、検索結果表示領域３２において所望とされる類似症例画像Ｒ１～Ｒ４を選択し、選択された類似症例画像の断層面を、入力部１５からの操作により切り替えて表示することが可能である。
ここで、重要領域は３次元の領域であるため、アキシャル方向に広がりを有する。図１０は重要領域のアキシャル方向への広がりを説明するための図である。図１０に示すように肺領域３５において決定された重要領域３６はアキシャル方向に広がりを有するものとなる。本実施形態においては、類似症例画像における重要領域３６の重心３７を通るアキシャル断面３８の症例スライス画像を、検索結果として表示するものとする。なお、領域決定部２６において複数の重要領域が決定された場合、サイズが最大となる重要領域の重心を通るアキシャル断面の症例スライス画像を表示してもよい。また、図１０に示す、類似症例画像における重要領域３６の面積が最大となるアキシャル断面３９における症例スライス画像を検索結果として表示してもよい。
なお、検索結果表示領域３２に表示された類似症例画像Ｒ１～Ｒ４を選択することにより、選択された類似症例画像の、アキシャル断面の症例スライス画像、サジタル断面の症例スライス画像およびコロナル断面の症例スライス画像を検査画像表示領域３１に表示してもよい。図１１は、３方向の断面の症例スライス画像が表示された状態を示す図である。図１１に示すように、表示画面３０Ａにおいて、類似症例画像Ｒ１～Ｒ４のうちの類似症例画像Ｒ１が選択されたとすると、選択された類似症例画像Ｒ１のアキシャル断面の症例スライス画像ＳＬ１０、サジタル断面の症例スライス画像ＳＬ１１および症例コロナル断面のスライス画像ＳＬ１２が検査画像表示領域３１に表示される。なお、類似症例画像Ｒ１にはそれが選択されていることを示す枠３３が付与される。また、検査画像表示領域３１の上方の文字が「類似症例画像」に変更される。ここで、３次元画像においてある１点を通る３方向の断面は一意に規定することが可能である。このため、重要領域の重心を通る３方向の断面は一意に規定することができる。したがって、症例スライス画像ＳＬ１０～ＳＬ１２は、いずれも重要領域の重心を通る断層面を表すものとなる。
なお、図１１に示すように、表示画面３０Ａに表示された３方向の断面の症例スライス画像ＳＬ１０～ＳＬ１２のいずれかを選択し、選択された断層面の症例スライス画像を、入力部１５からの操作により切り替え表示することが可能である。
次いで、第１の実施形態において行われる処理について説明する。図１２は第１の実施形態において行われる処理を示すフローチャートである。まず、画像取得部２１が、検査画像Ｖ０を取得し（ステップＳＴ１）、所見分類部２２が、検査画像Ｖ０に含まれる肺領域を、複数種類の所見をそれぞれ示す複数種類の病変領域に分類して所見分類結果を生成する（ステップＳＴ２）。そして、特徴量算出部２３が、検査画像Ｖ０において分類された所見毎に第１の特徴量を算出する（ステップＳＴ３）。さらに、重み係数設定部２４が、検査画像Ｖ０の所見毎の重み係数Ｗｉを設定する（ステップＳＴ４）。
続いて、類似度導出部２５が、重み係数に応じて、検査画像Ｖ０において算出された所見毎の第１の特徴量と、症例画像において予め算出された所見毎の第２の特徴量との重み付け演算を行って、検査画像Ｖ０と症例画像との類似度を導出する（ステップＳＴ５）。なお、上述したように、類似度導出部２５は、検査画像Ｖ０と症例データベースＤＢに登録されたすべての症例画像との類似度を導出するものである。次いで、領域決定部２６が、症例画像において、類似度を導出するための重要所見を含む少なくとも１つの重要領域を決定する（ステップＳＴ６）。さらに、検索部２７が、類似度に基づいて検索処理を行い（ステップＳＴ７）、表示制御部２８が、重要領域を含むスライス画像を検索結果として表示部１４に表示し（ステップＳＴ８）、処理を終了する。
このように、本実施形態によれば、検査画像Ｖ０の画素毎に、複数種類の所見のそれぞれであることの可能性を表す複数の評価値が算出され、複数の評価値に基づいて、検査画像Ｖ０の各画素が複数種類の所見のうちの少なくとも１つの所見に分類される。また、検査画像Ｖ０において分類された所見毎に第１の特徴量が算出される。さらに、検査画像Ｖ０において算出された所見毎の第１の特徴量と、症例画像において予め算出された所見毎の第２の特徴量とに基づいて、検査画像Ｖ０と症例画像との類似度が導出される。また、症例画像において、類似度を導出するための重要所見を含む少なくとも１つの重要領域が決定される。このため、重要領域を含むように類似症例画像を表示することにより、類似症例画像には診断上特徴がある領域が含まれることとなる。このため、本実施形態によれば、検査画像Ｖ０と類似する症例画像を表示した際に、症例画像に含まれる特徴を迅速に確認できる。
なお、上記実施形態においては、検査画像Ｖ０において分類された各所見に対して、各所見のサイズに応じて重み付けの程度が異なる重み係数を設定し、重み係数に応じて、検査画像Ｖ０において算出された所見毎の第１の特徴量と、症例画像において予め算出された所見毎の第２の特徴量との重み付け演算を行って、検査画像Ｖ０と症例画像との類似度が導出しているが、これに限定されるものではない。重み係数Ｗｉを用いることなく、第１の特徴量と第２の特徴量との演算を行って類似度を導出してもよい。この場合、演算は、第１の特徴量と第２の特徴量の差分等であってもよい。
次いで、本開示の第２の実施形態について説明する。図１３は、本開示の第２の実施形態による類似度決定装置の概略構成を示す図である。なお、図１３において図２と同一の構成については同一の参照番号を付与し、ここでは詳細な説明は省略する。第２の実施形態による類似度決定装置１Ａは、検査画像Ｖ０における肺領域を複数の領域に分割する領域分割部２９をさらに備えた点が第１の実施形態と異なる。
領域分割部２９は、肺領域を複数の領域に分割する。図１４は肺領域の分割を説明するための図である。領域分割部２９は、図１４に示すように、左右の肺領域を左中枢領域５０ＬＣおよび右中枢領域５０ＲＣとそれ以外の領域とに分割する。そして、中枢領域以外の領域を、さらに上中下の３つの領域、中領域と外領域、および腹側と背側に分割する。図１４において外領域に斜線を付与している。第２の実施形態においては、領域分割部２９は、左右の肺領域をそれぞれ１３個の領域に分割することとなる。
第２の実施形態において、特徴量算出部２３は、分割された領域毎に、検査画像Ｖ０において分類された所見毎の第１の特徴量を算出する。類似度導出部２５は、分割された領域毎に検査画像Ｖ０と症例画像との類似度を導出する。なお、領域毎の類似度を領域類似度と称するものとする。領域決定部２６は、領域類似度に基づいて、重要領域を決定する。具体的には、領域分割部２９により分割された１３個の領域のそれぞれにおける領域類似度のうち、最大となる領域類似度となる領域を重要領域に決定する。
図１５は第２の実施形態における重要領域の決定を説明するための図である。なお、図１５においては、アキシャル断面の症例スライス画像ＳＬ２０、サジタル断面の症例スライス画像ＳＬ２１およびコロナル断面の症例スライス画像ＳＬ２２のそれぞれにおいて、重要領域６０を斜線を付与して示している。また、図１５においては、肺領域における分割された領域の境界を破線にて示している。また、図１５においては、アキシャル断面を一点鎖線６１、サジタル断面を長い破線６２、コロナル断面を二点鎖線６３で示している。
なお、第２の実施形態においては、類似度導出部２５は、領域類似度に基づいて、検査画像Ｖ０と症例画像との類似度を導出する。例えば、領域類似度の重み付け加算値、領域類似度の最大値、および領域類似度の平均値等に基づいて、検査画像Ｖ０と症例画像との類似度を導出する。
表示制御部２８は、重要領域を含むスライス画像を検索結果として表示部１４に表示する。第２の実施形態においても、第１の実施形態と同様に、類似症例画像における重要領域３６の重心３７を通るアキシャル断面３８のスライス画像を、または、重要領域の面積が最大となるスライス画像を検索結果として表示すればよいが、これに限定されるものではない。
なお、上記第１および第２の実施形態において、類似症例画像を３次元画像として表示してもよい。この場合、重要領域を強調した３次元画像を表示すればよい。図１６は重要領域を強調した３次元画像を示す図である。図１６に示す３次元画像６５おいては、重要領域のみを不透明とし、他の領域を透明とした３次元画像を示している。なお、図１６においては肺内の位置関係を明確なものとするために、気管支６６を不透明としている。また、図１６に示す３次元画像に加えて、類似症例画像における重要領域を含む断層面の症例スライス画像を表示するようにしてもよい。この場合、アキシャル断面、サジタル断面およびコロナル断面のすべての症例スライス画像を表示してもよく、いずれか１つの断面の症例スライス画像を表示してもよい。
また、上記実施形態においては、検査画像Ｖ０の断層画像を表示部１４に表示しているがこれに限定されるものではない。所見分類部２２において検査画像Ｖ０のマッピング画像を生成し、マッピング画像の断層画像を表示部１４に表示してもよい。
すなわち、所見分類部２２における所見分類処理の結果に基づいて、各分類の領域に色を割り当てることによってマッピング画像を生成し、生成したマッピング画像を表示してもよい。具体的には、所見分類部２２は、上述した複数種類の所見のうちのいずれかに分類された３次元空間上の全ての画素について、同一の分類とされた画素に対して同じ色を割り当てることによって３次元のマッピング画像を生成する。図１７は、複数種類の各分類に対して、その分類に応じた色が割り当てられたマッピング画像における一断面を示す図である。なお、図１７においては、説明を簡単なものとするために、すりガラス影、正常肺、気管支拡張、蜂窩肺、網状影、浸潤影、低吸収域および嚢胞の８種類の所見に分類した場合のマッピング画像を示す。また、図１７には片肺のマッピング画像のみを示す。
なお、上記各実施形態においては、検査画像Ｖ０の画素毎に、複数種類の所見のそれぞれであることの可能性を表す複数の評価値を算出し、複数の評価値に基づいて、検査画像Ｖ０の各画素を複数種類の所見のうちの少なくとも１つの所見に分類しているが、所見分類の手法は評価値を用いる手法に限定されるものではない。
なお、上記各実施形態においては、画像保管サーバ３に症例データベースＤＢを保存しているが、ストレージ１３に症例データベースＤＢを保存してもよい。
また、上記各実施形態においては、検査画像を症例データベースＤＢに登録しているが、検査画像以外の画像を登録対象画像として症例データベースに登録してもよい。
また、上記各実施形態において、例えば、画像取得部２１、所見分類部２２、特徴量算出部２３、重み係数設定部２４、類似度導出部２５、領域決定部２６、検索部２７、表示制御部２８および領域分割部２９といった各種の処理を実行する処理部（Processing Unit）のハードウェア的な構造としては、次に示す各種のプロセッサ（Processor）を用いることができる。上記各種のプロセッサには、上述したように、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device :PLD）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせまたはＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。
複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントおよびサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアとの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:SoC）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（Circuitry）を用いることができる。
１ 類似度決定装置
２ ３次元画像撮影装置
３ 画像保管サーバ
４ ネットワーク
１１ ＣＰＵ
１２ メモリ
１３ ストレージ
１４ 表示部
１５ 入力部
２１ 画像取得部
２２ 所見分類部
２３ 特徴量算出部
２４ 重み係数設定部
２５ 類似度導出部
２６ 領域決定部
２７ 検索部
２８ 表示制御部
２９ 領域分割部
３０，３０Ａ 表示画面
３１ 検査画像表示領域
３２ 検索結果表示領域
３５ 肺領域
３６ 重要領域
３７ 重心
３８，３９ アキシャル断面
４０ 多層ニューラルネットワーク
４１ 入力層
４２ 出力層
５０ＬＣ，５０ＲＣ 中枢領域
６０ 重要領域
６１～６３ 断面を表す線
６５ ３次元画像
６６ 気管支
Ｌ０ 検査リスト
Ｒ１～Ｒ４ 類似症例画像
ＳＬ１０～ＳＬ１２、ＳＬ２０～ＳＬ２２ 症例スライス画像
Ｖ０ 検査画像

Claims (11)

  1. ３次元の第１の医用画像と３次元の第２の医用画像との類似度を決定する類似度決定装置であって、
    前記第１の医用画像の各画素を、複数種類の所見のうちの少なくとも１つの所見に分類する所見分類部と、
    前記第１の医用画像において分類された所見毎に第１の特徴量を算出する特徴量算出部と、
    前記第１の医用画像において算出された前記所見毎の前記第１の特徴量と、前記第２の医用画像において予め算出された前記所見毎の第２の特徴量とに基づいて、前記第１の医用画像と前記第２の医用画像との類似度を導出する類似度導出部と、
    前記第２の医用画像において、前記類似度を導出するための重要所見を含む少なくとも１つの重要領域を決定する領域決定部とを備えた類似度決定装置。
  2. 前記第１の医用画像において分類された各所見に対して、該各所見のサイズに応じて重み付けの程度が異なる重み係数を設定する重み係数設定部をさらに備え、
    前記領域決定部は、前記重み係数に基づいて、前記重要領域を決定する請求項１に記載の類似度決定装置。
  3. 前記領域決定部は、前記所見毎の前記第１の特徴量と前記所見毎の前記第２の特徴量とに基づく前記所見毎の類似度に基づいて、前記重要領域を決定する請求項１に記載の類似度決定装置。
  4. 前記第１の医用画像における対象領域を複数の領域に分割する領域分割部をさらに備え、
    前記特徴量算出部は、前記分割された領域のそれぞれにおいて、前記第１の医用画像において分類された所見毎に第１の特徴量を算出し、
    前記類似度導出部は、前記分割された領域毎に前記第１の医用画像と前記第２の医用画像との領域類似度を導出し、複数の前記領域類似度に基づいて、前記第１の医用画像と前記第２の医用画像との類似度を導出し、
    前記領域決定部は、前記領域類似度に基づいて、前記重要領域を決定する請求項１に記載の類似度決定装置。
  5. 複数の前記第２の医用画像が登録された症例データベースであって、前記複数の第２の医用画像のそれぞれについての前記第２の特徴量が、前記複数の第２の医用画像のそれぞれと対応づけられて登録された症例データベースを参照して、前記第１の医用画像と複数の前記第２の医用画像との類似度に基づいて、前記第１の医用画像に類似する第２の医用画像を類似医用画像として検索する検索部をさらに備えた請求項１から４のいずれか１項に記載の類似度決定装置。
  6. 前記類似医用画像における前記重要領域を含むスライス画像を、検索結果として表示部に表示する表示制御部をさらに備えた請求項５に記載の類似度決定装置。
  7. 前記表示制御部は、前記類似医用画像における１つの前記重要領域の重心を通るスライス画像を、前記検索結果として前記表示部に表示する請求項６に記載の類似度決定装置。
  8. 前記表示制御部は、前記類似医用画像における１つの前記重要領域の面積が最大となるスライス画像を、前記検索結果として前記表示部に表示する請求項６に記載の類似度決定装置。
  9. 前記重要領域を強調した前記類似医用画像を、検索結果として表示部に３次元表示する表示制御部をさらに備えた請求項５に記載の類似度決定装置。
  10. ３次元の第１の医用画像と３次元の第２の医用画像との類似度を決定する類似度決定方法であって、
    前記第１の医用画像の各画素を、複数種類の所見のうちの少なくとも１つの所見に分類し、
    前記第１の医用画像において分類された所見毎に第１の特徴量を算出し、
    前記第１の医用画像において算出された前記所見毎の前記第１の特徴量と、前記第２の医用画像において予め算出された前記所見毎の第２の特徴量とに基づいて、前記第１の医用画像と前記第２の医用画像との類似度を導出し、
    前記第２の医用画像において、前記類似度を導出するための重要所見を含む少なくとも１つの重要領域を決定する類似度決定方法。
  11. ３次元の第１の医用画像と３次元の第２の医用画像との類似度を決定する処理をコンピュータに実行させる類似度決定プログラムであって、
    前記第１の医用画像の各画素を、複数種類の所見のうちの少なくとも１つの所見に分類する手順と、
    前記第１の医用画像において分類された所見毎に第１の特徴量を算出する手順と、
    前記第１の医用画像において算出された前記所見毎の前記第１の特徴量と、前記第２の医用画像において予め算出された前記所見毎の第２の特徴量とに基づいて、前記第１の医用画像と前記第２の医用画像との類似度を導出する手順と、
    前記第２の医用画像において、前記類似度を導出するための重要所見を含む少なくとも１つの重要領域を決定する手順とをコンピュータに実行させる類似度決定プログラム。
JP2020558179A 2018-11-27 2019-10-23 類似度決定装置、方法およびプログラム Active JP7091475B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018221167 2018-11-27
JP2018221167 2018-11-27
PCT/JP2019/041479 WO2020110520A1 (ja) 2018-11-27 2019-10-23 類似度決定装置、方法およびプログラム

Publications (2)

Publication Number Publication Date
JPWO2020110520A1 JPWO2020110520A1 (ja) 2021-10-14
JP7091475B2 true JP7091475B2 (ja) 2022-06-27

Family

ID=70853894

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020558179A Active JP7091475B2 (ja) 2018-11-27 2019-10-23 類似度決定装置、方法およびプログラム

Country Status (5)

Country Link
US (1) US11989880B2 (ja)
JP (1) JP7091475B2 (ja)
CN (1) CN113164141A (ja)
DE (1) DE112019005888T5 (ja)
WO (1) WO2020110520A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3067824A1 (en) 2017-06-26 2019-01-03 The Research Foundation For The State University Of New York System, method, and computer-accessible medium for virtual pancreatography

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001117936A (ja) 1999-10-19 2001-04-27 Olympus Optical Co Ltd ３次元類似画像検索装置
JP2009095550A (ja) 2007-10-18 2009-05-07 Canon Inc 診断支援装置、診断支援装置の制御方法、およびそのプログラム
JP2009297365A (ja) 2008-06-16 2009-12-24 Olympus Corp 画像処理装置、画像処理方法および画像処理プログラム
JP2011118543A (ja) 2009-12-01 2011-06-16 Shizuoka Prefecture 症例画像検索装置、方法およびプログラム
WO2013001584A1 (ja) 2011-06-30 2013-01-03 パナソニック株式会社 類似症例検索装置および類似症例検索方法
JP2013025723A (ja) 2011-07-25 2013-02-04 Panasonic Corp 類似症例検索装置および読影知識抽出装置
WO2013065090A1 (ja) 2011-11-04 2013-05-10 パナソニック株式会社 類似症例検索装置および類似症例検索方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000342558A (ja) 1999-06-04 2000-12-12 Konica Corp 画像の位置合わせ処理装置及び画像間演算処理装置
JP2001155019A (ja) * 1999-11-25 2001-06-08 Olympus Optical Co Ltd 類似画像検索装置
US20080292194A1 (en) * 2005-04-27 2008-11-27 Mark Schmidt Method and System for Automatic Detection and Segmentation of Tumors and Associated Edema (Swelling) in Magnetic Resonance (Mri) Images
WO2007099525A2 (en) * 2006-03-03 2007-09-07 Medic Vision - Brain Technologies Ltd. System and method of automatic prioritization and analysis of medical images
JP5597429B2 (ja) 2010-03-31 2014-10-01 富士フイルム株式会社 医用画像処理装置および方法、並びにプログラム
JP6099593B2 (ja) * 2014-03-27 2017-03-22 富士フイルム株式会社 類似症例検索装置、類似症例検索方法、及び類似症例検索プログラム
CN106560827B (zh) 2015-09-30 2021-11-26 松下知识产权经营株式会社 控制方法
EP3557449B1 (en) 2016-12-19 2022-06-22 FUJIFILM Corporation Similar case search device, method for operation and program for operation thereof, and similar case search system

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001117936A (ja) 1999-10-19 2001-04-27 Olympus Optical Co Ltd ３次元類似画像検索装置
JP2009095550A (ja) 2007-10-18 2009-05-07 Canon Inc 診断支援装置、診断支援装置の制御方法、およびそのプログラム
JP2009297365A (ja) 2008-06-16 2009-12-24 Olympus Corp 画像処理装置、画像処理方法および画像処理プログラム
JP2011118543A (ja) 2009-12-01 2011-06-16 Shizuoka Prefecture 症例画像検索装置、方法およびプログラム
WO2013001584A1 (ja) 2011-06-30 2013-01-03 パナソニック株式会社 類似症例検索装置および類似症例検索方法
JP2013025723A (ja) 2011-07-25 2013-02-04 Panasonic Corp 類似症例検索装置および読影知識抽出装置
WO2013065090A1 (ja) 2011-11-04 2013-05-10 パナソニック株式会社 類似症例検索装置および類似症例検索方法

Also Published As

Publication number Publication date
CN113164141A (zh) 2021-07-23
US20210279879A1 (en) 2021-09-09
US11989880B2 (en) 2024-05-21
WO2020110520A1 (ja) 2020-06-04
JPWO2020110520A1 (ja) 2021-10-14
DE112019005888T5 (de) 2021-09-30

Similar Documents

Publication Publication Date Title
JP6807820B2 (ja) 画像検索装置、方法およびプログラム
NL1024869C2 (nl) Werkwijze en systeem voor het meten van voor ziekte relevante weefselveranderingen.
JP7170747B2 (ja) 類似度決定装置、方法およびプログラム
JP6914233B2 (ja) 類似度決定装置、方法およびプログラム
JP7034306B2 (ja) 領域分割装置、方法およびプログラム、類似度決定装置、方法およびプログラム、並びに特徴量導出装置、方法およびプログラム
US11854190B2 (en) Similarity determination apparatus, similarity determination method, and similarity determination program
JPWO2020158717A1 (ja) 学習済みモデル、学習方法、及びプログラム、並びに医用情報取得装置、方法、及びプログラム
JP7091475B2 (ja) 類似度決定装置、方法およびプログラム
JP7479546B2 (ja) 表示装置、方法およびプログラム
US11893735B2 (en) Similarity determination apparatus, similarity determination method, and similarity determination program
JP2023545570A (ja) 形状プライアを用いた及び用いないセグメンテーション結果によって解剖学的異常を検出すること
Shafi et al. Pneumonia detection from chest x-ray images using transfer learning by fusing the features of pre-trained xception and vgg16 networks
Singh Diagnosing Covid-19 using image processing and machine learning
WO2022137855A1 (ja) 情報処理装置、方法およびプログラム
Ramos Analysis of medical images to support decision-making in the musculoskeletal field
WO2021246047A1 (ja) 経過予測装置、方法およびプログラム
Dabre et al. CONSOLIDATION OF SQUEEZE AND EXCITATION WITH VGG16 FOR PNEUMONIA DIAGNOSIS THROUGH CHEST X-RAY IMAGES

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210526

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210526

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220524

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220615

R150 Certificate of patent or registration of utility model

Ref document number: 7091475

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150