WO2020044736A1 - 類似度決定装置、方法およびプログラム - Google Patents

類似度決定装置、方法およびプログラム Download PDF

Info

Publication number
WO2020044736A1
WO2020044736A1 PCT/JP2019/023817 JP2019023817W WO2020044736A1 WO 2020044736 A1 WO2020044736 A1 WO 2020044736A1 JP 2019023817 W JP2019023817 W JP 2019023817W WO 2020044736 A1 WO2020044736 A1 WO 2020044736A1
Authority
WO
WIPO (PCT)
Prior art keywords
finding
medical image
image
similarity
feature amount
Prior art date
Application number
PCT/JP2019/023817
Other languages
English (en)
French (fr)
Inventor
昭治 金田
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to CN201980055700.1A priority Critical patent/CN112601494A/zh
Priority to DE112019004335.8T priority patent/DE112019004335T5/de
Priority to JP2020540089A priority patent/JPWO2020044736A1/ja
Publication of WO2020044736A1 publication Critical patent/WO2020044736A1/ja
Priority to US17/170,822 priority patent/US11893735B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Definitions

  • Deep learning is a method of machine learning using a multilayer neural network constructed by hierarchically connecting a plurality of processing layers.
  • Non-Patent Document 1 and Patent Documents 1 to 3 it is possible to search for a case image similar to a lesion contained in the lung of the inspection image.
  • the significance of a characteristic finding included in an inspection image varies depending on its size.
  • a similarity determination device is a similarity determination device that determines a similarity between a first medical image and a second medical image, A finding classification unit that classifies each pixel of the first medical image into at least one of a plurality of types of findings; A feature value calculating unit that calculates a first feature value for each finding classified in the first medical image; A weighting factor setting unit configured to set, for each finding classified in the first medical image, a weighting factor having a different degree of weighting according to the size of each finding; A weighting operation is performed on the first feature amount for each finding calculated in the first medical image and the second feature amount for each finding calculated in advance in the second medical image according to the weight coefficient. And a similarity deriving unit that derives a similarity between the first medical image and the second medical image.
  • the feature value calculation unit calculates a first feature value including a size feature value representing a size for each finding.
  • the similarity deriving unit determines that the size feature amount and the size feature amount calculated in advance in the second medical image are close, and the size represented by the size feature amount and the size feature amount calculated in advance in the second medical image May be derived as the size represented by is larger.
  • a display control unit that displays the search result of the similar medical image on the display unit may be further provided.
  • FIG. 1 is a schematic block diagram illustrating a configuration of a similarity determination device according to a first embodiment.
  • Diagram showing an example of a multilayer neural network
  • the figure which shows the evaluation value according to the kind of finding about the central pixel of a certain region of interest
  • the figure which shows one cross section in the mapping image to which the color according to classification was allocated
  • Diagram showing the calculation result of the volume of findings
  • Diagram showing search result list
  • Diagram showing search results 4 is a flowchart illustrating processing performed in the first embodiment.
  • FIG. 1 is a schematic block diagram illustrating a configuration of a similarity determination device according to a first embodiment.
  • Diagram showing an example of a multilayer neural network
  • the figure which shows the evaluation value according to the kind of finding about the central pixel of a certain region of interest
  • the figure which shows one cross section in the mapping image to which the color according to classification was allocated
  • Diagram showing the calculation result of the volume of findings
  • the three-dimensional image capturing apparatus 2 is an apparatus that generates a three-dimensional image representing a part of a subject to be diagnosed by capturing an image of the part, and specifically, a CT apparatus, an MRI apparatus, and a PET ( Positron Emission Tomography) device.
  • the three-dimensional image composed of a plurality of slice images generated by the three-dimensional image photographing device 2 is transmitted to the image storage server 3 and stored.
  • the part to be diagnosed of the patient who is the subject is the lung
  • the three-dimensional image capturing device 2 is a CT device, and generates a CT image of the chest including the lungs of the subject as a three-dimensional image. I do.
  • the image storage server 3 is a computer that stores and manages various data, and includes a large-capacity external storage device and database management software.
  • the image storage server 3 communicates with other devices via a wired or wireless network 4 to transmit and receive image data and the like.
  • various data including the image data of the three-dimensional image generated by the three-dimensional image capturing device 2 is acquired via a network, and stored and managed in a recording medium such as a large-capacity external storage device.
  • the storage format of the image data and communication between the devices via the network 4 are based on a protocol such as DICOM (Digital Imaging and Communication in Medicine).
  • the similarity determination device 1 is a computer in which the similarity determination program of the present disclosure is installed.
  • the computer may be a workstation or personal computer directly operated by a physician performing diagnosis, or a server computer connected to them via a network.
  • the similarity determination program is recorded and distributed on a recording medium such as a DVD (Digital Versatile Disc) or a CD-ROM (Compact Disc Read Only Memory), and is installed in a computer from the recording medium.
  • a recording medium such as a DVD (Digital Versatile Disc) or a CD-ROM (Compact Disc Read Only Memory)
  • it is stored in a storage device of a server computer connected to a network or a network storage in a state where it can be accessed from the outside, and is downloaded and installed on a computer used by a doctor in response to a request.
  • a similarity deriving process for deriving a similarity between the test image and the case image a search process for searching for a case image similar to the test image based on the derived similarity; Defining a display control process for displaying the result on the display unit 14.
  • the computer obtains the image acquisition unit 21, the finding classification unit 22, the feature amount calculation unit 23, the weight coefficient setting unit 24, the similarity derivation unit 25, the search unit 26, It functions as the display control unit 27.
  • each layer arithmetic processing is performed on data of a plurality of different feature amounts obtained by the preceding layer using various kernels. Further, by performing further arithmetic processing on the data of the characteristic amount obtained by this arithmetic processing in the next and subsequent layers, the recognition rate of the characteristic amount is improved, and the input data is classified into a plurality of classes. Can be.
  • the multi-layer neural network 40 is made to learn about these findings by using many millions of teacher data.
  • a region of interest having a predetermined size for example, 1.5 cm ⁇ 1.5 cm
  • the teacher data is input to the multilayer neural network 40, and the result of classification processing of the type of finding (hereinafter, referred to as a classification result) is output.
  • the output result is compared with the teacher data, and a unit included in each layer of the multilayer neural network 40 (shown by a circle in FIG. 3) from the output side to the input side depending on whether the answer is correct or incorrect.
  • the weight of the connection between the respective layers is corrected.
  • the correction of the connection weight is repeated a predetermined number of times using a large number of teacher data or until the accuracy rate of the output classification result reaches 100%, and the learning is completed.
  • the feature amount calculation unit 23 calculates a feature amount for each finding classified in the inspection image V0. Specifically, at least one of the size of the region for each finding, the average density for each finding, the variance of the density for each finding, the number of regions for each finding, the average size of the region for each finding, and the like is calculated as a feature amount. I do. Note that the feature amount calculated for the inspection image V0 is referred to as a first feature amount. The size of the area for each finding, the number of areas for each finding, the average size of the area for each finding, and the like are the size feature amount. As the size of the region for each finding, the volume of the region for each finding can be used.
  • a file name, an evaluation value for a plurality of findings in each pixel, and a feature amount for each finding are registered for each of the plurality of case images.
  • the feature amount of the case image registered in the case database DB is referred to as a second feature amount.
  • the first feature value and the second feature value are normalized so as to have a value of 0 or more and 1 or less.
  • the evaluation values for a plurality of findings in each pixel and the feature amount for each finding are acquired for the inspection image V0
  • the inspection image V0 is registered as a new case image in the case database DB.
  • the evaluation value and the first feature value of the inspection image V0 are registered in the case database DB as the new case image evaluation value and the second feature value.
  • a is a constant that determines the difference in overall importance for each finding.
  • c is a constant that takes a value of 1 or less and determines the effect of emphasizing small-sized findings.
  • b is a constant that determines the degree of the effect of the constant c.
  • X (Pvi) 2/3 By raising the finding occupancy Pvi to the power of 2/3, the finding occupancy Pvi is converted from three dimensions to two dimensions.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

類似度決定装置、方法およびプログラムにおいて、画像に含まれる所見のサイズに応じて適切に画像間の類似度を決定できるようにする。所見分類部２２が、第１の医用画像の各画素を少なくとも１つの所見に分類する。特徴量算出部２３が、所見毎に第１の特徴量を算出する。重み係数設定部２４が、各所見に対して、各所見のサイズに応じて重み付けの程度が異なる重み係数を設定する。類似度導出部２５が、重み係数に応じて、第１の医用画像において算出された所見毎の前記第１の特徴量と、第２の医用画像において予め算出された所見毎の第２の特徴量との重み付け演算を行って、第１の医用画像と第２の医用画像との類似度を導出する。

Description

類似度決定装置、方法およびプログラム

　本開示は、２つの医用画像の類似度を決定する類似度決定装置、方法およびプログラムに関するものである。

　近年、ＣＴ（Computed Tomography）装置およびＭＲＩ（Magnetic Resonance Imaging）装置等の医療機器の進歩により、より質の高い高解像度の３次元画像が画像診断に用いられるようになってきている。

　一方、医療分野において、検査の対象となるＣＴ画像等の検査画像に基づいて、検査画像に類似する過去の症例を検索する類似症例検索装置が知られている（例えば非特許文献１および特許文献１，２参照）。非特許文献１には、肺の症例画像を複数種類の組織または病変（以下組織または病変を所見と称するものとする）をそれぞれ示す複数の領域に分類した上で、症例データベースに登録しておき、検査画像についても同様に肺を複数種類の所見をそれぞれ示す複数の領域に分類し、検査画像についての所見の分類結果に基づいて、検査画像に類似する症例画像を検索する手法が提案されている。また、特許文献１，２には、画像の濃度ヒストグラム、濃度の平均または濃度の分散等の画像の特徴量とデータベースに登録された画像との特徴量を比較することにより、検査画像に類似する画像を検索する手法が提案されている。また、画像間の類似度を算出する手法として、複数の画像のうち少なくとも一つの画像内に複数の部分領域を設定し、設定した部分領域毎に、他の画像内の対応する領域との間の類似度を決定し、決定した部分領域類似度を、各部分領域に対して設定された重み係数を用いて重み付け加算することにより、全体領域類似度を算出する手法が提案されている（特許文献３参照）。

　ところで、肺の疾患として間質性肺炎が知られている。間質性肺炎の患者のＣＴ画像を解析することにより、ＣＴ画像に含まれる蜂窩肺、網状影および嚢胞等の特定の所見を示す病変を分類して定量化する手法が提案されている（非特許文献２，３参照）。このようにＣＴ画像を解析して病変を分類して定量化することにより、肺の疾患の程度を容易に判定することができる。また、このように分類して定量化した領域にそれぞれ異なる色を割り当てて表示することにより、特定の症状の領域がどの程度画像内に含まれているかを、容易に診断できることとなる。

　また、ＣＴ画像等の３次元画像から注目する臓器等の構造物を抽出するためには、３次元画像において構造物を検出する必要がある。ここで、画像における注目する画素を複数のクラスに分類するために、深層学習（ディープラーニング）の手法が提案されている。

ディープラーニングとは、複数の処理層が階層的に接続されることにより構築された多層ニューラルネットワークを用いた機械学習の手法である。

　ディープラーニングにおいては、多層ニューラルネットワークの各層において、入力されるデータに対する前段の階層により得られる異なる複数の演算結果データ、すなわち特徴量の抽出結果データに対して演算処理を行う。そして、これにより得られる特徴量のデータに対して、次段以降の処理層においてさらなる演算処理を行うことにより、特徴量の認識率を向上させて、入力されたデータを複数のクラスに分類することができる。

　このようなディープラーニングの手法を、上述した３次元画像に適用して、３次元画像の各画素を複数のクラスに分類することが考えられる。例えば、３次元画像に含まれる複数種類の構造物を分類するに際し、３次元画像を入力として、３次元画像における処理対象となる画素を、複数種類の構造物のいずれかに分類するように、ニューラルネットワークに対してディープラーニングを行う。このようにしてディープラーニングがなされたニューラルネットワークを用いることにより、入力された３次元画像の対象とする画素を、複数種類の構造物のいずれかに分類することが可能となる。

再公表２０１３－６５０９０号 特開２０１１－１１８５４３号公報 特開２０００－３４２５５８号公報

Case-based lung image categorization and retrieval　For interstitial lung diseases: clinical workflow、Adrien Depeursingeら、Int J CARS (2012) 7:97-110、Published online: 1 June 2011 Evaluation of computer-based computer tomography stratification against outcome models in connective tissue disease-related interstitial lung disease: a patient outcome study、Joseph Jacob1ら、BMC Medicine (2016) 14:190、DOI 10.1186/s12916-016-0739-7 コンピュータによる間質性肺炎のＣＴ画像の定量評価、岩澤多恵、断層映像研究会雑誌　第４１巻第２号、２０１４年８月

　非特許文献１および特許文献１～３に記載された手法を用いることにより、検査画像の肺に含まれる病変が類似する症例画像を検索することができる。一方、検査画像に含まれる特徴的な所見はそのサイズによって重要度が異なる。

　本開示は上記事情に鑑みなされたものであり、画像に含まれる所見のサイズに応じて適切に画像間の類似度を決定できるようにすることを目的とする。

　本開示による類似度決定装置は、第１の医用画像と第２の医用画像との類似度を決定する類似度決定装置であって、

　第１の医用画像の各画素を、複数種類の所見のうちの少なくとも１つの所見に分類する所見分類部と、

　第１の医用画像において分類された所見毎に第１の特徴量を算出する特徴量算出部と、

　第１の医用画像において分類された各所見に対して、各所見のサイズに応じて重み付けの程度が異なる重み係数を設定する重み係数設定部と、

　重み係数に応じて、第１の医用画像において算出された所見毎の第１の特徴量と、第２の医用画像において予め算出された所見毎の第２の特徴量との重み付け演算を行って、第１の医用画像と第２の医用画像との類似度を導出する類似度導出部とを備える。

　なお、本開示による類似度決定装置においては、重み係数設定部は、所見毎に重み付けの程度が異なる重み係数を設定するものであってもよい。

　また、本開示による類似度決定装置においては、特徴量算出部は、所見毎のサイズを表すサイズ特徴量を含む第１の特徴量を算出し、

　類似度導出部は、サイズ特徴量と第２の医用画像において予め算出されたサイズ特徴量とが近く、かつサイズ特徴量により表されるサイズと第２の医用画像において予め算出されたサイズ特徴量により表されるサイズとが大きいほど、高い類似度を導出するものであってもよい。

　また、本開示による類似度決定装置においては、所見分類部は、第１の医用画像の画素毎に、複数種類の所見のそれぞれであることの可能性を表す複数の評価値を算出し、複数の評価値に基づいて、第１の医用画像の各画素を複数種類の所見のうちの少なくとも１つの所見に分類するものであってもよい。

　また、本開示による類似度決定装置においては、所見分類部は、第１の医用画像の各画素を、評価値が最大となる所見および評価値が予め定められたしきい値以上となる所見を含む複数の所見に分類するものであってもよい。

　この場合、所見分類部は、評価値が最大となる所見の評価値に基づいて決定されたしきい値を用いるものであってもよい。

　また、本開示による類似度決定装置においては、所見分類部は、複数種類の所見のうちの２以上の所見を含むグループ所見に、各画素を分類するものであってもよい。

　また、本開示による類似度決定装置においては、所見分類部は、複数種類の所見を分類するように機械学習がなされた判別器を有し、判別器により第１の医用画像の各画素を複数種類の所見に分類するものであってもよい。

　また、本開示による類似度決定装置においては、複数の第２の医用画像が登録された症例データベースであって、複数の第２の医用画像のそれぞれについての第２の特徴量が、複数の第２の医用画像のそれぞれと対応づけられて登録された症例データベースを参照して、第１の医用画像と複数の第２の医用画像との類似度に基づいて、第１の医用画像に類似する第２の医用画像を類似医用画像として検索する検索部をさらに備えるものであってもよい。

　この場合、類似医用画像の検索結果を表示部に表示する表示制御部をさらに備えるものであってもよい。

　本開示による類似度決定方法は、第１の医用画像と第２の医用画像との類似度を決定する類似度決定方法であって、

　第１の医用画像の各画素を、複数種類の所見のうちの少なくとも１つの所見に分類し、

　第１の医用画像において分類された所見毎に第１の特徴量を算出し、

　第１の医用画像において分類された各所見に対して、各所見のサイズに応じて重み付けの程度が異なる重み係数を設定し、

　重み係数に応じて、第１の医用画像において算出された所見毎の第１の特徴量と、第２の医用画像において予め算出された所見毎の第２の特徴量との重み付け演算を行って、第１の医用画像と第２の医用画像との類似度を導出する。

　なお、本開示による類似度決定方法をコンピュータに実行させるためのプログラムとして提供してもよい。

　本開示による他の類似度決定装置は、第１の医用画像と第２の医用画像との類似度を決定する処理をコンピュータに実行させるための命令を記憶するメモリと、

　記憶された命令を実行するよう構成されたプロセッサとを備え、プロセッサは、

　第１の医用画像の各画素を、複数種類の所見のうちの少なくとも１つの所見に分類し、

　第１の医用画像において分類された所見毎に第１の特徴量を算出し、

　第１の医用画像において分類された各所見に対して、各所見のサイズに応じて重み付けの程度が異なる重み係数を設定し、

　重み係数に応じて、第１の医用画像において算出された所見毎の第１の特徴量と、第２の医用画像において予め算出された所見毎の第２の特徴量との重み付け演算を行って、第１の医用画像と第２の医用画像との類似度を導出する処理を実行する。

　本開示によれば、第１の医用画像および第２の医用画像に含まれる所見のサイズに応じて、適切に画像間の類似度を決定することができる。

本開示の第１の実施形態による類似度決定装置を適用した、診断支援システムの概要を示すハードウェア構成図 第１の実施形態による類似度決定装置の構成を示す概略ブロック図 多層ニューラルネットワークの一例を示す図 ある関心領域の中心画素についての所見の種類に応じた評価値を示す図 分類に応じた色が割り当てられたマッピング画像における一断面を示す図 所見の体積の算出結果を示す図 検索結果リストを示す図 検索結果を示す図 第１の実施形態において行われる処理を示すフローチャート 検査画像Ｖ０における所見分類結果を一次元で示す図 図１０において領域Ａ１における所見ｅ１の評価値のα倍以上となる評価値を考慮した所見分類結果を示す図 最大評価値のα倍以上となる評価値を考慮した所見分類結果を説明するための図 最大評価値のα倍以上となる評価値を考慮した所見分類結果を説明するための図

　以下、図面を参照して本開示の実施形態について説明する。図１は、本開示の第１の実施形態による類似度決定装置を適用した、診断支援システムの概要を示すハードウェア構成図である。図１に示すように、診断支援システムでは、本実施形態による類似度決定装置１、３次元画像撮影装置２、および画像保管サーバ３が、ネットワーク４を経由して通信可能な状態で接続されている。

　３次元画像撮影装置２は、被検体の診断対象となる部位を撮影することにより、その部位を表す３次元画像を生成する装置であり、具体的には、ＣＴ装置、ＭＲＩ装置、およびＰＥＴ（Positron Emission Tomography）装置等である。この３次元画像撮影装置２により生成された、複数のスライス画像からなる３次元画像は画像保管サーバ３に送信され、保存される。なお、本実施形態においては、被検体である患者の診断対象部位は肺であり、３次元画像撮影装置２はＣＴ装置であり、被検体の肺を含む胸部のＣＴ画像を３次元画像として生成する。

　画像保管サーバ３は、各種データを保存して管理するコンピュータであり、大容量外部記憶装置およびデータベース管理用ソフトウェアを備えている。画像保管サーバ３は、有線あるいは無線のネットワーク４を介して他の装置と通信を行い、画像データ等を送受信する。具体的には３次元画像撮影装置２で生成された３次元画像の画像データを含む各種データをネットワーク経由で取得し、大容量外部記憶装置等の記録媒体に保存して管理する。なお、画像データの格納形式およびネットワーク４経由での各装置間の通信は、ＤＩＣＯＭ（Digital Imaging and Communication in Medicine）等のプロトコルに基づいている。なお、本実施形態においては、画像保管サーバ３には、検査の対象となる３次元画像（以下、検査画像とする）、および症例画像が登録された症例データベースＤＢが保存されているものとする。症例データベースＤＢについては後述する。また、本実施形態においては、検査画像は１以上のスライス画像（以下、検査スライス画像とする）からなる３次元画像である。また、症例画像も１以上のスライス画像（以下、症例スライス画像とする）からなる３次元画像である。なお、検査画像が第１の医用画像に、症例画像が第２の医用画像にそれぞれ対応する。

　類似度決定装置１は、１台のコンピュータに、本開示の類似度決定プログラムをインストールしたものである。コンピュータは、診断を行う医師が直接操作するワークステーションまたはパーソナルコンピュータでもよいし、それらとネットワークを介して接続されたサーバコンピュータでもよい。類似度決定プログラムは、ＤＶＤ（Digital Versatile Disc）あるいはＣＤ－ＲＯＭ（Compact Disc Read Only Memory）等の記録媒体に記録されて配布され、その記録媒体からコンピュータにインストールされる。または、ネットワークに接続されたサーバコンピュータの記憶装置、もしくはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じて医師が使用するコンピュータにダウンロードされ、インストールされる。

　図２は、コンピュータに類似度決定プログラムをインストールすることにより実現される本開示の第１の実施形態による類似度決定装置の概略構成を示す図である。図２に示すように、類似度決定装置１は、標準的なワークステーションの構成として、ＣＰＵ（Central Processing Unit）１１、メモリ１２およびストレージ１３を備えている。また、類似度決定装置１には、液晶ディスプレイ等からなる表示部１４、並びにキーボードおよびマウス等からなる入力部１５が接続されている。

　ストレージ１３は、ハードディスクおよびＳＳＤ(Solid State Drive)等からなる。ストレージ１３には、ネットワーク４を経由して画像保管サーバ３から取得した、被検体の検査画像および処理に必要な情報を含む各種情報が記憶されている。

　また、メモリ１２には、類似度決定プログラムが記憶されている。類似度決定プログラムは、ＣＰＵ１１に実行させる処理として、検査の対象となる検査画像を取得する画像取得処理、検査画像の各画素を、複数種類の所見のうちの少なくとも１つの所見に分類する所見分類処理、検査画像において分類された所見毎に第１の特徴量を算出する特徴量算出処理、検査画像において分類された各所見に対して、各所見のサイズに応じて重み付けの程度が異なる重み係数を設定する重み係数設定処理、重み係数に応じて、検査画像において算出された所見毎の第１の特徴量と、症例画像において予め算出された所見毎の第２の特徴量との重み付け演算を行って、検査画像と症例画像との類似度を導出する類似度導出処理、導出された類似度に基づいて、検査画像に類似する症例画像を検索する検索処理、並びに検索結果を表示部１４に表示する表示制御処理を規定する。

　そして、ＣＰＵ１１がプログラムに従いこれらの処理を実行することで、コンピュータは、画像取得部２１、所見分類部２２、特徴量算出部２３、重み係数設定部２４、類似度導出部２５、検索部２６および表示制御部２７として機能する。

　画像取得部２１は、検査の対象となる被検体の検査画像Ｖ０を取得する。なお、検査画像Ｖ０が既にストレージ１３に保存されている場合には、画像取得部２１は、ストレージ１３から検査画像Ｖ０を取得するようにしてもよい。

　所見分類部２２は、検査画像Ｖ０に含まれる肺領域の各画素を、複数種類の所見のうちの少なくとも１つの所見に分類する。具体的には、所見分類部２２は、検査画像Ｖ０に含まれる肺領域の画素毎に、複数種類の組織または病変（すなわち所見）のそれぞれであることの可能性を表す複数の評価値を算出し、複数の評価値に基づいて、検査画像Ｖ０の各画素を複数種類の所見のうちの少なくとも１つの所見に分類する。本実施形態においては、所見分類部２２は、検査画像Ｖ０の各画素を１つの所見に分類するものとする。

　本実施形態の所見分類部２２は、機械学習の１つであるディープラーニング（深層学習）によって生成された多層ニューラルネットワークからなる判別器を有し、この判別器を用いて、検査画像Ｖ０の各画素が属する所見の種類を特定する。なお、機械学習の手法としては、ディープラーニングに限定されるものではなく、サポートベクターマシン等の他の手法を用いることもできる。

　多層ニューラルネットワークでは、各層において、前段の階層により得られる異なる複数の特徴量のデータに対して各種カーネルを用いて演算処理を行う。そして、この演算処理によって得られる特徴量のデータに対して次段以降の層においてさらなる演算処理を行うことにより、特徴量の認識率を向上させ、入力されたデータを複数のクラスに分類することができる。

　なお、本実施形態においては、多層ニューラルネットワークを、検査画像Ｖ０を入力として、肺領域の複数種類の所見への分類結果を出力するものとして説明するが、検査画像Ｖ０を構成する複数の検査スライス画像のそれぞれを入力とし、肺領域の複数種類の所見への分類結果を出力するように構成することも可能である。

　図３は多層ニューラルネットワークの一例を示す図である。図３に示すように多層ニューラルネットワーク４０は、入力層４１および出力層４２を含む複数の階層からなる。本実施形態においては、検査画像Ｖ０に含まれる肺領域を、例えば、浸潤影、腫瘤影、すりガラス影、小葉中心性結節影、非小葉中心性結節影、網状影、線状影、小葉間隔壁肥厚、蜂窩肺、嚢胞、低吸収域（気腫）、気腫傾向、空洞、胸膜肥厚、胸水、空洞、気管支拡張、牽引性気管支拡張、動脈、正常肺、胸壁および縦隔等の複数の所見に分類するように学習がなされている。なお、所見の種類はこれらに限定されるものではなく、これらより多くの所見であってもよく、これらより少ない所見であってもよい。

　本実施形態においては、これらの所見について、数百万という多数の教師データを用いて、多層ニューラルネットワーク４０に学習させる。学習の際には、所見の種類が既知の断面画像から、予め定められたサイズ（例えば１．５ｃｍ×１．５ｃｍ）の関心領域を切り出し、その関心領域を教師データとして用いる。そして、多層ニューラルネットワーク４０に教師データを入力して、所見の種類の分類処理の結果（以下、分類結果とする）を出力させる。次いで、出力された結果を教師データと比較し、正解か不正解かに応じて、出力側から入力側に向かって、多層ニューラルネットワーク４０の各層に含まれるユニット（図３に丸印で示す）の各階層間における結合の重みを修正する。結合の重みの修正を、多数の教師データを用いて、予め定められた回数、または出力される分類結果の正解率が１００％になるまで繰り返し行い、学習を終了する。

　なお、入力される画像が検査スライス画像である場合において、多層ニューラルネットワーク４０の学習の際には、病変が既知の３次元画像を構成するスライス画像から、予め定められたサイズ（例えば１．５ｃｍ×１．５ｃｍ）に正規化された２次元領域を切り出し、切り出した２次元領域の画像を教師データとして用いる。

　所見分類部２２は、分類のために、検査画像Ｖ０から対象領域である肺領域を抽出する。肺領域を抽出する手法としては、検査画像Ｖ０における画素毎の信号値をヒストグラム化し、肺をしきい値処理することにより抽出する方法、または肺を表すシード点に基づく領域拡張法(Region Growing)等、任意の手法を用いることができる。なお、肺領域を抽出するように機械学習がなされた判別器を用いるようにしてもよい。

　所見分類部２２は、所見分類処理を行う際に、検査画像Ｖ０の肺領域から教師データと同じ大きさの関心領域を順次切り出し、その関心領域を多層ニューラルネットワーク４０からなる判別器に入力する。これにより、切り出した関心領域の中心画素について、所見の各分類に対応する評価値が出力される。なお、この各分類に対応する評価値は、中心画素が、各分類に属する可能性を示す評価値であり、この評価値が大きいほど、その分類に属する可能性が高いことを意味する。

　図４は、ある関心領域の中心画素についての所見の種類に応じた評価値を示す図である。なお、図４においては、説明を簡単なものとするために一部の所見についての評価値を示す。本実施形態において、判別器は、関心領域の中心画素を、複数の所見のうち、最も評価値が大きい所見に分類する。例えば、図４に示すような評価値が取得された場合、その関心領域の中心画素は、網状影である可能性が最も高く、次にすりガラス影の可能性が高い。逆に正常肺または低吸収域の可能性はほとんど無い。このため、図４に示すような評価値が取得された場合、所見分類処理により、関心領域の中心画素は評価値が最大の８．５である網状影に分類される。これにより、検査画像Ｖ０に含まれる肺領域の全画素が複数種類の所見のいずれに分類される。

　所見分類部２２は、上述したように学習がなされた多層ニューラルネットワーク４０からなる判別器に、抽出した肺領域から教師データと同一のボクセル領域を順次切り出して入力する。これにより、切り出した領域の中心画素について、複数種類の病変領域のそれぞれに対する複数の評価値が出力される。所見分類部２２は、多層ニューラルネットワーク４０に入力された領域の中心画素を、複数の評価値のうち最大の評価値となる所見に分類して所見分類結果を生成する。これにより、検査画像Ｖ０に含まれる肺領域の全画素が複数種類の所見のいずれかに分類される。

　所見分類部２２は、所見分類処理の結果に基づいて、検査画像Ｖ０における各分類の領域に色を割り当てることによってマッピング画像を生成する。具体的には、所見分類部２２は、上述した複数種類の所見のうちのいずれかに分類された３次元空間上の全ての画素について、同一の分類とされた画素に対して同じ色を割り当てることによって３次元のマッピング画像を生成する。図５は、複数種類の各分類に対して、その分類に応じた色が割り当てられたマッピング画像における一断面を示す図である。なお、図５においては、説明を簡単なものとするために、すりガラス影、正常肺、気管支拡張、蜂窩肺、網状影、浸潤影、低吸収域および嚢胞の８種類の所見に分類した場合のマッピング画像を示す。なお、後述する表示制御部２７により、マッピング画像を表示部１４に表示してもよい。マッピング画像を表示部１４に表示する際には、図５に示すように、３次元のマッピング画像における任意の断面の断面画像を表示すればよい。しかしながら、これに限らず、３次元のマッピング画像を表示部１４に表示してもよい。

　特徴量算出部２３は、検査画像Ｖ０において分類された所見毎に特徴量を算出する。具体的には、所見毎の領域の大きさ、所見毎の平均濃度、所見毎の濃度の分散、所見毎の領域の数および所見毎の領域の平均サイズ等の少なくとも１つを特徴量として算出する。なお、検査画像Ｖ０について算出した特徴量を、第１の特徴量と称するものとする。また、所見毎の領域の大きさ、所見毎の領域の数および所見毎の領域の平均サイズ等がサイズ特徴量である。所見毎の領域の大きさとしては、所見毎の領域の体積を用いることができる。

　なお、上述した症例データベースＤＢには、複数の症例画像のそれぞれに対して、ファイル名、各画素における複数の所見についての評価値、および所見毎の特徴量が登録されている。症例画像について症例データベースＤＢに登録されている特徴量を第２の特徴量と称するものとする。第１の特徴量および第２の特徴量は０以上１以下の値となるように正規化される。また、検査画像Ｖ０について、各画素における複数の所見についての評価値、および所見毎の特徴量が取得されると、その検査画像Ｖ０が症例データベースＤＢに新たな症例画像として登録される。その際、その検査画像Ｖ０についての評価値および第１の特徴量が、新たな症例画像の評価値および第２の特徴量として症例データベースＤＢに登録される。

　重み係数設定部２４は、検査画像Ｖ０の各画素が分類された各所見に対して、各所見のサイズに応じて重み付けの程度が異なる重み係数を設定する。重み係数は、後述する類似度導出処理の際に、検査画像Ｖ０において算出された所見毎の第１の特徴量と、症例画像において予め算出された、すなわち症例データベースＤＢに登録された所見毎の第２の特徴量との重み付け演算を行う際の重み係数である。

　ここで、医用画像の特徴は多彩であるため、医用画像の観点での特徴量の重要性を考慮して、特徴量に対して適切な重みを付けしないと、特徴量の違いの大きさが医学的な画像の違いの大きさと対応せず、類似度が医学的な感覚とずれてしまう。したがって、特徴量に対して適切に重み付けをしないと、検査画像Ｖ０に類似する症例画像を検索した場合、検索結果が不適切な類似度順となる可能性がある。

　ここで、検査画像Ｖ０および症例画像において、同一の所見が略同一の大きさで存在すれば、医学的に２つの画像は類似することとなる。また、所見領域が大きいほど、その所見は診断上重要であるため、所見の大きさが画像間の類似性を判断する上で、極めて重要である。

　一方、所見には、点状影のようにサイズが小さくても疾患の初期状態の特性を表す重要な所見もある。また、高齢化による肺の気腫化が進むと、肺にはやや低吸収の状態が発生してくるが、このような低吸収の所見は高齢患者で頻度が高いため、それほど重要ではない。このような高齢者の低吸収の所見は、サイズが大きくてもそれほど重要ではない。

　このため、点状影の所見および高齢者の低吸収の所見を同等に判断すると、大きな領域の低吸収域の微妙な差異が点状影の差異よりも大きくなる。その結果、点状影の類似性が低吸収域の類似性に埋もれ、医学的に重要な点状影の症例を含む症例画像を検索できないことになる。

　このため、本実施形態においては、重み係数設定部２４は、各所見のサイズに応じて重み付けの程度が異なる重み係数を、複数の所見のそれぞれに対して設定する。所見のサイズとしては、特徴量算出部２３が算出した第１の特徴量に含まれるサイズ特徴量を用いることができる。具体的には、所見の体積を用いることができる。ここで、所見の体積は３次元の検査画像Ｖ０に含まれる各所見の画素数に対して検査画像Ｖ０の１ボクセル当たりの体積を乗算することにより算出することができる。図６に所見の体積の算出結果を示す。図６においては体積の単位は立方ミリメートルである。ところで、肺の大きさは患者により異なる。このため、所見の体積を臓器の体積、すなわち肺の体積により正規化した所見占有率（＝所見体積／肺体積）を所見のサイズとして用いることが好ましい。本実施形態においては、所見のサイズとして所見占有率を用いるものとする。なお、所見占有率をサイズ特徴量として第１の特徴量に含めてもよい。この場合、特徴量算出部２３が所見占有率を算出してもよい。

　重み係数設定部２４は、検査画像Ｖ０の各所見について、下記の式（１）により所見毎の重み係数Ｗｉを設定する。なお、式（１）において、ｉは所見の種類、ｆｉは検査画像Ｖ０における所見毎の所見占有率Ｐｖｉをパラメータとする関数である。

　Ｗｉ＝ｆｉ（Ｐｖｉ）　　（１）

　ここで、図６に示すように大きいサイズの所見と小さいサイズの所見とでは、体積の値の桁数が異なる。このため、３次元の情報である所見占有率を関数ｆｉにより２次元相当に変換する等して次元を下げることが好ましい。これにより、所見のサイズの差異が医師の感覚と一致するものとなる。このため、上述したように、サイズが小さくても重要性が高い所見は、その重要度を高くするために、関数ｆｉにより非線形に変換することが好ましい。このため、本実施形態においては、関数ｆｉを下記の式（２）に示すように設定する。

　ｆｉ＝ａ・（ｂ・Ｘ＋（１－ｂ）・Ｘc）　　（２）

　なお、式（２）において、ａは所見毎の全体的な重要性の違いを決定する定数である。

ｃは１以下の値をとり、サイズが小さい所見を強調する効果を決定する定数である。ｂは定数ｃによる効果の程度を決定する定数である。また、Ｘ＝（Ｐｖｉ）2/3 である。所見占有率Ｐｖｉを２／３乗することにより、所見占有率Ｐｖｉを３次元から２次元相当に変換することとなる。

　重み係数設定部２４は、式（２）に示す関数を所見毎に設定して式（１）に適用することにより、複数種類の所見のそれぞれについての重み係数Ｗｉを設定する。

　類似度導出部２５は、重み係数設定部２４が設定した重み係数Ｗｉに応じて、検査画像Ｖ０において算出された所見毎の第１の特徴量と、症例画像において予め算出された所見毎の第２の特徴量との重み付け演算を行って、検査画像Ｖ０と症例画像との類似度を導出する。なお、類似度導出部２５は、検査画像Ｖ０と症例データベースＤＢに登録されたすべての症例画像との類似度を導出するものである。

　このために、類似度導出部２５は、検査画像Ｖ０について算出された第１の特徴量を０以上１以下の値に正規化する。そして、下記の式（３）に示すように、所見毎に、第１の特徴量と症例画像の第２の特徴量との距離の差を特徴量の差Ｄｄｉとして算出する。なお、式（３）において、ｋは特徴量の種類、Ｔｖｋは検査画像Ｖ０における種類毎の第１の特徴量を、Ｔｃｋは症例画像における種類毎の第２の特徴量を表す。なお、差分が算出される第１の特徴量と第２の特徴量とは特徴量の種類は同一である。また、式（３）においてΣはすべての種類の特徴量についての（Ｔｖｋ－Ｔｃｋ）2の総和を求めることを表す。なお、第１の特徴量および第２の特徴量は０以上１以下の値に正規化されているため、特徴量の差Ｄｄｉも０以上１以下の値となる。なお、第１の特徴量Ｔｖｋと第２の特徴量Ｔｃｋとが一致する場合、特徴量の差Ｄｄｉは０となる。なお、第１の特徴量と第２の特徴量との距離の差に代えて、第１の特徴量と第２の特徴量との差の絶対値等を用いてもよい。

　Ｄｄｉ＝√（Σ（Ｔｖｋ－Ｔｃｋ）2）　　（３）

　そして、類似度導出部２５は、重み係数Ｗｉを用いて、検査画像Ｖ０と症例画像との類似度Ｓ０を下記の式（４）により算出する。すなわち、所見毎に重み係数Ｗｉと特徴量の差Ｄｄｉとを乗算し、乗算結果をすべての所見について加算することにより、類似度Ｓ０を算出する。なお、式(４)を用いて類似度Ｓ０を算出した場合、第１の特徴量と第２の特徴量との距離が小さいほど、検査画像Ｖ０と症例画像とが類似することとなる。このため、式（４）には負号を付与し、検査画像Ｖ０と症例画像とが類似するほど、類似度Ｓ０の値が大きくなるようにしている。

　Ｓ０＝－Σ（Ｗｉ×Ｄｄｉ）　　（４）

　一方、上記式（４）により類似度を算出した場合、同一の所見が同一のサイズであれば、類似度は０となる。しかしながら、同一の病変同士を比較した場合、病変が大きいほど類似するというのが事実である。上記式（４）により類似度を算出した場合、サイズが比較的大きい所見が同一の特徴量である場合と、サイズが比較的小さい所見が同一の特徴量である場合とで両者の相違がなく、病変のサイズが大きいほど類似するという事実を反映できていないものとなる。

　したがって、検査画像Ｖ０および症例画像に含まれる同一の所見については、サイズは単なる差として扱うべきではなく、サイズが類似するほど類似度を大きくすることが好ましい。このため、本実施形態においては、類似度導出部２５は、以下の式（５）により、検査画像Ｖ０と症例画像との間において、所見毎のサイズの差Ｄｓｉをさらに算出する。

なお、式（５）において、Ｐｖｉは検査画像Ｖ０の所見ｉの所見占有率、Ｐｃｉは症例画像の所見ｉの所見占有率を示す。

　Ｄｓｉ＝１－｜Ｐｖｉ－Ｐｃｉ｜／（Ｐｖｉ＋Ｐｃｉ）　　（５）

　したがって、類似度導出部２５は、下記の式（６）により検査画像Ｖ０と症例画像との類似度Ｓ１を算出することが好ましい。ここで、Ｄｄｉは検査画像Ｖ０および症例画像において所見の特徴量が類似するほど値が小さくなり、Ｄｓｉは検査画像Ｖ０および症例画像において所見のサイズが類似するほど大きい値となる。このため、式（６）を用いることにより、同一の所見についてのサイズを考慮して、検査画像Ｖ０と症例画像とが類似するほど大きい値となる類似度を算出することができる。

　Ｓ１＝Σ（Ｗｉ×（Ｄｓｉ－Ｄｄｉ）　　（６）

　なお、式（６）により類似度Ｓ１を算出した場合、検査画像Ｖ０に応じて類似度Ｓ１の最大値が異なるものとなる。このため、検査画像Ｖ０と症例画像との類似度Ｓ１が最大となる条件、すなわち検査画像Ｖ０と症例画像との差異が無いという条件により類似度Ｓ１を正規化することが好ましい。式（７）は式（６）により算出した類似度Ｓ１を、検査画像Ｖ０と症例画像との類似度Ｓ１が最大となる条件により正規化したものである。式（７）においてＳ２は正規化した類似度である。

　Ｓ２＝Ｓ１／ΣＷｉ＝Σ（Ｗｉ×（Ｄｓｉ－Ｄｄｉ）／ΣＷｉ　　（７）

　なお、式（４）により類似度を算出する場合も、類似度Ｓ０を正規化することが好ましい。式（８）は式（４）を検査画像Ｖ０と症例画像との類似度Ｓ０が最大となる条件により正規化したものである。式（８）においてＳ３は正規化した類似度である。

　Ｓ３＝Ｓ０／ΣＷｉ＝Σ（Ｗｉ×Ｄｓｉ）／ΣＷｉ　　（８）

　検索部２６は、症例データベースＤＢから、類似度Ｓ２に基づいて、検査画像Ｖ０に類似する症例画像を類似症例画像として検索する検索処理を行う。まず、症例データベースＤＢについて説明する。

　症例データベースＤＢには、１以上の症例スライス画像からなる症例画像が複数登録されている。詳細には、複数の症例画像のそれぞれについての所見分類結果、特徴量（すなわち第２の特徴量）が、複数の症例画像のそれぞれと対応づけられて登録されている。本実施形態においては、検査画像Ｖ０が新たに取得されると、検査画像Ｖ０が症例データベースＤＢに新たな症例画像として登録される。

　検索部２６は、検査画像Ｖ０と症例データベースＤＢに登録されたすべての症例画像との類似度Ｓ２に基づいて、検査画像Ｖ０に類似する症例画像を類似症例画像として検索する。具体的には、検索部２６は、類似度Ｓ２が大きい順に症例画像をソートして検索結果リストを作成する。図７は検索結果リストを示す図である。図７に示すように、検索結果リストＬ０には、症例データベースＤＢに登録された症例画像が、類似度Ｓ２が大きい順にソートされている。そして、検索部２６は、検索結果リストＬ０におけるソート順が上位所定数の症例画像を、症例データベースＤＢから類似症例画像として抽出する。なお、類似症例画像が類似医用画像に対応する。

　表示制御部２７は、検索部２６による検索結果を表示部１４に表示する。図８は検索結果を示す図である。図８に示すように、検索結果５１には、ラベリングされた検査画像Ｖ１およびラベリングされた類似症例画像Ｒ１～Ｒ４が表示されている。なお、ここでは４つの類似症例画像Ｒ１～Ｒ４を表示しているが、さらに多くの類似症例画像を表示してもよい。

　図８において、検査画像Ｖ１および類似症例画像Ｒ１～Ｒ４は予め定められた投影方法により投影された投影画像となっている。なお、図８においては説明のために５種類のラベリングのみを示しているが、実際には分類された所見の種類に応じたラベリングがなされている。検査画像Ｖ１の下方には、アキシャル断面、サジタル断面およびコロナル断面の３つの断面における検査スライス画像５２～５４が表示されている。また、類似症例画像Ｒ１～Ｒ４の下方にも、同様の３つの断面における症例スライス画像が表示されている。また、検査画像Ｖ１の下方に表示された検査スライス画像５２～５４および類似症例画像Ｒ１～Ｒ４の下方に表示された症例スライス画像のスライス面は、入力部１５からの操作により切り替えることが可能である。

　次いで、第１の実施形態において行われる処理について説明する。図９は第１の実施形態において行われる処理を示すフローチャートである。まず、画像取得部２１が、検査画像Ｖ０を取得し（ステップＳＴ１）、所見分類部２２が、検査画像Ｖ０に含まれる肺領域を、複数種類の所見をそれぞれ示す複数種類の病変領域に分類して所見分類結果を生成する（ステップＳＴ２）。そして、特徴量算出部２３が、検査画像Ｖ０において分類された所見毎に第１の特徴量を算出する（ステップＳＴ３）。さらに、重み係数設定部２４が、検査画像Ｖ０の所見毎の重み係数Ｗｉを設定する（ステップＳＴ４）。

　続いて、類似度導出部２５が、重み係数に応じて、検査画像Ｖ０において算出された所見毎の第１の特徴量と、症例画像において予め算出された所見毎の第２の特徴量との重み付け演算を行って、検査画像Ｖ０と症例画像との類似度を導出する（ステップＳＴ５）。

なお、上述したように、類似度導出部２５は、検査画像Ｖ０と症例データベースＤＢに登録されたすべての症例画像との類似度を導出するものである。さらに、検索部２６が、類似度に基づいて検索処理を行い（ステップＳＴ６）、表示制御部２７が検索結果を表示部１４に表示し（ステップＳＴ７）、処理を終了する。

　このように、本実施形態によれば、検査画像Ｖ０の画素毎に、複数種類の所見のそれぞれであることの可能性を表す複数の評価値が算出され、複数の評価値に基づいて、検査画像Ｖ０の各画素が複数種類の所見のうちの少なくとも１つの所見に分類される。また、検査画像Ｖ０において分類された所見毎に第１の特徴量が算出される。さらに、検査画像Ｖ０において分類された各所見に対して、各所見のサイズに応じて重み付けの程度が異なる重み係数が設定される。そして、重み係数に応じて、検査画像Ｖ０において算出された所見毎の第１の特徴量と、症例画像において予め算出された所見毎の第２の特徴量との重み付け演算が行われて、検査画像Ｖ０と症例画像との類似度が導出される。本実施形態によれば、このように、各所見のサイズに応じて重み付けの程度が異なる重み係数を設定するようにしたため、検査画像Ｖ０および症例画像に含まれる所見のサイズに応じて、適切に画像間の類似度を決定することができる。

　なお、上記実施形態においては、所見分類部２２は、検査画像Ｖ０の各画素を評価値が最大となる１つの所見に分類しているが、検査画像Ｖ０の各画素を複数の所見に分類してもよい。具体的には、評価値が最大となる所見に加えて、評価値が予め定めら得たしきい値以上となる所見を含む複数の所見に分類してもよい。以下、これを第２の実施形態として説明する。ここで、第２の実施形態においては、所見分類部２２において行われる処理が第１の実施形態と異なり、装置の構成は図２と同一であるため、ここでは装置についての詳細な説明は省略する。

　ここで、実際の医用画像の態様は様々であり、定義した所見によりすべての状態を表現できるものではなく、例えば２つの所見が混在したような中間状態が存在する場合がある。また、病気の進行により濃度およびサイズの変化が現れる病変があり、濃度およびサイズのわずかな相違によって所見が異なるものとなる場合がある。しかしながら、このような場合、所見間の類似性は高いものとなる。

　このような、所見の混在および所見間の類似性を考慮して類似度を算出することができれば、検査画像Ｖ０と医学的により類似する症例画像を検索することができる。このために、第２の実施形態においては、所見分類部２２において、検査画像Ｖ０の各画素の複数の所見への分類を許容したものである。

　ここで、図４に示すように、ある関心領域の中心画素についての所見の種類に応じた評価値が算出された場合、すりガラス影の評価値は最大ではないものの７．６である。このような画素は網状影とすりガラス影とが混在した状態を表している可能性が高い。このため、第２の実施形態においては、所見分類部２２は、ある画素において、評価値が最大となる所見に加えて、評価値が予め定めら得たしきい値以上となる所見にも、その画素を分類する。なお、しきい値としては、評価値の最大値のα倍（例えばα＝０．７）を用いることができる。しかしながら、しきい値はこれに限定されるものではなく、絶対的な値を用いてもよい。なお、第２の実施形態においては、評価値が最大となる所見以外に、評価値がしきい値以上となる所見が存在しない場合がある。そのような場合は、各画素は複数の所見ではなく、１つの所見にのみ分類される。このため、第２の実施形態においては、検査画像Ｖ０の各画素は１以上の所見に分類されることとなる。

　図１０は検査画像Ｖ０における所見分類結果を一次元で示す図である。図１０において横軸は画像の位置を、縦軸は所見の評価値を示す。また、図１０においては、検査画像Ｖ０は各画素における所見の評価値の最大値のみを用いて、それぞれが所見ｅ０～ｅ２である３つの領域Ａ０～Ａ２に分類されたものとする。また、図１０においては、領域Ａ０における所見ｅ０の評価値の分布を一点鎖線で、領域Ａ１における所見ｅ１の評価値の分布を実線で、領域Ａ２における所見ｅ２の評価値の分布を破線で示している。

　図１１は図１０において領域Ａ１における所見ｅ１の評価値のα倍以上となる評価値を考慮した所見分類結果を示す図である。なお、図１１においては、領域Ａ１における所見ｅ１の評価値の最大値のα倍となるしきい値Ｔｈ０の分布を仮想線で示している。図１０において所見ｅ１に分類された領域Ａ１において、所見ｅ１の評価値の最大値のα倍となるしきい値Ｔｈ０を用いて複数の所見への分類を許容すると、所見ｅ２の領域が増加し、その結果、領域Ａ１には、所見ｅ１の領域Ａ１１および所見ｅ２の領域Ａ１２が含まれるものとなる。その結果、検査画像Ｖ０と症例画像との類似度を算出する際に、所見ｅ２についての特徴量を考慮することにより、所見ｅ２の類似度を考慮して、症例画像を検索することが可能となる。

　このように、検査画像Ｖ０の各画素を複数の所見に分類した場合、所見分類部２２は各画素を評価値に応じた１以上の所見に分類する。特徴量算出部２３は、第１の実施形態と同様に、分類された所見毎に第１の特徴量を算出する。ここで、第１の実施形態においては、図１０に示す領域Ａ１においては、所見ｅ１の特徴量のみが算出されるが、第２の実施形態においては、図１１に示す領域Ａ１においては、所見ｅ１の特徴量に加えて、領域Ａ１２において所見ｅ２の特徴量が算出される。このため、第２の実施形態においては、特徴量算出部２３は、より多くの領域についての所見ｅ２の特徴量を算出することとなる。

　重み係数設定部２４は、上記第１の実施形態と同様に重み係数Ｗｉを算出するが、検査画像Ｖ０の各画素が分類された１以上のすべての所見についての体積または所見占有率を用いて、重み係数を設定する。第２の実施形態においては、検査画像Ｖ０の画素毎において１以上の所見の分類を許容している。このため、評価値の最大値のみを用いた場合、図１２に示すように所見ｅ４および所見ｅ５に分類された領域Ａ４，Ａ５は、１以上の所見の分類を許容した結果、図１３に示すように図１２と比較して所見ｅ５の領域が大きくなるように分類されることにもなり得る。したがって、重み係数設定部２４は、重み係数Ｗｉの設定に際し、所見ｅ４については図１２に示す領域についての所見占有率を、所見ｅ５については図１３に示す領域についての所見占有率を用いることとなる。

　類似度導出部２５は、各画素が分類された１以上の所見を用いて、上記第１の実施形態と同様に、検査画像Ｖ０と症例画像との類似度を導出する。なお、所見毎のサイズの差Ｄｓｉについては、重み係数設定部２４が重み係数Ｗｉを設定する場合と同様に、所見ｅ４については図１２に示す領域についての所見占有率を、所見ｅ５については図１３に示す領域についての所見占有率を用いることとなる。

　このように、検査画像Ｖ０の画素毎に１以上の所見への分類を許容することにより、複数の所見が混在するような状況を考慮して、検査画像Ｖ０と症例画像との類似度を導出することができる。

　また、上記実施形態においては、検査画像Ｖ０の各画素を１以上の所見に分類しているが、複数種類の所見のうち、例えば症状が類似する２以上の所見をまとめグループ所見を定義し、検査画像Ｖ０の各画素を、グループ所見を含めた所見に分類してもよい。例えば、図１２および図１３に示す所見ｅ４と所見ｅ５とを同一のグループ所見ｅ６にまとめた場合、特徴量算出部２３は所見ｅ４および所見ｅ５に加えて、グループ所見ｅ６についての特徴量を算出する。重み係数設定部２４は、所見ｅ４および所見ｅ５に加えて、グループ所見ｅ６についての重み係数を設定し、類似度導出部２５は、所見ｅ４および所見ｅ５に加えて、グループ所見ｅ６をも用いて検査画像Ｖ０と症例画像との類似度を導出することとなる。これにより、症状が類似する所見を考慮して検査画像Ｖ０と症例画像との類似度を決定することができる。

　また、上記各実施形態においては、検査画像Ｖ０の画素毎に、複数種類の所見のそれぞれであることの可能性を表す複数の評価値を算出し、複数の評価値に基づいて、検査画像Ｖ０の各画素を複数種類の所見のうちの少なくとも１つの所見に分類しているが、所見分類の手法は評価値を用いる手法に限定されるものではない。

　なお、上記各実施形態においては、画像保管サーバ３に症例データベースＤＢを保存しているが、ストレージ１３に症例データベースＤＢを保存してもよい。

　また、上記各実施形態においては、検査画像を症例データベースＤＢに登録しているが、検査画像以外の画像を登録対象画像として症例データベースに登録してもよい。

　また、上記各実施形態において、例えば、画像取得部２１、所見分類部２２、特徴量算出部２３、重み係数設定部２４、類似度導出部２５、検索部２６および表示制御部２７といった各種の処理を実行する処理部（processing unit）のハードウェア的な構造としては、次に示す各種のプロセッサ（processor）を用いることができる。上記各種のプロセッサには、上述したように、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡ（Field　Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device :PLD）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。

　１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせまたはＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。

　複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントおよびサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアとの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:SoC）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。

　さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（circuitry）を用いることができる。

　　　１　　類似度決定装置

　　　２　　３次元画像撮影装置

　　　３　　画像保管サーバ

　　　４　　ネットワーク

　　　１１　　ＣＰＵ

　　　１２　　メモリ

　　　１３　　ストレージ

　　　１４　　表示部

　　　１５　　入力部

　　　２１　　画像取得部

　　　２２　　所見分類部

　　　２３　　特徴量算出部

　　　２４　　重み係数設定部

　　　２５　　類似度導出部

　　　２６　　検索部

　　　２７　　表示制御部

　　　４０　　多層ニューラルネットワーク

　　　４１　　入力層

　　　４２　　出力層

　　　５１　　検索結果

　　　５２～５４　　検査スライス画像

　　　Ａ０～Ａ２，Ａ４，Ａ５，Ａ１１，Ａ１２　　領域

　　　ＤＢ　　症例データベース

　　　ｅ０～ｅ５　　所見

　　　Ｌ０　　検査リスト

　　　Ｒ１～Ｒ４　　類似症例画像

　　　Ｖ０，Ｖ１　　検査画像

Claims (12)


  1. 　第１の医用画像と第２の医用画像との類似度を決定する類似度決定装置であって、

    　前記第１の医用画像の各画素を、複数種類の所見のうちの少なくとも１つの所見に分類する所見分類部と、

    　前記第１の医用画像において分類された所見毎に第１の特徴量を算出する特徴量算出部と、

    　前記第１の医用画像において分類された各所見に対して、該各所見のサイズに応じて重み付けの程度が異なる重み係数を設定する重み係数設定部と、

    　前記重み係数に応じて、前記第１の医用画像において算出された前記所見毎の前記第１の特徴量と、前記第２の医用画像において予め算出された前記所見毎の第２の特徴量との重み付け演算を行って、前記第１の医用画像と前記第２の医用画像との類似度を導出する類似度導出部とを備えた類似度決定装置。

  2. 　前記重み係数設定部は、前記所見毎に重み付けの程度が異なる前記重み係数を設定する請求項１に記載の類似度決定装置。

  3. 　前記特徴量算出部は、前記所見毎のサイズを表すサイズ特徴量を含む第１の特徴量を算出し、

    　前記類似度導出部は、前記サイズ特徴量と前記第２の医用画像において予め算出されたサイズ特徴量とが近く、かつ前記サイズ特徴量により表されるサイズと前記第２の医用画像において予め算出されたサイズ特徴量により表されるサイズとが大きいほど、高い類似度を導出する請求項１または２に記載の類似度決定装置。

  4. 　前記所見分類部は、前記第１の医用画像の画素毎に、前記複数種類の所見のそれぞれであることの可能性を表す複数の評価値を算出し、該複数の評価値に基づいて、前記第１の医用画像の各画素を前記複数種類の所見のうちの少なくとも１つの所見に分類する請求項１から３のいずれか１項に記載の類似度決定装置。

  5. 　前記所見分類部は、前記第１の医用画像の各画素を、前記評価値が最大となる所見および前記評価値が予め定められたしきい値以上となる所見を含む複数の所見に分類する請求項４に記載の類似度決定装置。

  6. 　前記所見分類部は、前記評価値が最大となる所見の該評価値に基づいて決定された前記しきい値を用いる請求項５に記載の類似度決定装置。

  7. 　前記所見分類部は、前記複数種類の所見のうちの２以上の所見を含むグループ所見に、前記各画素を分類する請求項１から６のいずれか１項に記載の類似度決定装置。

  8. 　前記所見分類部は、前記複数種類の所見を分類するように機械学習がなされた判別器を有し、該判別器により前記第１の医用画像の各画素を前記複数種類の所見に分類する請求項１から７のいずれか１項に記載の類似度決定装置。

  9. 　複数の前記第２の医用画像が登録された症例データベースであって、前記複数の第２の医用画像のそれぞれについての前記第２の特徴量が、前記複数の第２の医用画像のそれぞれと対応づけられて登録された症例データベースを参照して、前記第１の医用画像と複数の前記第２の医用画像との類似度に基づいて、前記第１の医用画像に類似する第２の医用画像を類似医用画像として検索する検索部をさらに備えた請求項１から８のいずれか１項に記載の類似度決定装置。

  10. 　前記類似医用画像の検索結果を表示部に表示する表示制御部をさらに備えた請求項９に記載の類似度決定装置。

  11. 　第１の医用画像と第２の医用画像との類似度を決定する類似度決定方法であって、

    　前記第１の医用画像の各画素を、複数種類の所見のうちの少なくとも１つの所見に分類し、

    　前記第１の医用画像において分類された所見毎に第１の特徴量を算出し、

    　前記第１の医用画像において分類された各所見に対して、該各所見のサイズに応じて重み付けの程度が異なる重み係数を設定し、

    　前記重み係数に応じて、前記第１の医用画像において算出された前記所見毎の前記第１の特徴量と、前記第２の医用画像において予め算出された前記所見毎の第２の特徴量との重み付け演算を行って、前記第１の医用画像と前記第２の医用画像との類似度を導出する類似度決定方法。

  12. 　第１の医用画像と第２の医用画像との類似度を決定する手順をコンピュータに実行させる類似度決定プログラムであって、

    　前記第１の医用画像の各画素を、複数種類の所見のうちの少なくとも１つの所見に分類する手順と、

    　前記第１の医用画像において分類された所見毎に第１の特徴量を算出する手順と、

    　前記第１の医用画像において分類された各所見に対して、該各所見のサイズに応じて重み付けの程度が異なる重み係数を設定する手順と、

    　前記重み係数に応じて、前記第１の医用画像において算出された前記所見毎の前記第１の特徴量と、前記第２の医用画像において予め算出された前記所見毎の第２の特徴量との重み付け演算を行って、前記第１の医用画像と前記第２の医用画像との類似度を導出する手順とをコンピュータに実行させる類似度決定プログラム。
PCT/JP2019/023817 2018-08-31 2019-06-17 類似度決定装置、方法およびプログラム WO2020044736A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201980055700.1A CN112601494A (zh) 2018-08-31 2019-06-17 相似度确定装置、方法及程序
DE112019004335.8T DE112019004335T5 (de) 2018-08-31 2019-06-17 Ähnlichkeitsbestimmungsvorrichtung, ähnlichkeitsbestimmungsverfahren und ähnlichkeitsbestimmungsprogramm
JP2020540089A JPWO2020044736A1 (ja) 2018-08-31 2019-06-17 類似度決定装置、方法およびプログラム
US17/170,822 US11893735B2 (en) 2018-08-31 2021-02-08 Similarity determination apparatus, similarity determination method, and similarity determination program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018162858 2018-08-31
JP2018-162858 2018-08-31

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/170,822 Continuation US11893735B2 (en) 2018-08-31 2021-02-08 Similarity determination apparatus, similarity determination method, and similarity determination program

Publications (1)

Publication Number Publication Date
WO2020044736A1 true WO2020044736A1 (ja) 2020-03-05

Family

ID=69644175

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/023817 WO2020044736A1 (ja) 2018-08-31 2019-06-17 類似度決定装置、方法およびプログラム

Country Status (5)

Country Link
US (1) US11893735B2 (ja)
JP (1) JPWO2020044736A1 (ja)
CN (1) CN112601494A (ja)
DE (1) DE112019004335T5 (ja)
WO (1) WO2020044736A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113379990B (zh) * 2021-05-19 2022-07-12 深圳市安星数字系统有限公司 监控保护装置及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002230518A (ja) * 2000-11-29 2002-08-16 Fujitsu Ltd 診断支援プログラム、診断支援プログラムを記録したコンピュータ読取可能な記録媒体、診断支援装置及び診断支援方法
WO2018116727A1 (ja) * 2016-12-19 2018-06-28 富士フイルム株式会社 類似症例検索装置とその作動方法および作動プログラム、並びに類似症例検索システム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000342558A (ja) 1999-06-04 2000-12-12 Konica Corp 画像の位置合わせ処理装置及び画像間演算処理装置
US6941323B1 (en) * 1999-08-09 2005-09-06 Almen Laboratories, Inc. System and method for image comparison and retrieval by enhancing, defining, and parameterizing objects in images
JP2001117936A (ja) * 1999-10-19 2001-04-27 Olympus Optical Co Ltd ３次元類似画像検索装置
US6925199B2 (en) * 2000-11-29 2005-08-02 Fujitsu Limited Computer readable recording medium recorded with diagnosis supporting program, diagnosis supporting apparatus and diagnosis supporting method
JP2011118543A (ja) 2009-12-01 2011-06-16 Shizuoka Prefecture 症例画像検索装置、方法およびプログラム
JP5597429B2 (ja) * 2010-03-31 2014-10-01 富士フイルム株式会社 医用画像処理装置および方法、並びにプログラム
CN103339626A (zh) * 2011-01-31 2013-10-02 松下电器产业株式会社 病例检索装置及病例检索方法
CN103200861B (zh) 2011-11-04 2015-10-14 松下电器产业株式会社 类似病例检索装置以及类似病例检索方法
US9135272B2 (en) * 2013-10-04 2015-09-15 International Business Machines Corporation Finding similar coronary angiograms in a database
JP6109778B2 (ja) * 2014-03-27 2017-04-05 富士フイルム株式会社 類似症例検索装置、類似症例検索方法、及び類似症例検索プログラム
JP6099593B2 (ja) * 2014-03-27 2017-03-22 富士フイルム株式会社 類似症例検索装置、類似症例検索方法、及び類似症例検索プログラム
CN106560827B (zh) * 2015-09-30 2021-11-26 松下知识产权经营株式会社 控制方法
JP6855850B2 (ja) * 2017-03-10 2021-04-07 富士通株式会社 類似症例画像検索プログラム、類似症例画像検索装置及び類似症例画像検索方法
EP3714467A4 (en) * 2017-11-22 2021-09-15 Arterys Inc. CONTENT-BASED IMAGE RECOVERY FOR LESION ANALYSIS
US11189367B2 (en) * 2018-05-31 2021-11-30 Canon Medical Systems Corporation Similarity determining apparatus and method
EP3611733A1 (en) * 2018-08-15 2020-02-19 Siemens Healthcare GmbH Searching a medical reference image

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002230518A (ja) * 2000-11-29 2002-08-16 Fujitsu Ltd 診断支援プログラム、診断支援プログラムを記録したコンピュータ読取可能な記録媒体、診断支援装置及び診断支援方法
WO2018116727A1 (ja) * 2016-12-19 2018-06-28 富士フイルム株式会社 類似症例検索装置とその作動方法および作動プログラム、並びに類似症例検索システム

Also Published As

Publication number Publication date
US11893735B2 (en) 2024-02-06
JPWO2020044736A1 (ja) 2021-08-10
CN112601494A (zh) 2021-04-02
US20210182629A1 (en) 2021-06-17
DE112019004335T5 (de) 2021-05-12

Similar Documents

Publication Publication Date Title
US10734107B2 (en) Image search device, image search method, and image search program
US11756292B2 (en) Similarity determination apparatus, similarity determination method, and similarity determination program
JP6914233B2 (ja) 類似度決定装置、方法およびプログラム
US11854190B2 (en) Similarity determination apparatus, similarity determination method, and similarity determination program
Irene et al. Segmentation and approximation of blood volume in intracranial hemorrhage patients based on computed tomography scan images using deep learning method
JP7034306B2 (ja) 領域分割装置、方法およびプログラム、類似度決定装置、方法およびプログラム、並びに特徴量導出装置、方法およびプログラム
JP7479546B2 (ja) 表示装置、方法およびプログラム
US11989880B2 (en) Similarity determination apparatus, similarity determination method, and similarity determination program
US11893735B2 (en) Similarity determination apparatus, similarity determination method, and similarity determination program
Luong et al. A computer-aided detection to intracranial hemorrhage by using deep learning: a case study
US12039717B2 (en) Region dividing device, method, and program, similarity determining apparatus, method, and program, and feature quantity deriving apparatus, method, and program
Thool et al. Artificial Intelligence in Medical Imaging Data Analytics using CT Images
WO2022137855A1 (ja) 情報処理装置、方法およびプログラム
WO2020241857A1 (ja) 医療文書作成装置、方法およびプログラム、学習装置、方法およびプログラム、並びに学習済みモデル
US20230088616A1 (en) Progression prediction apparatus, progression prediction method, and progression prediction program
Ramos Analysis of medical images to support decision-making in the musculoskeletal field

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19853840

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020540089

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 19853840

Country of ref document: EP

Kind code of ref document: A1