WO2020241178A1 - Lung cancer assessment device and lung cancer assessment method - Google Patents

Lung cancer assessment device and lung cancer assessment method Download PDF

Info

Publication number
WO2020241178A1
WO2020241178A1 PCT/JP2020/018346 JP2020018346W WO2020241178A1 WO 2020241178 A1 WO2020241178 A1 WO 2020241178A1 JP 2020018346 W JP2020018346 W JP 2020018346W WO 2020241178 A1 WO2020241178 A1 WO 2020241178A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
lung cancer
feature amount
vetch
map
Prior art date
Application number
PCT/JP2020/018346
Other languages
French (fr)
Japanese (ja)
Inventor
秀孝 有村
健太 二宮
Original Assignee
国立大学法人九州大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 国立大学法人九州大学 filed Critical 国立大学法人九州大学
Publication of WO2020241178A1 publication Critical patent/WO2020241178A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/483—Physical analysis of biological material
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Food Science & Technology (AREA)
  • Medicinal Chemistry (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Urology & Nephrology (AREA)
  • Hematology (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

A prognosis assessment device 1 has: a threshold value processing unit 21 that prepares an image obtained by performing a threshold value process, by using a prescribed threshold value, on a subject image in which a lung cancer tissue to be analyzed is captured; a Betti map generation unit 22 that generates a Betti map, for the image having undergone the threshold value process, by counting the number of tissue holes and/or connection parts for each prescribed individual region of interest; and a feature amount calculation unit 23 that calculates, from the Betti map, feature amounts relating to prognosis.

Description

肺がん評価装置及び肺がん評価方法Lung cancer evaluation device and lung cancer evaluation method
　本発明は、肺がん評価装置及び肺がん評価方法に関する。 The present invention relates to a lung cancer evaluation device and a lung cancer evaluation method.
　がん患者の患部のＣＴ画像を撮像し、画像処理技術を用いてがんに係る判定を行う方法が検討されている。例えば、特許文献１では、組織の画像を解析することで、画像にがん組織の像が含まれているかを判定する方法が開示されている。また、非特許文献１では、テクスチャ特徴およびウェーブレット分解等を使用してがん組織の画像に係る特徴量を求め、肺がんの予後を推定することが検討されている。 A method of capturing a CT image of the affected area of a cancer patient and making a determination regarding cancer using image processing technology is being studied. For example, Patent Document 1 discloses a method of determining whether or not an image of a cancer tissue is included in an image by analyzing an image of the tissue. Further, in Non-Patent Document 1, it is studied to obtain the feature amount related to the image of cancer tissue by using texture features, wavelet decomposition, etc., and estimate the prognosis of lung cancer.
特許第５５２２４８１号公報Japanese Patent No. 5522481
　しかしながら、肺がんに係る予後の推定を含む種々の評価については精度に関して改善の余地があった。 However, there was room for improvement in accuracy of various evaluations, including estimation of the prognosis for lung cancer.
　本開示は上記を鑑みてなされたものであり、肺がんに係る評価を精度よく行うことが可能な肺がん評価装置及び肺がん評価方法を提供することを目的とする。 The present disclosure has been made in view of the above, and an object of the present disclosure is to provide a lung cancer evaluation device and a lung cancer evaluation method capable of accurately evaluating lung cancer.
　上記目的を達成するため、本開示の一形態に係る肺がん評価装置は、分析対象の肺がん組織を撮像した対象画像について、所定の閾値を用いて閾値処理を行った画像を準備する閾値処理部と、閾値処理後の画像について、所定の個別関心領域毎に組織の穴及び連結部分の数の少なくとも一方をカウントすることにより、ベッチマップを作成するベッチマップ作成部と、前記ベッチマップから、肺がんに係る評価に関連する特徴量を算出する、特徴量算出部と、を有する。 In order to achieve the above object, the lung cancer evaluation device according to one embodiment of the present disclosure includes a threshold processing unit that prepares an image obtained by performing threshold processing using a predetermined threshold on a target image obtained by imaging the lung cancer tissue to be analyzed. , A vetch map creation unit that creates a vetch map by counting at least one of the number of holes and connecting portions of the tissue for each predetermined individual area of interest for the image after the threshold processing, and the vetch map to lung cancer. It has a feature amount calculation unit for calculating the feature amount related to the evaluation.
　また、本開示の一形態に係る肺がん評価方法は、分析対象の肺がん組織を撮像した対象画像について、所定の閾値を用いて閾値処理を行った画像を準備する画像準備ステップと、閾値処理後の画像について、所定の個別関心領域毎に組織の穴及び連結部分の数の少なくとも一方をカウントすることにより、ベッチマップを作成するベッチマップ作成ステップと、前記ベッチマップから、肺がんに係る評価に関連する特徴量を算出する、特徴量算出ステップと、を含む。 Further, the lung cancer evaluation method according to one embodiment of the present disclosure includes an image preparation step of preparing an image obtained by performing threshold processing using a predetermined threshold on a target image obtained by imaging the lung cancer tissue to be analyzed, and an image preparation step after the threshold processing. A vetch map creation step of creating a vetch map by counting at least one of the number of holes and connecting portions of the tissue for each predetermined individual area of interest for the image, and the vetch map, which is related to the evaluation of lung cancer. It includes a feature amount calculation step for calculating the feature amount.
　上記の肺がん評価装置及び肺がん評価方法によれば、分析対象の肺がん組織を撮像した対象画像について、閾値に基づく閾値処理を行った画像を準備し、当該画像について、所定の関心領域毎に組織の穴及び連結部分の数の少なくとも一方をカウントすることにより、ベッチマップを作成し、このベッチマップに基づいて肺がんに係る評価を行うための特徴量が算出される。このようにがん組織の穴または連結部分に係るベッチマップを作成した上で肺がんの評価に関連する特徴量を算出する構成とすることで、肺がんに係る評価を精度よく行うことが可能となる。 According to the above-mentioned lung cancer evaluation device and lung cancer evaluation method, an image obtained by performing threshold processing based on a threshold is prepared for a target image obtained by imaging the lung cancer tissue to be analyzed, and the image of the tissue is prepared for each predetermined region of interest. By counting at least one of the number of holes and connecting portions, a vetch map is created, and a feature amount for evaluating lung cancer is calculated based on this vetch map. By creating a vetch map related to the hole or connecting portion of the cancer tissue and then calculating the feature amount related to the evaluation of lung cancer, it is possible to accurately evaluate the lung cancer. ..
　ここで、前記閾値処理部において、１の前記対象画像から、閾値を変更した複数種類の閾値処理を行った画像を準備し、前記ベッチマップ作成部において、前記複数種類の閾値処理を行った画像から、複数の前記ベッチマップを作成し、前記特徴量算出部において、前記複数のベッチマップに基づいて特徴量を算出する態様としてもよい。 Here, the threshold value processing unit prepares an image obtained by performing a plurality of types of threshold value processing in which the threshold value is changed from the target image of 1, and the vetch map creating unit prepares an image obtained by performing the plurality of types of threshold value processing. Therefore, a plurality of the vetch maps may be created, and the feature amount calculation unit may calculate the feature amount based on the plurality of vetch maps.
　上記のように、１の対象画像から閾値を変更した複数種類の閾値処理を行った画像を準備し、複数のベッチマップを作成した上で特徴量を算出する構成とすることで、分析対象の肺がん組織に含まれる種々の穴等に係る情報を反映したベッチマップを作成することができると共に、これらの情報を考慮して特徴量を算出することができる。したがって、肺がんに係る評価をより精度よく行うことができる。 As described above, by preparing an image subjected to a plurality of types of threshold processing in which the threshold is changed from one target image, creating a plurality of vetch maps, and calculating the feature amount, the analysis target can be analyzed. A vetch map that reflects information on various holes and the like contained in lung cancer tissue can be created, and a feature amount can be calculated in consideration of this information. Therefore, the evaluation of lung cancer can be performed more accurately.
　前記ベッチマップは、所定の個別関心領域毎の組織の穴の数に係る情報、連結部分の数に係る情報、前記連結部分の数と前記穴の数との比に係る情報のうちの少なくとも何れかに対応する情報を含む態様としてもよい。 The vetch map is at least one of information on the number of holes in the tissue for each predetermined individual area of interest, information on the number of connecting portions, and information on the ratio of the number of connecting portions to the number of holes. The mode may include information corresponding to the map.
　上記のように、ベッチマップとして、所定の個別関心領域毎の組織の穴の数に係る情報、連結部分の数に係る情報、連結部分の数と穴の数との比に係る情報のうちの少なくとも何れかに対応する情報を用いることで、組織の穴、連結部分等の特徴に基づいたベッチマップを作成し、これを利用して特徴量を算出することができるため、肺がんに係る評価を組織の特徴に基づいて精度よく行うことができる。 As described above, as a vetch map, among the information related to the number of holes in the organization for each predetermined individual area of interest, the information related to the number of connected parts, and the information related to the ratio of the number of connected parts to the number of holes By using information corresponding to at least one of them, a vetch map based on the characteristics of tissue holes, connecting parts, etc. can be created, and the characteristic amount can be calculated using this, so that the evaluation related to lung cancer can be evaluated. It can be done accurately based on the characteristics of the organization.
　前記特徴量算出部は、前記ベッチマップから、予後に関連する特徴量を算出する態様としてもよい。 The feature amount calculation unit may be in a mode of calculating the feature amount related to prognosis from the vetch map.
　上記のベッチマップに基づいて予後に関連する特徴量を算出する構成とすることで、肺がんの予後を精度よく推定することが可能となる。 By configuring the features related to prognosis to be calculated based on the above Vetch map, it is possible to accurately estimate the prognosis of lung cancer.
　前記特徴量算出部において、予後の予測に係る数理モデルに対して所定のアルゴリズムを複数回適用することで、予後に関連する特徴量を選択する態様としてもよい。 In the feature amount calculation unit, a predetermined algorithm may be applied to the mathematical model related to the prediction of the prognosis a plurality of times to select the feature amount related to the prognosis.
　上記のように数理モデルに対して所定のアルゴリズムを適用して特徴量を選択する際に、これを複数回適用して特徴量を選択することにより、特徴量の選択をより精度良く行うことができるため、肺がんの予後をより精度よく推定することが可能となる。 When selecting a feature by applying a predetermined algorithm to a mathematical model as described above, it is possible to select the feature more accurately by applying this multiple times to select the feature. Therefore, it becomes possible to estimate the prognosis of lung cancer more accurately.
　前記特徴量算出部は、前記ベッチマップから、ＥＧＦＲ変異肺がんの有無に関連する特徴量を算出する態様としてもよい。 The feature amount calculation unit may be in a mode of calculating the feature amount related to the presence or absence of EGFR mutant lung cancer from the Vetch map.
　上記のベッチマップに基づいてＥＧＦＲ変異肺がんの有無に関連する特徴量を算出する構成とすることで、ＥＧＦＲ変異肺がんの有無を精度よく評価することが可能となる。 By configuring the feature amount related to the presence or absence of EGFR mutant lung cancer based on the above Vetch map, it is possible to accurately evaluate the presence or absence of EGFR mutant lung cancer.
　本開示によれば、肺がんに係る評価を精度よく行うことが可能な肺がん評価装置及び肺がん評価方法が提供される。 According to the present disclosure, a lung cancer evaluation device and a lung cancer evaluation method capable of accurately evaluating lung cancer are provided.
図１は、第１実施形態に係る予後推定装置の構成を説明するブロック図である。FIG. 1 is a block diagram illustrating a configuration of a prognosis estimation device according to the first embodiment. 図２は、予後推定装置において行われる予後の推定に係る処理を説明するフロー図である。FIG. 2 is a flow chart illustrating a process related to prognosis estimation performed by the prognosis estimation device. 図３（ａ）、図３（ｂ）、図３（ｃ）は、予後推定装置が取得する画像の例を説明する図である。3 (a), 3 (b), and 3 (c) are diagrams for explaining an example of an image acquired by the prognosis estimation device. 図４は、閾値処理を行った画像を説明する図である。FIG. 4 is a diagram illustrating an image that has undergone threshold processing. 図５は、ベッチマップ画像の作成手順について説明するフロー図である。FIG. 5 is a flow chart illustrating a procedure for creating a Vetch map image. 図６は、ベッチマップ画像の作成手順について説明する図である。FIG. 6 is a diagram illustrating a procedure for creating a Vetch map image. 図７は、閾値毎に作成されたベッチマップ画像を説明する図である。FIG. 7 is a diagram illustrating a Vetch map image created for each threshold value. 図８（ａ）、図８（ｂ）、図８（ｃ）、図８（ｄ）は、異なる手順で算出した特徴量に基づいてがん患者を２群に分けた際の、２群の分離具合について説明する図である。8 (a), 8 (b), 8 (c), and 8 (d) show the two groups when the cancer patients were divided into two groups based on the features calculated by different procedures. It is a figure explaining the degree of separation. 図９は、第２実施形態に係るＥＧＦＲ変異検出装置の構成を説明するブロック図である。FIG. 9 is a block diagram illustrating the configuration of the EGFR mutation detection device according to the second embodiment. 図１０は、ＥＧＦＲ変異検出装置において行われるＥＧＦＲ変異肺がんの有無の評価に係る処理を説明するフロー図である。FIG. 10 is a flow chart illustrating a process related to evaluation of the presence or absence of EGFR mutant lung cancer performed by the EGFR mutation detection device. 図１１は、ＣＴ値及びビット深さを変更した場合のＣＴ画像の例を示す図である。FIG. 11 is a diagram showing an example of a CT image when the CT value and the bit depth are changed. 図１２（ａ）、図１２（ｂ）、図１２（ｃ）は、閾値処理を行った画像を説明する図である。12 (a), 12 (b), and 12 (c) are diagrams for explaining the image subjected to the threshold value processing. 図１３（ａ）、図１３（ｂ）は、異なる手順で算出した特徴量に基づいてがん患者を２群に分けた際の、２群の分離具合について説明する図である。13 (a) and 13 (b) are diagrams for explaining the degree of separation between the two groups when the cancer patients are divided into two groups based on the feature amounts calculated by different procedures.
　以下、添付図面を参照して、本発明を実施するための形態を詳細に説明する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。 Hereinafter, embodiments for carrying out the present invention will be described in detail with reference to the accompanying drawings. In the description of the drawings, the same elements are designated by the same reference numerals, and duplicate description will be omitted.
（第１実施形態）
　図１は、本開示の第１実施形態に係る肺がん評価装置の一種である予後推定装置を説明するブロック図である。肺がん評価装置とは、肺がん患者の患部の画像から、患者の肺がんに係る種々の評価を行う装置である。このような肺がん評価装置の一種である予後推定装置１は、肺がん患者の患部の画像から肺がんの予後を推定する装置である。対象となる肺がんには、非小細胞肺がん（腺がん、扁平上皮がん、大細胞がん、腺扁平上皮がん等）、及び、小細胞肺がんの両方が含まれる。以下の実施形態では、これらを総称して肺がんという。予後推定装置１では、肺がん患者の患部組織（がん組織）を撮像した画像に基づいて肺がんの予後に関連性の高い特徴量（radiomic features）を算出して出力する機能を有する。予後推定装置１では、肺がんの予後と関連性が高い特徴量を算出することができるため、画像に基づいて特徴量の算出結果が、肺がんの予後の推定結果に対応するといえる。 (First Embodiment)
FIG. 1 is a block diagram illustrating a prognosis estimation device, which is a type of lung cancer evaluation device according to the first embodiment of the present disclosure. The lung cancer evaluation device is a device that evaluates various lung cancers of a patient from an image of an affected area of the lung cancer patient. The prognosis estimation device 1 which is a kind of such a lung cancer evaluation device is a device for estimating the prognosis of lung cancer from an image of an affected part of a lung cancer patient. Target lung cancers include both non-small cell lung cancers (adenocarcinomas, squamous cell lung cancers, large cell carcinomas, adenocarcinomas, etc.) and small cell lung cancers. In the following embodiments, these are collectively referred to as lung cancer. The prognosis estimation device 1 has a function of calculating and outputting radiomic features that are highly relevant to the prognosis of lung cancer based on an image of the affected tissue (cancer tissue) of a lung cancer patient. Since the prognosis estimation device 1 can calculate the feature amount that is highly related to the prognosis of lung cancer, it can be said that the calculation result of the feature amount based on the image corresponds to the estimation result of the prognosis of lung cancer.
　予後推定装置１における肺がんの予後の推定に利用する肺がん患者の患部組織を撮像した画像（対象画像）としては、例えば、ＣＴ（Computed Tomography：コンピュータ断層撮影）により得られるＣＴ画像が挙げられる。予後推定装置１では、肺がんの患部組織及びその周囲を撮像したＣＴ画像に対して所定の処理を行うことで、予後に関係する特徴量を算出することができる。 Examples of the image (target image) of the affected tissue of the lung cancer patient used for estimating the prognosis of lung cancer in the prognosis estimation device 1 include a CT image obtained by CT (Computed Tomography). In the prognosis estimation device 1, the feature amount related to the prognosis can be calculated by performing a predetermined process on the CT image of the affected tissue of lung cancer and its surroundings.
　図１に示すように、予後推定装置１は、画像取得部１１、画像解析部１２、記憶部１３、及び、出力部１４を有する。 As shown in FIG. 1, the prognosis estimation device 1 has an image acquisition unit 11, an image analysis unit 12, a storage unit 13, and an output unit 14.
　予後推定装置１は、例えば、ＣＰＵ（Central　Processing　Unit）、主記憶装置であるＲＡＭ（Random　Access　Memory）及びＲＯＭ（Read　Only　Memory）、他の機器との間の通信を行う通信モジュール、並びにハードディスク等の補助記憶装置等のハードウェアを備えるコンピュータとして構成される。そして、これらの構成要素が動作することにより、予後推定装置１としての機能が発揮され得る。なお、予後推定装置１としての機能は、複数のコンピュータの組み合わせによって実現されていてもよい。 The prognosis estimation device 1 includes, for example, a CPU (Central Processing Unit), RAM (Random Access Memory) and ROM (Read Only Memory) that are main storage devices, a communication module that communicates with other devices, a hard disk, and the like. It is configured as a computer equipped with hardware such as an auxiliary storage device. Then, by operating these components, the function as the prognosis estimation device 1 can be exhibited. The function as the prognosis estimation device 1 may be realized by a combination of a plurality of computers.
　予後推定装置１の画像取得部１１は、外部装置等から患者の患部組織を撮像したＣＴ画像である対象画像を取得する機能を有する。また、画像取得部１１は、ＣＴ画像に含まれる患部組織（肺がん組織）の領域を特定する情報も併せて取得してもよい。一般的に、患者のＣＴ画像として、肺がん組織及びその周辺の組織を撮像した画像が取得される。したがって、画像取得部１１では、ＣＴ画像と共に当該ＣＴ画像のうち肺がん組織を撮像した領域を特定する情報を取得する。これにより、画像取得部１１は、肺がん組織を撮像した画像（肺がん組織として特定された像が含まれる画像）を取得することができる。なお、ＣＴ画像自体から肺がん組織の領域を特定することができる場合には、肺がん組織の領域を特定する情報を別途取得しなくてもよい。 The image acquisition unit 11 of the prognosis estimation device 1 has a function of acquiring a target image which is a CT image of the affected tissue of the patient from an external device or the like. In addition, the image acquisition unit 11 may also acquire information for identifying the region of the affected tissue (lung cancer tissue) included in the CT image. Generally, as a CT image of a patient, an image of lung cancer tissue and tissues around it is acquired. Therefore, the image acquisition unit 11 acquires information for identifying the region in which the lung cancer tissue is imaged in the CT image together with the CT image. As a result, the image acquisition unit 11 can acquire an image of the lung cancer tissue (an image including an image specified as the lung cancer tissue). If the region of the lung cancer tissue can be identified from the CT image itself, it is not necessary to separately acquire the information for identifying the region of the lung cancer tissue.
　画像解析部１２は、肺がん組織を撮像したＣＴ画像についての解析を行い、肺がんの予後に係る特徴量を算出する機能を有する。画像解析部１２で行われる解析の詳細については後述するが、ＣＴ画像を所定の閾値に基づいた二値化処理を行った後、肺がん組織に含まれる孔の数に係るベッチ数（Betti numbers）の分布に基づくベッチマップを作成する。そして、このベッチ数の分布に基づいてがんの予後に関連する特徴量を算出する。そのため、画像解析部１２は、閾値処理部２１、ベッチマップ作成部２２、及び、特徴量算出部２３を有する。 The image analysis unit 12 has a function of analyzing a CT image of a lung cancer tissue and calculating a feature amount related to the prognosis of lung cancer. The details of the analysis performed by the image analysis unit 12 will be described later, but after the CT image is binarized based on a predetermined threshold value, the Betti numbers related to the number of holes contained in the lung cancer tissue. Create a Bettimap based on the distribution of. Then, the feature amount related to the prognosis of cancer is calculated based on the distribution of this Betti number. Therefore, the image analysis unit 12 has a threshold value processing unit 21, a vetch map creation unit 22, and a feature amount calculation unit 23.
　記憶部１３は、画像取得部１１において取得された画像及びがん組織の領域を特定する情報、画像解析部１２による解析結果等を記憶する機能を有する。 The storage unit 13 has a function of storing the image acquired by the image acquisition unit 11, the information for identifying the region of the cancer tissue, the analysis result by the image analysis unit 12, and the like.
　出力部１４は、画像解析部１２による解析結果を出力する機能を有する。出力先としては、予後推定装置１に設けられたモニタ、外部装置等が挙げられる。また、出力内容等は特に限定されず、例えば、画像解析部１２により算出された特徴量をそのまま出力する態様としてもよいし、特徴量に基づいた予後の判定を行いその結果を出力する態様としてもよい。予後の判定を行う場合には、判定を行うためのロジック等を記憶部１３において保持し、特徴量を算出した後に当該ロジックを用いて判定を行うこととしてもよい。 The output unit 14 has a function of outputting the analysis result by the image analysis unit 12. Examples of the output destination include a monitor provided in the prognosis estimation device 1, an external device, and the like. Further, the output content and the like are not particularly limited, and for example, the feature amount calculated by the image analysis unit 12 may be output as it is, or the prognosis is determined based on the feature amount and the result is output. May be good. When determining the prognosis, the storage unit 13 may hold a logic or the like for determining the prognosis, calculate the feature amount, and then use the logic to perform the determination.
　次に、図２～図７を参照しながら、肺がん評価装置による肺がん評価方法の一例として、予後推定装置１による画像に基づく予後推定の手順について説明する。図２は、予後推定装置１において行われる予後の推定に係る処理を説明するフロー図である。この図２を参照しながら、予後の推定に係る処理について説明する。 Next, with reference to FIGS. 2 to 7, the procedure of prognosis estimation based on the image by the prognosis estimation device 1 will be described as an example of the lung cancer evaluation method by the lung cancer evaluation device. FIG. 2 is a flow chart illustrating a process related to prognosis estimation performed by the prognosis estimation device 1. The process related to the estimation of the prognosis will be described with reference to FIG.
　まず、予後推定装置１では、画像取得部１１により、肺がん組織を含むＣＴ画像と、当該ＣＴ画像における肺がん組織（腫瘍組織）を撮像した領域を特定する情報を取得する（ステップＳ０１）。画像取得部１１が取得する情報の例を図３に示す。図３（ａ）は、肺がん組織を含む領域を撮像したＣＴ画像の例である。図３（ｂ）は、ＣＴ画像のうち、肺がん組織の像が含まれる領域を特定した情報の例であり、白色部分が肺がん組織であることを示している。図３（ｃ）は、図３（ａ）で示すＣＴ画像に対して図３（ｂ）で示す肺がん組織の場所を特定する情報を重ね合わせたものである。画像取得部１１において図３（ｃ）で示す情報を取得することで、予後推定装置１では、ＣＴ画像のうち肺がん組織を撮像した領域を特定することができ、当該領域に含まれる情報を予後の推定に利用することができる。 First, in the prognosis estimation device 1, the image acquisition unit 11 acquires the CT image including the lung cancer tissue and the information for identifying the region in which the lung cancer tissue (tumor tissue) is imaged in the CT image (step S01). FIG. 3 shows an example of the information acquired by the image acquisition unit 11. FIG. 3A is an example of a CT image in which a region including lung cancer tissue is imaged. FIG. 3B is an example of information that identifies a region of the CT image that includes an image of lung cancer tissue, and the white portion indicates that it is lung cancer tissue. FIG. 3 (c) is a superposition of information for identifying the location of the lung cancer tissue shown in FIG. 3 (b) on the CT image shown in FIG. 3 (a). By acquiring the information shown in FIG. 3C in the image acquisition unit 11, the prognosis estimation device 1 can identify the region in which the lung cancer tissue is imaged in the CT image, and prognosis of the information contained in the region. Can be used to estimate.
　次に、予後推定装置１の画像解析部１２の閾値処理部２１では、前処理としてＣＴ画像を８ビットのグレースケール画像に変換する（ステップＳ０２）。この処理を行うことにより、２５６段階の光の強さで表示されたグレースケールのＣＴ画像を得ることができる。その後、複数の閾値を用いて二値化処理を行い、閾値処理画像を作成する（ステップＳ０３：画像準備ステップ）。上記の通り、ＣＴ画像は２５６段階（０～２５５）の光の強度の組み合わせで構成されている。したがって、そのうちいずれかの段階を閾値として設定し、光の強度が閾値またはそれ以下の領域を黒とし、光の強度が閾値よりも大きい領域を白とすることで、二値化された画像を得ることができる。０～２５５のそれぞれを閾値として二値化処理を行うことで、２５６枚の二値化画像を得ることができる。図４は上記の処理に得られた二値化画像を閾値（threshold value）に並べたものを模式的に示している。図４に示すように、閾値が０の場合には、画像全体が白くなる。一方、閾値を大きくすると徐々に画像に含まれる黒色の領域が大きくなる。また、図示していないが閾値が２５５の場合には、画像全体が黒くなる。このように１枚のＣＴ画像から２５６枚の閾値処理を行った画像（閾値処理画像）を生成する。 Next, the threshold value processing unit 21 of the image analysis unit 12 of the prognosis estimation device 1 converts the CT image into an 8-bit grayscale image as preprocessing (step S02). By performing this process, a grayscale CT image displayed with 256 levels of light intensity can be obtained. After that, binarization processing is performed using a plurality of threshold values to create a threshold value processed image (step S03: image preparation step). As described above, the CT image is composed of a combination of 256 levels (0 to 255) of light intensity. Therefore, by setting one of the steps as a threshold value, blackening the region where the light intensity is equal to or lower than the threshold value, and whitening the region where the light intensity is higher than the threshold value, the binarized image is obtained. Obtainable. By performing the binarization process with each of 0 to 255 as a threshold value, 256 binarized images can be obtained. FIG. 4 schematically shows a binarized image obtained by the above processing arranged at a threshold value. As shown in FIG. 4, when the threshold value is 0, the entire image becomes white. On the other hand, as the threshold value is increased, the black region included in the image gradually increases. Further, although not shown, when the threshold value is 255, the entire image becomes black. In this way, 256 threshold-processed images (threshold-processed images) are generated from one CT image.
　次に、予後推定装置１のベッチマップ作成部２２では、閾値処理画像毎にベッチマップを作成する（ステップＳ０４：ベッチマップ作成ステップ）。ベッチマップとは、閾値処理画像に含まれるがん組織の穴の数に係るベッチ数及び連結部分の数に係るベッチ数に基づいて作成された画像である。ベッチマップの作成については、図５及び図６を参照しながら説明する。 Next, the vetch map creation unit 22 of the prognosis estimation device 1 creates a vetch map for each threshold value processed image (step S04: vetch map creation step). The Betti map is an image created based on the Betti number related to the number of holes in the cancer tissue and the Betti number related to the number of connecting portions included in the threshold value processed image. The creation of the vetch map will be described with reference to FIGS. 5 and 6.
　まず、上述の通り、閾値処理画像を準備する（ステップＳ１１）。次に、準備した閾値処理画像について、ベッチ数を算出するための領域毎に画像を分割する（ステップＳ１２）。図６では、閾値を７０として二値化した画像Ｄ１を示している。この画像Ｄ１を例えばカーネルサイズを縦横共に７ピクセルとして分割する。なお、以降の処理を行う対象となる領域は、肺がん組織を撮像した領域である。この領域を関心領域（ＲＯＩ：regions of interests）という場合があり、分割された領域の一つずつを個別関心領域（local ROI）という場合がある。 First, as described above, the threshold value processed image is prepared (step S11). Next, with respect to the prepared threshold-processed image, the image is divided into regions for calculating the Betti number (step S12). FIG. 6 shows an image D1 binarized with a threshold value of 70. This image D1 is divided into, for example, a kernel size of 7 pixels both vertically and horizontally. The area to be processed thereafter is the area where the lung cancer tissue is imaged. This area may be referred to as an area of interest (ROI: regions of interests), and each of the divided areas may be referred to as an individual area of interest (local ROI).
　次に、ベッチマップ作成部２２では、分割された領域毎にベッチ数（Betti numbers）ｂ０及びｂ１を算出した画像（ｂ０画像及びｂ１画像）を生成する（ステップＳ１３、ステップＳ１４）。ベッチ数とは、位相空間に対する不変量であり、自然数で記述される。本実施形態では、ベッチ数ｂ０（０次のベッチ数）は分割された領域における連結成分の数を示す。ベッチ数ｂ１（１次のベッチ数）は分割された領域における穴の数を示す。すなわち、ベッチ数ｂ１，ｂ０を算出することは、所定の関心領域毎に組織の穴及び連結部分の数をそれぞれカウントすることに対応するといえる。 Next, the Betti map creation unit 22 generates images (b0 image and b1 image) for which the Betti numbers b0 and b1 are calculated for each divided area (step S13, step S14). The Betti number is an invariant with respect to the topological space and is described by a natural number. In the present embodiment, the Betti number b0 (0th-order Betti number) indicates the number of connected components in the divided region. The Betti number b1 (primary Betti number) indicates the number of holes in the divided region. That is, it can be said that calculating the Betti numbers b1 and b0 corresponds to counting the number of holes and connecting portions of the tissue for each predetermined region of interest.
　図６では、一部の関心領域ＲＯＩに対応する画像Ｄ２及び画像Ｄ３を反転した画像を示している。画像Ｄ２のうち黒色となっている領域は、がん組織が存在しないため暗くなっている、すなわち、穴となっている領域を示している。画像Ｄ２では、白色の領域である連結部分（白色の画素同士が連結されている部分）が１つとなっている。すなわち、画像Ｄ２では１つの連結部分のみで構成されている。したがって、この画像Ｄ２に基づくベッチ数ｂ０は１となる。 FIG. 6 shows an inverted image of the image D2 and the image D3 corresponding to a part of the region of interest ROI. The black region in the image D2 indicates a region that is dark because there is no cancer tissue, that is, a hole. In the image D2, there is one connected portion (a portion where white pixels are connected to each other) which is a white region. That is, the image D2 is composed of only one connecting portion. Therefore, the Betti number b0 based on this image D2 is 1.
　また、画像Ｄ３では、穴となっている領域が白色で示されているが、この領域が３つ独立した状態（穴となっている領域に対して隣接する４辺の画素が全て黒色である状態）で存在している。したがって、この画像Ｄ３（画像Ｄ２と同じ）に基づくベッチ数ｂ１は３となる。このように、分割した領域毎にベッチ数ｂ０，ｂ１をそれぞれ算出する。分割した領域毎にベッチ数は算出されるので、各領域でのベッチ数ｂ０の算出結果をまとめたｂ０画像（図６の画像Ｄ４）及び各領域でのベッチ数ｂ１の算出結果をまとめたｂ１画像（図６の画像Ｄ５）を得ることができる。ｂ０画像の作成（Ｓ１３）及びｂ１画像の作成（Ｓ１４）は、独立した工程であるので、同時に行ってもよいし、いずれかを先に行ってもよい。 Further, in the image D3, the region forming the hole is shown in white, but the three regions are independent (the pixels on the four sides adjacent to the region forming the hole are all black). State) exists. Therefore, the Betti number b1 based on this image D3 (same as the image D2) is 3. In this way, the Betti numbers b0 and b1 are calculated for each of the divided regions. Since the Betti number is calculated for each divided region, a b0 image (image D4 in FIG. 6) summarizing the calculation results of the Betti number b0 in each region and b1 summarizing the calculation results of the Betti number b1 in each region. An image (image D5 of FIG. 6) can be obtained. Since the b0 image creation (S13) and the b1 image creation (S14) are independent steps, they may be performed at the same time, or either of them may be performed first.
　次に、ベッチマップ作成部２２では、ｂ０画像及びｂ１画像から、ｂ１／ｂ０画像を作成する（ステップＳ１５）。上述のようにベッチ数ｂ０及びｂ１は、いずれも自然数であるので、ｂ１／ｂ０を算出することができる。上記のように分割された領域毎にベッチ数がｂ０，ｂ１が算出されるので、これらの数値に基づいて領域毎にｂ１／ｂ０を算出する。算出されたｂ１／ｂ０の分布を図示したのがｂ１／ｂ０画像である。図６では、ｂ０画像Ｄ４及びｂ１画像Ｄ５に基づいて作成されたｂ１／ｂ０画像Ｄ６を示している。このｂ１／ｂ０画像Ｄ６が、ベッチマップ画像に対応する。なお、本実施形態では「ベッチマップ画像」はｂ１／ｂ０画像Ｄ６である場合について説明するが、ｂ０画像Ｄ４及びｂ１画像Ｄ５についても後述の特徴量の算出に使用してもよい。すなわち、ｂ０画像Ｄ４及びｂ１画像Ｄ５もベッチマップ画像に含んでもよい。 Next, the vetch map creation unit 22 creates a b1 / b0 image from the b0 image and the b1 image (step S15). Since the Betti numbers b0 and b1 are both natural numbers as described above, b1 / b0 can be calculated. Since the Betti numbers b0 and b1 are calculated for each of the regions divided as described above, b1 / b0 is calculated for each region based on these numerical values. The b1 / b0 image shows the calculated distribution of b1 / b0. FIG. 6 shows a b1 / b0 image D6 created based on the b0 image D4 and the b1 image D5. The b1 / b0 image D6 corresponds to the vetch map image. In the present embodiment, the case where the "betch map image" is the b1 / b0 image D6 will be described, but the b0 image D4 and the b1 image D5 may also be used for the calculation of the feature amount described later. That is, the b0 image D4 and the b1 image D5 may also be included in the vetch map image.
　ベッチマップ画像は、１つの二値化画像から１つ生成することができる。すなわち、本実施形態で説明したように２５６個の二値化画像（閾値処理画像）を作成した場合、２５６個のベッチマップを作成することができる。 One Vetch map image can be generated from one binarized image. That is, when 256 binarized images (threshold processed images) are created as described in the present embodiment, 256 vetch maps can be created.
　図２に戻り、予後推定装置１の特徴量算出部２３では、上記の手順で得られた複数のベッチマップ画像から、予後推定用の特徴量（radiomic features）を算出する（ステップＳ０５：特徴量算出ステップ）。予後推定用の特徴量とは、ベッチマップ画像から算出される特徴量であり肺がんの予後と関連性が高いと考えられる特徴量である。予後推定用の特徴量を算出するための手法としては、従来、Soufi M, Arimura H, Nakamoto T, Hirose T aki, Ohga S, Umezu Y, Honda H and Sasaki T "Exploration of temporal stability and prognostic power of radiomic features based on electronic portal imaging device images" Physica Medica, February 2018, 46, Pages 32-44等で開示されている特徴量の算出手法を適用することができる。従来開示されている特徴量の算出手法とは、８ビットグレースケールに変換した１枚のＣＴ画像からウェーブレット関数に基づく４種類の画像を準備し、この４種類の画像に基づいて５４個の特徴量を算出するものである。特徴量を算出する手法自体は上記の文献に記載されている。また、本実施形態でも上記と同様の方法により１枚のｂ１／ｂ０画像から５４種類の特徴量を得ることができる。本実施形態の場合、例えば、２５６個のベッチマップ画像に対して上記の特徴量の算出を行った結果、合計１３８２４の特徴量（homological radiomic features）を得ることができる。 Returning to FIG. 2, the feature amount calculation unit 23 of the prognosis estimation device 1 calculates the feature amount (radiomic features) for prognosis estimation from the plurality of Vetch map images obtained by the above procedure (step S05: feature amount). Calculation step). The feature amount for prognosis estimation is a feature amount calculated from a Vetch map image and is considered to be highly related to the prognosis of lung cancer. Conventionally, as a method for calculating features for prognosis estimation, Soufi M, Arimura H, Nakamoto T, Hirose Taki, Ohga S, Umezu Y, Honda H and Sasaki T "Exploration of temporary stability and prognostic power of" The feature amount calculation method disclosed in radiomic features based on electronic portal imaging device images "Physica Medica, February 2018, 46, Pages 32-44, etc. can be applied. The conventionally disclosed feature amount calculation method is to prepare four types of images based on the wavelet function from one CT image converted to 8-bit grayscale, and 54 features based on these four types of images. It calculates the amount. The method itself for calculating the feature amount is described in the above-mentioned document. Further, also in this embodiment, 54 kinds of feature quantities can be obtained from one b1 / b0 image by the same method as described above. In the case of the present embodiment, for example, as a result of calculating the above-mentioned feature amounts for 256 Vetch map images, a total of 13824 feature amounts (homological radiomic features) can be obtained.
　なお、本実施形態では、予後の予測に係る数理モデルを用いて、上記の１３８２４の特徴量から予後の推定に適した特徴量として７種類の特徴量を選択している。具体的には、ＣＰＨＭ（コックス比例ハザードモデル：Cox Proportional-Hazards Model）を用いている。このモデルはある患者が他の患者が長生きしているかを評価する関数であり、患者の生存時間を予測するものである。このモデルに対して、ｅｌａｓｔｉｃ－ｎｅｔというスパースモデリングを適用したＣｏｘ－ｎｅｔアルゴリズムを適用することで、特徴量を選択する処理を行った。Ｃｏｘ－ｎｅｔアルゴリズム自体は予後の推定に用いられている公知のものであり、例えば、Simon N, Friedman J, Hastie T and Tibshirani R "Regularization Paths for Cox’s Proportional Hazards Model via Coordinate Descent" Journal of Statistical Software, Mar 2011, 39(5), Pages.1-13に具体的に記載されている。このＣｏｘ－ｎｅｔアルゴリズムを用いることで、肺がんの予後の推定に適した特徴量を５４種類の特徴量から選択することができる。 In this embodiment, seven types of features are selected from the above-mentioned 13824 features as suitable features for prognosis estimation using a mathematical model related to prognosis prediction. Specifically, CPHM (Cox Proportional-Hazards Model) is used. This model is a function that evaluates whether one patient lives longer than another, and predicts the survival time of the patient. A process of selecting features was performed by applying a Cox-net algorithm to which a sparse modeling called elastic-net was applied to this model. The Cox-net algorithm itself is a known one used for prognosis estimation, for example, Simon N, Friedman J, Hastie T and Tibshirani R "Regularization Paths for Cox's Proportional Hazards Model via Coordinate Descent" Journal of Statistical Software. It is specifically described in Mar 2011, 39 (5), Pages.1-13. By using this Cox-net algorithm, a feature amount suitable for estimating the prognosis of lung cancer can be selected from 54 types of feature amounts.
　また、本実施形態では、１３８２４の特徴量に対してＣｏｘ－ｎｅｔアルゴリズムを１００回適用することで、患者の生存時間の予測（すなわち、予後の推定）との相関がより強いと考えられる７個の特徴量を選択している。Ｃｏｘ－ｎｅｔアルゴリズムを１００回適用することで、より多様な条件において予後との相関が高い特徴量を特定することができる。 Further, in the present embodiment, by applying the Cox-net algorithm 100 times to the feature amount of 13824, 7 pieces are considered to have a stronger correlation with the prediction of the survival time of the patient (that is, the estimation of the prognosis). The feature amount of is selected. By applying the Cox-net algorithm 100 times, it is possible to identify features having a high correlation with prognosis under more various conditions.
　なお、上記の手順で算出された特徴量が予後の予測に有用かどうかを評価した結果を図８に示す。具体的には、上記実施形態で説明した特徴量に基づいて肺がん患者を２群に分けた場合、その予後に差があるかを評価した。また、従来から行われている特徴量の算出方法等、上記実施形態で説明した方法とは異なる予後の推定方法に基づいて肺がん患者を２群に分けた場合と比較して、群間の差が大きくなるかを評価した。 FIG. 8 shows the result of evaluating whether the feature amount calculated by the above procedure is useful for predicting the prognosis. Specifically, when the lung cancer patients were divided into two groups based on the features described in the above embodiment, it was evaluated whether there was a difference in the prognosis. In addition, the difference between the groups is compared with the case where the lung cancer patients are divided into two groups based on a prognosis estimation method different from the method described in the above embodiment, such as a conventional method for calculating a feature amount. Was evaluated.
　図８（ａ）では、本実施形態で説明したベッチマップを利用して算出した特徴量を用いて２群に分けた場合の結果を示している。また、図８（ｂ）では、従来から行われているウェーブレット関数に基づく４種類の画像から得られる特徴量を用いて２群に分けた場合の結果を示している。また、図８（ｃ）では、本実施形態で説明したベッチマップを利用して算出した特徴量と従来からのウェーブレット関数を用いて得られる特徴量との組み合わせた場合の結果を示している。また、図８（ｄ）では、深層学習（Deep Learning）を用いて患者を２群に分けた場合の結果を示している。図８（ａ）～図８（ｄ）では、同一の肺がん患者の画像を利用してそれぞれ２群に分けている。 FIG. 8A shows the results when the features calculated using the Vetch map described in the present embodiment are used and divided into two groups. Further, FIG. 8B shows the results when the images are divided into two groups using the feature quantities obtained from four types of images based on the conventional wavelet function. Further, FIG. 8C shows the result when the feature amount calculated by using the Vetch map described in the present embodiment and the feature amount obtained by using the conventional wavelet function are combined. In addition, FIG. 8D shows the results when the patients were divided into two groups using deep learning. In FIGS. 8 (a) to 8 (d), images of the same lung cancer patient are used and divided into two groups.
　肺がん患者を特徴量に基づいて２群に分ける方法について説明する。本実施形態に係る手法に基づいてがん患者を２群に分ける場合、まず、ＣＰＨＭを作成すると、７個の特徴量それぞれに対する重み付けに係る重み係数が得られる。患者毎にＣＴ画像から得られる７つの特徴量それぞれに関する重み係数と特徴量との積の総和を算出する。このように算出されるradiomic scores（rad-scores）の中央値を用いて、肺がん患者を２群に分けた。なお、図８（ｂ）、（ｃ）に示す結果に対応する手法についても同様の方法を用いて肺がん患者を２群に分けた。また、図８（ｄ）に示す結果に対応する手法については、深層学習を行う際に利用した特徴量を利用して患者を２群に分けた。 Explain how to divide lung cancer patients into two groups based on their features. When the cancer patients are divided into two groups based on the method according to the present embodiment, first, when CPHM is created, a weighting coefficient related to weighting for each of the seven feature quantities can be obtained. For each patient, the sum of the products of the weighting coefficient and the feature amount for each of the seven feature amounts obtained from the CT image is calculated. Lung cancer patients were divided into two groups using the median radiomic scores (rad-scores) calculated in this way. Lung cancer patients were divided into two groups using the same method for the methods corresponding to the results shown in FIGS. 8 (b) and 8 (c). Regarding the method corresponding to the result shown in FIG. 8 (d), the patients were divided into two groups using the features used in the deep learning.
　図８（ａ）～図８（ｄ）では、２群それぞれの患者について、経過年に対する生存率をプロットしている。各図では、２群のうち、生存年が長くなった患者群をＬｏｗとし、生存年が短くなった患者群をＨｉｇｈとしている。また、各図では、ｐ値を示している。ｐ値は、２群の分離度合いを示す値であって、値が小さいほど２群が精度良く分離されていることを示している。具体的には、図８（ａ）に示す結果に係るｐ値は１．５×１０－３であり、図８（ｂ）に示す結果に係るｐ値は０．３１であり、図８（ｃ）に示す結果に係るｐ値は２．９×１０－３であり、図８（ｄ）に示す結果に係るｐ値は０．０７９であった。 8 (a) to 8 (d) plot the survival rate over the years for each of the patients in the two groups. In each figure, of the two groups, the patient group with a long life year is defined as Low, and the patient group with a short life year is defined as High. In addition, each figure shows a p-value. The p-value is a value indicating the degree of separation of the two groups, and the smaller the value, the more accurately the two groups are separated. Specifically, the p-value related to the result shown in FIG. 8 (a) is 1.5 × 10 -3 , and the p-value related to the result shown in FIG. 8 (b) is 0.31. The p-value for the result shown in c) was 2.9 × 10 -3 , and the p-value for the result shown in FIG. 8 (d) was 0.079.
　図８（ａ）～図８（ｄ）に示すように、本実施形態で説明したベッチマップを利用して算出した特徴量による２つのがん患者群は、他の手法に基づいて分けられた２つのがん患者群よりも経過年に対する生存率という点で精度よく分離できていることが示されている。すなわち、本実施形態で説明した手法で算出される特徴量及びこの特徴量に基づくradiomic scores（rad-scores）は、予後の推定に対して有用であるといえる。 As shown in FIGS. 8 (a) to 8 (d), the two cancer patient groups based on the feature amounts calculated using the Vetch map described in the present embodiment were separated based on other methods. It has been shown to be more accurate in terms of survival over time than the two cancer patient groups. That is, it can be said that the feature amount calculated by the method described in the present embodiment and the radiomic scores (rad-scores) based on this feature amount are useful for estimating the prognosis.
　画像解析部１２の特徴量算出部２３では、ベッチマップ画像を用いて特徴量を算出するだけでなく、当該画像の元となるＣＴ画像を撮像したがん患者がＨｉｇｈ群またはＬｏｗ群のいずれに属するかを判定するような処理を行ってもよい。 The feature amount calculation unit 23 of the image analysis unit 12 not only calculates the feature amount using the Vetch map image, but also assigns the cancer patient who captured the CT image that is the source of the image to either the High group or the Low group. You may perform a process to determine whether it belongs.
　なお、上記の７つの特徴量に対して重み係数を反映してradiomic scores（rad-scores）を算出する方法は、上記の特徴量（radiomic features）が予後の推定に関して有用であるかを評価する際に用いた手法の一例である。すなわち、実際に予後が不明ながん患者について予後を推定する場合には、上記とは異なる手法を用いてもよい。すなわち、ベッチマップ画像に基づいた特徴量を算出した後、上記とは異なる方法（例えば、特徴量に関する何らかの計算を行う等）で特徴量に基づいてがん患者の予後を推定してもよい。 The method of calculating the radiomic scores (rad-scores) by reflecting the weighting coefficient for the above seven features evaluates whether the above features (radiomic features) are useful for prognosis estimation. This is an example of the method used in the case. That is, when estimating the prognosis of a cancer patient whose prognosis is actually unknown, a method different from the above may be used. That is, after calculating the feature amount based on the Vetch map image, the prognosis of the cancer patient may be estimated based on the feature amount by a method different from the above (for example, performing some calculation regarding the feature amount).
　図２に戻り、予後推定装置１の出力部１４では、推定結果を出力する（ステップＳ０６）。出力する結果とは、予後の推定時に利用した特徴量自体であってもよいし、上記の図８等で示したように、がん患者を２群に分けた場合にどちらに属するかを特定する情報であってもよい。 Returning to FIG. 2, the output unit 14 of the prognosis estimation device 1 outputs the estimation result (step S06). The output result may be the feature amount itself used when estimating the prognosis, or as shown in FIG. 8 above, when the cancer patients are divided into two groups, which one belongs to is specified. It may be information to be used.
　上記のように、本実施形態に係る予後推定装置及び予後推定方法によれば、分析対象の肺がん組織を撮像した対象画像について、閾値に基づく閾値処理を行った画像を準備し、当該画像について、所定の関心領域毎に組織の穴及び連結部分の数の少なくとも一方をカウントすることにより、ベッチマップを作成し、このベッチマップに基づいて予後に関連する特徴量が算出される。このようにがん組織の穴または連結部分に係るベッチマップを作成した上で予後に関連する特徴量を算出する構成とすることで、肺がんの予後を精度よく推定することが可能となる。 As described above, according to the prognosis estimation device and the prognosis estimation method according to the present embodiment, an image obtained by performing threshold processing based on a threshold is prepared for a target image obtained by imaging the lung cancer tissue to be analyzed, and the image is subjected to threshold processing. A vetch map is created by counting at least one of the number of holes and connecting portions of the tissue for each predetermined region of interest, and prognosis-related features are calculated based on this vetch map. By creating a vetch map related to the hole or connecting portion of the cancer tissue and then calculating the feature amount related to the prognosis, it is possible to accurately estimate the prognosis of lung cancer.
　従来から、肺がん組織を撮像した画像（特に、ＣＴ画像）から予後を推定する方法は検討されている。また、肺がんの場合、従来から肺がん組織に形成された穴と患者の予後に相関がある可能性が指摘されていた。したがって、予後の推定に適した特徴量を算出できれば、予後の推定を精度良く行うことができると考えられていた。しかしながら、従来から行われた方法では、撮像した画像から予後の推定に対応すると考えられる特徴量を算出することができるものの、推定精度の向上が望まれていた。 Conventionally, a method of estimating the prognosis from an image of lung cancer tissue (particularly a CT image) has been studied. In the case of lung cancer, it has been pointed out that there may be a correlation between the holes formed in lung cancer tissue and the prognosis of patients. Therefore, it has been considered that the prognosis can be estimated accurately if the features suitable for the estimation of the prognosis can be calculated. However, although the conventional method can calculate the feature amount considered to correspond to the estimation of the prognosis from the captured image, it has been desired to improve the estimation accuracy.
　これに対して、本実施形態に係る予後推定装置及び予後推定方法では、組織の穴または連結部分の数に着目したベッチマップを作成している。このベッチマップに用いられるベッチ数とは、位相幾何学における位相空間に対する不変量であり、これを利用することで、肺がん組織の画像に含まれる組織の穴及び連結部分に係る不変量を利用した特徴量の算出が可能となる。したがって、従来の手法（例えば、ベッチマップを利用しない方法）と比較して、予後の推定に係る精度の高い特徴量を算出することができる。したがって、予後の推定を精度よく行うことが可能となる。 On the other hand, in the prognosis estimation device and the prognosis estimation method according to the present embodiment, a vetch map focusing on the number of holes or connecting portions of the tissue is created. The Betti number used in this Betti map is an invariant with respect to the topological space in topology, and by using this, the invariant related to the hole and the connecting part of the tissue included in the image of the lung cancer tissue was used. It is possible to calculate the feature amount. Therefore, it is possible to calculate a feature amount with high accuracy related to prognosis estimation as compared with a conventional method (for example, a method that does not use a vetch map). Therefore, it is possible to estimate the prognosis with high accuracy.
　特に、上記の予後推定装置１では、所定の個別関心領域毎の組織の連結部分の数と穴の数との比に係る情報（ｂ１／ｂ０画像Ｄ６）に基づくベッチマップを作成し、このベッチマップに基づいて特徴量を算出している。組織の連結部分の数と穴の数との比に係る情報は、肺がんの予後との関連性が深いと考えられるため、このような比に係る情報を用いて特徴量算出を行うことで、より精度よく予後を推定することができる。 In particular, the above-mentioned prognosis estimation device 1 creates a vetch map based on information (b1 / b0 image D6) relating to the ratio between the number of connected portions of the tissue and the number of holes for each predetermined individual area of interest, and this vetch. The feature amount is calculated based on the map. Information on the ratio of the number of tissue connections to the number of holes is considered to be closely related to the prognosis of lung cancer. Therefore, by calculating the feature amount using the information related to such ratio, The prognosis can be estimated more accurately.
　また、上記の予後推定装置１では、１の対象画像から閾値を変更した複数種類の閾値処理を行った画像を準備し、複数のベッチマップを作成した上で特徴量を算出する構成とされている。このような構成とすることで、分析対象の肺がん組織に含まれる種々の穴等に係る情報を反映したベッチマップを作成することができると共に、これらの情報を考慮して予後に関連する特徴量を算出することができる。したがって、肺がんの予後をより精度よく推定することが可能となる。 Further, the prognosis estimation device 1 described above is configured to prepare an image obtained by performing a plurality of types of threshold processing in which the threshold value is changed from the target image of 1, create a plurality of vetch maps, and then calculate the feature amount. There is. With such a configuration, it is possible to create a vetch map that reflects information on various holes and the like contained in the lung cancer tissue to be analyzed, and a feature amount related to prognosis in consideration of this information. Can be calculated. Therefore, the prognosis of lung cancer can be estimated more accurately.
　なお、上記実施形態では、８ビットのグレースケール画像における２５６段階全てを利用して、２５６種類の閾値処理を行った画像を作成しているが、この数を変更したとしても予後の推定精度を高くすることができると考えられる。例えば、光の強度が０～２５５である２５６段階全てではなく、１，３，５，７・・・というように一部の光の強度のみを閾値として用いて複数種類の閾値処理を行った画像を作成してもよい。この場合、複数種類の画像の閾値は、特定の光の強度範囲に集中して選択してもよいし、ある程度分散させて選択してもよい。 In the above embodiment, an image in which 256 types of threshold processing is performed is created by using all 256 steps in the 8-bit grayscale image, but even if this number is changed, the estimation accuracy of the prognosis can be improved. It is thought that it can be raised. For example, not all 256 steps in which the light intensity is 0 to 255, but a plurality of types of threshold processing are performed using only a part of the light intensity as a threshold, such as 1, 3, 5, 7, ... You may create an image. In this case, the threshold values of the plurality of types of images may be selected by concentrating on a specific light intensity range, or may be selected by being dispersed to some extent.
　また、ベッチマップの作成に使用する閾値処理を行った画像は１種類であってもよい。すなわち、１つの二値化画像のみを用いてベッチマップを作成して特徴量を算出してもよい。 Also, there may be only one type of threshold-processed image used to create the Vetch map. That is, the feature amount may be calculated by creating a vetch map using only one binarized image.
　また、上記の予後推定装置１では、特徴量算出部２３において、予後の予測に係る数理モデル（ＣＰＨＭ）に対して所定のアルゴリズム（Ｃｏｘ－ｎｅｔアルゴリズム）を複数回適用することで、予後に関連する特徴量を選択している。数理モデルに対して所定のアルゴリズムを適用して特徴量を選択する際に、これを複数回適用して特徴量を選択することにより、特徴量の選択をより精度良く行うことができるため、肺がんの予後をより精度よく推定することが可能となる。なお、上記の実施形態では、ＣＰＨＭに対してＣｏｘ－ｎｅｔアルゴリズムを複数回適用する場合について説明したが、数理モデル及びアルゴリズムは、上記で説明したものに限定されない。すなわち、予後の予測に係る数理モデルであれば、ＣＰＨＭ以外の数理モデルを利用してもよい。また、数理モデルの選択に対応させて生存時間の分析に係るアルゴリズムから適切なアルゴズムを選択して組み合わせる構成としてもよい。 Further, in the above-mentioned prognosis estimation device 1, the feature amount calculation unit 23 applies a predetermined algorithm (Cox-net algorithm) to the mathematical model (CPHM) related to the prediction of the prognosis a plurality of times to relate to the prognosis. The feature amount to be selected is selected. When selecting a feature by applying a predetermined algorithm to a mathematical model, by applying this multiple times to select the feature, the feature can be selected more accurately. Therefore, lung cancer It becomes possible to estimate the prognosis of. In the above embodiment, the case where the Cox-net algorithm is applied to CPHM a plurality of times has been described, but the mathematical model and the algorithm are not limited to those described above. That is, if it is a mathematical model related to prognosis prediction, a mathematical model other than CPHM may be used. In addition, an appropriate algorithm may be selected and combined from an algorithm related to the analysis of survival time in correspondence with the selection of a mathematical model.
（第２実施形態）
　次に、第２実施形態として、肺がん評価装置の一種であるＥＧＦＲ変異肺がんの検出装置について説明する（以後、「ＥＧＦＲ変異検出装置」という場合がある）。ＥＧＦＲ変異肺がんとは、上皮成長因子受容体（ＥＧＦＲ）遺伝子変異陽性肺がんのことである。ＥＧＦＲ変異肺がんに対しては、組織生検検体による変異検査結果に基づき特異的なチロシンキナーゼ阻害剤（ＴＫＩ）を用いることで予後の改善を図る個別化がん治療が進んでいる。しかし、ＥＧＦＲ変異肺がん患者は、医学的な理由で組織生検が不可であるか、または、拒否される患者が存在する。組織生検の代替としては、リキッドバイオプシーが知られているが、リキッドバイオプシーは偽陰性の割合が高いという問題が知られている。さらに、ＥＧＦＲ－ＴＫＩの対象患者の中には、がん細胞の抵抗性や耐性化などが原因で予後の悪い患者が存在する。したがって、肺がん患者の画像から、肺がんがＥＧＦＲ変異肺がんに該当するかを評価することが求められる。第１実施形態では、肺がんに係る評価として、肺がんの予後を推定する場合について説明したが、第２実施形態では、ＥＧＦＲ肺がんを画像から検出することについて適用した場合について説明する。 (Second Embodiment)
Next, as a second embodiment, a detection device for EGFR mutant lung cancer, which is a kind of lung cancer evaluation device, will be described (hereinafter, may be referred to as “EGFR mutation detection device”). EGFR mutant lung cancer is epidermal growth factor receptor (EGFR) gene mutation-positive lung cancer. For EGFR mutant lung cancer, personalized cancer treatment is advancing to improve the prognosis by using a specific tyrosine kinase inhibitor (TKI) based on the mutation test results of tissue biopsy specimens. However, there are some patients with EGFR mutant lung cancer who are unable or rejected for tissue biopsy for medical reasons. Liquid biopsy is known as an alternative to tissue biopsy, but liquid biopsy is known to have a high rate of false negatives. Furthermore, among the target patients of EGFR-TKI, there are patients with a poor prognosis due to resistance and resistance of cancer cells. Therefore, it is required to evaluate whether lung cancer corresponds to EGFR mutant lung cancer from images of lung cancer patients. In the first embodiment, the case of estimating the prognosis of lung cancer has been described as an evaluation of lung cancer, but in the second embodiment, the case of applying the detection of EGFR lung cancer from an image will be described.
　第２実施形態では、第１実施形態と同様にベッチマップを作成し、このなかに含まれる情報から、ＥＧＦＲ肺がんの検出に適した特徴量を選択する。この概略の流れは第１実施形態と同様であるが、具体的な手順の一部において第１実施形態とは異なる場合がある。そこで、第２実施形態では、第１実施形態では説明していない部分を中心に説明する。 In the second embodiment, a vetch map is created in the same manner as in the first embodiment, and a feature amount suitable for detecting EGFR lung cancer is selected from the information contained therein. This outline flow is the same as that of the first embodiment, but may differ from the first embodiment in a part of a specific procedure. Therefore, in the second embodiment, the parts not explained in the first embodiment will be mainly described.
　図９は、本開示の第２実施形態に係る肺がん評価装置の一種であるＥＧＦＲ変異肺がんの検出装置（「ＥＧＦＲ変異検出装置」）を説明するブロック図である。ＥＧＦＲ変異肺がんの検出対象となる肺がんには、非小細胞肺がん（腺がん、扁平上皮がん、大細胞がん、腺扁平上皮がん等）、及び、小細胞肺がんの両方が含まれる。以下の実施形態では、これらを総称して肺がんという。ＥＧＦＲ変異検出装置３では、肺がん患者の患部組織（がん組織）を撮像した画像に基づいて、ＥＧＦＲ変異肺がんの有無に関連性の高い特徴量（radiomic features）を算出して出力する機能を有する。 FIG. 9 is a block diagram illustrating an EGFR mutant lung cancer detection device (“EGFR mutation detection device”), which is a type of lung cancer evaluation device according to the second embodiment of the present disclosure. Lung cancers to be detected for EGFR mutant lung cancers include both non-small cell lung cancers (adenocarcinoma, squamous cell carcinoma, large cell carcinoma, adenocarcinoma squamous cell carcinoma, etc.) and small cell lung cancer. In the following embodiments, these are collectively referred to as lung cancer. The EGFR mutation detection device 3 has a function of calculating and outputting radiomic features that are highly related to the presence or absence of EGFR mutant lung cancer based on an image of the affected tissue (cancer tissue) of a lung cancer patient. ..
　ＥＧＦＲ変異検出装置３においても、肺がん患者の患部組織を撮像した画像（対象画像）としては、例えば、ＣＴ（Computed Tomography：コンピュータ断層撮影）により得られるＣＴ画像が挙げられる。ＥＧＦＲ変異検出装置３では、肺がんの患部組織及びその周囲を撮像したＣＴ画像に対して所定の処理を行うことにより、ＥＧＦＲ変異肺がんの有無に関係する特徴量を算出することができる。 In the EGFR mutation detection device 3, as an image (target image) of the affected tissue of a lung cancer patient, for example, a CT image obtained by CT (Computed Tomography) can be mentioned. The EGFR mutation detection device 3 can calculate the feature amount related to the presence or absence of EGFR mutant lung cancer by performing a predetermined process on the CT image of the affected tissue of lung cancer and its surroundings.
　図９に示すように、ＥＧＦＲ変異検出装置３は、画像取得部３１、画像解析部３２、記憶部３３、及び、出力部３４を有する。これらの各部の機能は、第１実施形態で説明した予後推定装置１の画像取得部１１、画像解析部１２、記憶部１３、及び、出力部１４（図１参照）と略同様である。したがって、以下の実施形態では、共通する処理等については説明を簡略化する。 As shown in FIG. 9, the EGFR mutation detection device 3 has an image acquisition unit 31, an image analysis unit 32, a storage unit 33, and an output unit 34. The functions of each of these units are substantially the same as those of the image acquisition unit 11, the image analysis unit 12, the storage unit 13, and the output unit 14 (see FIG. 1) of the prognosis estimation device 1 described in the first embodiment. Therefore, in the following embodiments, the description of common processes and the like will be simplified.
　ＥＧＦＲ変異検出装置３の画像取得部３１は、外部装置等から患者の患部組織を撮像したＣＴ画像である対象画像を取得する機能を有する。また、画像取得部３１は、ＣＴ画像に含まれる患部組織（肺がん組織）の領域を特定する情報も併せて取得してもよい。 The image acquisition unit 31 of the EGFR mutation detection device 3 has a function of acquiring a target image which is a CT image of the affected tissue of the patient from an external device or the like. In addition, the image acquisition unit 31 may also acquire information for identifying the region of the affected tissue (lung cancer tissue) included in the CT image.
　画像解析部３２は、肺がん組織を撮像したＣＴ画像についての解析を行い、ＥＧＦＲ変異肺がんの有無に係る特徴量を算出する機能を有する。画像解析部３２で行われる解析の詳細については後述するが、ＣＴ画像を所定の閾値に基づいた二値化処理を行った後、肺がん組織に含まれる孔の数に係るベッチ数（Betti numbers）の分布に基づくベッチマップを作成する。そして、このベッチ数の分布に基づいてＥＧＦＲ変異肺がんの有無に関連する特徴量を算出する。そのため、画像解析部３２は、閾値処理部４１、ベッチマップ作成部４２、及び、特徴量算出部４３を有する。 The image analysis unit 32 has a function of analyzing a CT image obtained by imaging a lung cancer tissue and calculating a feature amount related to the presence or absence of EGFR mutant lung cancer. The details of the analysis performed by the image analysis unit 32 will be described later, but after the CT image is binarized based on a predetermined threshold value, the Betti numbers related to the number of holes contained in the lung cancer tissue. Create a Bettimap based on the distribution of. Then, based on the distribution of this Betti number, the feature amount related to the presence or absence of EGFR mutant lung cancer is calculated. Therefore, the image analysis unit 32 has a threshold value processing unit 41, a vetch map creation unit 42, and a feature amount calculation unit 43.
　記憶部３３は、画像取得部３１において取得された画像及びがん組織の領域を特定する情報、画像解析部３２による解析結果等を記憶する機能を有する。 The storage unit 33 has a function of storing the image acquired by the image acquisition unit 31, information for identifying the region of the cancer tissue, the analysis result by the image analysis unit 32, and the like.
　出力部３４は、画像解析部３２による解析結果を出力する機能を有する。出力先としては、ＥＧＦＲ変異検出装置３に設けられたモニタ、外部装置等が挙げられる。また、出力内容等は特に限定されず、例えば、画像解析部３２により算出された特徴量をそのまま出力する態様としてもよいし、特徴量に基づいてＥＧＦＲ変異の有無の評価を行いその結果を出力する態様としてもよい。ＥＧＦＲ変異の有無の評価を行う場合には、当該評価を行うためのロジック等を記憶部３３において保持し、特徴量を算出した後に当該ロジックを用いて評価を行うこととしてもよい。 The output unit 34 has a function of outputting the analysis result by the image analysis unit 32. Examples of the output destination include a monitor provided in the EGFR mutation detection device 3, an external device, and the like. Further, the output content and the like are not particularly limited, and for example, the feature amount calculated by the image analysis unit 32 may be output as it is, or the presence or absence of the EGFR mutation is evaluated based on the feature amount and the result is output. It may be the mode to do. When evaluating the presence or absence of the EGFR mutation, the storage unit 33 may hold a logic or the like for performing the evaluation, and after calculating the feature amount, the evaluation may be performed using the logic.
　次に、図１０～図１２を参照しながら、ＥＧＦＲ変異検出装置３による画像に基づくＥＧＦＲ変異肺がんの有無に係る評価（推定）の手順について説明する。図１０は、ＥＧＦＲ変異検出装置３において行われるＥＧＦＲ変異肺がんの有無に係る評価に係る処理を説明するフロー図である。この図１０を参照しながら、ＥＧＦＲ変異肺がんの有無の評価に係る処理について説明する。 Next, the procedure of evaluation (estimation) regarding the presence or absence of EGFR mutant lung cancer based on the image by the EGFR mutation detection device 3 will be described with reference to FIGS. 10 to 12. FIG. 10 is a flow chart illustrating a process related to evaluation of the presence or absence of EGFR mutant lung cancer performed by the EGFR mutation detection device 3. The process for evaluating the presence or absence of EGFR mutant lung cancer will be described with reference to FIG. 10.
　まず、ＥＧＦＲ変異検出装置３では、画像取得部１１により、肺がん組織を含むＣＴ画像と、当該ＣＴ画像における肺がん組織（腫瘍組織）を撮像した領域を特定する情報を取得する（ステップＳ２１）。画像取得部３１が取得する情報の例は、第１実施形態と同様である。画像取得部３１において図３（ｃ）で示す情報を取得することで、ＥＧＦＲ変異検出装置３では、ＣＴ画像のうち肺がん組織を撮像した領域を特定することができ、当該領域に含まれる情報をＥＧＦＲ変異肺がんの有無の評価に利用することができる。 First, in the EGFR mutation detection device 3, the image acquisition unit 11 acquires a CT image including the lung cancer tissue and information for identifying the region in which the lung cancer tissue (tumor tissue) is imaged in the CT image (step S21). The example of the information acquired by the image acquisition unit 31 is the same as that of the first embodiment. By acquiring the information shown in FIG. 3C in the image acquisition unit 31, the EGFR mutation detection device 3 can identify the region in which the lung cancer tissue is imaged in the CT image, and the information included in the region can be specified. It can be used to evaluate the presence or absence of EGFR mutant lung cancer.
　次に、ＥＧＦＲ変異検出装置３の画像解析部３２の閾値処理部４１では、前処理としてＣＴ画像をグレースケール画像に変換する（ステップＳ２２）。閾値処理部４１では、ＣＴ値及びビット深さを考慮して、グレースケール画像を作成する。この点は第１実施形態と異なる部分である。ＣＴ値とは被写体の空間的なエックス線吸収値であり、水を０とした相対値ハウンズフィールド単位（Hounsfield units：ＨＵ）で示される。第１実施形態では、全範囲のＣＴ値を有する画像を用いていた。一方、本実施形態では、肺がん組織を撮像したＣＴ画像におけるＣＴ値のほぼ全体をカバーする－１３５０～１５００ＨＵの画像ではなく、特定の組織に着目したＣＴ値範囲の画像を作成し、ＥＧＦＲ変異の有無の評価に適したものを選択してもよい。また、ビット深さは、画像の濃度分解能に相当する。したがって、閾値処理部４１では、ＣＴ画像に含まれるＣＴ値と、濃度分解能を所定の値に調節してグレースケール画像を作成してもよい。図１１では、一例として、同一のＣＴ画像について、ＣＴ値を－１０００ＨＵ～１５００ＨＵ、－１３５０ＨＵ～１５０ＨＵ（肺野条件に相当）、－１５０ＨＵ～２５０ＨＵ（縦隔条件に相当）の３つの条件で変更し、さらに、ビット深さを５ビット，６ビット，７ビット，および８ビットの４つの条件で変更した合計１２枚のグレースケール画像の例を示している。ＥＧＦＲ変異の有無の評価では、これらのグレースケール画像のように、ＣＴ値及びビット深さを調整した画像のなかから、より適切な条件の画像を選択してもよい。 Next, the threshold value processing unit 41 of the image analysis unit 32 of the EGFR mutation detection device 3 converts the CT image into a grayscale image as preprocessing (step S22). The threshold value processing unit 41 creates a grayscale image in consideration of the CT value and the bit depth. This point is different from the first embodiment. The CT value is a spatial X-ray absorption value of the subject, and is indicated by a relative value Hounsfield units (HU) with water as 0. In the first embodiment, an image having a CT value in the entire range was used. On the other hand, in the present embodiment, an image in the CT value range focusing on a specific tissue is created instead of an image of -1350 to 1500 HU that covers almost the entire CT value in the CT image of the lung cancer tissue, and the EGFR mutation is modified. You may select the one suitable for the evaluation of the presence or absence. Also, the bit depth corresponds to the density resolution of the image. Therefore, the threshold value processing unit 41 may create a grayscale image by adjusting the CT value included in the CT image and the density resolution to a predetermined value. In FIG. 11, as an example, the CT value of the same CT image is changed under three conditions of −1000 HU to 1500 HU, -1350 HU to 150 HU (corresponding to lung field condition), and -150 HU to 250 HU (corresponding to mediation condition). Further, an example of a total of 12 grayscale images in which the bit depth is changed under four conditions of 5 bits, 6 bits, 7 bits, and 8 bits is shown. In the evaluation of the presence or absence of the EGFR mutation, an image having more appropriate conditions may be selected from the images adjusted for the CT value and the bit depth, such as these grayscale images.
　上記の処理で得られたグレースケールＣＴ画像は、ビット深さをｑとした場合に、２ｑ段階の画像濃度で表示される。その後、閾値処理部４１は、複数の閾値を用いて二値化処理を行い、閾値処理画像を作成する（ステップＳ２３：画像準備ステップ）。上記の通り、ＣＴ画像は２ｑ段階（０～２ｑ－１）の光の強度の組み合わせで構成されている。したがって、そのうちいずれかの段階を閾値として設定し、光の強度が閾値またはそれ以下の領域を黒とし、光の強度が閾値よりも大きい領域を白とすることで、二値化された画像を得ることができる。０～２ｑ－１のそれぞれを閾値として二値化処理を行うことで、２ｑ枚の二値化画像を得ることができる。得られた二値化画像は、図４に示すようなものである。このように１枚のＣＴ画像から２ｑ枚の閾値処理を行った画像（閾値処理画像）を生成する。 The grayscale CT image obtained by the above processing is displayed with an image density of 2 q steps when the bit depth is q. After that, the threshold value processing unit 41 performs binarization processing using the plurality of threshold values to create a threshold value processed image (step S23: image preparation step). As described above, the CT image is composed of a combination of light intensities in 2 q stages (0 to 2 q -1). Therefore, by setting one of the steps as a threshold value, blackening the region where the light intensity is equal to or lower than the threshold value, and whitening the region where the light intensity is higher than the threshold value, the binarized image is obtained. Obtainable. By performing the binarization process with each of 0 to 2 q -1 as a threshold value, 2 q binarized images can be obtained. The obtained binarized image is as shown in FIG. Thus to generate an image (thresholding image) subjected to 2 q sheets thresholding from a single CT image.
　次に、ＥＧＦＲ変異検出装置３のベッチマップ作成部４２では、閾値処理画像毎にベッチマップを作成する（ステップＳ２４：ベッチマップ作成ステップ）。ベッチマップとは、閾値処理画像に含まれるがん組織（図６の8bits CT imageの白線内）の穴の数に係るベッチ数及び連結部分の数に係るベッチ数に基づいて作成された画像である。 Next, the vetch map creation unit 42 of the EGFR mutation detection device 3 creates a vetch map for each threshold value processed image (step S24: vetch map creation step). The Betti map is an image created based on the number of Betti related to the number of holes in the cancer tissue (inside the white line of the 8 bits CT image in FIG. 6) and the number of Betti related to the number of connecting parts included in the threshold-processed image. is there.
　ベッチマップの作成方法は、第１実施形態と同様である。具体的には、図５に示すように、閾値処理画像を準備する（ステップＳ１１）。次に、準備した閾値処理画像について、ベッチ数を算出するための領域毎に画像を分割する（ステップＳ１２）。次に、分割された領域毎にベッチ数（Betti numbers）ｂ０及びｂ１を算出した画像（ｂ０画像及びｂ１画像）を生成する（ステップＳ１３、ステップＳ１４）。その後、ｂ０画像及びｂ１画像から、ｂ１／ｂ０画像を作成する（ステップＳ１５）。この手順は第１実施形態と同様である。なお、ベッチマップ画像は、１つの二値化画像から１つ生成することができる。すなわち、本実施形態で説明したように２ｑ個の二値化画像（閾値処理画像）を作成した場合、２ｑ個のｂ１／ｂ０画像を作成することができる。 The method of creating the vetch map is the same as that of the first embodiment. Specifically, as shown in FIG. 5, a threshold value processed image is prepared (step S11). Next, with respect to the prepared threshold-processed image, the image is divided into regions for calculating the Betti number (step S12). Next, images (b0 image and b1 image) for which Betti numbers b0 and b1 are calculated are generated for each divided region (step S13, step S14). Then, a b1 / b0 image is created from the b0 image and the b1 image (step S15). This procedure is the same as in the first embodiment. It should be noted that one Vetch map image can be generated from one binarized image. That is, when 2 q binarized images (threshold processed images) are created as described in the present embodiment, 2 q b1 / b0 images can be created.
　図１２は、上記の手順で生成されたｂ０画像、ｂ１画像、ｂ１／ｂ０画像の一部を示している。図１２（ａ）は、当初のＣＴ画像（画像取得部３１が取得するＣＴ画像）をグレースケール画像に変換したものの一例であり、図１２（ｂ）は、図１２（ａ）に示すグレースケール画像を３段階の閾値で二値化したものである。さらに、図１２（ｃ）は、３段階それぞれの二値化画像に対応するｂ０画像、ｂ１画像、ｂ１／ｂ０画像である。このように、二値化を行う際の閾値を変更することで、互いに異なるｂ０画像、ｂ１画像、ｂ１／ｂ０画像が得られることになる。 FIG. 12 shows a part of the b0 image, the b1 image, and the b1 / b0 image generated by the above procedure. FIG. 12A is an example of converting the initial CT image (CT image acquired by the image acquisition unit 31) into a grayscale image, and FIG. 12B is the grayscale shown in FIG. 12A. The image is binarized with a three-step threshold. Further, FIG. 12C is a b0 image, a b1 image, and a b1 / b0 image corresponding to each of the three stages of the binarized image. By changing the threshold value at the time of binarization in this way, different b0 images, b1 images, and b1 / b0 images can be obtained.
　図１０に戻り、ＥＧＦＲ変異検出装置３の特徴量算出部４３では、上記の手順で得られた複数のベッチマップ画像から、ＥＧＦＲ変異肺がんの有無の評価用の特徴量（radiomic features）を算出する（ステップＳ２５：特徴量算出ステップ）。ＥＧＦＲ変異肺がんの有無の評価用の特徴量とは、ベッチマップ画像から算出される特徴量でありＥＧＦＲ変異肺がんの有無と関連性が高いと考えられる特徴量である。ＥＧＦＲ変異肺がんの有無の評価用の特徴量を算出するための手法としては、従来、Soufi M, Arimura H, Nakamoto T, Hirose T aki, Ohga S, Umezu Y, Honda H and Sasaki T "Exploration of temporal stability and prognostic power of radiomic features based on electronic portal imaging device images" Physica Medica, February 2018, 46, Pages 32-44等で開示されている特徴量の算出手法を適用することができる。従来開示されている特徴量の算出手法とは、８ビットグレースケールに変換した１枚のＣＴ画像からウェーブレット関数に基づく４種類の画像を準備し、この４種類の画像に基づいて５４個の特徴量を算出するものである。特徴量を算出する手法自体は上記の文献に記載されている。また、本実施形態でも上記と同様の方法により１枚のｂ１／ｂ０画像から５４種類の特徴量を得ることができる。本実施形態の場合、例えば、２ｑ個のベッチマップ画像に対して上記の特徴量の算出を行うことで、多数の特徴量（homological radiomic features）を得ることができる。なお、第２実施形態では、ｂ０画像Ｄ４及びｂ１画像Ｄ５についても特徴量の算出に使用する。すなわち、ｂ０画像Ｄ４及びｂ１画像Ｄ５もベッチマップ画像に含む。この場合、ベッチマップ画像は３×２ｑ個存在するため、これらの画像からそれぞれ特徴量を算出することになる。 Returning to FIG. 10, the feature amount calculation unit 43 of the EGFR mutation detection device 3 calculates the feature amount (radiomic features) for evaluation of the presence or absence of EGFR mutant lung cancer from the plurality of Vetch map images obtained by the above procedure. (Step S25: Feature calculation step). The feature amount for evaluation of the presence or absence of EGFR mutant lung cancer is a feature amount calculated from a Vetch map image and is considered to be highly related to the presence or absence of EGFR mutant lung cancer. Conventionally, Soufi M, Arimura H, Nakamoto T, Hirose Taki, Ohga S, Umezu Y, Honda H and Sasaki T "Exploration of temporal" have been used as a method for calculating features for evaluating the presence or absence of EGFR mutant lung cancer. The feature calculation method disclosed in stability and prognostic power of radiomic features based on electronic portal imaging device images "Physica Medica, February 2018, 46, Pages 32-44, etc. can be applied. The conventionally disclosed feature amount calculation method is to prepare four types of images based on the wavelet function from one CT image converted to 8-bit grayscale, and 54 features based on these four types of images. It calculates the amount. The method itself for calculating the feature amount is described in the above-mentioned document. Further, also in this embodiment, 54 kinds of feature quantities can be obtained from one b1 / b0 image by the same method as described above. In this embodiment, for example, by performing the calculation of the feature amount with respect to 2 q pieces of vetch map image, it is possible to obtain a number of characteristic quantity (homological radiomic features). In the second embodiment, the b0 image D4 and the b1 image D5 are also used for calculating the feature amount. That is, the b0 image D4 and the b1 image D5 are also included in the vetch map image. In this case, since there are 3 × 2 q Vetch map images, the feature amount is calculated from each of these images.
　なお、本実施形態では、ＥＧＦＲ変異肺がんの有無の評価に係る数理モデルを用いて、上記の手法で算出された特徴量からＥＧＦＲ変異肺がんの有無の評価に適した特徴量として８種類の特徴量を選択している。具体的には、エラスティックネット正則化ロジスティック回帰モデル（elastic-net-regularized logistic regression (ELR) model）を用いている。このモデルは、異なる性質をもつ二つの患者群（例えばEGFR変異陽性と陰性）を分類するモデルである。このモデルに対して、ｅｌａｓｔｉｃ－ｎｅｔというスパースモデリングを適用したＥＬＲモデルを適用することで、特徴量を選択する処理を行った。ＥＬＲモデル自体は公知のものであり、例えば、Friedman, Hastie, Tibshirani - Regularization Paths for Generalized Linear Models via Coordinate Descent. Journal of Statistical Software, Jan 2010, 33(1) Pages.1-22に具体的に記載されている。このＥＬＲモデルを用いることで、ＥＧＦＲ変異肺がんの有無の評価に適した特徴量を５４種類の特徴量から選択することができる。 In this embodiment, eight types of features suitable for evaluation of the presence or absence of EGFR mutant lung cancer are used from the features calculated by the above method using a mathematical model for evaluating the presence or absence of EGFR mutant lung cancer. Is selected. Specifically, an elastic-net-regularized logistic regression (ELR) model is used. This model is a model that classifies two groups of patients with different properties (eg, EGFR mutation positive and negative). By applying an ELR model to which sparse modeling called elastic-net was applied to this model, a process of selecting features was performed. The ELR model itself is known, and is specifically described in, for example, Friedman, Hastie, Tibshirani-Regularization Paths for Generalized Linear Models via Coordinate Descent. Journal of Statistical Software, Jan 2010, 33 (1) Pages.1-22. Has been done. By using this ELR model, a feature amount suitable for evaluating the presence or absence of EGFR mutant lung cancer can be selected from 54 types of feature amounts.
　なお、本実施形態では、特徴量の選択処理において、ランダムにサンプリングされた５分割交差検証を用いて、ＥＬＲモデルの適用を複数回繰り返した。このような手順を用いることで、より多様な条件においてＥＧＦＲ変異肺がんの有無との相関が高い特徴量を特定することができる。 In the present embodiment, in the feature quantity selection process, the application of the ELR model was repeated a plurality of times using randomly sampled 5-fold cross-validation. By using such a procedure, it is possible to identify a feature amount having a high correlation with the presence or absence of EGFR mutant lung cancer under a wider variety of conditions.
　これらの選択された特徴量を用いてＥＧＦＲ変異肺がんの有無を評価する際のモデルは、例えば、サポートベクターマシン（ＳＶＭ）、ロジスティック回帰（ＬＲ）、ランダムフォレスト（ＲＦ）、および人工ニューラルネットワーク（ＡＮＮ）を用いて構築することができる。これらのモデルの構築手法自体は、公知である。上記の各種のモデルを利用して、ＥＬＲモデルを用いて選択された特徴量からＥＧＦＲ変異肺がんの有無を判定するためのモデルを構築し、ＥＧＦＲ変異肺がんの有無が未知の画像についてＥＧＦＲ変異肺がんの有無の評価を行うことができる。 Models for assessing the presence or absence of EGFR mutant lung cancer using these selected features include, for example, support vector machine (SVM), logistic regression (LR), random forest (RF), and artificial neural network (ANN). ) Can be used to construct. The methods for constructing these models are known. Using the various models described above, a model for determining the presence or absence of EGFR-mutated lung cancer from the feature quantities selected using the ELR model was constructed, and images of EGFR-mutated lung cancer with unknown presence or absence of EGFR-mutated lung cancer were constructed. The presence or absence can be evaluated.
　上記の手順で算出された特徴量がＥＧＦＲ変異肺がんの有無に有用かどうかを評価した結果を図１１に示す。具体的には、上記実施形態で説明した特徴量に基づいて肺がん患者を２群に分けた場合、ＥＧＦＲ変異肺がん（Mutant）か野生型（Wildtype）かが適切に分類されるかを評価した。また、従来から行われている特徴量の算出方法等、上記実施形態で説明した方法とは異なる方法に基づいて肺がん患者を２群に分けた場合と比較して、群間の差が大きくなるかを評価した。 FIG. 11 shows the result of evaluating whether the feature amount calculated by the above procedure is useful for the presence or absence of EGFR mutant lung cancer. Specifically, when lung cancer patients were divided into two groups based on the features described in the above embodiment, it was evaluated whether EGFR mutant lung cancer (Mutant) or wild type (Wild type) was appropriately classified. In addition, the difference between the groups is larger than that in the case where the lung cancer patients are divided into two groups based on a method different from the method described in the above embodiment, such as a conventional method for calculating the feature amount. Was evaluated.
　図１３（ａ）では、本実施形態で説明したベッチマップから利用して算出した特徴量を用いて、上述のモデルを適用して、肺がん患者を２群に分けた場合（ＢＮ）と、従来から行われているウェーブレット関数に基づく４種類の画像から得られる特徴量を用いて２群に分けた場合の結果（ＷＤ）と、深層学習（Deep Learning）を用いて患者を２群に分けた場合の結果（ＤＬ）と、を示している。また、図１３（ａ）では、ヒートマップを示すと共に、ＩＣＣ（intraclass correlation coefficients）を示している。なお、ＤＬについては、深層学習を行う際に利用した特徴量を利用して患者を２群に分けた。 In FIG. 13 (a), the above model is applied by using the feature amount calculated by using the wavelet map described in the present embodiment, and the lung cancer patients are divided into two groups (BN), and the conventional case. The results (WD) when the features obtained from the four types of images based on the wavelet function performed from the above were used and the patients were divided into two groups using deep learning. The case result (DL) and is shown. Further, FIG. 13A shows a heat map and ICC (intraclass correlation coefficients). For DL, the patients were divided into two groups using the features used in deep learning.
　肺がん患者を特徴量に基づいて２群に分ける方法は、以下の方法を用いてもよい。例えば、がん患者を２群に分ける場合、ＥＬＲモデルを適用する際に、８つの特徴量それぞれに対する重み付けに係る重み係数が得られる。患者毎にＣＴ画像から得られる８つの特徴量それぞれに関する重み係数と特徴量との積の総和を算出する。このように算出されるradiomic scores（rad-scores）の中央値を用いて、肺がん患者を２群に分けてもよい。 The following method may be used as a method for dividing lung cancer patients into two groups based on the feature amount. For example, when dividing a cancer patient into two groups, when applying the ELR model, a weighting coefficient related to weighting for each of the eight features is obtained. For each patient, the sum of the products of the weighting coefficients and the features for each of the eight features obtained from the CT image is calculated. Lung cancer patients may be divided into two groups using the median radiomic scores (rad-scores) calculated in this way.
　また、図１３（ｂ）では、上記の３種類（ＢＮ，ＷＤ，ＤＬ）の手法によるＥＧＦＲ変異肺がんの有無の推定結果についてのＡＵＣ(Area Under ROC Curve)を示している。図１３（ａ）、（ｂ）の結果から、本実施形態で説明した手法で算出される特徴量及びこの特徴量に基づくradiomic scores（rad-scores）は、ＥＧＦＲ変異肺がんの有無の評価に対して有用であるといえる。 Further, FIG. 13 (b) shows an AUC (Area Under ROC Curve) regarding the estimation result of the presence or absence of EGFR mutant lung cancer by the above three types (BN, WD, DL) methods. From the results of FIGS. 13 (a) and 13 (b), the feature amount calculated by the method described in this embodiment and the radiomic scores (rad-scores) based on this feature amount are used for the evaluation of the presence or absence of EGFR mutant lung cancer. It can be said that it is useful.
　画像解析部３２の特徴量算出部４３では、ベッチマップ画像を用いて特徴量を算出するだけでなく、当該画像の元となるＣＴ画像を撮像したがん患者について、ＥＧＦＲ変異肺がんが有ると評価されたか、無しと評価されたかのいずれに属するかを判定するような処理を行ってもよい。 The feature amount calculation unit 43 of the image analysis unit 32 not only calculates the feature amount using the Vetch map image, but also evaluates that the cancer patient who has taken the CT image which is the source of the image has EGFR mutant lung cancer. A process may be performed to determine whether the image belongs to the item that has been evaluated or has been evaluated as none.
　なお、上記で説明した方法は、上記の特徴量（radiomic features）がＥＧＦＲ変異肺がんの有無の評価に関して有用であるかを評価する際に用いた手法の一例である。すなわち、実際にＥＧＦＲ変異肺がんの有無が不明ながん患者についてＥＧＦＲ変異肺がんの有無を評価する場合には、上記とは異なる手法を用いてもよい。すなわち、ベッチマップ画像に基づいた特徴量を算出した後、上記とは異なる方法（例えば、特徴量に関する何らかの計算を行う等）で特徴量に基づいてＥＧＦＲ変異肺がんの有無を評価してもよい。 The method described above is an example of the method used to evaluate whether the above-mentioned features are useful for evaluating the presence or absence of EGFR mutant lung cancer. That is, when evaluating the presence or absence of EGFR mutant lung cancer in a cancer patient whose presence or absence of EGFR mutant lung cancer is unknown, a method different from the above may be used. That is, after calculating the feature amount based on the Vetch map image, the presence or absence of EGFR mutant lung cancer may be evaluated based on the feature amount by a method different from the above (for example, performing some calculation regarding the feature amount).
　図１０に戻り、ＥＧＦＲ変異検出装置３の出力部３４では、推定結果を出力する（ステップＳ２６）。出力する結果とは、上記の評価時に利用した特徴量自体であってもよいがこれに限定されるものではない。 Returning to FIG. 10, the output unit 34 of the EGFR mutation detection device 3 outputs the estimation result (step S26). The output result may be the feature amount itself used in the above evaluation, but is not limited to this.
　上記のように、第２実施形態に係るＥＧＦＲ変異検出装置及び当該装置に基づくＥＧＦＲ変異肺がんの有無の評価方法によれば、分析対象の肺がん組織を撮像した対象画像について、閾値に基づく閾値処理を行った画像を準備し、当該画像について、所定の関心領域毎に組織の穴及び連結部分の数をそれぞれカウントすることにより、ベッチマップを作成し、このベッチマップに基づいてＥＧＦＲ変異肺がんの有無に関連する特徴量が算出される。このようにがん組織の穴及び連結部分に係るベッチマップを作成した上でＥＧＦＲ変異肺がんの有無に関連する特徴量を算出する構成とすることで、肺がんに係る評価を精度よく行うことができる。 As described above, according to the EGFR mutation detection device according to the second embodiment and the method for evaluating the presence or absence of EGFR-mutated lung cancer based on the device, the target image obtained by imaging the lung cancer tissue to be analyzed is subjected to threshold processing based on the threshold. A vetch map was created by preparing the obtained image and counting the number of holes and connecting parts of the tissue for each predetermined region of interest, and based on this vetch map, the presence or absence of EGFR-mutated lung cancer was determined. The relevant feature quantity is calculated. By creating a vetch map related to the holes and connecting parts of the cancer tissue in this way and then calculating the feature amount related to the presence or absence of EGFR mutant lung cancer, it is possible to accurately evaluate the lung cancer. ..
　第１実施形態でも説明したように、ベッチマップに用いられるベッチ数とは、位相幾何学における位相空間に対する不変量であり、これを利用することで、肺がん組織の画像に含まれる組織の穴及び連結部分に係る不変量を利用した特徴量の算出が可能となる。この不変量を利用した特徴量は、予後の推定のみならず、ＥＧＦＲ変異肺がんの有無の検出にも有用であることが確認された。したがって、この特徴量を用いてＥＧＦＲ変異肺がんの有無を評価することで、より高い精度で評価することが可能となる。 As explained in the first embodiment, the Betti number used in the Vetch map is an invariant with respect to the phase space in the topology, and by using this, the hole of the tissue included in the image of the lung cancer tissue and the tissue hole and It is possible to calculate the feature amount using the invariant amount related to the connected part. It was confirmed that the feature amount using this invariant is useful not only for estimating the prognosis but also for detecting the presence or absence of EGFR mutant lung cancer. Therefore, by evaluating the presence or absence of EGFR mutant lung cancer using this feature amount, it is possible to evaluate with higher accuracy.
　また、上記のＥＧＦＲ変異検出装置３では、１の対象画像から閾値を変更した複数種類の閾値処理を行った画像を準備し、複数のベッチマップを作成した上で特徴量を算出する構成とされている。このような構成とすることで、分析対象の肺がん組織に含まれる種々の穴等に係る情報を反映したベッチマップを作成することができると共に、これらの情報を考慮してＥＧＦＲ変異肺がんの有無に関連する特徴量を算出することができる。したがって、ＥＧＦＲ変異肺がんの有無をより精度よく評価することが可能となる。 Further, the above-mentioned EGFR mutation detection device 3 has a configuration in which an image obtained by performing a plurality of types of threshold processing in which a threshold is changed from one target image is prepared, a plurality of vetch maps are created, and then a feature amount is calculated. ing. With such a configuration, it is possible to create a vetch map that reflects information on various holes and the like contained in the lung cancer tissue to be analyzed, and in consideration of this information, the presence or absence of EGFR mutant lung cancer can be determined. The related features can be calculated. Therefore, the presence or absence of EGFR mutant lung cancer can be evaluated more accurately.
　また、上記のＥＧＦＲ変異検出装置３では、ベッチマップ画像として、ｂ０画像、ｂ１画像、ｂ１／ｂ０画像の３種類の画像全てを用い、これらの画像に含まれる情報から、特徴量を選択している。このような構成とした場合、特徴量を選択する対象となる画像が増大することになるが、ｂ１／ｂ０画像以外のｂ０画像またはｂ１画像に、重要な特徴量が含まれる場合、これらを適切に選択することができる。 Further, in the above-mentioned EGFR mutation detection device 3, all three types of images, b0 image, b1 image, and b1 / b0 image, are used as vetch map images, and a feature amount is selected from the information contained in these images. There is. With such a configuration, the number of images for which the feature amount is selected increases, but if the b0 image or b1 image other than the b1 / b0 image contains important feature amounts, these are appropriate. Can be selected for.
　なお、第１実施形態と同様に、ベッチマップの作成に使用する閾値処理を行った画像は１種類であってもよい。すなわち、１つの二値化画像のみを用いてベッチマップを作成して特徴量を算出してもよい。ただし、互いに異なる閾値を用いた複数の二値化画像があったほうが、より適切な特徴量を選択することができる可能性がある。 As in the first embodiment, there may be only one type of threshold-processed image used to create the vetch map. That is, the feature amount may be calculated by creating a vetch map using only one binarized image. However, it may be possible to select a more appropriate feature amount if there are a plurality of binarized images using different threshold values.
　本発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。 The present invention is not limited to the above embodiment as it is, and at the implementation stage, the components can be modified and embodied within a range that does not deviate from the gist thereof. In addition, various inventions can be formed by an appropriate combination of a plurality of components disclosed in the above-described embodiment.
　例えば、上記実施形態では、患者の肺がん組織を撮像した画像（対象画像）がＣＴ画像である場合について説明したが、画像の種類は限定されない。 For example, in the above embodiment, the case where the image (target image) of the lung cancer tissue of the patient is a CT image has been described, but the type of image is not limited.
　また、上記実施形態では、肺がんの予後の推定（第１実施形態）、及び、ＥＧＦＲ変異肺がんの有無の検出（第２実施形態）を行う場合について説明したが、上記実施形態で説明したベッチマップは、肺がんに係る他の評価にも適用し得る。例えば、ＥＧＦＲ変異肺がんは患者の予後との相関が大きいことが知られている。したがって、例えば、上記のベッチマップをＥＧＦＲ変異肺がん患者の予後の推定にも適用し得ると考えられる。このように、上記実施形態で説明したベッチマップに基づく特徴量は、肺がんに係る種々の評価に適用し得る。 Further, in the above embodiment, the case of estimating the prognosis of lung cancer (first embodiment) and detecting the presence or absence of EGFR mutant lung cancer (second embodiment) has been described, but the Vetch map described in the above embodiment has been described. Can also be applied to other assessments of lung cancer. For example, EGFR mutant lung cancer is known to have a high correlation with the prognosis of patients. Therefore, for example, it is considered that the above Vetch map can be applied to estimate the prognosis of patients with EGFR mutant lung cancer. As described above, the feature amount based on the Vetch map described in the above embodiment can be applied to various evaluations related to lung cancer.
　また、ベッチマップを作成する際の分割する領域の大きさ（画素数等）は、画像の大きさ及び細かさ等を考慮して適宜変更してもよい。また、ベッチマップの作成方法は上記に限定されない。 Further, the size of the divided area (number of pixels, etc.) when creating the vetch map may be appropriately changed in consideration of the size and fineness of the image. Further, the method of creating the Vetch map is not limited to the above.
　また、１の患者について１の画像を用いて特徴量を算出する構成について説明したが、例えば、複数の画像を用いて特徴量を算出する構成としてもよい。 Further, although the configuration for calculating the feature amount using one image for one patient has been described, for example, the configuration for calculating the feature amount using a plurality of images may be used.
　また、予後推定装置１は、少なくとも予後の推定に関連する特徴量を算出する機能を有していればよい。すなわち、予後推定装置１とは異なる装置で、特徴量から具体的な予後を算出する処理等を行ってもよい。同様に、ＥＧＦＲ変異検出装置３についても、少なくともＥＧＦＲ変異肺がんの有無の評価に関連する特徴量を算出する機能を有していればよい。すなわち、ＥＧＦＲ変異検出装置３とは異なる装置で、特徴量からＥＧＦＲ変異肺がんの有無の評価する処理等を行ってもよい。 Further, the prognosis estimation device 1 may have at least a function of calculating features related to prognosis estimation. That is, a process of calculating a specific prognosis from the feature amount may be performed by a device different from the prognosis estimation device 1. Similarly, the EGFR mutation detection device 3 may also have at least a function of calculating a feature amount related to the evaluation of the presence or absence of EGFR mutant lung cancer. That is, a process for evaluating the presence or absence of EGFR mutant lung cancer from the feature amount may be performed using a device different from the EGFR mutation detection device 3.
　また、ベッチマップは、所定の個別関心領域毎の組織の穴の数に係る情報、連結部分の数に係る情報、連結部分の数と穴の数との比に係る情報のうちの少なくとも何れかに対応する情報であればよい。第１実施形態では、ベッチマップが所定の個別関心領域毎の組織の連結部分の数と穴の数との比に係る情報（ｂ１／ｂ０画像Ｄ６）である場合について説明した。また、第２実施形態では、連結部分の数と穴の数との比に係る情報（ｂ１／ｂ０画像Ｄ６）に加えて、連結部分の数に係る情報（ｂ０画像Ｄ４）及び穴の数に係る情報（ｂ１画像Ｄ５）もベッチマップとして使用する場合について説明した。ただし、連結部分の数に係る情報（ｂ０画像Ｄ４）及び穴の数に係る情報（ｂ１画像Ｄ５）のいずれかをベッチマップとして使用してもよい。 In addition, the vetch map is at least one of information on the number of holes in the organization for each predetermined individual area of interest, information on the number of connecting portions, and information on the ratio of the number of connecting portions to the number of holes. Any information corresponding to In the first embodiment, the case where the vetch map is information (b1 / b0 image D6) relating to the ratio of the number of connected portions of the tissue to the number of holes for each predetermined individual area of interest has been described. Further, in the second embodiment, in addition to the information relating to the ratio of the number of connecting portions to the number of holes (b1 / b0 image D6), the information relating to the number of connecting portions (b0 image D4) and the number of holes The case where the relevant information (b1 image D5) is also used as a vetch map has been described. However, either the information related to the number of connected portions (b0 image D4) or the information related to the number of holes (b1 image D5) may be used as the vetch map.
（付記）
　本開示の一形態に係る予後推定装置は、分析対象の肺がん組織を撮像した対象画像について、所定の閾値を用いて閾値処理を行った画像を準備する閾値処理部と、閾値処理後の画像について、所定の個別関心領域毎に組織の穴及び連結部分の数をそれぞれカウントすることにより、ベッチマップを作成するベッチマップ作成部と、前記ベッチマップから、予後に関連する特徴量を算出する、特徴量算出部と、を有する。 (Additional note)
The prognosis estimation device according to one embodiment of the present disclosure relates to a threshold processing unit that prepares an image obtained by performing threshold processing using a predetermined threshold value for a target image obtained by capturing an image of lung cancer tissue to be analyzed, and an image after threshold processing. , A feature amount related to prognosis is calculated from a vetch map creation unit that creates a vetch map by counting the number of holes and connecting portions of the organization for each predetermined individual area of interest, and the vetch map. It has a quantity calculation unit and.
　また、本開示の一形態に係る予後推定方法は、分析対象の肺がん組織を撮像した対象画像について、所定の閾値を用いて閾値処理を行った画像を準備する画像準備ステップと、閾値処理後の画像について、所定の個別関心領域毎に組織の穴及び連結部分の数をそれぞれカウントすることにより、ベッチマップを作成するベッチマップ作成ステップと、前記ベッチマップから、予後に関連する特徴量を算出する、特徴量算出ステップと、を含む。 Further, the prognosis estimation method according to one embodiment of the present disclosure includes an image preparation step of preparing an image obtained by performing threshold processing using a predetermined threshold on a target image obtained by imaging a lung cancer tissue to be analyzed, and an image preparation step after the threshold processing. For the image, the prognosis-related feature amount is calculated from the vetch map creation step for creating the vetch map by counting the number of holes and connecting portions of the structure for each predetermined individual area of interest, and the vetch map. , The feature amount calculation step, and the like.
　上記の予後推定装置及び予後推定方法によれば、分析対象の肺がん組織を撮像した対象画像について、閾値に基づく閾値処理を行った画像を準備し、当該画像について、所定の関心領域毎に組織の穴及び連結部分の数をそれぞれカウントすることにより、ベッチマップを作成し、このベッチマップに基づいて予後に関連する特徴量が算出される。このようにがん組織の穴及び連結部分に係るベッチマップを作成した上で予後に関連する特徴量を算出する構成とすることで、肺がんの予後を精度よく推定することが可能となる。 According to the above-mentioned prognosis estimation device and prognosis estimation method, an image obtained by performing threshold processing based on a threshold value is prepared for a target image obtained by imaging a lung cancer tissue to be analyzed, and the image of the tissue is prepared for each predetermined region of interest. A vetch map is created by counting the number of holes and the number of connecting portions, respectively, and the feature amount related to the prognosis is calculated based on this vetch map. The prognosis of lung cancer can be estimated accurately by creating a vetch map relating to the holes and connecting portions of the cancer tissue and then calculating the features related to the prognosis.
　前記閾値処理部において、１の前記対象画像から、閾値を変更した複数種類の閾値処理を行った画像を準備し、前記ベッチマップ作成部において、前記複数種類の閾値処理を行った画像から、複数の前記ベッチマップを作成し、前記特徴量算出部において、前記複数のベッチマップに基づいて特徴量を算出する態様とすることができる。 In the threshold value processing unit, an image obtained by performing a plurality of types of threshold value processing in which the threshold value is changed is prepared from the target image of 1, and in the vetch map creating unit, a plurality of images subjected to the plurality of types of threshold value processing are prepared. The feature amount can be calculated based on the plurality of vetch maps in the feature amount calculation unit by creating the vetch map of the above.
　上記のように、１の対象画像から閾値を変更した複数種類の閾値処理を行った画像を準備し、複数のベッチマップを作成した上で特徴量を算出する構成とすることで、分析対象の肺がん組織に含まれる種々の穴等に係る情報を反映したベッチマップを作成することができると共に、これらの情報を考慮して予後に関連する特徴量を算出することができる。したがって、肺がんの予後をより精度よく推定することが可能となる。 As described above, by preparing an image subjected to a plurality of types of threshold processing in which the threshold is changed from one target image, creating a plurality of vetch maps, and calculating the feature amount, the analysis target can be analyzed. It is possible to create a vetch map that reflects information on various holes and the like contained in lung cancer tissue, and to calculate prognosis-related features in consideration of this information. Therefore, the prognosis of lung cancer can be estimated more accurately.
　前記特徴量算出部において、予後の予測に係る数理モデルに対して所定のアルゴリズムを複数回適用することで、予後に関連する特徴量を選択する態様とすることができる。 By applying a predetermined algorithm to the mathematical model related to the prediction of prognosis a plurality of times in the feature amount calculation unit, the feature amount related to the prognosis can be selected.
　上記のように数理モデルに対して所定のアルゴリズムを適用して特徴量を選択する際に、これを複数回適用して特徴量を選択することにより、特徴量の選択をより精度良く行うことができるため、肺がんの予後をより精度よく推定することが可能となる。 When selecting a feature by applying a predetermined algorithm to a mathematical model as described above, it is possible to select the feature more accurately by applying this multiple times to select the feature. Therefore, it becomes possible to estimate the prognosis of lung cancer more accurately.
　１…予後推定装置、３…ＥＧＦＲ変異肺がんの検出装置、１１，３１…画像取得部、１２，３２…画像解析部、１３，３３…記憶部、１４，３４…出力部、２１，４１…閾値処理部、２２，４２…ベッチマップ作成部、２３，４３…特徴量算出部。 1 ... Prognosis estimation device, 3 ... EGFR mutant lung cancer detection device, 11, 31 ... Image acquisition unit, 12, 32 ... Image analysis unit, 13, 33 ... Storage unit, 14, 34 ... Output unit, 21, 41 ... Threshold Processing unit, 22, 42 ... Vetch map creation unit, 23, 43 ... Feature amount calculation unit.

Claims (7)

  1. 　分析対象の肺がん組織を撮像した対象画像について、所定の閾値を用いて閾値処理を行った画像を準備する閾値処理部と、
    　閾値処理後の画像について、所定の個別関心領域毎に組織の穴及び連結部分の数の少なくとも一方をカウントすることにより、ベッチマップを作成するベッチマップ作成部と、
    　前記ベッチマップから、肺がんに係る評価に関連する特徴量を算出する、特徴量算出部と、
    　を有する、肺がん評価装置。     A threshold processing unit that prepares an image obtained by performing threshold processing using a predetermined threshold for a target image obtained by capturing an image of lung cancer tissue to be analyzed.
    A vetch map creation unit that creates a vetch map by counting at least one of the number of holes and connecting portions of the tissue for each predetermined individual area of interest for the image after the threshold processing.
    From the Vetch map, a feature amount calculation unit that calculates a feature amount related to the evaluation of lung cancer, and
    Lung cancer evaluation device.
  2. 　前記閾値処理部において、１の前記対象画像から、閾値を変更した複数種類の閾値処理を行った画像を準備し、
    　前記ベッチマップ作成部において、前記複数種類の閾値処理を行った画像から、複数の前記ベッチマップを作成し、
    　前記特徴量算出部において、前記複数のベッチマップに基づいて特徴量を算出する、請求項１に記載の肺がん評価装置。     In the threshold value processing unit, an image obtained by performing a plurality of types of threshold value processing in which the threshold value is changed is prepared from the target image of 1.
    In the Vetch map creation unit, a plurality of the Vetch maps are created from the images subjected to the plurality of types of threshold processing.
    The lung cancer evaluation device according to claim 1, wherein the feature amount calculation unit calculates a feature amount based on the plurality of vetch maps.
  3. 　前記ベッチマップは、所定の個別関心領域毎の組織の穴の数に係る情報、連結部分の数に係る情報、前記連結部分の数と前記穴の数との比に係る情報のうちの少なくとも何れかに対応する情報を含む、請求項１または２に記載の肺がん評価装置。 The vetch map is at least one of information on the number of holes in the tissue for each predetermined individual area of interest, information on the number of connecting portions, and information on the ratio of the number of connecting portions to the number of holes. The lung cancer evaluation device according to claim 1 or 2, which comprises information corresponding to the crab.
  4. 　前記特徴量算出部は、前記ベッチマップから、予後に関連する特徴量を算出する、請求項１～３のいずれか一項に記載の肺がん評価装置。 The lung cancer evaluation device according to any one of claims 1 to 3, wherein the feature amount calculation unit calculates a feature amount related to prognosis from the vetch map.
  5. 　前記特徴量算出部において、予後の予測に係る数理モデルに対して所定のアルゴリズムを複数回適用することで、予後に関連する特徴量を選択する、請求項４に記載の肺がん評価装置。 The lung cancer evaluation device according to claim 4, wherein the feature amount calculation unit selects a feature amount related to prognosis by applying a predetermined algorithm to a mathematical model related to prognosis prediction a plurality of times.
  6. 　前記特徴量算出部は、前記ベッチマップから、ＥＧＦＲ変異肺がんの有無に関連する特徴量を算出する、請求項１～３のいずれか一項に記載の肺がん評価装置。 The lung cancer evaluation device according to any one of claims 1 to 3, wherein the feature amount calculation unit calculates a feature amount related to the presence or absence of EGFR mutant lung cancer from the Vetch map.
  7. 　分析対象の肺がん組織を撮像した対象画像について、所定の閾値を用いて閾値処理を行った画像を準備する画像準備ステップと、
    　閾値処理後の画像について、所定の個別関心領域毎に組織の穴及び連結部分の数の少なくとも一方をカウントすることにより、ベッチマップを作成するベッチマップ作成ステップと、
    　前記ベッチマップから、肺がんに係る評価に関連する特徴量を算出する、特徴量算出ステップと、
    　を含む、肺がん評価方法。     An image preparation step of preparing an image obtained by performing threshold processing using a predetermined threshold value for a target image obtained by capturing an image of lung cancer tissue to be analyzed, and an image preparation step.
    A vetch map creation step of creating a vetch map by counting at least one of the number of holes and connecting portions of the tissue for each predetermined individual area of interest for the image after the threshold processing.
    From the Vetch map, the feature amount calculation step for calculating the feature amount related to the evaluation of lung cancer and
    Lung cancer evaluation methods, including.
PCT/JP2020/018346 2019-05-29 2020-04-30 Lung cancer assessment device and lung cancer assessment method WO2020241178A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-100198 2019-05-29
JP2019100198A JP2022133479A (en) 2019-05-29 2019-05-29 Prognosis estimation device and prognosis estimation method

Publications (1)

Publication Number Publication Date
WO2020241178A1 true WO2020241178A1 (en) 2020-12-03

Family

ID=73552938

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/018346 WO2020241178A1 (en) 2019-05-29 2020-04-30 Lung cancer assessment device and lung cancer assessment method

Country Status (2)

Country Link
JP (1) JP2022133479A (en)
WO (1) WO2020241178A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2021112205A1 (en) * 2019-12-05 2021-06-10

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010087112A1 (en) * 2009-01-27 2010-08-05 国立大学法人大阪大学 Image analysis apparatus, image analysis method, image analysis program and recording medium
WO2017010397A1 (en) * 2015-07-15 2017-01-19 国立大学法人大阪大学 Image analysis device, image analysis method, image analysis system, image analysis program, and recording medium
WO2019102829A1 (en) * 2017-11-24 2019-05-31 国立大学法人大阪大学 Image analysis method, image analysis device, image analysis system, image analysis program, and storage medium

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010087112A1 (en) * 2009-01-27 2010-08-05 国立大学法人大阪大学 Image analysis apparatus, image analysis method, image analysis program and recording medium
WO2017010397A1 (en) * 2015-07-15 2017-01-19 国立大学法人大阪大学 Image analysis device, image analysis method, image analysis system, image analysis program, and recording medium
WO2019102829A1 (en) * 2017-11-24 2019-05-31 国立大学法人大阪大学 Image analysis method, image analysis device, image analysis system, image analysis program, and storage medium

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
NISHIO, MIZUHO ET AL.: "Estimation of lung cancer risk using homology-based emphysema quantification in patients with lung nodules", PLOS ONE, vol. 14, no. 1, 22 January 2019 (2019-01-22), pages e0210720, XP055763331, DOI: https://doi.org/10.1371/journal.pone.0210720 *
TANAKA, SHOHEI ET AL.: "The prognostic prediction analysis of lung cancer patients on CT images -A new challenge with homology", JAPANESE JOURNAL OF RADIOLOGY, vol. 38, 25 February 2020 (2020-02-25), pages 5, 9 34 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2021112205A1 (en) * 2019-12-05 2021-06-10
WO2021112205A1 (en) * 2019-12-05 2021-06-10 国立大学法人大阪大学 Image analysis method, image analysis device, image analysis system, control program, and recording medium
JP7265805B2 (en) 2019-12-05 2023-04-27 国立大学法人大阪大学 Image analysis method, image analysis device, image analysis system, control program, recording medium

Also Published As

Publication number Publication date
JP2022133479A (en) 2022-09-14

Similar Documents

Publication Publication Date Title
Sainju et al. Automated bleeding detection in capsule endoscopy videos using statistical features and region growing
US10192099B2 (en) Systems and methods for automated screening and prognosis of cancer from whole-slide biopsy images
Kallergi Computer‐aided diagnosis of mammographic microcalcification clusters
Bilgin et al. Cell-graph mining for breast tissue modeling and classification
CN112101451B (en) Breast cancer tissue pathological type classification method based on generation of antagonism network screening image block
Mi et al. Deep learning-based multi-class classification of breast digital pathology images
Song et al. A competitive pixel-object approach for land cover classification
Demir et al. Augmented cell-graphs for automated cancer diagnosis
CN108062749B (en) Identification method and device for levator ani fissure hole and electronic equipment
Bandyopadhyay et al. Bone-cancer assessment and destruction pattern analysis in long-bone X-ray image
Heidari et al. A new lung cancer detection method based on the chest CT images using Federated Learning and blockchain systems
Korkmaz et al. Least square support vector machine and minumum redundacy maximum relavance for diagnosis of breast cancer from breast microscopic images
CN112862756A (en) Method for identifying pathological change type and gene mutation in thyroid tumor pathological image
TWI587844B (en) Medical image processing apparatus and breast image processing method thereof
Annaby et al. Melanoma detection using spatial and spectral analysis on superpixel graphs
Xiao et al. A cascade and heterogeneous neural network for CT pulmonary nodule detection and its evaluation on both phantom and patient data
WO2020241178A1 (en) Lung cancer assessment device and lung cancer assessment method
Banumathy et al. Breast Calcifications and Histopathological Analysis on Tumour Detection by CNN.
WO2022225794A1 (en) Systems and methods for detecting and characterizing covid-19
US20210209755A1 (en) Automatic lesion border selection based on morphology and color features
Sukanya et al. Skin lesion analysis towards melanoma detection using optimized deep learning network
Ma et al. Automatic pulmonary ground‐glass opacity nodules detection and classification based on 3D neural network
CN115631387B (en) Method and device for predicting lung cancer pathology high-risk factor based on graph convolution neural network
Miao et al. Automated cell selection using support vector machine for application to spectral nanocytology
Oktem et al. Automatic detection of malignant tumors in mammograms

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20814466

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20814466

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP